Projeto no LALIC

• Título do projeto: Descrevendo regiões de imagens através de redes neurais profundas e Abstract Meaning Representation

• Nível: Mestrado

• Resumo da Dissertação: O mundo que nos cerca é composto por imagens que, muitas vezes, precisam ser traduzidas em palavras. Essa tradução pode se dar em partes, convertendo regiões da imagem em descrições textuais. A descrição da região de uma imagem é a transformação da informação contida nesta área para palavras em língua natural, de modo a expressar a maneira como os objetos se relacionam entre si. Recentemente, modelos computacionais que procuram desempenhar essa tarefa de maneira semelhante aos seres humanos estão sendo propostos, principalmente utilizando redes neurais profundas (deep learning). Como forma de melhorar a qualidade das sentenças produzidas por um desses modelos, este trabalho verificou a empregabilidade da representação semântica Abstract Meaning Representation (AMR) na geração de descrições para regiões de imagem. A AMR foi investigada como formalismo de representação, em alternativa à língua natural, empregando-a com algumas variações, para que o modelo de aprendizado de máquina, utilizando redes neurais profundas, fosse capaz de prever sentenças em tal representação. A hipótese deste trabalho, de que a utilização de sentenças em forma de AMR resultaria em melhores descrições foi confirmada parcialmente, visto que o modelo treinado com AMR foi superior em quase todas as avaliações.

• Agência financiadora: 

  • CAPES (03/2018 - 03/2020)

  • Esse projeto foi parte do projeto MMeaning (2016/13002-0)

• Orientadora e Co-orientador: Profa. Dra. Helena de Medeiros Caseli e Prof. Dr. Tiago Agostinho de Almeida