Avaliação de LLMs e Retrieval Para Aplicação de RAG no Mobile

Pesquisa sobre a avaliação de Grandes Modelos de Linguagem (LLMs) em conjunto com a Geração Aumentada por Recuperação (RAG) para uso em dispositivos móveis, um campo de crescente relevância no cenário atual da inteligência artificial. O trabalho propõe uma metodologia inovadora dividida em três etapas principais: a construção de uma base de dados que relaciona perguntas a contextos específicos, a geração de respostas utilizando diversos LLMs, e a avaliação dessas respostas por meio de um LLM Juiz, que classifica a qualidade das respostas com base em critérios objetivos.

Este trabalho oferece insights valiosos para o desenvolvimento de aplicações móveis que utilizam inteligência artificial, demonstrando como a combinação de LLMs com RAG pode resultar em sistemas mais eficientes e confiáveis para a geração e avaliação de respostas.