• Informações do Trabalho

Titulo Avaliação de Bases de Dados Técnicas com Modelos de Linguagem de Grande Escala: Um Estudo Aplicado ao Wi-Fi 7 Subtítulo Autor OSIEL DO COUTO ROSA Orientador EDELBERTO FRANCO SILVA Resumo A crescente demanda por tecnologias de Inteligência Artificial impulsiona o uso de Modelos de Linguagem de Grande Escala (LLMs) em diferentes áreas do conhecimento. No entanto, o uso desses modelos em contextos com bases fechadas, como documentos técnicos em PDF, ainda apresenta desafios quanto à precisão das respostas e uso efetivo da base de dados. Essa lacuna se evidencia especialmente quando o objetivo é aplicar LLMs em tarefas que exigem rigor técnico. Diante disso, este trabalho aborda o desenvolvimento de um sistema que utiliza 3 modelos de LLMs, sendo eles, Mistral, Llama 2 e TinyLlama, integrados via a biblioteca Ollama, para analisar documentos de uma base de dados sobre Wi-Fi 7, buscando avaliar sua capacidade de fornecer respostas assertivas e claras. Pesquisas atuais demonstram avanços significativos na integração de IA com bases locais, mas carecem de avaliações práticas em contextos fechados e altamente técnicos. Os testes realizados com 100 perguntas técnicas revelaram que os modelos com RAG apresentaram desempenho superior em assertividade e clareza, sendo o Mistral e o Llama 2 os mais eficazes entre os modelos propostos. Os resultados evidenciam o potencial de uso de LLMs aliados a bases internas para consultas técnicas, reforçando a importância de ajustes contextuais e infraestrutura adequada para sua adoção prática. Palavras-Chave Inteligência Artificial, Análise de documentação, Modelos de linguagem, Wi-fi 7