Ampliação do contexto para IA Generativa
Como evitar respostas muito loucas dos modelos de linguagem.
Alucinações
Um problema enfrentado pelos desenvolvedores de aplicações com IA Generativa são as alucinações que os modelos de LLM eventualmente sofrem. É possível ver isto acontecer no próprio ChatGPT.
Quando isso acontece, as respostas geradas não tem muita lógica. No processo de encontrar a próxima palavra adequada para completar uma frase, se não ele não encontra uma boa alternativa, os LLMs não param e buscam alternativas “criativas”, daí vêm as alucinações.
RAG para não alucinar!
A maneira mais utilizada para aumentar a acurácia das respostas passa por uma técnica chamada Retrieval Augmented Generation, ou RAG. 🎯
O RAG, que em português seria algo como “Geração de contexto recuperado ampliado”, permite direcionar as respostas geradas pelo LLM para que o modelo se baseie em determinadas informações para gerar as respostas. E, uma vez que ele possui uma orientação e dados para seguir, o LLM busca sempre este contexto para gerar as respostas, evitando respostas malucas.
Utilizar o RAG permite ainda enriquecer o contexto com informações proprietárias, como seus scripts de atendimento os detalhes de processos internos. Ainda, é possível informar o modelo sobre informações pessoais do usuários que esle está interagindo para que as respostas considerem o perfil e os dados das aplicações internas à empresa.
Um exemplo com recomendação de investimento
Por exemplo, se uma aplicação de IA voltada a recomendação de investimentos souber: 1) quais os produtos que sua empresa oferece no momento, e 2) o perfil de investimento do usuário, as recomendações serão bem mais assertivas.
A ideia do RAG é, explicando de outra maneira, um jeito de treinar os LLMs para que eles considerem dados que eles não conheceram durante seu processo de treinamento.
Utilizando vector search na prática
Para entender um pouco mais sobre como a utilização dos vetores ajuda a utilizar dados proprietário, confira este vídeo:
