Como avaliar a busca de um RAG com perguntas e evidências conferidas

O que você vai levar deste guia

• Associe perguntas a evidências revisadas, incluindo casos sem resposta na base.
• Compare a recuperação antes de atribuir o erro ao modelo de linguagem.
• Mantenha um conjunto de teste separado dos exemplos usados para ajustar o sistema.

Escolha a pergunta que o teste precisa responder

Um RAG combina recuperação de informação e geração de resposta. Quando o resultado é ruim, a falha pode estar em qualquer uma dessas etapas ou na própria base. O primeiro objetivo deste exercício é mais estreito: verificar se a busca entrega evidências adequadas para responder às perguntas de interesse. Separar essa avaliação evita ajustar instruções do modelo quando o documento necessário nunca chega ao contexto, ou trocar o mecanismo de busca quando a falha está na interpretação posterior.

Considere a empresa fictícia Manual de Campo, que prepara um assistente para consultar procedimentos de montagem. O corpus contém instruções de diferentes modelos de equipamento e revisões. A pergunta “qual etapa vem antes da fixação do suporte no modelo Alfa?” exige um trecho específico. Uma resposta genérica sobre montagem pode soar plausível e ainda não resolver a dúvida. O teste deve verificar a presença da instrução correta para aquele modelo e revisão, sem depender de quão convincente o texto final parece.

A documentação da Microsoft sobre avaliadores de RAG distingue avaliação da recuperação e avaliação da resposta, incluindo comparação de documentos recuperados com rótulos de referência. O método abaixo usa essa separação para organizar um conjunto local de perguntas e evidências. As decisões de amostragem, rotulagem e análise precisam refletir o uso da empresa, e não apenas reproduzir uma pontuação oferecida por uma ferramenta.

Colete perguntas reais sem limitar o teste ao vocabulário dos documentos

Reúna dúvidas de atendimento, treinamento e operação, preparando os dados para não incluir informação pessoal desnecessária. Preserve a forma como as pessoas perguntam: abreviações, nomes informais e descrições incompletas podem ser parte importante da dificuldade. Se todas as perguntas forem reescritas com os títulos exatos dos documentos, o teste favorecerá uma busca que funciona bem apenas para quem já conhece a resposta e sabe como ela foi catalogada.

Classifique as perguntas por necessidade. No exemplo fictício, há localização de etapa, comparação entre versões, condição de aplicação e diagnóstico de uma instrução ausente. Inclua também perguntas fora do escopo da base. Não distribua a amostra somente por quantidade de documentos; distribua conforme frequência e consequência de erro, registrando como essa escolha foi feita. Um conjunto pequeno pode ser útil, desde que não seja apresentado como retrato completo de todos os usos possíveis.

Evite dezenas de paráfrases quase idênticas contadas como casos independentes. Elas podem ajudar a testar variação linguística, mas precisam ser agrupadas para não dominar a pontuação. Mantenha uma pergunta principal e variantes identificadas quando essa for a intenção. Ao comunicar resultado, mostre desempenho por família e quantidade de famílias. Caso contrário, uma configuração pode parecer excelente porque acerta muitas reformulações de uma única instrução simples.

Marque evidências com revisão humana e referência estável

Para cada pergunta, uma pessoa conhecedora do assunto deve localizar os trechos que sustentam uma resposta e registrar por que são relevantes. Inclua documento, versão, seção e identificador que sobreviva ao processo de indexação. Uma referência apenas ao número da página pode ser insuficiente quando o documento é reformatado. Sempre que possível, guarde também um pequeno trecho de conferência dentro das regras de uso do conteúdo, para facilitar a revisão do rótulo.

Distinga evidência suficiente de menção relacionada. Um parágrafo que cita o modelo Alfa sem explicar a ordem de montagem não responde à pergunta. Um trecho pode ser parcialmente útil e exigir outro para completar a condição. Registre essa relação. No exemplo fictício, a etapa está em uma página e a exceção por versão está em outra; recuperar só a primeira pode levar a uma instrução incompleta. A rotulagem precisa representar a necessidade de ambos, e não eleger um único trecho por conveniência.

Faça uma segunda revisão de casos ambíguos e dos que têm maior consequência. Discordância entre revisores pode indicar uma pergunta mal definida ou documentação contraditória. Não esconda o desacordo em uma nota média. Registre o ponto a esclarecer e, se necessário, retire temporariamente o caso da comparação quantitativa, mantendo-o na lista de lacunas editoriais. O conjunto de referência também é um produto que pode conter erros e precisa de manutenção.

Inclua ausência de resposta e necessidade de esclarecimento

Um bom conjunto não contém apenas perguntas com evidência fácil de localizar. Inclua casos em que a base não trata do assunto, em que falta identificar o modelo e em que duas revisões válidas exigem esclarecer o contexto. Essas situações testam se a recuperação oferece sinais úteis para uma resposta limitada, em vez de aproximar qualquer trecho que compartilhe palavras. A busca pode sempre retornar resultados; isso não significa que exista evidência suficiente.

Na Manual de Campo fictícia, “posso usar o suporte antigo?” não informa o equipamento nem a revisão. O rótulo esperado pode indicar que a pergunta é insuficiente para escolher uma instrução, embora haja documentos relacionados. Não marque arbitrariamente um deles como correto. O teste deve preservar a ambiguidade real para que a solução completa aprenda a pedir esclarecimento. A avaliação de busca pode mostrar os candidatos relevantes sem afirmar que um deles resolve sozinho o caso.

Separe ausência no corpus de falha de recuperação. Se nenhum documento contém a informação, trocar parâmetros não cria a evidência. A ação pode ser melhorar a documentação ou manter uma resposta de indisponibilidade. Se o documento existe e está rotulado, mas não aparece, investigue indexação, filtros e ranking. Essa distinção transforma o relatório em uma lista de decisões possíveis, evitando tratar todos os erros como um problema único de inteligência artificial.

Congele as versões usadas na comparação

Registre versão do corpus, preparação dos documentos, configuração de fragmentação, mecanismo de busca e parâmetros relevantes. Guarde a identidade do conjunto de perguntas e rótulos. Se uma configuração recebe documentos novos e a outra não, a comparação mistura melhoria da base com mudança de recuperação. Ambas podem ter valor, mas precisam ser identificadas. O experimento deve permitir explicar o que mudou entre as execuções e reproduzir o resultado quando surgir uma dúvida.

Separe exemplos usados para ajustar de exemplos reservados para avaliar. É natural corrigir falhas encontradas no conjunto de desenvolvimento, mas repetir apenas esses mesmos casos até acertar pode produzir uma solução adaptada à amostra. Mantenha famílias de perguntas fora do ajuste e revise a divisão quando houver variantes muito parecidas. Não coloque uma paráfrase no treino de ajustes e outra quase igual no teste como se fossem experiências independentes.

Execute a recuperação sem depender da geração quando o objetivo for medir busca. Salve identificadores, posição e conteúdo de referência suficiente para análise. Depois, uma avaliação adicional pode verificar o efeito na resposta. Essa ordem ajuda a localizar regressões: se os mesmos trechos continuam chegando e a resposta piora, a investigação segue outro caminho. A Tironi Tech pode integrar essas etapas de avaliação ao desenvolvimento para que mudanças sejam acompanhadas por evidências comparáveis.

Leia métricas como perguntas operacionais

Uma medida de presença entre os primeiros resultados responde se a evidência apareceu dentro do limite examinado. Uma medida de posição considera quão cedo os itens relevantes surgem. Uma medida de precisão ajuda a observar quanto do material recuperado é útil. Nenhuma delas, isoladamente, prova que a resposta final será correta. Explique o significado escolhido e mostre exemplos concretos de acerto e falha, especialmente quando o público do relatório não trabalha com avaliação de busca.

Defina como tratar evidências múltiplas e rótulos incompletos. Se a base contém outro trecho igualmente válido que não foi marcado, uma avaliação automática pode penalizar um resultado útil. Por isso, revise amostras de resultados aparentemente errados e registre atualizações legítimas do conjunto de referência. Não altere os rótulos apenas para favorecer a configuração preferida. A mudança precisa de justificativa que sobreviva à revisão sem conhecer qual sistema produziu o trecho.

Compare por classe de pergunta, além do total. Uma melhora em consultas simples pode esconder regressão nas que exigem duas evidências. Mostre quantidade de casos por classe e limitações da amostra. Se houver poucos exemplos de revisão antiga, trate o resultado como sinal inicial. Uma pontuação com várias casas decimais não compensa cobertura insuficiente. A decisão de publicar deve considerar as falhas específicas e sua consequência na tarefa que o assistente atende.

Investigue o ponto em que a evidência desapareceu

Quando um trecho esperado não aparece, siga a cadeia. O documento entrou no processamento? O texto foi extraído corretamente? O fragmento manteve título e condição necessários? Os filtros permitem sua seleção? O mecanismo recuperou o candidato e depois o reordenou para fora do limite? Cada pergunta aponta para uma intervenção diferente. Aumentar o número de resultados pode mascarar uma falha de preparação sem corrigir sua causa, elevando custo e ruído para a geração.

No exemplo fictício, uma tabela de montagem foi fragmentada de forma que o nome do modelo ficou separado das instruções. A busca encontra a ação, mas não associa a condição correta. A correção pode envolver preservar contexto durante a preparação, seguida de nova avaliação das famílias afetadas. Outro caso pode decorrer de abreviação usada pelos técnicos, exigindo uma estratégia de consulta diferente. Não aplique a mesma solução a todos os erros apenas porque ambos aparecem como evidência ausente.

Registre uma hipótese por alteração e o efeito esperado. Se a proposta é melhorar a identificação do modelo, confira também perguntas sobre modelos semelhantes para detectar confusão nova. Se a proposta é recuperar mais trechos, examine os casos sem resposta para verificar aumento de material irrelevante. Um experimento útil testa a melhoria pretendida e as regressões plausíveis, mantendo o conjunto reservado para uma comparação que não foi usada a cada ajuste.

Transforme a avaliação em uma rotina de decisão

Defina critérios de avanço ligados às classes relevantes. Pode haver falhas que bloqueiam a liberação, como confundir uma condição de aplicação, e outras que permitem encaminhamento ou resposta limitada. Não invente um percentual universal de aprovação. Documente por que o risco residual é aceitável para o uso proposto e quais perguntas ainda devem sair do fluxo automático. A avaliação precisa orientar o comportamento do produto, não apenas produzir uma nota para apresentação.

Depois do piloto, use perguntas novas para ampliar o conjunto com revisão, mantendo a história das versões. Uma dúvida recorrente que antes não aparecia pode revelar mudança de uso. Não substitua silenciosamente os casos difíceis por perguntas mais fáceis. Preserve conjuntos anteriores quando forem úteis para acompanhar regressão e marque conteúdos que deixaram de ser vigentes. A manutenção da avaliação deve acompanhar a manutenção do corpus e da finalidade do assistente.

Ao comunicar o resultado, apresente cobertura, falhas por causa, mudanças testadas e limites. A frase útil é que determinada configuração recuperou as evidências necessárias para estas famílias nas condições examinadas, não que a IA nunca erra. Com essa disciplina, a equipe consegue decidir se deve melhorar documentos, preparação, busca ou resposta, e evita investir em ajustes de linguagem para um problema que começa antes de o modelo receber a informação.

Perguntas frequentes

Uma resposta correta prova que a busca funcionou?

Não. O modelo pode responder por conhecimento geral ou por coincidência. Confira se os trechos recuperados contêm a evidência necessária ao caso específico.

Preciso rotular todos os documentos da base?

Não para começar. Um conjunto revisado e representativo permite avaliar perguntas delimitadas, mas as conclusões precisam reconhecer a cobertura e os possíveis documentos relevantes não rotulados.

Aumentar o número de trechos sempre melhora?

Não. Pode incluir evidência útil, mas também ruído e custo. Compare presença, posição e utilidade dos trechos, além do efeito na resposta final.

Avalie a evidência que sua IA utiliza

A Tironi Tech pode preparar conjuntos de teste e integrar medições de busca e resposta para orientar a evolução de uma solução RAG.

Artigos relacionados

• Avaliação de recuperação em RAG com perguntas reais: como medir se o trecho necessário aparece antes de avaliar a resposta
• Custo e latência de RAG empresarial: como otimizar recuperação e geração sem reduzir qualidade silenciosamente
• Chunking de documentos para RAG: como preservar contexto, tabela e hierarquia sem buscar tamanho mágico

Fontes consultadas

• Microsoft — RAG evaluators