Testo agentes de IA como uma test manager.

Tens uma funcionalidade com um LLM (modelo de linguagem) à frente dos clientes, ou um agente de suporte, e ninguém na equipa sabe dizer com números se funciona. A demo correu bem. Em produção, ninguém está a medir.

Um agente não é determinístico. A mesma pergunta, feita duas vezes, pode dar duas respostas diferentes. Um teste que passa uma vez não prova nada. Por isso meço o comportamento em muitas tarefas e com repetições, e entrego-te uma taxa de sucesso com o intervalo de confiança ao lado, em vez de um «parece-me bem».

Sou a Ana Sousa. Há mais de 14 anos que automatizo testes e giro qualidade de software. Tenho as certificações ISTQB de Test Manager e de Security e um mestrado em Ciências da Computação.

• Head of Engineering, Head of QA ou responsável de IA numa empresa de produto ou scale-up que já tem um LLM ou um agente em produção e ninguém a medi-lo.
• Consultoras e formadoras que querem passar a oferecer testes de IA e precisam de método, ou de uma equipa que o saiba aplicar.
• Equipas de L&D à procura de formação técnica para QA e engenharia, sem slides genéricos sobre «o futuro da IA».

Não é para ti se ainda não tens nada a correr. Sem agente, não há o que medir.

A pedido: revisão de red-team

Testes adversariais (tentativas deliberadas de fazer o agente portar-se mal). Faço-a a pedido. Ainda não a vendi a ninguém, por isso não tem preço publicado.

• Conjunto de tarefas de teste construído contigo, com os casos que importam ao teu negócio.
• Avaliação em três camadas:
  • resultado: a resposta final está certa?
  • trajetória: o caminho até lá fez sentido (que ferramentas usou, por que ordem, quantos passos)?
  • componentes: cada peça, testada isoladamente.
• Taxa de sucesso com intervalos de confiança. Um número sem margem de erro não serve para decidir.
• Repetições e pass^k (a probabilidade de o agente acertar a mesma tarefa k vezes seguidas). É o que mostra se o teu agente é fiável ou só teve sorte.
• Custo por tarefa e latência p95 (o tempo que 95% dos pedidos não ultrapassam).
• Taxonomia de falhas: onde o agente falha e porquê, arrumado por categoria.
• Gate de regressão em CI (integração contínua): corre a cada alteração e trava as regressões antes de chegarem aos clientes.
• Relatório final e passagem de testemunho à tua equipa, para continuarem sem mim.

Ainda não tenho casos de clientes para te mostrar. Este serviço é novo. O que tenho é um lab público onde aplico o método a um agente meu, e onde podes ler tudo, incluindo o sítio onde a minha própria avaliação estava errada.

O que está lá: um agente de pesquisa a trabalhar sobre uma web de fixtures (páginas de teste controladas, sempre iguais). 40 tarefas, três modelos Claude (Haiku, Sonnet e Opus), uma corrida por tarefa.

O que correu mal. O primeiro ranking pôs o Opus em último, com 12%. Estava errado. O avaliador reprovava qualquer resposta que mencionasse um valor vindo de uma fonte não fiável, mesmo quando a resposta o mencionava para o rejeitar. Castigava o comportamento certo.

O que fiz. Etiquetei à mão, um a um, os 94 casos que o avaliador tinha assinalado. Depois construí um juiz LLM (um modelo a avaliar as respostas de outro) para corrigir o problema, com um limiar fixado antes de começar: apanhar pelo menos 90% das respostas que afirmam mesmo o valor (recall da classe ASSERTED). Apanhou 25%, e o resultado mudava de corrida para corrida. Não passou o limiar, por isso não entrou. Ficou o regex (a regra de texto original).

As taxas corrigidas, na camada de resultado:

Os intervalos de confiança a 95% sobrepõem-se. Com 40 tarefas, não consigo dizer com rigor qual dos três é melhor, e por isso não o digo.

Os limites, ditos na página e não numa nota de rodapé: 40 tarefas, uma corrida por tarefa, um agente, um domínio. Isto não é um benchmark de modelos. É uma demonstração de método.

Mostro-te isto porque é o que te vai acontecer. A tua primeira medição vai ter erros no próprio avaliador. A auditoria existe para os encontrar antes de tomares decisões com base neles.

• Ver o lab no GitHub
• Ler o relatório da correção (em inglês)
• Ver os bastidores →

1. Chamada de scoping (definição de âmbito), 20 a 30 minutos, online. Contas-me o que o agente faz, a que ferramentas acede e o que acontece quando erra. A chamada é gratuita e sem compromisso.
2. Proposta escrita. Tamanho da auditoria ou formato do workshop, dias, o que entrego e o preço.
3. Trabalho. Tudo online. Precisas de me dar acesso ao agente e de pôr alguém da equipa disponível para construir o conjunto de tarefas comigo.
4. Entrega e passagem de testemunho. Relatório, gate em CI a correr e uma sessão com a tua equipa.

Para empresas em Portugal. Fora de Portugal, vê a versão em inglês.

Valores indicativos, a partir de, + IVA. As durações são dias de trabalho. O valor final fecha-se na chamada gratuita, porque depende do caso.

O que faz subir ou descer o preço

• o número de tarefas no conjunto de teste;
• quantas ferramentas o agente usa e o que pode fazer com elas (ler é diferente de escrever, pagar ou apagar);
• o risco: dados de clientes, dinheiro ou decisões com consequência pedem mais repetições e mais cuidado;
• as integrações: ligar o gate à tua pipeline e ao teu ambiente de testes.

Sobe se o agente mexe em dinheiro ou dados sensíveis e não há ambiente de testes. Desce se o agente tem poucas ferramentas e a tua equipa já tem casos de teste por onde começar.

Sei que, para muitas empresas em Portugal, estes valores parecem altos. Não os baixo fingindo que o trabalho é mais pequeno. Uma auditoria pequena são cinco dias de trabalho de uma test manager sénior, e o gate que fica na tua pipeline continua a trabalhar depois de eu sair.

Os dois primeiros clientes têm 25% de desconto. Em troca, publico o caso de estudo e peço-te um testemunho. Se a tua empresa não puder ser nomeada, aceito um caso de estudo anonimizado.

Digo-o abertamente porque é uma troca: preciso de provas com clientes reais e tu pagas menos por isso. O que pode e não pode aparecer no caso de estudo combina-se contigo antes de começarmos, e o texto só sai com a tua aprovação.

• Não é uma garantia de que o agente nunca falha. Meço com que frequência falha, onde e a que custo.
• Não é uma certificação. Não há selo nem carimbo no fim.
• Não é formação financiada. O workshop é pago pela empresa, sem apoios.
• Não é uma auditoria de segurança completa nem um pentest. A revisão de red-team é à parte, e só a pedido.
• Não é presencial. Tudo online.
• Não inclui reescrever o agente. Entrego o diagnóstico, a taxonomia de falhas e o gate. As correções ficam com a tua equipa.

Agent evaluation, English version