Avaliação automática: avaliadores, amostragem e políticas

Camada funcional

Esta página cobre o lado de governança da avaliação: quem julga, o que é julgado e o que acontece com o resultado.

O que a avaliação mede — as tarefas, as famílias de medida e a diferença em relação à classificação de um agente — está na página de classificação e avaliação, no módulo de agentes, e não é repetido aqui.

O avaliador também é um ativo

Um avaliador reúne a tarefa, o modelo, o conjunto de medidas e um prompt versionado. E ele entra no inventário como ativo de IA por direito próprio.

Isso é coerente, e vale dizer por quê: quem julga a qualidade também é um sistema de IA, sujeito a revisão e a mudança controlada. Um avaliador que muda em silêncio invalida a série inteira de notas que ele produziu antes.

O julgamento deixa rastro

Cada julgamento devolve as notas por medida, a justificativa, o veredito como ele veio, o prompt exatamente como foi enviado e o consumo daquela chamada.

Guardar o prompt renderizado e o custo junto do resultado é o que torna a avaliação auditável: dá para reconstituir o que foi perguntado, e quanto custou perguntar, meses depois.

A amostra é reproduzível, não um sorteio

Avaliar toda execução seria caro. A escolha do que entra na amostra é determinística: um número estável, derivado do identificador da própria execução, comparado com a taxa configurada.

Três consequências:

1. Reprocessar a mesma execução dá o mesmo resultado — com o mesmo avaliador e a mesma taxa. Se ela estava na amostra, continua estando.
2. A fração escolhida por sorteio converge para a taxa configurada.
3. Não há contador nem estado global para manter.

A primeira é a que importa para auditoria: a amostra é reproduzível, e não um sorteio que ninguém consegue refazer. Note a condição, porque ela é o outro lado da mesma moeda: mexer na taxa muda quem entra na amostra dali em diante. As execuções já avaliadas continuam onde estão, mas a série passa a ser de duas configurações, e comparar os dois trechos como se fossem um só é o erro que essa propriedade convida a cometer.

A taxa pode variar por agente, e certos desfechos podem ser marcados para sempre entrar — auditar toda falha, por exemplo. E dois avaliadores podem ser configurados para ver amostras diferentes da mesma população.

Atenção a como esses dois controles se combinam, porque a leitura ingênua erra: o desfecho marcado para sempre entrar não passa pela taxa — ele é conferido antes e entra direto. Ou seja, a taxa governa só o que sobra depois dele. Com 10% e "auditar toda falha" ligados juntos, o volume avaliado é todas as falhas mais 10% do resto — não 10% no total.

Isso é deliberado, e a consequência é boa: a fatia obrigatória não come a amostra aleatória, que continua representativa do comportamento normal. Cada avaliação guarda por qual dos dois caminhos entrou, então as duas populações continuam separáveis depois.

O que acontece quando a medida cruza o limite

Uma política testa uma medida contra um limite e, quando dispara, aplica uma ação:

A terceira linha é a que costuma ser mal lida, então vale ser literal: bloquear não bloqueia a resposta ao usuário. Um modelo com medida ruim continua respondendo; o que ele não consegue é avançar de ambiente. A governança age no ciclo de vida do ativo, não no turno do agente — quem age no turno é o guardrail, que é outro mecanismo.

Uma política vale para um agente específico ou para a organização inteira. Quando várias disparam sobre a mesma medida, fica registrada a mais severa — sem isso, uma política branda mascararia uma severa que disparou junto.

E o portão que decide a promoção falha fechado: se a consulta aos alertas dá erro, ele recusa em vez de liberar. Uma falha passageira que deixasse o portão aberto permitiria promover sem validar nada, que é o oposto do propósito dele.

Cadência

Quatro vezes por hora, automaticamente. E sob demanda, quando você pede a avaliação de um agente na hora.

O contador dizia "12 de 100" sobre uma tabela de mil

Até 19/08/2026 a lista de avaliações carregava sem paginação e filtrava na própria tela. Dois efeitos, e os dois enganavam:

• O rodapé contava o que tinha sido trazido, não o que existe. Ele dizia "12 de 100" onde havia mais de mil avaliações registradas.
• O filtro por agente respondia "nenhuma avaliação" sobre dado que está lá, sempre que aquele agente não tivesse nenhuma entre as mais recentes carregadas.

O segundo é o pior dos dois: "não há" e "não trouxe" viram a mesma frase na tela, e quem lê não tem como distinguir. Agora a lista pagina de 50 em 50, com filtro, busca e contagem resolvidos antes de chegar à tela — e ganhou o campo de busca que não existia.

O que dá para fazer, e onde