Avaliação e feedback humano
Julgamento humano estruturado sobre o que o seu modelo de fato produz em japonês — pontuado por falantes nativos segundo uma rubrica escrita, com a concordância medida e as divergências arbitradas por escrito.
Uma avaliação vale o que vale a sua rubrica. Se dois falantes competentes de japonês pontuam a mesma resposta de formas diferentes e não sabem dizer por quê, o número que sai dali é ruído com uma casa decimal para disfarçar.
Métricas automáticas e esquemas de LLM como juiz são úteis para acompanhar uma tendência e pouco confiáveis justamente para as falhas que mais importam em japonês. Um modelo juiz treinado sobretudo em inglês aprova sem hesitar uma resposta cujo nível de polidez está errado para a situação, cuja recusa é suave demais para soar como recusa ou cujos honoríficos contradizem a relação estabelecida três turnos antes. Esses são os erros que um usuário japonês nota de imediato e que uma métrica não nota de jeito nenhum.
Por isso avaliamos como faria um revisor cuidadoso, mas tornando a revisão reproduzível: rubricas ancoradas com exemplos comentados em cada ponto da escala, calibração antes de a pontuação começar, dupla pontuação às cegas em uma amostra e arbitragem escrita quando os avaliadores divergem. O resultado é um conjunto de números que você consegue defender, junto com o raciocínio que os produziu.
Também tratamos a independência como uma restrição de projeto. Os avaliadores de um projeto não são as pessoas que escreveram seus dados de treinamento, porque quem pontua a própria diretriz tende a pontuá-la com generosidade.
Resumo
Tipos de avaliação
Perguntas diferentes pedem instrumentos diferentes. A maioria dos programas roda dois ou três destes sobre o mesmo modelo.
Duas respostas ao mesmo prompt, comparadas segundo critérios escritos. É a forma mais robusta de comparar versões de modelo, porque um julgamento relativo é bem mais estável do que uma pontuação absoluta.
Pontuações absolutas em critérios nomeados — acurácia, utilidade, registro, formatação, segurança —, cada um com descrições ancoradas do que significa cada nota.
Se uma afirmação é verdadeira e se ela é de fato sustentada pela passagem fornecida ao modelo. São falhas diferentes e são pontuadas separadamente.
Prompts adversariais escritos em japonês por falantes de japonês, incluindo as formulações indiretas e eufemísticas que conjuntos traduzidos nunca contêm.
Um conjunto de avaliação reservado, construído para o seu domínio, com itens desenhados para discriminar em vez de serem respondidos corretamente por qualquer modelo.
Especificidades do japonês
Cada um destes pontos é invisível para um modelo juiz treinado em inglês e óbvio para um leitor japonês.
Uma resposta pode ser gramatical, precisa e ainda assim errada, porque se dirige a um cliente no registro que você usaria com um colega. Em japonês, a polidez é um eixo de correção, não de estilo.
Como tratamos O registro é um critério nomeado da rubrica, com suas próprias âncoras, pontuado separadamente da acurácia, para que uma resposta bem informada mas mal registrada não se esconda atrás do conteúdo.
As recusas em japonês são indiretas por padrão. Um modelo que responde a um pedido proibido com 難しいかもしれません tecnicamente hesitou, e muitos esquemas de avaliação pontuam isso como uma recusa bem-sucedida.
Como tratamos As recusas são pontuadas conforme quem fala japonês as leria ou não como recusa, em uma escala com exemplos comentados, e a recusa excessiva é pontuada como falha própria, não como acerto.
A relação estabelecida no início de uma conversa condiciona todos os turnos seguintes. Os modelos frequentemente a reiniciam no meio do diálogo, o que soa a um usuário japonês como o assistente esquecendo com quem está falando.
Como tratamos Os itens multiturno são pontuados como conversas, com um critério de consistência que olha para o conjunto dos turnos, e não para cada resposta isoladamente.
Os nomes próprios japoneses têm várias leituras válidas, e um modelo que produz a leitura errada de um nome de pessoa ou de lugar comete um erro factual que a correção ortográfica não enxerga.
Como tratamos Erros de entidade e de leitura formam uma subcategoria própria de factualidade, verificada em fontes japonesas e não na memória do avaliador.
Processo
A rubrica é o entregável que sobrevive à rodada. É o que torna a próxima avaliação comparável a esta.
Transformamos as suas preocupações de qualidade em critérios nomeados e depois escrevemos descrições ancoradas para cada ponto da escala, com exemplos reais da saída do seu próprio modelo.
Os prompts são amostrados ou escritos para cobrir os comportamentos que importam para você, incluindo os casos raros e adversariais que uma amostragem aleatória nunca traria à tona.
Todos os avaliadores pontuam o mesmo lote de calibração. A divergência é discutida, as âncoras da rubrica são afinadas, e a pontuação só começa quando a concordância está estável.
Uma parcela definida dos itens é pontuada às cegas por dois avaliadores. As divergências vão para um revisor sênior, que registra o motivo da resolução.
Você recebe as pontuações, as estatísticas de concordância, o log de arbitragem e um resumo escrito dos padrões de falha recorrentes — não apenas uma linha de ranking.
Entrega
Cada pontuação é rastreável até um item, um papel de avaliador, uma versão de rubrica e, quando houve uma, uma justificativa.
| Entregável | Formato | Conteúdo |
|---|---|---|
| Pontuações por item | JSONL ou CSV | id do item, pontuações por critério, justificativa, papel do avaliador, versão da rubrica |
| Relatório de concordância | PDF ou Markdown | concordância entre avaliadores por critério, taxa de arbitragem, desvio ao longo da rodada |
| Análise de falhas | PDF ou Markdown | padrões recorrentes, exemplos comentados, mudanças sugeridas na diretriz ou nos dados |
| Achados de red team | JSONL | prompt, resposta, categoria, severidade, notas de reprodução |
| Conjunto de benchmark | JSONL mais harness | itens, respostas de referência, variantes aceitáveis, script de pontuação |
Qualidade
Uma avaliação sem estatísticas de concordância é uma opinião. Estas são as verificações que a transformam em medição.
FAQ
O que os times perguntam antes de encomendar uma primeira avaliação em japonês.
Juízes LLM são baratos, rápidos e úteis para acompanhar regressões entre releases. Eles são pouco confiáveis exatamente onde o japonês é difícil — adequação da polidez, força da recusa, consistência dos honoríficos e leitura de nomes —, porque esses julgamentos dependem de conhecimento pragmático nativo. Um arranjo comum é ter um conjunto pontuado por humanos como referência, um juiz LLM para as rodadas frequentes e repontuação humana periódica para checar se o juiz não se afastou da referência.
Depende do tamanho da diferença que você precisa detectar e de quantos critérios está pontuando. Algumas centenas de itens bem escolhidos costumam separar dois modelos claramente distintos; distinguir checkpoints quase equivalentes exige bastante mais. Dimensionamos o conjunto em função da decisão que você quer tomar, e avisamos quando um conjunto é pequeno demais para sustentar a conclusão que você espera dele.
Sim. Para assuntos como questões jurídicas, tributárias, contábeis, trabalhistas ou de registro de empresas, montamos a equipe de avaliação em torno da expertise que a tarefa exige. Não mantemos um quadro fixo de profissionais habilitados — a disponibilidade é avaliada projeto a projeto conforme escopo, volume e prazo, e confirmamos o que é viável antes de o trabalho começar.
Avaliamos, mas não com as mesmas pessoas. Os avaliadores de um projeto são separados dos anotadores que escreveram seus dados de treinamento, porque pontuar segundo uma diretriz que você ajudou a escrever não é uma medição independente. Se você preferir que a avaliação fique inteiramente fora do fornecedor que produziu os dados, achamos que é uma posição razoável e diremos isso.
Os resultados, mais a análise de falhas que os explica. Um relatório que só contém uma nota não é acionável — o que você precisa são os padrões recorrentes por trás dela, exemplos comentados de cada um e uma visão concreta sobre se a correção é mais dados, uma diretriz diferente ou uma mudança no produto. Preferimos entregar com clareza um achado incômodo a suavizá-lo.
Avaliação de LLM
Envie um conjunto de saídas do modelo ou os prompts com os quais você quer testá-lo. Voltamos com uma proposta de rubrica, uma amostra pontuada por ela e o que envolveria uma rodada completa.
NDA antes de você compartilhar qualquer dado. A definição do escopo do piloto é gratuita.