Como medimos a qualidade da anotação

Não publicamos garantia de acurácia, e trataríamos com cautela a garantia de qualquer fornecedor. A acurácia alcançável depende da tarefa, da taxonomia, da qualidade dos dados de origem e de quanta ambiguidade genuína o domínio contém — nada disso é conhecido antes de um piloto. O que assumimos como compromisso é o método de medição: quais métricas, calculadas como, reportadas com que frequência e o que acontece quando um lote fica abaixo do esperado. Depois de um piloto com os seus dados, podemos falar de metas realistas, porque aí há algo real sobre o que conversar.

São dados de exemplo. Existem para mostrar o que a interface reporta e como as métricas se comportam em movimento, e por isso mesmo aparecem com um selo e um aviso visíveis. Não são resultados de um projeto de cliente, e não os apresentaremos como tal.

Não por si só. A concordância mede consistência, não correção — anotadores que compartilham o mesmo mal-entendido concordam perfeitamente. Ela também é inflada por taxonomias desbalanceadas, e é por isso que reportamos um coeficiente corrigido pelo acaso ao lado da concordância bruta, e por isso que existem gold sets arbitrados por revisores sêniores como verificação independente da correção.

Ele não é entregue. Dependendo da falha, a resposta é reanotação direcionada, revisão da diretriz seguida de retrabalho dos itens afetados, ou escalonamento para você quando a causa está a montante — uma taxonomia ambígua ou dados de origem que não sustentam a tarefa. Preferimos entregar com atraso e uma explicação a entregar no prazo um número que não vai sobreviver ao contato com o seu modelo.

Podem, e é uma coisa razoável de se pedir. Vocês podem revisar a diretriz e seu histórico de versões, pegar uma amostra para pontuação independente e comparar os seus achados com os números que reportamos. Quando um cliente roda o próprio QA em paralelo, tratamos a divergência entre os dois como um achado que merece investigação, e não como uma disputa a ser vencida.