Por que dados em japonês são difíceis para a IA

O modo de falha é o silêncio, não o erro

Conjuntos de dados em japonês raramente falham de forma barulhenta. Eles falham por conter duas respostas defensáveis para a mesma pergunta, registradas como se fossem a mesma resposta. Um anotador escreve o nome de uma empresa com 株式会社 dentro do span da entidade e outro deixa de fora; um transcritor escreve ありがとう e outro 有難う; um avaliador lê それはちょっと難しいです como uma afirmação sobre dificuldade e outro como uma recusa. Nada no pipeline reclama. A inconsistência simplesmente passa a fazer parte do que o modelo aprende.

É por isso que o trabalho de anotação em japonês é dominado pela especificação, e não pela mão de obra. Quase nenhuma das dificuldades abaixo tem uma única resolução correta — ela tem uma resolução que precisa ser escolhida, escrita e depois aplicada de forma idêntica dez mil vezes. Um time que faz essas escolhas de modo explícito supera um time maior que não faz.

O que segue é a lista que percorremos no início de um projeto, junto com a decisão que cada item impõe. Ela é deliberadamente concreta: estas são as perguntas que de fato faremos a você.

Resumo

Sistemas de escrita: Quatro em uso simultâneo — kanji, hiragana, katakana e escrita latina —, muitas vezes na mesma frase.
Fronteiras de palavra: Nenhuma. A segmentação é produzida por um analisador morfológico, e os analisadores discordam entre si.
Polidez: Gramaticalmente obrigatória. Cada terminação de frase codifica uma relação social.
Sujeitos: Rotineiramente omitidos e recuperados do contexto, às vezes de várias frases atrás.
Consequência prática: A maior parte dos defeitos nos dados em japonês são decisões não tomadas, não erros de anotador.

As dificuldades

Sete propriedades que quebram suposições feitas para o inglês

Cada uma delas é uma propriedade do idioma, não uma peculiaridade de um conjunto de dados. Elas vão aparecer em qualquer projeto em japonês que você conduzir.

Quatro sistemas de escrita ao mesmo tempo

漢字・ひらがな・カタカナ・ローマ字

A mesma palavra pode ser escrita em kanji, hiragana, katakana ou escrita latina, e os quatro podem aparecer em uma só frase. 卵, たまご e タマゴ são a mesma palavra com conotações diferentes; コンピュータ e コンピューター diferem por um caractere e ambas são padrão.

Como tratamos Uma convenção de normalização lista a escrita exigida para as palavras frequentes, define um padrão para as demais e fixa o tratamento de vogais longas e de largura total ou meia largura. Todo o resto herda desse documento.

Sem espaços entre as palavras

分かち書きがない

O texto em japonês é uma cadeia contínua. As fronteiras de palavra são produzidas por um analisador morfológico, e MeCab, Sudachi e Juman++ segmentam a mesma frase de formas diferentes — então um span anotado contra um deles pode não se alinhar a outro.

Como tratamos Fixe o analisador e o dicionário antes da anotação, armazene os spans como offsets de caractere para que sobrevivam a uma troca de tokenizador e valide que nenhum span termina dentro de um token.

Polidez obrigatória

敬語

A gramática japonesa obriga a uma escolha de polidez em quase toda frase. 尊敬語 eleva o interlocutor, 謙譲語 rebaixa o falante e 丁寧語 é o registro polido neutro; a escolha correta depende da relação, não do conteúdo.

Como tratamos Escolha um registro padrão para cada superfície do produto, liste as exceções e pontue o registro como critério próprio na revisão, para que uma resposta bem informada mas mal registrada não passe.

Sujeitos e objetos omitidos

主語省略・ゼロ代名詞

O japonês omite tudo o que o contexto permite recuperar. Uma resposta escrita isoladamente com frequência se liga ao referente errado, e em diálogo multiturno o referente verdadeiro pode estar vários turnos atrás.

Como tratamos Anote e revise as conversas como unidades inteiras, e não turno a turno, e trate um referente genuinamente irrecuperável como um defeito do item, não como algo a ser adivinhado.

A indireção como gramática da recusa

断りの婉曲表現

Uma recusa é frequentemente expressa como uma afirmação sobre dificuldade ou circunstância. それはちょっと難しいです recusa; ちょっと考えさせてください em geral recusa. A leitura literal inverte o sentido.

Como tratamos Defina as categorias de recusa e a força pretendida de cada uma com exemplos comentados, e pontue as recusas conforme quem fala japonês as lê como recusas — não conforme contenham ou não uma negação.

Nomes com várias leituras válidas

固有名詞の読み

Um nome de pessoa ou de lugar japonês escrito em kanji costuma ter várias leituras possíveis, e a correta é um fato sobre aquele indivíduo, não uma regra. 東海林 pode ser Shoji ou Tokairin; ambos são sobrenomes reais.

Como tratamos Capture a leitura como um campo separado em vez de inferi-la, verifique-a em uma fonte e marque como não verificada a leitura que não puder ser confirmada, em vez de escolher a mais comum.

Registros de domínio diferentes do japonês comum

専門用語・文体

O japonês jurídico, tributário, médico e administrativo usa vocabulário, estruturas de frase e formulações convencionais próprios. Um japonês cotidiano fluente não basta para julgar se uma cláusula contratual ou uma explicação tributária está corretamente redigida.

Como tratamos Alinhe o anotador ao registro em que os dados estão escritos e traga especialistas de domínio quando o julgamento em questão for profissional, e não linguístico.

Um exemplo comentado

Uma frase, cinco significados

A frase abaixo é comum, educada e extremamente frequente. Qual das suas cinco leituras se aplica é determinado inteiramente pela situação ao redor — que é exatamente a informação que uma diretriz de anotação precisa fornecer.

大丈夫です。

Daijōbu desu.

Vários significados, uma só frase.

Passe o cursor sobre um significado para ver o contexto que o define.

É o mesmo exemplo usado na página inicial. Está aqui porque é a ilustração mais clara de por que o contexto, e não o vocabulário, é a parte difícil da anotação em japonês.

Especificação

Decisões que vale a pena registrar antes de começar

Se não forem registradas, cada uma delas será decidida de forma implícita, e diferente, por cada pessoa que tocar nos dados.

Em qual escrita cada palavra frequente é grafada, e a regra padrão para as palavras fora da lista.
Se os numerais são arábicos ou em kanji, e como classificadores, datas, valores e horas são escritos.
O analisador morfológico e o dicionário contra os quais as fronteiras de span são definidas.
Se prefixos e sufixos de forma jurídica como 株式会社 ficam dentro ou fora do span de uma organização.
Política de span máximo ou mínimo para substantivos compostos, e onde o aninhamento é permitido.
O registro de polidez padrão, suas exceções e como é uma recusa correta.
Normalização de largura total e meia largura: o que é convertido e o que é preservado exatamente.
Como as datas por era são registradas, e se uma conversão gregoriana é armazenada junto com elas.
O que acontece com um item genuinamente ambíguo — sinalizado, escalado ou excluído.

Glossário

Termos que aparecem nas diretrizes de anotação em japonês

O vocabulário que você vai encontrar em uma especificação de dados em japonês, definido como é de fato usado no trabalho de anotação.

Keigo 敬語: O sistema geral da linguagem honorífica japonesa, que abrange as formas respeitosas, humildes e polidas. Seu uso é gramaticalmente obrigatório, e não opcional, de modo que toda frase codifica uma posição social.
Sonkeigo 尊敬語: Linguagem respeitosa que eleva a pessoa de quem se fala. Usada em relação ao cliente ou a um superior — nunca em relação a si mesmo.
Kenjougo 謙譲語: Linguagem humilde que rebaixa o falante ou o grupo do falante em relação ao ouvinte. É padrão na comunicação de negócios japonesa ao descrever as próprias ações.
Teineigo 丁寧語: Registro polido simples, marcado sobretudo pelas terminações ですます. É o padrão habitual para saídas de IA voltadas ao consumidor em japonês.
Wakachigaki 分かち書き: Escrita com espaços inseridos entre as palavras. Não é padrão em japonês, e é por isso que a segmentação precisa ser produzida por um analisador morfológico em vez de lida diretamente do texto.
Analisador morfológico 形態素解析器: Uma ferramenta que segmenta o texto em japonês em morfemas e atribui etiquetas de classe gramatical. MeCab, Sudachi e Juman++ são as escolhas comuns, e nem sempre concordam entre si.
Furigana / ruby ふりがな・ルビ: Pequenos kana impressos acima ou ao lado de um kanji para indicar sua leitura. É uma glosa de pronúncia, não conteúdo, então precisa de representação própria no texto anotado.
Okurigana 送り仮名: Kana escritos depois de um kanji para indicar a flexão. Várias grafias costumam ser permitidas para a mesma palavra, o que é uma fonte comum de variação de superfície.
Hyoukiyure 表記ゆれ: Variação ortográfica — a mesma palavra aparecendo em escritas ou grafias diferentes ao longo de um corpus. É o defeito mais comum em conjuntos de dados em japonês sem especificação.
Zenkaku / hankaku 全角・半角: Formas de caractere de largura total e de meia largura. Ａ e A são caracteres diferentes que parecem quase idênticos, então a normalização precisa ser declarada explicitamente.
Josuushi 助数詞: Classificadores numéricos anexados aos números, que mudam conforme o tipo de coisa contada. Sua leitura é irregular, o que importa especialmente para dados de fala.
Anáfora zero ゼロ代名詞: Um sujeito ou objeto omitido que precisa ser recuperado do contexto. É onipresente no japonês e uma causa frequente de ligação ao referente errado em texto gerado.
Kyuujitai 旧字体: Formas de kanji anteriores à reforma, ainda encontradas em documentos antigos, registros legais e alguns nomes próprios. Devem ser preservadas, e não normalizadas, quando identificam uma pessoa ou uma entidade registrada.
Wareki 和暦: Datas japonesas baseadas em eras, como 令和6年. São comuns em documentos oficiais e formulários, e com frequência aparecem ao lado de datas gregorianas na mesma página.

FAQ

Sobre dados da língua japonesa

Perguntas de times que estão construindo seu primeiro conjunto de dados em japonês.

Para prompts e ideias de tarefa, a tradução é um apoio razoável. Para respostas, não: o japonês traduzido carrega a estrutura de frase do inglês, as suposições de polidez do inglês e os hábitos de formatação do inglês, e leitores nativos descrevem os modelos treinados com ele como soando traduzidos. A tradução também não consegue produzir os fenômenos que só existem em japonês — consistência dos honoríficos, recusa indireta, variação de escrita —, que são exatamente os comportamentos que você está tentando ensinar.

Para qualquer coisa que envolva registro, força da recusa ou significado pragmático, o julgamento nativo não é um luxo. Se それはちょっと難しいです soa como uma negativa é um fato sobre como a frase chega a um ouvinte nativo, e um falante não nativo muito avançado pode analisá-la corretamente e ainda assim julgar mal a força. Para tarefas mecânicas com uma diretriz bem especificada, a proficiência avançada costuma ser suficiente.

Importa sempre que os rótulos são spans. Analisadores diferentes colocam as fronteiras em lugares diferentes, então um span anotado contra uma segmentação pode cair dentro de um token em outra, e a marcação BIO vai deslocá-lo em silêncio. Armazenar offsets de caractere junto ao formato de tag é o que faz os dados sobreviverem a uma troca posterior de tokenizador sem reanotação.

Por item, em geral sim — o trabalho de especificação é maior, o conjunto de anotadores é menor e mais tarefas exigem revisão por um segundo falante nativo. O fator que compensa é que dados em japonês bem especificados rendem mais por item, porque boa parte do que o modelo aprende é um estilo consistente, e a consistência se obtém por especificação, não por volume.

Uma amostra dos seus dados reais, incluindo as partes que você considera bagunçadas, mais uma descrição do que o modelo deve fazer com elas. Isso basta para rascunharmos as decisões listadas acima, anotarmos um pequeno piloto e mostrarmos onde dois anotadores razoáveis divergem — que é a forma mais rápida de descobrir o que falta na sua especificação.

Continue lendo

Dados da língua japonesa

A parte difícil é a especificação. Comece por ela.

Envie uma amostra de dados e o que você quer que o modelo faça. Voltamos com as decisões que a sua diretriz vai precisar tomar e um piloto que as testa.

Iniciar um piloto Ver todos os serviços

NDA antes de você compartilhar qualquer dado. A definição do escopo do piloto é gratuita.