Fala e conversação
Transcrição, marcação de tempo, diarização de falantes, rotulagem de intenção e slots e marcação de emoção ou dialeto em áudio japonês — produzidas segundo uma convenção escrita, e não segundo um hábito não escrito.
Dois transcritores diante do mesmo áudio em japonês e sem convenção vão divergir em aproximadamente uma linha a cada três. Não sobre o que foi dito, mas sobre como escrever.
O japonês não tem espaços, tem quatro sistemas de escrita e uma distância grande entre como uma palavra soa e como ela é convencionalmente escrita. Assim, no momento em que o áudio vira texto, alguém já tomou dezenas de decisões: se 有難うございます se escreve em kanji ou em kana, se 3人 fica como 3人 ou 三人, se o えーっと no começo da frase é mantido ou removido, se um recomeço no meio da palavra é transcrito ou corrigido.
Nenhuma dessas escolhas é errada isoladamente. Errado é fazê-las de forma inconsistente ao longo de um corpus, porque um modelo de ASR treinado com alvos inconsistentes aprende que o mesmo som corresponde a várias cadeias de caracteres, e a taxa de erro absorve a diferença. A maior alavanca de qualidade em dados de fala em japonês é uma convenção de normalização que esteja escrita e seja de fato cumprida.
Por isso começamos todo projeto de fala acordando esse documento — e, quando você já tem um, adotando o seu em vez de impor o nosso.
Resumo
Tipos de tarefa
A transcrição costuma ser a camada de base; as demais são acrescentadas sobre a mesma linha do tempo.
Literal ou limpa, segundo uma convenção escrita que cobre fillers, recomeços, repetições, erros de pronúncia e trechos inaudíveis.
Marcações de tempo por segmento, enunciado ou palavra, e alinhamento forçado contra uma transcrição já existente, quando houver.
Quem está falando, ao longo de falas sobrepostas e de mudanças de canal — a parte que mais costuma quebrar em gravações reais de chamadas.
O que o enunciado tenta fazer e que valores ele carrega, sobrepostos à transcrição para trabalhos de assistente de voz e de análise de chamadas.
Emoção, sentimento, ênfase prosódica, estilo de fala e variedade regional, pontuados segundo categorias definidas em vez de impressões.
Especificidades do japonês
Estas quatro cobrem a maior parte da divergência entre dois transcritores competentes.
ありがとう, 有難う e アリガトウ são a mesma palavra. Deixado a critério de cada transcritor, um corpus vai conter as três formas, e o modelo as trata como alvos diferentes.
Como tratamos A convenção lista a escrita exigida para as palavras comuns, define uma regra padrão para as demais, e uma verificação automática sinaliza variantes antes da entrega.
Os classificadores japoneses mudam de leitura conforme o substantivo que contam — 一本, 一杯, 一人 — e um número pode ser escrito como 3, 三 ou 参. Se forem escritos de forma inconsistente, a acurácia numérica do modelo resultante fica impossível de medir.
Como tratamos Uma política de numerais fixa o uso de algarismos arábicos ou de kanji por contexto, e como classificadores e unidades são transcritos, com exemplos comentados para datas, valores, horas e telefones.
あの, えーっと, まあ e そのー são onipresentes no japonês espontâneo. Mantê-los deixa as transcrições mais ruidosas; removê-los torna os dados literais inúteis para modelos que precisam lidar com disfluências.
Como tratamos As variantes literal e limpa são definidas separadamente, com um inventário fixo de fillers e a grafia de cada um, de modo que a escolha seja uma configuração do projeto e não um julgamento arquivo a arquivo.
O japonês de call center é denso em formas honoríficas e humildes, e várias são comumente ouvidas errado — いたします e いただきます, よろしいでしょうか e よろしかったでしょうか — por transcritores trabalhando em ritmo acelerado.
Como tratamos Os revisores são orientados sobre os padrões honoríficos específicos do seu tipo de áudio, e os erros de honorífico são uma categoria nomeada na passagem de revisão, em vez de serem diluídos na acurácia geral.
Processo
O documento de convenção é escrito antes de alguém transcrever um arquivo inteiro, e só é revisado por meio de uma alteração versionada.
Ouvimos uma amostra representativa — incluindo o seu pior áudio, não apenas o mais limpo — e identificamos o que de fato será difícil ali.
Escrita, numerais, fillers, eventos não vocais, sobreposição, trechos inaudíveis, papéis de falante e granularidade das marcações de tempo são todos fixados em um documento aprovado por você.
Vários transcritores trabalham os mesmos arquivos de forma independente. Onde divergem, a convenção estava ambígua e é afinada.
Cada arquivo recebe uma segunda escuta feita por outra pessoa; uma amostra é retranscrita às cegas para produzir um índice de acurácia medido.
Transcrições, marcações de tempo e rótulos são entregues com a versão da convenção, o relatório de QA e uma lista dos arquivos sinalizados como inutilizáveis, em vez de adivinhados.
Entrega
Trabalhamos com o seu áudio como ele é. Quando um codec ou uma taxa de amostragem limita o que é possível, dizemos isso antes de o projeto começar, e não depois.
| Camada | Saída padrão | Também disponível |
|---|---|---|
| Transcrição | JSON com marcações de tempo por segmento | texto simples, SRT, VTT |
| Marcação de tempo por palavra | JSON | CTM, TextGrid |
| Rótulos de falante | RTTM ou turnos de falante em JSON | transcrições por canal |
| Intenção e slots | JSONL, um enunciado por linha | CSV, formato de spans CoNLL |
| Rótulos paralinguísticos | JSONL com intervalos de tempo | CSV, arquivos de anotação ELAN |
Qualidade
A acurácia em áudio japonês é medida, não afirmada — e medida nos arquivos difíceis, não nos fáceis.
FAQ
O que os times perguntam antes de enviar o primeiro lote de áudio em japonês.
Podemos, sim, e para áudio limpo isso costuma ter melhor custo-benefício. A ressalva é que corrigir uma transcrição automática enviesa a pessoa a aceitar o que já está na tela; então, para dados de treinamento, ou transcrevemos do zero ou fazemos uma checagem às cegas em uma amostra para medir quanto a passagem de correção está realmente pegando.
Combinamos de antemão se o dialeto é transcrito tal como falado ou normalizado para o japonês padrão, porque essa decisão muda o conjunto de dados por completo. Quando o dialeto está no escopo, marcamos a variedade, e somos francos sobre quais variedades conseguimos cobrir de forma confiável e quais não conseguimos.
Trabalhamos com gravações reais, incluindo áudio de chamadas em banda telefônica, ruído de fundo e falantes sobrepostos. Mais importante do que o formato é você enviar uma amostra representativa desde o início. Definir o escopo com áudio limpo e depois entregar sobre áudio ruidoso: é assim que projetos de fala dão errado.
Sim, sob NDA e acordo de processamento de dados, em um ambiente isolado com acesso baseado em funções e com prazos de retenção e método de exclusão acordados em contrato. Quando as gravações contêm informações pessoais, também podemos marcá-las para supressão, ou trabalhar sobre áudio que você já tenha tratado antes de enviar. Veja a página de segurança para o quadro completo.
Sim. A sobreposição é onde a diarização automática mais falha, e é uma das principais razões para colocar uma pessoa nessa tarefa. Nossa convenção define como a fala sobreposta é segmentada e atribuída, de modo que o tratamento seja consistente em vez de decidido arquivo a arquivo.
Fala e áudio
Uma amostra representativa nos diz mais do que uma especificação. Voltamos com um rascunho de convenção, uma amostra transcrita e uma visão honesta da taxa de erro a esperar.
NDA antes de você compartilhar qualquer dado. A definição do escopo do piloto é gratuita.