なぜ日本語データはAIにとって難しいのか

同じ語を漢字でも、ひらがなでも、カタカナでも、ローマ字でも書けて、4つとも1つの文に現れることがあります。卵、たまご、タマゴ は同じ語で、含みが違います。コンピュータ と コンピューター は1文字違いで、どちらも標準的な表記です。

当社の対応 正規化ルールで、頻出語の表記を列挙し、それ以外の既定を定め、長音と全角・半角の扱いを固定します。以降のことは、すべてその文書から派生します。

日本語のテキストは切れ目のない文字列です。語の境界は形態素解析器が生成するもので、MeCab、Sudachi、Juman++ は同じ文を違うように分割します。一方に合わせて付けたスパンは、他方には整列しないことがあります。

当社の対応 アノテーション前に解析器と辞書を固定し、スパンは文字オフセットで保持してトークナイザーの変更に耐えるようにし、トークンの途中で終わるスパンがないことを検証します。

日本語の文法は、ほぼすべての文で丁寧さの選択を迫ります。尊敬語 は相手を立て、謙譲語 は自分を下げ、丁寧語 は中立的な丁寧さの水準です。正しい選択は内容ではなく、関係によって決まります。

当社の対応 プロダクトの接点ごとに既定の文体を一つ選び、例外を列挙し、レビューでは文体を独立した基準として採点します。内容は良いが文体が誤っている応答が通らないようにするためです。

日本語は、文脈から復元できるものをすべて省きます。単独で書かれた応答は、しばしば誤った指示対象に結びつきます。マルチターンの対話では、本来の指示対象が数ターン前にあることもあります。

当社の対応 会話はターン単位ではなく、まとまりとしてアノテーションしレビューします。指示対象が本当に復元できない場合は、推測するのではなく、その項目の欠陥として扱います。

拒否は、難しさや事情についての説明として表されることがよくあります。それはちょっと難しいです は断りです。ちょっと考えさせてください も、多くの場合は断りです。字義どおりに読むと、意味が反転します。

当社の対応 拒否のカテゴリと意図した強さを実例とともに定義し、拒否は否定語を含むかどうかではなく、日本語話者がそれを拒否と読むかどうかで採点します。

漢字で書かれた日本語の人名や地名には、読みが複数あることがよくあり、どれが正しいかは規則ではなくその個人についての事実です。東海林 はショウジとも トウカイリンとも読み、どちらも実在する姓です。

当社の対応 読みは推定せず、独立したフィールドとして取得し、出典に照らして確認します。確認できない読みは、最も多い読みを選ぶのではなく、未確認として記録します。

法務、税務、医療、行政の日本語には、独自の語彙、文構造、慣用表現があります。契約条項や税務の説明が正しい書き方になっているかを判断するには、日常的な日本語が流暢なだけでは足りません。

当社の対応 データが書かれている文体に合わせてアノテーターを選びます。下される判断が言語的なものではなく専門的なものである場合は、ドメイン専門家を入れます。