金融サービス
商品資料、届出書類、開示文書、顧客向けの案内、コンプライアンス文書。日本のビジネス文書の中でも、とりわけ硬い文体で書かれています。
繰り返し起きる落とし穴 一つの文書の中で数値の書式が揺れます。アラビア数字と漢数字、億 と 万 の単位、和暦と西暦の併存。統制しなければ、抽出した数値は信頼できなくなります。
代表的なタスク
業界
業界別に見る、日本語のAIデータ
用語も、文体の硬さも、エッジケースも、業界によって大きく異なります。このページでは、9つの業界でデータが通常どのような姿をしているか、それぞれで何が壊れやすいか、そして最も多くご依頼いただくタスクをまとめています。
用語集は、本番開始前にお客様のチームと作り込みます。業界の知識は、その初稿を白紙ではなく出発点にするためのものです。
業界知識の大半は語彙です。そうでなくなるまでは。
多くの業界で、業界の専門性とは用語と文書の慣行のことです。与信 が貸付ではなく信用の評価を指すと知っていること、日本の請求書が税込と税抜の合計を分けて示すこと、サポートのチケットのエスカレーションが怒りの言葉ではなく丁寧さの水準の変化で表れること。
この種の知識は、良い用語集と数日のキャリブレーションがあれば、訓練を受けたアノテーターに移転できます。大半のプロジェクトではそれが正しい進め方です。必要のない作業に専門家を集めるより速く、安く、しかも一貫したデータになります。
ただし、種類の違う判断もあります。ある契約条項に執行力があるか、ある税務処理が正しいか、社会保険についてのAIの回答が読み手を誤らせないか。これらは専門的な判断であり、その背後にある訓練を用語集で代替することはできません。お客様のタスクのどれがどちらに属するかを見極めることが、この話し合いの価値のほとんどです。
要点
- 対象業界
- 金融、法務、医療・ライフサイエンス、Eコマース、カスタマーサポート、製造、旅行、テクノロジー、公共。
- 業界で変わるもの
- 用語、文書の慣行、丁寧さの水準、そして何をもって妥当な判断とするか。
- 業界を問わず変わらないもの
- 明文化されたガイドライン、計測される一致率、シニアレビュアーによる裁定。
- 専門家を入れる場面
- 判断が言語的ではなく専門的である場合。専門家アノテーションのページをご覧ください。
- その他の業界
- 対象範囲は固定の一覧ではなく、データに従って決まります。お問い合わせください。
業界別
9つの業界と、それぞれの難しさ
各項目に、よく見るデータ、繰り返し起きる落とし穴、最も多くご依頼いただくタスクを挙げています。
法務
契約書、規約、社内規程、裁判所・登記所の書類。定型化の度合いが高く、条項の構造も定まった文体で書かれています。
繰り返し起きる落とし穴 条項の区切りと定義語には法的な重みがあります。エンティティのスパンに限定句を含めるかどうかで、そのアノテーションが主張する内容が変わりますが、日本語が流暢なだけではそれが見えません。
代表的なタスク
医療・ライフサイエンス
診療記録、患者向け資料、医薬品関連文書、研究テキスト。略語と、ラテン語・英語由来の用語が濃密です。
繰り返し起きる落とし穴 略語は多義的で文脈に依存し、同じ用語が漢字・カタカナ・ローマ字で現れます。個人情報の取り扱いが、そもそもどう体制を組めるかを制約します。
代表的なタスク
Eコマース・小売
商品名と属性、カタログ文言、検索クエリ、レビュー、問い合わせ。量が多く、形式ばらず、省略が多いテキストです。
繰り返し起きる落とし穴 商品名は文字種を自由に混ぜ、出品者、検索するユーザー、カタログでそれぞれ違う書き方をします。この3つの面をまたいで突き合わせることが、小売のアノテーション依頼の背後に隠れている実際のタスクです。
代表的なタスク
カスタマーサポート
チケット、チャットログ、通話の書き起こし、ナレッジベースの内容。丁寧さの水準そのものが、会話の状態を示すシグナルになります。
繰り返し起きる落とし穴 日本語のエスカレーションは、明示的な苦情ではなく、より硬い言葉づかいへの移行で示されることがよくあります。語彙の手がかりで学習したセンチメントのモデルは、これをまったく捉えません。
代表的なタスク
製造・産業
検査報告書、保守記録、技術マニュアル、安全関連文書、現場の記録。手書きやスキャンであることも多くあります。
繰り返し起きる落とし穴 現場固有の略語と社内用語が大半を占め、どの辞書にもほとんど載っていません。用語集は業界からではなく、お客様の文書から構築する必要があります。
代表的なタスク
旅行・ホスピタリティ
旅程、施設・物件の説明、レビュー、地名、多言語のゲスト対応。
繰り返し起きる落とし穴 日本語の地名や施設名には複数の正しい読みがあり、同じ場所が公式名称と通称のいくつかで現れます。読みの誤りは、検索や音声のプロダクトへ伝播します。
代表的なタスク
テクノロジー・ソフトウェア
ドキュメント、リリースノート、サポートコンテンツ、開発者の議論、UIテキスト。全体を通して日本語と英語の技術語彙が混ざります。
繰り返し起きる落とし穴 外来語がカタカナでも英語でも現れ、1文の中に両方入ることもあり、長音の表記も揺れます。トークナイザーはこれを予測しにくい形で分割するため、スパンのアノテーションが不安定になります。
代表的なタスク
公共・行政
申請書、通知文、法令文、手続きの案内。長年の行政上の慣行に沿って書かれています。
繰り返し起きる落とし穴 和暦の日付、氏名や登記に残る旧字体、そして言い換えずそのまま保持しなければならない定型の行政表現。
代表的なタスク
専門性
専門家が本当に必要になるとき
分かれ目は、語彙がどれだけ専門的かではありません。下される判断が専門的なものかどうかです。
- 解釈自体に争いのあるルールの適用を要するタスク。用語の照合ではなく、法務・税務・規制上の判断であるもの。
- 誤ったラベルが、エンドユーザーに自らの権利、義務、財務について誤解を与えるおそれがあるもの。
- 規制のある分野でAIが回答して安全かどうかの評価に、その出力が使われるもの。
- 元の文書が、訓練を受けたアノテーターには通常の文章に読めてしまう専門的な慣行に沿っているもの。
- あとから説明責任を果たすために、ラベルだけでなく判断の理由の記録が必要なもの。
専門家が必要な場合、当社はプロジェクトが必要とする専門性に合わせてチームを編成します。当社は有資格の専門家を常時登録した名簿を保有しておらず、対応可否は案件ごとに範囲・分量・スケジュールに照らして判断します。ご要望の資格をお客様の案件で確保できない場合は、開始前にその旨をお伝えします。
よくあるご質問
業界の対応範囲について
自社の業界が上の一覧にある場合も、ない場合も、よくいただくご質問。
いいえ。この一覧は、当社が最もよく見るデータ種別を反映したものであり、境界線ではありません。適否を決めるのは、そのタスクが必要とする判断が言語的なものか、用語上のものか、専門的なものかです。サンプルをお送りいただければ、どれに当たるか、そして当社が適任かどうかをお伝えします。
まずお客様の文書から、次に公開情報から、必要な場合は専門家からです。用語集はパイロットの前に起草し、パイロット中に検証し、ガイドラインと並べてバージョン管理します。他のどこにも出てこない社内用語こそ、当社が既に知っているはずのものではなく、お客様から教えていただく前提の部分です。
たいていは可能で、そのほうが良いことも多くあります。一つのガイドラインを担う単一のチームは、複数のチームがそれぞれのガイドラインをつくるより一貫したデータを生みます。事業部門ごとに文体や機密性の境界が本当に異なる場合は、意図して分け、その理由をお伝えします。
業界
どんな文書を扱っているか、お聞かせください。
業界固有の難しさについては、説明よりも代表的なサンプルのほうが多くを語ります。用語集の草案と、専門家が必要かどうかについての見解をお返しします。
データをご共有いただく前にNDAを締結します。パイロットの要件定義は無料です。