サービス
日本語のAI学習データを、あらゆるモダリティで
AIシステムが各段階で必要とするものを、5つのサービスでカバーします。モデルに振る舞いを教える指示データから、それがうまくいったかを判定する人手評価まで。
5つとも土台は同じです。日本国内のアノテーター、記憶ではなくバージョン管理されたガイドライン、そして主張する前に計測される品質。
一つのチームで、データのライフサイクル全体を
アノテーションの問題の多くは、ラベリングの問題ではありません。定義の問題です。同じガイドラインを読んだ二人が、同じ日本語の一文に違うラベルを付ける。そして両方を学習したモデルができあがるまで、誰も気づかない。作業を5つのサービスに分けているのは、その定義を明示的にするためです。サービスごとにタキソノミー上の論点も、破綻の仕方も、品質チェックも異なります。
この5つは、どれか一つを選ぶパッケージではありません。一つのプロジェクトで3つを使うことは日常的にあります。NLPアノテーションでラベル付きコーパスをつくり、LLM学習データで指示・選好のペアに変え、評価でできあがったモデルが実際に何をするかを測る。その全体を貫いて変わらないのが、日本語に対する判断です。
要点
- モダリティ
- テキスト、音声、画像、動画、文書、マルチモーダルの日本語データ。
- モデルの各段階
- コーパスのフィルタリング、教師ありファインチューニング、選好・RLHFデータ、評価とベンチマーク。
- 納品形式
- JSONL、CSV、CoNLL-U、SRT、CTM、COCO、またはお客様が定義したスキーマ。
- ツール環境
- お客様のアノテーション基盤の中で作業します。当社のセキュアな環境でも対応します。
- 始め方
- 範囲を絞ったパイロットから。量を増やす前に、タキソノミーと品質を確かめます。
提供内容
5つのサービス、そして専門家アノテーション
それぞれに個別のページがあり、タキソノミー上の判断、日本語固有の落とし穴、納品物を具体的に書いています。
LLM学習データ
文体の判断を明示的に決めたうえで作成する、日本語の指示・選好・RLHFデータセット。
- 指示・SFTデータ
- 選好・順位づけデータ
- マルチターン対話
- 安全性・拒否・レッドチームデータ
LLM評価
日本語のモデル出力に対する人手評価。ルーブリック、ペアワイズ選好、事実性、レッドチーミング。
- ペアワイズ選好
- ルーブリック採点
- 事実性とグラウンディング
- 安全性とレッドチーミング
音声・音響
正規化ルールを明文化したうえで行う、日本語のASR書き起こし、話者分離、意図付与。
- 書き起こし
- タイミングとアライメント
- 話者ラベル
- 意図・スロット付与
画像・動画
日本語の画像・動画・帳票に対する、バウンディングボックス、セグメンテーション、OCR、文書レイアウト。
- 検出とセグメンテーション
- キーポイントと属性
- 動画アノテーション
- OCRと文書レイアウト
テキスト・NLP
日本語テキストのエンティティ、関係、意図、センチメント。トークナイザーの境界は、前提にせず決めてから始めます。
- 固有表現抽出
- 関係抽出・イベント抽出
- 分類
- センチメントと感情
専門家アノテーション
規制のある分野で使われるAIのための、日本のドメイン専門家によるアノテーションと評価。
- 法律・契約の専門家
- 税務の専門家
- 会計・監査の専門家
- 労務・社会保険の専門家
選び方
どのサービスが必要か
モデルの何を変えたいのか、から始めてください。サービスはそこから決まります。たまたま手元にあるファイル形式から決まるものではありません。
| 目的が… | 対応するサービス | 最初の納品物の例 |
|---|---|---|
| 自然で、文体の整った日本語で答えられるようにしたい | LLM学習データ | スタイルガイドを確定させた、指示・応答ペアのパイロットセット |
| リリース前に、モデルがどこで間違えるかを知りたい | LLM評価 | ルーブリックと評価者間一致率を添えた、採点済みの評価セット |
| 日本語の音声を正確に聞き取れるようにしたい | 音声・音響 | 表記の正規化ルールを添えた書き起こし |
| 日本語の文書・帳票・画面上の文字を読ませたい | 画像・動画 | 代表的な文書サンプルに対するOCRとレイアウトのアノテーション |
| 日本語テキストから構造化された事実を抽出したい | テキスト・NLP | 実際のエッジケースで検証したエンティティ・関係スキーマ |
| 規制のある分野の回答を専門家に判定させたい | 専門家アノテーション | 裁定の記録を添えた、専門家レビュー済みの評価セット |
ライフサイクル
各サービスの位置づけ
同じデータセットが2つの段階で役立つことは、まずありません。モデルに教えるためにつくったデータは、モデルがすでに見ている以上、そのモデルのテストには向きません。
-
01
コーパスの準備
生の日本語テキスト・音声・文書に対する、フィルタリング、重複排除のルール、品質と安全性のフラグ付け。そもそも何をアノテーションする価値があるかを決める工程です。
-
02
教師ありファインチューニング
指示・応答ペア、マルチターン対話、タスクのデモンストレーションを、プロダクトが実際に使う文体で作成します。
-
03
選好とアライメント
順位づけまたはペアワイズの比較、安全性と拒否の振る舞い、そしてある応答が別の応答より優れている理由を明文化した基準。
-
04
評価
学習データの作成に関わっていない人による、ホールドアウトセットとルーブリック採点。測定の独立性を保つためです。
-
05
本番運用のモニタリング
稼働中のモデル出力をサンプリングし、同じルーブリックで採点し、繰り返し起きる失敗を次のデータサイクルに戻します。
納品
形式と納品
すべてのバッチに、どのタキソノミーのバージョンでラベル付けしたかと、前回バッチからの変更履歴を添えます。バージョンをまたいでもデータセットを比較できるようにするためです。
| データ種別 | 標準の納品形式 | その他の対応形式 |
|---|---|---|
| テキスト・NLP | JSONL | CSV、CoNLL-U、brat standoff、Parquet |
| LLMの指示・選好 | JSONL(messages/chosen・rejected) | CSV、Hugging Faceのデータセット構成 |
| 音声 | タイムスタンプ付きJSON | SRT、VTT、CTM、TextGrid、プレーンな書き起こし |
| 画像・動画 | COCO JSON | YOLO、Pascal VOC、CVAT XML、フレーム単位のJSONL |
| 文書・OCR | ページ座標付きJSON | hOCR、ALTO、CSVでのフィールド抽出 |
| 評価結果 | JSONLのスコアとQAレポート | CSV、採点用ノートブック、裁定ログ |
よくあるご質問
サービスについて
パイロットの範囲を決める前によくいただく、対応範囲とプロセスのご質問。
はい、多くのプログラムがそうしています。典型的な流れは、NLPアノテーションでラベル付きコーパスを整え、そこからLLM学習データを作成し、別のアノテーターグループが評価を行うというものです。一つの契約にまとめれば、タキソノミー、スタイルガイド、QA指標がベンダーごとに作り直されることなく、一貫したまま保たれます。
当社は日本語のためにつくられた体制で、日英のバイリンガル業務もその中に含まれます。他言語の大量案件については、案件を受けて再委託するより、当社は適任のベンダーではないと率直に申し上げます。
作業単位あたりの料金です。1件あたり、音声1時間あたり、画像1枚あたり、評価1件あたりで、タスクの複雑さ、1件あたりに必要なレビュアーの時間、求められる専門性の水準によって変わります。お見積りは、実際のデータでパイロットの範囲を定めたあとに提示します。タスクの説明だけを根拠にした見積りは推測であり、たいてい外れるからです。
当社が起草し、お客様がレビューします。どちらも本番開始前に行います。パイロットは、実際のエッジケースで初稿を壊すために存在します。その過程で解決した判断の相違は、すべて文書に書き戻します。ガイドラインはその後バージョン管理し、納品する各バッチには、どのバージョンでラベル付けしたかを記録します。
まずはここから
モデルに何を学ばせたいか、お聞かせください。
タスク、データサンプル、そして前提となる制約をお送りください。範囲を定めたパイロット計画、確認が必要なタキソノミー上の論点、そして何が難しいかについての率直な見解をお返しします。
データをご共有いただく前にNDAを締結します。パイロットの要件定義は無料です。