サービス

日本語のAI学習データを、あらゆるモダリティで

AIシステムが各段階で必要とするものを、5つのサービスでカバーします。モデルに振る舞いを教える指示データから、それがうまくいったかを判定する人手評価まで。

5つとも土台は同じです。日本国内のアノテーター、記憶ではなくバージョン管理されたガイドライン、そして主張する前に計測される品質。

一つのチームで、データのライフサイクル全体を

アノテーションの問題の多くは、ラベリングの問題ではありません。定義の問題です。同じガイドラインを読んだ二人が、同じ日本語の一文に違うラベルを付ける。そして両方を学習したモデルができあがるまで、誰も気づかない。作業を5つのサービスに分けているのは、その定義を明示的にするためです。サービスごとにタキソノミー上の論点も、破綻の仕方も、品質チェックも異なります。

この5つは、どれか一つを選ぶパッケージではありません。一つのプロジェクトで3つを使うことは日常的にあります。NLPアノテーションでラベル付きコーパスをつくり、LLM学習データで指示・選好のペアに変え、評価でできあがったモデルが実際に何をするかを測る。その全体を貫いて変わらないのが、日本語に対する判断です。

要点

モダリティ
テキスト、音声、画像、動画、文書、マルチモーダルの日本語データ。
モデルの各段階
コーパスのフィルタリング、教師ありファインチューニング、選好・RLHFデータ、評価とベンチマーク。
納品形式
JSONL、CSV、CoNLL-U、SRT、CTM、COCO、またはお客様が定義したスキーマ。
ツール環境
お客様のアノテーション基盤の中で作業します。当社のセキュアな環境でも対応します。
始め方
範囲を絞ったパイロットから。量を増やす前に、タキソノミーと品質を確かめます。

提供内容

5つのサービス、そして専門家アノテーション

それぞれに個別のページがあり、タキソノミー上の判断、日本語固有の落とし穴、納品物を具体的に書いています。

LLM学習データ

文体の判断を明示的に決めたうえで作成する、日本語の指示・選好・RLHFデータセット。

  • 指示・SFTデータ
  • 選好・順位づけデータ
  • マルチターン対話
  • 安全性・拒否・レッドチームデータ
このサービスを見る

LLM評価

日本語のモデル出力に対する人手評価。ルーブリック、ペアワイズ選好、事実性、レッドチーミング。

  • ペアワイズ選好
  • ルーブリック採点
  • 事実性とグラウンディング
  • 安全性とレッドチーミング
このサービスを見る

音声・音響

正規化ルールを明文化したうえで行う、日本語のASR書き起こし、話者分離、意図付与。

  • 書き起こし
  • タイミングとアライメント
  • 話者ラベル
  • 意図・スロット付与
このサービスを見る

画像・動画

日本語の画像・動画・帳票に対する、バウンディングボックス、セグメンテーション、OCR、文書レイアウト。

  • 検出とセグメンテーション
  • キーポイントと属性
  • 動画アノテーション
  • OCRと文書レイアウト
このサービスを見る

テキスト・NLP

日本語テキストのエンティティ、関係、意図、センチメント。トークナイザーの境界は、前提にせず決めてから始めます。

  • 固有表現抽出
  • 関係抽出・イベント抽出
  • 分類
  • センチメントと感情
このサービスを見る

専門家アノテーション

規制のある分野で使われるAIのための、日本のドメイン専門家によるアノテーションと評価。

  • 法律・契約の専門家
  • 税務の専門家
  • 会計・監査の専門家
  • 労務・社会保険の専門家
このサービスを見る

選び方

どのサービスが必要か

モデルの何を変えたいのか、から始めてください。サービスはそこから決まります。たまたま手元にあるファイル形式から決まるものではありません。

目的とサービスの対応。多くのプログラムは、最終的に2つか3つを組み合わせます。
目的が…対応するサービス最初の納品物の例
自然で、文体の整った日本語で答えられるようにしたいLLM学習データスタイルガイドを確定させた、指示・応答ペアのパイロットセット
リリース前に、モデルがどこで間違えるかを知りたいLLM評価ルーブリックと評価者間一致率を添えた、採点済みの評価セット
日本語の音声を正確に聞き取れるようにしたい音声・音響表記の正規化ルールを添えた書き起こし
日本語の文書・帳票・画面上の文字を読ませたい画像・動画代表的な文書サンプルに対するOCRとレイアウトのアノテーション
日本語テキストから構造化された事実を抽出したいテキスト・NLP実際のエッジケースで検証したエンティティ・関係スキーマ
規制のある分野の回答を専門家に判定させたい専門家アノテーション裁定の記録を添えた、専門家レビュー済みの評価セット

ライフサイクル

各サービスの位置づけ

同じデータセットが2つの段階で役立つことは、まずありません。モデルに教えるためにつくったデータは、モデルがすでに見ている以上、そのモデルのテストには向きません。

  1. 01

    コーパスの準備

    生の日本語テキスト・音声・文書に対する、フィルタリング、重複排除のルール、品質と安全性のフラグ付け。そもそも何をアノテーションする価値があるかを決める工程です。

  2. 02

    教師ありファインチューニング

    指示・応答ペア、マルチターン対話、タスクのデモンストレーションを、プロダクトが実際に使う文体で作成します。

  3. 03

    選好とアライメント

    順位づけまたはペアワイズの比較、安全性と拒否の振る舞い、そしてある応答が別の応答より優れている理由を明文化した基準。

  4. 04

    評価

    学習データの作成に関わっていない人による、ホールドアウトセットとルーブリック採点。測定の独立性を保つためです。

  5. 05

    本番運用のモニタリング

    稼働中のモデル出力をサンプリングし、同じルーブリックで採点し、繰り返し起きる失敗を次のデータサイクルに戻します。

納品

形式と納品

すべてのバッチに、どのタキソノミーのバージョンでラベル付けしたかと、前回バッチからの変更履歴を添えます。バージョンをまたいでもデータセットを比較できるようにするためです。

代表的な納品形式。カスタムスキーマはキックオフで定義し、データとともにバージョン管理します。
データ種別標準の納品形式その他の対応形式
テキスト・NLPJSONLCSV、CoNLL-U、brat standoff、Parquet
LLMの指示・選好JSONL(messages/chosen・rejected)CSV、Hugging Faceのデータセット構成
音声タイムスタンプ付きJSONSRT、VTT、CTM、TextGrid、プレーンな書き起こし
画像・動画COCO JSONYOLO、Pascal VOC、CVAT XML、フレーム単位のJSONL
文書・OCRページ座標付きJSONhOCR、ALTO、CSVでのフィールド抽出
評価結果JSONLのスコアとQAレポートCSV、採点用ノートブック、裁定ログ

よくあるご質問

サービスについて

パイロットの範囲を決める前によくいただく、対応範囲とプロセスのご質問。

はい、多くのプログラムがそうしています。典型的な流れは、NLPアノテーションでラベル付きコーパスを整え、そこからLLM学習データを作成し、別のアノテーターグループが評価を行うというものです。一つの契約にまとめれば、タキソノミー、スタイルガイド、QA指標がベンダーごとに作り直されることなく、一貫したまま保たれます。

当社は日本語のためにつくられた体制で、日英のバイリンガル業務もその中に含まれます。他言語の大量案件については、案件を受けて再委託するより、当社は適任のベンダーではないと率直に申し上げます。

作業単位あたりの料金です。1件あたり、音声1時間あたり、画像1枚あたり、評価1件あたりで、タスクの複雑さ、1件あたりに必要なレビュアーの時間、求められる専門性の水準によって変わります。お見積りは、実際のデータでパイロットの範囲を定めたあとに提示します。タスクの説明だけを根拠にした見積りは推測であり、たいてい外れるからです。

当社が起草し、お客様がレビューします。どちらも本番開始前に行います。パイロットは、実際のエッジケースで初稿を壊すために存在します。その過程で解決した判断の相違は、すべて文書に書き戻します。ガイドラインはその後バージョン管理し、納品する各バッチには、どのバージョンでラベル付けしたかを記録します。

まずはここから

モデルに何を学ばせたいか、お聞かせください。

タスク、データサンプル、そして前提となる制約をお送りください。範囲を定めたパイロット計画、確認が必要なタキソノミー上の論点、そして何が難しいかについての率直な見解をお返しします。

データをご共有いただく前にNDAを締結します。パイロットの要件定義は無料です。