法務
法律・契約の専門家
弁護士
日本の法令、契約、規制、そして法的な論理構成。
- 法律文書のアノテーション
- 法務回答の検証
- 契約書の分類
- 法的推論の評価
日本の専門知識
AIに教えるのは、日本語ではなく、
日本という前提です.
日本語がわかることと、日本がわかることは違います。法令、規制、税制、会計、雇用制度、そして商習慣。いずれも、この国に固有の専門知識を必要とします。
その専門性を、学習データ、評価データセット、ヒューマンフィードバックのワークフローに落とし込むことを支援します。
専門家によるアノテーション
AIに求められるのは、
日本語力だけではありません
専門領域のAIには、専門領域の知識が必要です。法務・税務から会計・労務・金融まで、プロジェクトが実際に必要とする専門性に合わせて、アノテーションと評価のチームを編成します。
規制のある分野で使われるAIには、流暢な日本語だけでは足りません。その分野の用語、規制、実務の流れ、そして判断基準を知っている人が必要です。当社は、日本固有の専門知識を要するAIプロジェクトに対して、専門家によるアノテーション、評価、検証、データセット作成を支援します。
専門職の領域
税務
税務の専門家
税理士
日本の税制、税務手続き、税務実務の専門知識。
- 税務質問への回答評価
- 税務書類の分類
- AI回答の妥当性検証
- 税務用語のアノテーション
会計
会計・監査の専門家
公認会計士
会計基準、財務諸表、監査、コーポレートファイナンス。
- 財務諸表の読み解き
- 会計データの分類
- 会計回答のレビュー
- 監査関連データセットの評価
労務・人事
労務・社会保険の専門家
社会保険労務士
労働・社会保険分野の国家資格（通称「社労士」）
労働関連法令、社会保険、給与計算、人事コンプライアンス。
- 労働法データセット
- 雇用規制のアノテーション
- 社会保険関連の分類
- 給与計算に関するAI評価
登記
登記手続きの専門家
司法書士
商業登記、不動産登記、法的手続き。
- 商業登記のデータセット
- 不動産登記のデータセット
- 法務書類の分類
- 手続き質問応答の評価
その他の専門領域
用語も、文体の硬さも、エッジケースも、業界ごとに異なります。本番開始前に、お客様のチームと用語集を作り込みます。
- 金融
- 法務
- 医療・ヘルスケア
- Eコマース
- カスタマーサポート
- 旅行
- テクノロジー
当社は、有資格の専門家を常時登録した名簿を保有していません。アノテーションチームは、案件が必要とする専門性に合わせて都度編成し、対応可否は案件の範囲・分量・専門性・スケジュールに照らして判断します。ご要望の資格を確保できない場合は、プロジェクト開始前にその旨をお伝えします。
専門性のレベル
タスクに応じて、適切な専門性を。
専門家によるレビューが常に最適とは限りません。タスクが本当に必要としている水準に専門性を合わせることで、判断力が要る場所に予算を集中できます。
レベル 01
一般アノテーター
日本語の言語能力は必要でも、専門的な職業知識までは求められないタスク向け。
レベル 02
ドメイン特化アノテーター
特定の業界について、実務知識または学術的な知識が求められるタスク向け。
レベル 03
専門職エキスパート
高度な専門知識、実務経験、または特定の資格が求められるタスク向け。
全体の流れ
日本の専門知識を、AIが学習できるデータに。
ドメイン知識は、構造化されレビュー可能なデータになって初めてモデルの役に立ちます。この変換こそが、当社のサービスです。
日本の専門知識
- 日本語
- 法令・規制
- 税制
- 会計実務
- 労務実務
- 商習慣
- 専門用語
専門家によるアノテーションと評価
AI向けデータセット
ユースケース
専門領域のAIのために。
この領域の作業の多くは生成AIに関わるものです。モデルの出力を判定し、複数の候補を順位づけし、間違いが許されない分野でどこが破綻するかを見つけ出します。
LLMの学習
専門領域のAIを学習させるための、質の高い専門家フィードバック。
AI回答の評価
生成された回答を、正確さ、関連性、推論、専門実務としての妥当性の観点から評価します。
RLHF・ヒューマンフィードバック
該当分野の知識を持つアノテーターから、ランキングと選好データを収集します。
AIのベンチマーク
日本語の専門領域モデル向けに、専門家がレビューしたベンチマークデータセットを作成します。
RAGの評価
検索された文書と、それに基づく回答が正しく有用かを判定します。
AIエージェントの評価
専門実務や業界特有の業務フローを、エージェントが端から端まで遂行できるかを検証します。
データセットの作成
専門領域のAI向けに、日本語データセットをゼロから構築します。
レッドチーミング
ドメイン特有の誤り、リスク、ハルシネーション、エッジケースを洗い出します。
プロセス
専門家アノテーションの進め方。
専門家が関わるプロジェクトが崩れる原因は、処理量ではなく曖昧さです。作業の大半は、本番開始より前にあります。
-
01
必要な専門性を定義する
対象ドメイン、求められる資格や実務経験、タスクの難易度、品質基準を明確にします。
-
02
適切なチームを編成する
言語能力、専門知識、実務経験、案件要件に照らして、アノテーターを編成します。
-
03
ガイドラインを設計する
アノテーションガイドラインと評価基準を、お客様のチームと一緒に作成します。
-
04
パイロットアノテーション
パイロットバッチにより、ガイドラインの曖昧さが体系的な誤りになる前に洗い出します。
-
05
本番作業
確定したガイドラインに沿って、アノテーション、評価、ランキング、検証を実施します。
-
06
品質管理
案件の要件に応じて、多段階レビュー、コンセンサス評価、専門家による裁定を組み合わせます。
-
07
納品と改善
ご指定の形式でデータセットを納品し、モデルの性能に照らしてガイドラインを改善し続けます。
品質
専門性が問われるほど、
品質の重みは増します。
専門家によるアノテーションは、単純な一致率だけでは測れません。同じ資格を持つ二人の判断が分かれ、どちらにも根拠があることは起こり得ます。だからこそ、相違は平均化するのではなく、裁定する必要があります。
- 資格・経験に基づくレビュアー選定
- キャリブレーションタスク
- 複数アノテーターによるレビュー
- 専門家による裁定
- コンセンサスに基づく評価
- ゴールドセットの整備
- アノテーター間一致率のモニタリング
- ガイドラインの継続的改善
Human-in-the-loop
専門家は、ループのどこにいるのか。
納品物は専門家そのものではありません。レビューを経て構造化されたフィードバックデータです。
-
AIモデル
現時点のお客様のモデル。
-
AIの出力
生成された回答、ランキング、または実行結果。
-
ドメイン専門家
その領域で何が正しいかを知っている専門家。
-
評価と修正
採点し、順位づけし、修正し、その理由を記述します。
-
フィードバックデータ
構造化され、レビュー可能で、そのまま納品できる状態に。
-
モデルの改善
学習または評価のプロセスへ戻します。
事例イメージ
専門家アノテーションのプロジェクト例。
以下は案件の形をイメージしていただくための例であり、実際のお客様の案件ではありません。実案件はNDAの対象です。
法務AIアシスタントの回答を、日本の法令と実務基準に照らして評価します。
日本の税務に関する質問を扱うシステムの生成回答をレビューします。
財務諸表にアノテーションを付与し、AIが生成した会計上の説明を評価します。
日本の労働関連法令、社会保険、人事手続きに関する回答を評価します。
日本の商業登記や法的手続きを対象としたデータセットを作成し、レビューします。
日本の特定業界向けプロダクトのために、専門家がレビューしたデータセットを構築します。
よくあるご質問
専門家アノテーションに関する質問。
ここにない内容は、お問い合わせの際にお書き添えください。個別に回答します。
一般のアノテーターではなく、該当する職業・業界・学術分野の知識を持つ人が行うアノテーション、評価、レビューを指します。正しいラベルがドメインの判断に依存し、日本語が流暢なだけの非専門家では安定して判断できない領域で用いられます。
案件によっては、関連する資格や実務経験を持つ方を含むチームを編成できます。ただし、当社は常設の登録名簿を保有しておらず、対応可否は専門分野、分量、スケジュール、タスク要件によって変わります。どこまで実現できるかは、プロジェクト開始前に必ずお伝えします。
法務、税務、会計、労働・社会保険、商業登記、金融、医療・ヘルスケア、エンジニアリングなど、専門性の高い業界の実務者が参加する場合があります。その組み合わせは案件ごとに決定します。
はい。専門知識を持つアノテーターが、生成された回答を事実の正確さ、推論の質、専門実務としての妥当性、関連性、案件固有の基準への適合という観点から評価します。
はい。案件に応じて、選好ランキング、回答評価、ヒューマンフィードバックの収集など、LLMの開発と評価で用いられるワークフローに対応します。
はい。ドメイン固有の知識を要するものを含め、日本語ベンチマークデータセットの作成と専門家によるレビューに対応します。
はい。むしろ推奨しています。アノテーションガイドライン、求める専門性の要件、品質管理プロセスは、規模を広げる前にパイロットで検証すべきものです。
AIに日本の専門性が必要ですか？
モデルに何を理解させたいか、
お聞かせください。
お客様のドメイン、データ、品質要件、規模に合わせて、アノテーションと評価のワークフローを設計します。
一般的なアノテーションから、専門家によるドメイン評価まで。