よくある質問
よくあるご質問
実際にいただく質問に、一文で済ませず、必要なだけの長さで答えています。該当するものを探しやすいように、分類しています。
ここにない内容は、お問い合わせの際にお書き添えください。このページに戻すのではなく、個別に回答します。
01
はじめに
最初のプロジェクトがどのように進むか。
範囲を絞ったパイロットから始まります。代表的なデータサンプルと、モデルに何をさせたいかの説明をお送りください。当社はそのタスクが必要とするガイドライン上の判断を起草し、小さなバッチにアノテーションし、そこで計測した一致率を報告します。パイロットは、妥当な二人のアノテーターの判断が分かれる箇所を見つけるためにあります。そこがお客様の仕様の不足している箇所だからです。本番の規模と料金は、見積りではなくパイロットの計測結果から決まります。
データサンプル、タスクの説明、必要な出力形式、そして制約条件です。納期、機密性の要件、当社に使ってほしいツールなど。タスクの説明だけから出した見積りは推測です。最初のバッチのあとで変わる数字を出すより、実データを1時間見るほうを選びます。
データを受領してから1〜3週間が一般的で、そのタスクに必要な仕様の記述量によって変わります。その時間の大半はアノテーションではなく、ガイドラインの起草とキャリブレーションです。すでに検証済みのガイドラインがあるタスクは、かなり速く進みます。
固定の最低数量はありません。小規模なパイロットから大量の本番プログラムまで対応します。実務上の下限を決めるのは初期費用です。ガイドラインの整備、ツールの準備、キャリブレーションは量にほとんど関係なく発生するため、ごく小さな単発の案件では、その割合が不相応に大きくなります。そうした場合は、見積りでごまかさずにその旨をお伝えします。
作業単位あたりです。1件あたり、音声1時間あたり、画像1枚あたり、評価1件あたり。単価は、タスクの複雑さ、レビューの深さ、求められる専門性の水準で決まります。ガイドラインの整備とキャリブレーションは別立てで見積ります。1件もラベル付けする前に発生する、実体のある作業だからです。パイロットの要件定義の打ち合わせに費用はいただきません。
02
サービスと対応範囲
当社が行うことと、当社が適任ではない領域。
当社は日本語のためにつくられた体制です。翻訳レビュー、言語間のアライメント、対訳の評価セットといった日英のバイリンガル業務には対応します。同じ日本語の判断力を使う仕事だからです。他言語の大量案件については、案件を受けて再委託するより、当社は適任のベンダーではないと率直に申し上げます。
はい。お客様がご提供のプラットフォームや仮想デスクトップ上で作業します。データを自社インフラの外に出さないことを方針が求める場合も含みます。アカウントを発行せずに進めたい場合は、当社のセキュアな環境でも対応します。変わるのはツールで、ガイドライン、レビュー工程、QAの報告は変わりません。
日本語に関わる作業であれば、収集も作成も行います。指示データの執筆、評価用プロンプトの構築、台本のある音声の収録、文書サンプルの調達など。汎用のデータ収集事業者ではないため、大規模なフィールド収集については、専門の事業者のほうが適しています。
はい。まず行うのは、そのガイドラインを読み、納品済みデータのサンプルをブラインドで再アノテーションすることです。それによって、追加作業を始める前に、いま手元にあるものが何なのか、既存のラベルが内部で整合しているかどうかも含めてわかります。いま何が入っているかを測らずにデータセットを継ぎ足すことが、不整合を積み上げるやり方です。
はい。長期のAIプログラムでは専任チームの形がよく使われます。同じアノテーターがガイドラインを引き継ぎ、蓄積された文脈そのものが資産になります。同時に、ガイドラインのドリフトが最も問題になる形でもあるため、ゴールドセットに対する定期的な再キャリブレーションを組み込みます。
03
日本語について
日本語対応が実務上どこまでを意味するか。
漢字・ひらがな・カタカナ・ローマ字にわたり、フォーマルな文体からくだけた文体まで対応します。敬語、地域差、スラング、業界特有の専門用語、日英が混在する技術文書も含みます。表記の選択、数字、句読点、絵文字、全角文字の正規化ルールはキックオフで合意します。これらの選択が、コーパスが内部で一貫するかどうかを決めるからです。
はい。これが効くのは、語が何を指すかではなく、文がどう届くかに依存する判断です。拒否が拒否として読めるか、丁寧さの水準が関係に見合っているか、言い回しが翻訳調に聞こえないか。ガイドラインが厳密に定まった機械的なタスクでは、この要件はそこまで重要ではないので、タスクが必要としない専門性に費用をいただくことはせず、それに応じた体制を組みます。
はい。ただし、方言への対応は体制の問題であり、どの変種なら確実に対応できるかは具体的にお伝えします。より重要な判断は、その手前にあります。方言を話されたとおりに書き起こすのか、標準的な日本語に正規化するのか。この選択でデータセットの性格が丸ごと変わるため、意図して決める必要があります。
明文化した正規化ルールを、アノテーション時に適用し、納品前に自動チェックで担保します。頻出語の表記、カタカナの長音の書き方、アラビア数字と漢数字、全角と半角、英数字まわりの空白、句読点を対象とします。表記の揺れは、仕様が定まっていない日本語データセットで最もよくある欠陥であり、最も防ぎやすい欠陥でもあります。
はい。当社のものを押しつけるより、お客様のものを採用したいと考えています。すでに御社の文体で書けているモデルは、そのまま書き続けるべきです。そのうえで行うのは、パイロット中に実際のエッジケースで検証することです。多くのスタイルガイドには、実データに当たると矛盾することが判明するルールが2つか3つあります。
04
品質と納品
品質をどう測り、何が届くか。
偶然一致を補正した係数を伴うアノテーター間一致率、ゴールドセット正解率、裁定率、そして欠陥の合計ではなく名前のついた分類体系ごとに分けたエラー件数です。すべて丸めずにラベル別・基準別で報告します。丸めた数値は、まさに失敗しているカテゴリを隠すからです。それぞれの数値の計算方法と、何を捉え損ねるかは、品質のページに記載しています。
JSONL、CSV、CoNLL-U、COCO、SRT、CTM、TextGrid、hOCR、およびキックオフで定義したカスタムスキーマです。スパンのデータには、どのタグ形式をお選びいただいても、その下に必ず文字オフセットを含めます。あとからトークナイザーを変えても、再アノテーションではなく再エクスポートで済むようにするためです。すべてのバッチに、ガイドラインのバージョンと前バッチからの変更履歴を添えます。
修正も、初回作業と同じレビューと裁定の経路を通します。速い修正専用のレーンをつくることが、バッチ間でデータセットがぶれる原因だからです。原因がガイドラインの欠落である場合は、ガイドラインを改訂し、ご指摘いただいた項目だけでなく影響を受けた項目すべてを再作業します。同じ欠落は、他の箇所でも同じ誤りを生んでいるはずだからです。
スループットは、タスクの複雑さ、レビューの深さ、そしてデータが本来的にどれだけの曖昧さを含むかによって決まり、多くの見積りが認めるよりタスク間の差が大きいものです。当社はお客様のデータでパイロット中に実際のスループットを計測し、それをもとに計画をお約束します。誰もお客様のデータにアノテーションしていない段階で提示する納品日は、約束の形をした推測です。
該当する項目を、お客様と一緒に見ます。たいていは3つのどれかです。ガイドラインが曖昧だった場合は、改訂して再作業します。ガイドラインは明確で、適用が誤っていた場合は、修正してレビューに反映します。ガイドラインが、お客様がもはや望まない内容を定めている場合は、その変更はスコープの判断になります。相違をこの3つのどれかに分類するほうが、個々のラベルについて議論するより生産的です。
05
セキュリティ・法務・商務
機密保持、契約、そして調達部門との進め方。
共有前のNDA、個人情報が関わる場合のデータ処理契約、プロジェクトに参加している人に限定したロールベースのアクセス制御、隔離された作業環境、そして社内方針に委ねるのではなく契約に明記した保持・削除の条件です。各管理策と、同じくらい重要な「当社が主張しないこと」については、セキュリティのページに記載しています。
当社は、お客様との契約に記載されていない認証を主張しません。特定の制度についてお尋ねいただければ、答えが「いいえ」である場合も含めて率直にお答えします。監査に耐えない主張で調達を通過するより、正確であることで落ちるほうを選びます。
お客様です。納品物と、そこから生じたアノテーションは、業務委託契約に基づきお客様に帰属します。当社は、社内での再利用、モデルの学習、実績紹介のためにお客様のデータを保持しません。本ウェブサイトに掲載しているサンプル素材は、説明のために当社が自ら作成したものです。
はい、エンタープライズの案件では通常のことです。実際には履行できない内容、たとえば特定の正解率の数値や、当社が保有していない認証を約束する条項がある場合は、署名して祈るのではなく、その旨を申し上げて代替の文言を提案します。話し合いは遅くなりますが、そうしない場合より短く済みます。
再委託がある場合は開示し、当社の社員を拘束するのと同じ秘密保持義務を課します。黙って前提にすることはありません。再委託を一切禁じる方針であれば、お知らせください。お客様がご判断される前に、その前提で体制を組めるかどうかを確認してお伝えします。
06
専門家アノテーション
ドメイン専門家と、当社が主張することの限界。
必要とするプロジェクトでは、求められるドメインの専門性に合わせてチームを編成します。法務、税務、会計、労働・社会保険、商業登記といった分野で、関連する資格や実務経験を持つ方が加わる場合もあります。当社は有資格の専門家を常時登録した名簿を保有していません。対応可否は案件ごとに、その範囲、分量、専門性、スケジュールに照らして判断し、ご要望の資格をお客様の案件で確保できない場合は、開始前にその旨をお伝えします。
そのタスクがどんな種類の判断を要するかで判断します。用語と文書の慣行は、良い用語集とキャリブレーションがあれば訓練を受けたアノテーターに移転でき、大半の作業ではそのほうが良い答えです。速く、一貫し、費用も抑えられます。専門家が妥当なのは、判断そのものが専門的である場合です。ある解釈が擁護できるか、ある回答が読み手に自らの義務について誤解を与えないか。
はい。ドメイン専門家が、生成された回答を事実の正確さ、推論の質、専門実務としての妥当性、お客様の基準への適合という観点から採点します。アライメント向けの選好ランキング、ベンチマークセット、検索評価、レッドチーミングにも対応します。各判断の理由を記録しており、専門家による評価が費用に見合うのは、たいていその点です。
いいえ。データのアノテーションと評価を行っています。成果物はお客様のAIシステムのための学習データまたは評価データであり、お客様やお客様のユーザーに対する法務・税務・会計上の助言ではありません。アノテーションのプロジェクトで生み出されたものを、エンドユーザーに専門的な助言として提示してはなりません。この区別は双方にとって重要なので、明確に申し上げています。
ほかにご質問がありますか？
直接お尋ねください。
お問い合わせの際にお書き添えいただければ、このページへのリンクではなく、同種のプロジェクトを実際に回してきた者から具体的な回答をお返しします。
1営業日以内にご返信します。