アノテーション品質の測り方

当社は正解率の保証を公表していませんし、どのベンダーのものであれ、そうした保証は慎重に見るべきだと考えています。到達可能な正解率は、タスク、タキソノミー、元データの質、そしてそのドメインが本来的にどれだけの曖昧さを含むかによって変わり、いずれもパイロットの前にはわかりません。当社がお約束するのは測定方法です。どの指標を、どう計算し、どの頻度で報告し、バッチが基準に届かなかったときに何をするか。お客様のデータでパイロットを行ったあとであれば、現実的な目標について話せます。そのときには、話す材料が実際に存在するからです。

サンプルデータです。インターフェースが何を報告し、指標が動くとどう見えるかを示すために存在しており、まさにそのためにバッジと注記を見える形で添えています。顧客プロジェクトの結果ではありませんし、そのように提示することもありません。

それだけでは言えません。一致率が測るのは一貫性であって、正しさではありません。同じ誤解を共有しているアノテーターどうしは、完全に一致します。また、偏りのあるタキソノミーでは値が膨らみます。だからこそ生の一致率と並べて偶然一致を補正した係数を報告し、正しさに対する独立したチェックとして、シニアレビュアーが裁定したゴールドセットを置いています。

納品しません。失敗の内容に応じて、対象を絞った再アノテーション、ガイドラインの改訂と該当項目の再作業、あるいは原因が上流にある場合、たとえばタキソノミーが曖昧である、元データがそのタスクを支えられないといった場合には、お客様へのエスカレーションを行います。お客様のモデルに触れた瞬間に崩れる数値を期日どおりに出すより、説明とともに遅れて納品するほうを選びます。

はい、それは妥当なご要望です。ガイドラインとそのバージョン履歴をご確認いただけますし、サンプルを取って独立に採点し、当社の報告値と突き合わせていただけます。お客様が並行してQAを回している場合、両者の乖離は争う対象ではなく、調べる価値のある発見として扱います。