検出とセグメンテーション
本番開始前に合意したクラスのタキソノミーに沿った、バウンディングボックス、回転ボックス、ポリゴン、ピクセル単位のマスク。
- 2Dおよび回転バウンディングボックス
- ポリゴン・インスタンスセグメンテーション
- セマンティックセグメンテーション
- 遮蔽・見切れのフラグ
画像・マルチモーダル
バウンディングボックス、ポリゴン、セグメンテーション、キーポイント、動画のトラッキング、OCR、文書レイアウト。画像内の文字が日本語で、文書が日本の商慣行に沿っているデータを対象とします。
画像アノテーションの多くは言語に依存しません。ところがフレームに文字が入った瞬間、あるいはページに日本の帳票が現れた瞬間に、あっという間に言語依存になります。
車を四角で囲む作業は、どの国でも同じです。日本の領収書の文字を読む作業は、そうではありません。日本語の文書は横書きと同じくらい縦書きで、1行の中に4つの文字体系が混ざり、全角の英字や数字を使い、語の上にふりがなが乗り、欧米の書式が署名を求める位置に社判が押されます。
文書AIのプロジェクトが失敗するのは、モデルではなくこうした細部です。縦の1列を5行と解釈するレイアウトのアノテーションや、全角数字を黙って半角に変換するOCRの書き起こしは、意図したのとは別のことをモデルに教える学習データを生みます。
画面上や街中の文字も同様です。店の看板、商品パッケージ、メニュー、駅の案内表示は、一般的なアノテーションガイドラインがそもそも扱っていない日本語の組版であふれています。
要点
タスク種別
座標、カテゴリ、テキストは別の層であり、レビューも別々に行います。
本番開始前に合意したクラスのタキソノミーに沿った、バウンディングボックス、回転ボックス、ポリゴン、ピクセル単位のマスク。
姿勢、製品の状態、状態の等級づけなど、細かい粒度の作業のためのランドマーク配置と、オブジェクト単位の属性。
フレームをまたいで同一性を保つオブジェクトトラッキングと、行動・イベントの時間的な区間分け。
日本のビジネス文書に対する、テキスト領域の検出、読み順、書き起こし、構造上の役割の付与。
文書を構造化された値に変えます。どの文字が合計金額か、どの日付が発行日か、どの明細行が同じまとまりか。
日本語固有の論点
日本語の画像・文書データで繰り返し起きる、4つの破綻点です。
日本語は左から右だけでなく、上から下、右から左にも流れ、1ページで両方が混ざることもよくあります。横書きの行を前提としたツールは、自信を持って間違った読み順を出します。
当社の対応 読み順は座標から推定せず、明示的にアノテーションします。組み方向が混在するページ、ルビ、多段組みのルールも定めます。
漢字の上や横に小さく組まれたかなは、読みの注記であって本文の一部ではありません。本文に混ぜて書き起こせばテキストが壊れ、無条件に捨てれば必要な情報が失われます。
当社の対応 ルビは、親文字に紐づくアノテーションとして取得します。後工程で残すことも、落とすことも、読みのラベルとして使うこともでき、再アノテーションは不要です。
A123 と A123 はほとんど同じに見えて、別の文字です。ここでの正規化を統制しないことは、日本語のOCRデータセットで最もよくある、気づかれない欠陥の一つです。
当社の対応 書き起こしのルールで、どの文字を正規化し、どの文字をそのまま保つかを明確に定め、納品前に自動チェックで担保します。
日本の請求書、領収書、申込書には固有の構造語彙があります。御中、但し書き、社判、和暦の日付、税込と税抜の合計が並んで載ること。
当社の対応 フィールドのスキーマは、お客様の文書種別の実例に沿って構築します。和暦の日付、押印領域、税の扱いは自由記述ではなく、一級のフィールドとして定義します。
プロセス
誰かが大量にアノテーションを始める前に、実データのサンプルでタキソノミーと座標のルールを固めます。
代表的な小さなセットにアノテーションし、曖昧なケースを洗い出します。何を1オブジェクトと数えるか、フレームの端はどう扱うか、どんなときにクラス判定が本当に難しいか。
ボックスの詰め方、遮蔽の扱い、最小オブジェクトサイズ、見切れ、集合オブジェクト、判読できない文字の扱いを、すべて文書で固定します。
複数のアノテーターが同じ画像を独立にラベル付けします。座標の一致率を計測し、低い箇所はルールが曖昧だった箇所です。
座標とラベルは別々の工程としてレビューします。誤ったクラスに正確なボックスを引くことと、正しいクラスに緩いボックスを引くことは、別の欠陥だからです。
ご指定の形式で、タキソノミーのバージョン、クラス別の件数、そのバッチのQAレポートを添えて納品します。
納品
コンバーターを書いていただくのではなく、お客様の学習パイプラインが元から扱う形式で書き出します。
| タスク | 標準出力 | その他の対応形式 |
|---|---|---|
| 検出とセグメンテーション | COCO JSON | YOLO、Pascal VOC、CVAT XML、PNGのマスク |
| キーポイントと属性 | COCO keypoints JSON | CSV、カスタムJSONスキーマ |
| 動画トラッキング | MOT形式 | フレーム単位のCOCO、CVAT XML |
| OCRとレイアウト | ページ座標付きJSON | hOCR、ALTO、PAGE XML |
| フィールド抽出 | JSONL、1行1文書 | CSV、お客様の文書AIスキーマ |
品質
画像の欠陥はうまく隠れます。学習より先にそれを表に出すのが、以下のチェックです。
よくあるご質問
日本語の画像AI・文書AIの業務について、よくいただくご質問。
はい。帳票の手書き記入、住所、氏名、自由記述のコメントに対応します。手書きは印字より時間がかかり、実際に曖昧さの発生率も高いため、推測せずに不確かな文字にはマークを付けます。また、判読できない項目を最善の推定で書き起こすのか、判読不能としてフラグを立てるのかを事前に合意します。この判断は、生の正解率の数値よりモデルにとって重要です。
はい。CVAT、Label Studio、SageMaker Ground Truth、Labelbox、社内ツールなど、お客様にご用意いただいたプラットフォーム上で作業します。アカウントを発行せずに進めたい場合は、当社のセキュアな環境でも対応します。どのツールを使うかで、ガイドラインもレビュー工程も変わりません。
はい。大量の検出作業では、たいていそれが妥当な進め方です。リスクは、修正工程がモデルの死角をそのまま引き継ぐことです。そのため修正工程をゼロからのサンプルと突き合わせて計測し、実際に何を拾えているかをお伝えします。日本語文書のOCRについては、より慎重に扱います。全角文字と縦書きに関するモデルの誤りは、画面上で見落としやすいからです。
NDAとデータ処理契約のもと、隔離環境で、プロジェクトに参加している人だけにアクセスを限定して扱います。マスキングのために個人情報をアノテーションすることも、お客様側でマスキング済みの資料だけを扱うこともできます。保持と削除の条件は、社内方針に委ねるのではなく契約で合意します。
日本語の文書では、2024年ではなく 令和6年 のように和暦がよく使われ、同じページに両方が混在することも多くあります。当社は和暦の日付を独立したフィールドとして扱い、元の文字列をそのまま保持したうえで、必要に応じて西暦に正規化した値を併記します。変換で情報が失われることも、変換誤りがデータに焼き付くこともありません。
画像・動画
実際の文書や映像の代表的なサンプルがあれば、タキソノミーの草案を書き、パイロットセットにアノテーションし、どこに曖昧さが出るかをお伝えできます。
データをご共有いただく前にNDAを締結します。パイロットの要件定義は無料です。