画像・マルチモーダル

日本語の画像・動画・文書アノテーション

バウンディングボックス、ポリゴン、セグメンテーション、キーポイント、動画のトラッキング、OCR、文書レイアウト。画像内の文字が日本語で、文書が日本の商慣行に沿っているデータを対象とします。

画像アノテーションの多くは言語に依存しません。ところがフレームに文字が入った瞬間、あるいはページに日本の帳票が現れた瞬間に、あっという間に言語依存になります。

日本語の画像データが違ってくるところ

車を四角で囲む作業は、どの国でも同じです。日本の領収書の文字を読む作業は、そうではありません。日本語の文書は横書きと同じくらい縦書きで、1行の中に4つの文字体系が混ざり、全角の英字や数字を使い、語の上にふりがなが乗り、欧米の書式が署名を求める位置に社判が押されます。

文書AIのプロジェクトが失敗するのは、モデルではなくこうした細部です。縦の1列を5行と解釈するレイアウトのアノテーションや、全角数字を黙って半角に変換するOCRの書き起こしは、意図したのとは別のことをモデルに教える学習データを生みます。

画面上や街中の文字も同様です。店の看板、商品パッケージ、メニュー、駅の案内表示は、一般的なアノテーションガイドラインがそもそも扱っていない日本語の組版であふれています。

要点

タスク種別
検出、セグメンテーション、キーポイント、分類、動画トラッキング、OCR書き起こし、文書レイアウト、フィールド抽出。
文書関連
請求書、領収書、発注書、契約書、申込書、手書き記入、縦書きの資料。
日本語への対応
縦書き、ふりがな、混在する文字体系、全角文字、日本の帳票の慣行。
標準出力
COCO JSON。YOLO、Pascal VOC、CVAT XML、hOCR、ALTOにも対応します。
レビュー
座標とラベルは壊れ方が違うため、別々にレビューします。

タスク種別

アノテーションの対象

座標、カテゴリ、テキストは別の層であり、レビューも別々に行います。

検出とセグメンテーション

本番開始前に合意したクラスのタキソノミーに沿った、バウンディングボックス、回転ボックス、ポリゴン、ピクセル単位のマスク。

  • 2Dおよび回転バウンディングボックス
  • ポリゴン・インスタンスセグメンテーション
  • セマンティックセグメンテーション
  • 遮蔽・見切れのフラグ

キーポイントと属性

姿勢、製品の状態、状態の等級づけなど、細かい粒度の作業のためのランドマーク配置と、オブジェクト単位の属性。

  • 骨格・ランドマークのキーポイント
  • オブジェクト単位の属性セット
  • 細粒度の分類
  • 点ごとの可視性フラグ

動画アノテーション

フレームをまたいで同一性を保つオブジェクトトラッキングと、行動・イベントの時間的な区間分け。

  • 複数オブジェクトのトラッキングID
  • 行動・イベントの区間
  • フレーム間補間のレビュー
  • 遮蔽後の再同定

OCRと文書レイアウト

日本のビジネス文書に対する、テキスト領域の検出、読み順、書き起こし、構造上の役割の付与。

  • テキスト行・領域の検出
  • 縦書きと混在レイアウトの読み順
  • 正規化ルールに沿った書き起こし
  • 表・ヘッダー・押印領域

フィールド抽出と関係抽出

文書を構造化された値に変えます。どの文字が合計金額か、どの日付が発行日か、どの明細行が同じまとまりか。

  • キー・バリューのフィールド付与
  • 表の明細行のグルーピング
  • ページをまたぐ関係
  • 確信度と曖昧さのフラグ

日本語固有の論点

一般的な画像ガイドラインが見落とすもの

日本語の画像・文書データで繰り返し起きる、4つの破綻点です。

縦書きと読み順

日本語は左から右だけでなく、上から下、右から左にも流れ、1ページで両方が混ざることもよくあります。横書きの行を前提としたツールは、自信を持って間違った読み順を出します。

当社の対応 読み順は座標から推定せず、明示的にアノテーションします。組み方向が混在するページ、ルビ、多段組みのルールも定めます。

ふりがなとルビ

漢字の上や横に小さく組まれたかなは、読みの注記であって本文の一部ではありません。本文に混ぜて書き起こせばテキストが壊れ、無条件に捨てれば必要な情報が失われます。

当社の対応 ルビは、親文字に紐づくアノテーションとして取得します。後工程で残すことも、落とすことも、読みのラベルとして使うこともでき、再アノテーションは不要です。

全角と半角

A123 と A123 はほとんど同じに見えて、別の文字です。ここでの正規化を統制しないことは、日本語のOCRデータセットで最もよくある、気づかれない欠陥の一つです。

当社の対応 書き起こしのルールで、どの文字を正規化し、どの文字をそのまま保つかを明確に定め、納品前に自動チェックで担保します。

日本の帳票の慣行

日本の請求書、領収書、申込書には固有の構造語彙があります。御中、但し書き、社判、和暦の日付、税込と税抜の合計が並んで載ること。

当社の対応 フィールドのスキーマは、お客様の文書種別の実例に沿って構築します。和暦の日付、押印領域、税の扱いは自由記述ではなく、一級のフィールドとして定義します。

プロセス

画像プロジェクトの進め方

誰かが大量にアノテーションを始める前に、実データのサンプルでタキソノミーと座標のルールを固めます。

  1. 01

    サンプルとタキソノミーの定義

    代表的な小さなセットにアノテーションし、曖昧なケースを洗い出します。何を1オブジェクトと数えるか、フレームの端はどう扱うか、どんなときにクラス判定が本当に難しいか。

  2. 02

    座標のルールを書く

    ボックスの詰め方、遮蔽の扱い、最小オブジェクトサイズ、見切れ、集合オブジェクト、判読できない文字の扱いを、すべて文書で固定します。

  3. 03

    キャリブレーション

    複数のアノテーターが同じ画像を独立にラベル付けします。座標の一致率を計測し、低い箇所はルールが曖昧だった箇所です。

  4. 04

    アノテーションとレビュー

    座標とラベルは別々の工程としてレビューします。誤ったクラスに正確なボックスを引くことと、正しいクラスに緩いボックスを引くことは、別の欠陥だからです。

  5. 05

    納品と報告

    ご指定の形式で、タキソノミーのバージョン、クラス別の件数、そのバッチのQAレポートを添えて納品します。

納品

入出力の形式

コンバーターを書いていただくのではなく、お客様の学習パイプラインが元から扱う形式で書き出します。

画像・動画・文書業務でよく使う出力形式。
タスク標準出力その他の対応形式
検出とセグメンテーションCOCO JSONYOLO、Pascal VOC、CVAT XML、PNGのマスク
キーポイントと属性COCO keypoints JSONCSV、カスタムJSONスキーマ
動画トラッキングMOT形式フレーム単位のCOCO、CVAT XML
OCRとレイアウトページ座標付きJSONhOCR、ALTO、PAGE XML
フィールド抽出JSONL、1行1文書CSV、お客様の文書AIスキーマ

品質

この業務に固有の品質管理

画像の欠陥はうまく隠れます。学習より先にそれを表に出すのが、以下のチェックです。

  • 再アノテーションしたサンプルで座標の一致率を計測し、ラベルの一致率とは分けて報告する。
  • 潰れたボックス、重複したボックス、画像範囲外のオブジェクトを自動で検出する。
  • 読み順とルビの紐づけは、抜き取りではなく全ページで検証する。
  • 全角・半角の正規化は、明文化したルールに照らして自動的に担保する。
  • トラッキングの同一性はクリップ全体を通して確認し、遮蔽後の取り違えを検出する。
  • クラス別の件数を毎バッチ確認し、あるクラスが静かにデータから消えていくのを早期に気づく。

よくあるご質問

画像・動画・文書について

日本語の画像AI・文書AIの業務について、よくいただくご質問。

はい。帳票の手書き記入、住所、氏名、自由記述のコメントに対応します。手書きは印字より時間がかかり、実際に曖昧さの発生率も高いため、推測せずに不確かな文字にはマークを付けます。また、判読できない項目を最善の推定で書き起こすのか、判読不能としてフラグを立てるのかを事前に合意します。この判断は、生の正解率の数値よりモデルにとって重要です。

はい。CVAT、Label Studio、SageMaker Ground Truth、Labelbox、社内ツールなど、お客様にご用意いただいたプラットフォーム上で作業します。アカウントを発行せずに進めたい場合は、当社のセキュアな環境でも対応します。どのツールを使うかで、ガイドラインもレビュー工程も変わりません。

はい。大量の検出作業では、たいていそれが妥当な進め方です。リスクは、修正工程がモデルの死角をそのまま引き継ぐことです。そのため修正工程をゼロからのサンプルと突き合わせて計測し、実際に何を拾えているかをお伝えします。日本語文書のOCRについては、より慎重に扱います。全角文字と縦書きに関するモデルの誤りは、画面上で見落としやすいからです。

NDAとデータ処理契約のもと、隔離環境で、プロジェクトに参加している人だけにアクセスを限定して扱います。マスキングのために個人情報をアノテーションすることも、お客様側でマスキング済みの資料だけを扱うこともできます。保持と削除の条件は、社内方針に委ねるのではなく契約で合意します。

日本語の文書では、2024年ではなく 令和6年 のように和暦がよく使われ、同じページに両方が混在することも多くあります。当社は和暦の日付を独立したフィールドとして扱い、元の文字列をそのまま保持したうえで、必要に応じて西暦に正規化した値を併記します。変換で情報が失われることも、変換誤りがデータに焼き付くこともありません。

画像・動画

1ページでも、1フレームでも、フォルダごとでも、お送りください。

実際の文書や映像の代表的なサンプルがあれば、タキソノミーの草案を書き、パイロットセットにアノテーションし、どこに曖昧さが出るかをお伝えできます。

データをご共有いただく前にNDAを締結します。パイロットの要件定義は無料です。