日本語LLM学習データ — SFT・選好・RLHF

どちらも対応します。日本語ではゼロから書くことがよくあります。使える日本語のオープンな指示データが乏しく、機械翻訳したデータは英語の文構造をそのままモデルに持ち込むからです。サポートログ、マニュアル、社内文書といった既存コンテンツがある場合は、それをもとに書き直すことのほうが多く、そのほうがデータがお客様の実際の領域に根ざします。

実例を添えたスタイルガイド、本番前に複数のアノテーターが同じ項目を独立に書くキャリブレーション、そしてレビューで文体の一貫性を明示的に採点することです。ここでの一貫性は努力目標ではなく、計測できる性質です。私たちが見ているのはアノテーター間の乖離であり、解決した乖離はすべてガイドラインに書き戻します。

最終データの供給源としては使いません。翻訳された指示データは、英語の談話構造、英語の丁寧さの前提、英語の書式習慣を引き継ぎ、それを学習したモデルは、ネイティブが「翻訳調」と評する日本語を出力します。プロンプトの発想を広げる足場として翻訳を使うことはありますが、応答は日本語話者が日本語で書きます。

お客様が合意された場合に限り、かつ必ず人による書き直しとレビューを重ねます。レビューを経ない素通しは行いません。AIの補助を使ったかどうかはレコード単位で記録するので、あとから絞り込みや監査ができます。完全に人が書いたデータが必要な場合は、その前提でプロジェクトを進め、来歴のフィールドがそれを裏づけます。

多くのチームが想像するより少ない量です。丁寧に書かれ、文体の揃った数千件のほうが、その10倍のノイズの多いデータよりも日本語のファインチューニングを前進させることがよくあります。モデルが学んでいるのは、タスクと同じくらい文体だからです。まず数百件のパイロットでガイドラインを検証し、その計測結果から本番の規模を決めます。