日本語LLMの評価とヒューマンフィードバック

LLM判定は安価で速く、リリース間の回帰追跡には有用です。ただし、日本語が難しい箇所そのもの、つまり丁寧さの適切さ、拒否の強さ、敬語の一貫性、名前の読みでは信用できません。これらの判断がネイティブの語用論的な知識に依存するからです。よくある組み合わせは、人手で採点したセットを基準とし、頻繁な実施はLLM判定に任せ、定期的に人手で採点し直して、判定モデルが基準からずれていないかを確認する形です。

どれくらいの差を検出したいか、いくつの基準で採点するかによります。よく選ばれた数百件があれば、明らかに違う2つのモデルはたいてい区別できます。ほぼ同等のチェックポイントを見分けるには、かなり多く必要です。当社は、お客様が下そうとしている判断に照らして件数を設計し、望む結論を支えるには小さすぎるセットであれば、そうお伝えします。

はい。法務、税務、会計、労務、商業登記といった題材については、タスクが必要とする専門性に合わせて評価チームを編成します。当社は有資格の専門家を常時登録した名簿を保有しておらず、対応可否は案件ごとに範囲・分量・スケジュールに照らして判断し、着手前にどこまで実現できるかをお伝えします。

お受けしますが、同じ人は使いません。あるプロジェクトの評価者は、そのプロジェクトの学習データを書いたアノテーターと分けます。自分が作成に関わったガイドラインに照らして採点するのは、独立した測定ではないからです。データを作成したベンダーの外で評価を行いたいというご判断も妥当だと考えており、その場合はそう申し上げます。

結果と、それを説明する失敗分析です。スコアしか載っていないレポートでは手が打てません。必要なのは、その背後で繰り返されているパターン、それぞれの実例、そして打ち手がデータの追加なのか、ガイドラインの変更なのか、プロダクト側の変更なのかについての具体的な見立てです。都合の悪い結果は、やわらげるよりも明確にお伝えします。