成对偏好比较
对同一个提示词的两个回答，依据成文标准进行比较。这是比较模型版本最稳健的方式，因为相对判断远比绝对分数稳定。
- A/B 模型对比
- 平局被明确记录
- 分维度的偏好结果
- 控制位置偏差的呈现顺序
评测与人类反馈
日语 LLM 评测与人类反馈
针对模型实际产出的日语内容，给出结构化的人类判断——由母语者依据成文的评分量表打分，度量一致性，并以书面形式裁定分歧。
一次评测的上限，取决于它的评分量表。如果两个称职的日语母语者给同一个回答打出不同分数，却说不清为什么，那么最后得出的数字不过是披着小数点的噪声。
为什么日语评测需要日语评测员
自动指标与“LLM 当裁判”的做法，用来跟踪趋势是有用的，但在日语中最要紧的那些失效上并不可靠。一个主要用英语训练出来的裁判模型，会欣然通过这样的回答：敬语层级放在该场景下并不合适、拒绝柔和到读不出是在拒绝，或者敬语用法与三轮之前确立的关系相互矛盾。而这些错误，日语用户一眼就能看出来，指标却完全看不见。
所以我们按一位严谨复核员的方式来评测，只是把复核这件事做成了可复现的：为每一个分数档配有实例锚点的量表、打分开始前的校准、在抽样上做盲评双打分，以及打分者出现分歧时的书面裁定。产出的是一组您站得住脚的数字，以及得出这些数字的推理过程。
我们也把独立性当作一项设计约束。项目上的评测员不是撰写其训练数据的人，因为让人给自己写的规范打分，往往会打得偏松。
要点速览
- 评测类型
- 成对偏好比较、量表打分、事实性与依据核查、安全与红队测试、基准测试集构建。
- 打分者
- 常驻日本的母语者；当主题需要时，由领域专家承担。
- 随附报告
- 标注者间一致性、裁定率、分维度拆解，以及完整的打分记录。
- 独立性
- 评测员不是撰写您训练数据的那批标注员。
- 可重复性
- 评分量表有版本管理，因此后一次运行与前一次可以相互比较。
评测类型
我们评测什么
不同的问题需要不同的量具。多数项目会针对同一个模型跑其中两到三项。
量表打分
在具名维度上给出绝对分数——准确性、有用性、语体、格式、安全——每一档分数都配有锚定的描述，说明它究竟意味着什么。
- 带锚点的等级量表
- 分维度打分，而非一个混合总分
- 低分必须写明理由
- 每次运行使用带版本号的量表
事实性与依据核查
一个说法是否属实，以及它是否真的被模型所拿到的那段材料所支持。这是两种不同的失效，分开打分。
- 逐条主张核验
- 引用区间校验
- 无依据主张检测
- 基于日语信源的核实
安全与红队测试
由日语母语者用日语撰写的对抗性提示词，包括翻译而来的提示词集里永远不会有的那些间接与委婉说法。
- 按类别构建的攻击集
- 过度拒答探测
- 日本特有的社会与法律风险
- 带严重程度标记的发现
基准测试集构建
为您的业务领域构建的留出评测集，其中的题目是为了拉开区分度而设计的，而不是为了让所有模型都答对。
- 难度均衡的题库
- 考虑数据污染的题源选取
- 带可接受变体的参考答案
- 可复用的评分脚手架
日语特有问题
非日语的评测会漏掉什么
下面每一项，对英语训练出的裁判模型都是隐形的，对日语读者却一目了然。
语体是否得体
敬語の適切さ一个回答可以语法正确、内容准确，却依然是错的——因为它用对同事说话的语体去面对客户。在日语里，礼貌程度是正确性的一个维度，而不是风格问题。
我们的处理方式 语体是一项具名的量表维度，有自己的锚点，与准确性分开打分，这样一个内容扎实但语体失当的回答就无法躲在它的内容后面。
拒绝的强度
断りの強さ日语的拒绝默认是间接的。一个模型面对被禁止的请求，回了一句 難しいかもしれません，严格说只是含糊其辞，而许多评测设置会把这判为一次成功的拒绝。
我们的处理方式 拒答的打分标准是：日语母语者读来会不会认为这是拒绝，量表各档配有实例；过度拒答被计为一种独立的失效，而不是一次成功。
跨轮次的敬语一致性
敬語の一貫性对话早期确立的关系会约束之后的每一轮。模型经常在对话中途把它重置掉，这在日语用户读来，就像助手忘了自己在跟谁说话。
我们的处理方式 多轮条目按整段对话打分，其中的一致性维度是跨轮次考察的，而不是孤立地看每一个回答。
专有名词与读法
固有名詞・読み日语的专有名词往往有多种有效读法，模型把人名或地名读错，就是在犯一个拼写检查看不出来的事实性错误。
我们的处理方式 实体与读法错误属于事实性问题下的一个独立子类，核实依据的是日语信源，而不是评测员的记忆。
流程
一次评测是怎么跑的
评分量表是比这次运行活得更久的交付物。正是它，让下一次评测能与这一次相互比较。
-
01
定义什么叫“好”
我们把您关心的质量问题转化为具名维度，再用您自己模型输出中的真实例子，为每一个分数档写出锚定的描述。
-
02
构建题目集
提示词通过抽样或撰写获得，覆盖您真正在意的行为，包括随机抽样永远抽不到的罕见与对抗性情形。
-
03
校准打分者
每位评测员都先对同一批校准数据打分。出现分歧就展开讨论、收紧量表锚点，只有当一致性稳定下来之后才正式开始打分。
-
04
打分、双打分、裁定
按既定比例，一部分题目由两位评测员盲评打分。分歧交由资深复核员处理，并记录下裁定的理由。
-
05
连同推理一起报告
您拿到的是分数、一致性统计、裁定记录，以及对反复出现的失效模式的书面总结——而不只是排行榜上的一行。
交付
您会拿到什么
每一个分数都可以追溯到具体的题目、评测员角色、量表版本，以及在写了理由时那段理由本身。
| 交付物 | 格式 | 内容 |
|---|---|---|
| 逐条分数 | JSONL 或 CSV | 题目 id、各维度分数、理由、评测员角色、量表版本 |
| 一致性报告 | PDF 或 Markdown | 各维度的标注者间一致性、裁定率、整轮运行中的漂移情况 |
| 失效分析 | PDF 或 Markdown | 反复出现的模式、各自的实例、建议调整的规范或数据 |
| 红队测试发现 | JSONL | 提示词、回答、类别、严重程度、复现说明 |
| 基准测试集 | JSONL 加脚手架 | 题目、参考答案、可接受的变体、评分脚本 |
质量
针对这类工作的专门控制手段
没有一致性统计的评测只是一种意见。下面这些检查才把它变成一次度量。
- 打分前先做一轮校准，量表每次变更后都重做一次。
- 在既定样本上做盲评双打分，一致性按维度分别报告，而不混合成一个数。
- 每一处分歧都有书面裁定，并作为记录随结果一并交给您。
- 成对比较中回答的呈现顺序随机化，以控制位置偏差。
- 同一项目中，评测员与产出训练数据的团队相互隔离。
- 量表做版本管理，这样几个月后再跑一次，度量的仍是同一件事。
常见问题
关于 LLM 评测
团队在委托第一次日语评测之前会问的问题。
LLM 裁判便宜、快，用来跟踪版本之间的回归很有用。但恰恰在日语最难的地方——礼貌是否得体、拒绝的强度、敬语一致性与名字读法——它并不可靠，因为这些判断依赖母语者的语用知识。一种常见的搭配是：用人工打分集作为基准，用 LLM 裁判跑高频评测，再定期做人工重打分，检查裁判有没有偏离基准。
这取决于您需要检测出多大的差异，以及打分维度有多少。几百道精选题目，通常足以分开两个明显不同的模型；要区分几乎等价的检查点，则需要多得多。我们会按您想要做的那个决策来确定题量，并且当一个题目集小到撑不起您想要的结论时，我们会直说。
可以。对于法律、税务、会计、劳务或商业登记这类主题，我们会围绕任务所需的专业能力组建评测团队。我们不维持固定的持证专业人士名册——能否安排到位，要结合项目的范围、数据量与时间要求逐个评估，我们会在工作启动前确认实际可行的方案。
会做，但不会用同一批人。项目上的评测员与撰写其训练数据的标注员是分开的，因为拿自己参与撰写的规范去打分，算不上独立的度量。如果您更希望评测完全放在产出数据的供应商之外，我们认为这是一个合理的立场，也会照实这么说。
照实报告结果，并附上解释结果的失效分析。一份只有分数的报告没法据以行动——您真正需要的是分数背后反复出现的模式、每一种模式的实例，以及一个明确的判断：该补的是数据、该改的是规范，还是该动产品本身。与其把一个刺耳的结论说软，我们宁可把它说清楚。