일본어 LLM 평가와 휴먼 피드백

LLM 심판은 저렴하고 빠르며 릴리스 간 회귀 추적에 유용합니다. 다만 일본어가 어려운 바로 그 지점 — 정중함의 적절성, 거절의 강도, 경어의 일관성, 이름의 읽기 — 에서는 신뢰할 수 없습니다. 그런 판단은 원어민의 화용적 지식에 의존하기 때문입니다. 흔한 구성은 사람이 채점한 세트를 기준으로 삼고, 잦은 실행에는 LLM 심판을 쓰며, 주기적으로 사람이 다시 채점해 심판이 기준에서 멀어지지 않았는지 확인하는 방식입니다.

어느 정도 크기의 차이를 감지하려는지, 그리고 몇 개의 기준으로 채점하는지에 달려 있습니다. 잘 고른 수백 개 항목이면 확실히 다른 두 모델은 대개 구분됩니다. 거의 동등한 체크포인트를 구분하려면 훨씬 많이 필요합니다. 저희는 내리려는 의사결정에 맞춰 세트 크기를 정하고, 원하시는 결론을 뒷받침하기에 세트가 너무 작을 때는 그렇다고 말씀드립니다.

가능합니다. 법률, 세무, 회계, 노무, 법인 등기 관련 질의 같은 주제에 대해서는 그 작업이 요구하는 전문성에 맞춰 평가 팀을 구성합니다. 저희는 유자격 전문가를 상시 등록해 두는 인력 풀을 운영하지 않습니다. 투입 가능 여부는 프로젝트마다 그 범위와 물량, 일정에 비추어 판단하며, 어디까지 가능한지는 작업 착수 전에 확인해 드립니다.

합니다. 다만 같은 사람이 하지 않습니다. 한 프로젝트의 평가자는 그 프로젝트의 학습 데이터를 작성한 어노테이터와 분리합니다. 자신이 만드는 데 참여한 가이드라인으로 채점하는 것은 독립적인 측정이 아니기 때문입니다. 데이터를 만든 업체 바깥에서 평가가 이루어지는 편을 원하신다면, 저희는 그것이 합리적인 입장이라고 보며 그렇게 말씀드립니다.

결과와, 그것을 설명하는 실패 분석입니다. 점수만 담긴 리포트는 대응할 수 없습니다 — 필요한 것은 그 뒤에 있는 반복 패턴과 각각의 사례, 그리고 해결책이 데이터를 더 모으는 것인지, 가이드라인을 바꾸는 것인지, 제품을 바꾸는 것인지에 대한 구체적인 견해입니다. 저희는 불편한 결과를 부드럽게 만드는 대신 명확하게 전달하는 편을 택합니다.