일본어 LLM 학습 데이터 — SFT, 선호, RLHF

둘 다 합니다. 일본어에서는 처음부터 작성하는 경우가 흔합니다. 쓸 만한 공개 일본어 인스트럭션 데이터가 드물고, 기계 번역된 데이터는 영어 문장 구조를 모델에 그대로 들여오기 때문입니다. 지원 로그나 매뉴얼, 사내 문서 같은 콘텐츠를 이미 가지고 계신 경우에는 그것을 바탕으로 다시 쓰는 편이 더 많으며, 그렇게 하면 데이터가 실제 도메인에 뿌리내립니다.

예시가 담긴 문서화된 스타일 가이드, 프로덕션 전에 여러 어노테이터가 같은 항목을 독립적으로 작성하는 캘리브레이션 라운드, 그리고 검수에서 명시적으로 채점되는 문체 일관성 항목입니다. 여기서 일관성은 지향점이 아니라 측정 가능한 속성입니다 — 저희가 지켜보는 것은 어노테이터 간의 차이이며, 해소된 차이는 모두 가이드에 다시 기록됩니다.

최종 데이터의 원천으로는 쓰지 않습니다. 번역된 인스트럭션 데이터는 영어의 담화 구조와 영어식 정중함의 전제, 영어식 서식 습관을 물려받고, 그것으로 학습한 모델은 원어민 독자가 번역투라고 표현하는 일본어를 내놓습니다. 프롬프트 아이디어의 발판으로 번역을 쓰기는 하지만, 답변은 일본어 화자가 일본어로 작성합니다.

합의하신 경우에만, 그리고 언제나 사람이 다시 쓰고 검수하는 과정을 얹어서 진행합니다 — 검수 없는 통과는 없습니다. AI 지원을 썼는지 여부는 레코드마다 기록하므로 나중에 필터링하거나 감사하실 수 있습니다. 완전히 사람이 작성한 데이터가 필요하시면 그렇게 프로젝트를 운영하며, 이력 필드가 그것을 증명합니다.

대부분의 팀이 생각하시는 것보다 적습니다. 신중하게 작성되고 문체가 일관된 수천 건이, 노이즈가 많은 열 배의 데이터보다 일본어 파인튜닝을 더 멀리 끌고 가는 경우가 많습니다. 모델이 배우는 것이 과제만큼이나 문체이기 때문입니다. 저희는 먼저 수백 건 규모의 파일럿으로 가이드라인을 검증한 뒤, 그 파일럿이 측정한 결과로 프로덕션 규모를 정합니다.