일본어 데이터가 AI에 어려운 이유

같은 단어를 한자, 히라가나, 가타카나, 로마자로 쓸 수 있고 네 가지가 한 문장에 모두 나타날 수 있습니다. 卵, たまご, タマゴ는 같은 단어이지만 어감이 다릅니다. コンピュータ와 コンピューター는 한 글자 차이이며 둘 다 표준입니다.

대응 방식 정규화 규약이 자주 쓰이는 단어의 표기를 지정하고, 나머지에 대한 기본 규칙을 정하며, 장음과 전각 · 반각 처리를 확정합니다. 그 밖의 모든 것은 이 문서를 따릅니다.

일본어 텍스트는 끊기지 않은 문자열입니다. 단어 경계는 형태소 분석기가 만들어 내며, MeCab과 Sudachi, Juman++는 같은 문장을 다르게 분절합니다 — 그래서 한 분석기 기준으로 붙인 스팬이 다른 분석기에는 맞지 않을 수 있습니다.

대응 방식 어노테이션 전에 분석기와 사전을 확정하고, 토크나이저가 바뀌어도 살아남도록 스팬을 문자 오프셋으로 저장하며, 토큰 내부에서 끝나는 스팬이 없는지 검증합니다.

일본어 문법은 거의 모든 문장에서 정중함의 선택을 강제합니다. 尊敬語는 상대를 높이고, 謙譲語는 화자를 낮추며, 丁寧語는 중립적인 정중체입니다. 올바른 선택은 내용이 아니라 관계에 달려 있습니다.

대응 방식 제품 접점마다 기본 문체를 하나 정하고 예외를 목록화하며, 검수에서 문체를 별도 기준으로 채점해 내용은 충실하지만 문체가 어긋난 답변이 통과하지 못하게 합니다.

일본어는 맥락으로 복원 가능한 것은 무엇이든 생략합니다. 따로 떼어 놓고 작성한 답변은 엉뚱한 지시 대상에 걸리기 쉽고, 멀티턴 대화에서는 진짜 지시 대상이 여러 턴 앞에 있을 수 있습니다.

대응 방식 대화는 턴 단위가 아니라 전체를 하나의 단위로 어노테이션하고 검수하며, 지시 대상을 정말로 복원할 수 없는 경우는 추측할 대상이 아니라 그 항목의 결함으로 처리합니다.

거절은 어려움이나 사정에 대한 진술로 표현되는 경우가 많습니다. それはちょっと難しいです는 거절이고, ちょっと考えさせてください도 대개 거절입니다. 문자 그대로 읽으면 의미가 뒤집힙니다.

대응 방식 거절 범주와 의도한 강도를 예시와 함께 정의하고, 부정 표현이 들어 있는지가 아니라 일본어 화자가 거절로 읽는지를 기준으로 채점합니다.

한자로 쓴 일본 인명이나 지명은 가능한 읽기가 여러 개인 경우가 많고, 올바른 읽기는 규칙이 아니라 그 개인에 관한 사실입니다. 東海林은 Shoji일 수도 Tokairin일 수도 있으며, 둘 다 실제 성씨입니다.

대응 방식 읽기를 추론하지 않고 별도 필드로 기록하며, 출처로 검증하고, 검증할 수 없는 읽기는 가장 흔한 것을 고르는 대신 미검증으로 표시합니다.

법률, 세무, 의료, 행정 일본어는 각자의 어휘와 문장 구조, 관용 표현을 씁니다. 계약 조항이나 세무 설명이 올바르게 쓰였는지 판단하는 데에는 유창한 일상 일본어만으로는 충분하지 않습니다.

대응 방식 데이터가 쓰인 문체에 맞는 어노테이터를 배치하고, 내려야 할 판단이 언어적 판단이 아니라 전문적 판단인 경우에는 도메인 전문가를 투입합니다.