일본어 NLP 어노테이션 — 개체, 관계, 분류

고객사 파이프라인이 쓰는 것을 씁니다 — IPAdic이나 UniDic을 쓰는 MeCab, Sudachi, Juman++, 또는 고객사 모델의 서브워드 토크나이저입니다. 스팬 경계는 하나의 분절에만 정렬되므로 킥오프에서 확정하며, 그 아래에 문자 오프셋을 저장해 두어 나중에 분석기를 바꾸더라도 재어노테이션이 아니라 재출력으로 해결되게 합니다.

가능하며, 저희 것을 강요하기보다 귀사의 것을 채택하는 편을 택합니다. 다만 먼저 샘플로 스트레스 테스트를 합니다. 기존 분류 체계에는 실무에서 서로 겹치는 것으로 드러나는 범주가 두세 개 있기 마련이고, 그것을 5만 건 뒤에 발견하는 것보다 파일럿 중에 발견하는 편이 훨씬 저렴합니다.

작업에 따라 전적으로 달라집니다. 깨끗한 텍스트의 명확한 개체 유형은 금세 높은 일치도에 도달하지만, 측면 기반 감성이나 세분화된 의도 분류 체계는 그렇지 않습니다. 그렇지 않다고 주장하는 프로젝트는 대개 실제 납품물보다 쉬운 무언가를 측정하고 있습니다. 저희는 파일럿에서 나온 라벨별 실제 수치를 보고하며, 어떤 범주가 쓸 만한 일치도에 도달할 수 없다면 그렇다고 말씀드리고 범주를 바꾸자고 제안합니다.

분류 체계가 정말로 필요로 하는 경우 다룹니다 — 일본어 복합 명사와 조직명이 흔한 이유입니다. 중첩 규칙은 가이드라인에 명시하고 자동으로 검증합니다. 허용은 되어 있지만 명세되지 않은 중첩은 비일관성의 확실한 원천이기 때문입니다.

가능합니다. 모델 출력을 수정하는 방식은 대량 작업에서 효율적이며, 다른 곳과 같은 주의 사항이 따릅니다. 수정 작업은 모델의 사각지대를 그대로 물려받는 경향이 있습니다. 저희는 수정 작업을 처음부터 작업한 샘플과 비교 측정해 실제로 무엇을 잡아내고 있는지 알려 드리며, 평가 세트는 처음부터 어노테이션합니다.