어노테이션 품질을 측정하는 방식

저희는 정확도 보증을 공개하지 않으며, 어느 업체가 제시하든 그런 보증은 조심스럽게 봅니다. 달성 가능한 정확도는 작업과 분류 체계, 원본 데이터의 품질, 그리고 그 도메인에 실제로 존재하는 모호함의 양에 따라 달라지는데, 이 중 어느 것도 파일럿 이전에는 알 수 없습니다. 저희가 약속하는 것은 측정 방법입니다 — 어떤 지표를, 어떻게 계산해, 어떤 주기로 보고하며, 배치가 기준에 못 미치면 무슨 일이 일어나는지입니다. 귀사 데이터로 파일럿을 마친 뒤에는 현실적인 목표를 이야기할 수 있습니다. 그때는 이야기할 실체가 생기기 때문입니다.

샘플 데이터입니다. 인터페이스가 무엇을 보고하는지, 지표가 움직일 때 어떤 모습인지 보여 주기 위해 존재하며, 바로 그 이유로 눈에 보이는 배지와 고지 문구를 달고 있습니다. 고객사 프로젝트의 실적이 아니며, 그렇게 제시하지도 않습니다.

그것만으로는 아닙니다. 일치도는 정확성이 아니라 일관성을 측정합니다 — 같은 오해를 공유하는 어노테이터들은 완벽하게 일치합니다. 또한 분포가 치우친 분류 체계에서는 부풀려집니다. 그래서 원시 일치도와 함께 우연 보정 계수를 보고하고, 정확성에 대한 독립적인 점검 장치로 시니어 검수자가 판정한 골드셋을 둡니다.

납품하지 않습니다. 실패의 성격에 따라 대상을 좁힌 재어노테이션, 가이드라인 개정 후 영향 항목 재작업, 또는 원인이 상류에 있는 경우 — 모호한 분류 체계나 작업을 지탱하지 못하는 원본 데이터 — 고객사로의 에스컬레이션으로 대응합니다. 귀사 모델과 만나면 무너질 숫자를 제때 드리기보다, 늦더라도 설명과 함께 드리는 편을 택합니다.

가능하며, 요청하시는 것이 합리적입니다. 가이드라인과 그 버전 이력을 검토하시고, 샘플을 가져가 독립적으로 채점하시고, 그 결과를 저희가 보고한 수치와 비교하실 수 있습니다. 고객사가 자체 QA를 병행하는 경우, 양쪽의 차이는 다툴 사안이 아니라 조사할 가치가 있는 발견으로 다룹니다.