법률
변호사
弁護士
일본 법률과 계약, 규제, 법적 추론.
- 법률 문서 어노테이션
- 법률 답변 검증
- 계약서 분류
- 법적 추론 평가
일본 도메인 전문성
일본어가 아니라 일본을
이해하는 AI를 학습시킵니다.
일본어를 이해하는 것과 일본을 이해하는 것은 다릅니다. 법률과 규제, 세제, 회계, 고용 제도, 상관행은 모두 현지에 대한 전문 지식을 요구합니다.
저희는 AI 팀이 그 전문성을 학습 데이터와 평가용 데이터셋, 휴먼 피드백 워크플로에 담아낼 수 있도록 지원합니다.
도메인 전문가 어노테이션
AI에 언어 능력 이상이
필요해질 때.
전문 분야의 AI에는 그 분야를 아는 사람의 지식이 필요합니다. 저희는 프로젝트가 실제로 요구하는 도메인 전문성에 맞춰 어노테이션과 평가를 맡을 팀을 구성합니다 — 법률과 세무부터 회계, 노무, 금융, 그 이상까지.
규제 산업에서 쓰이는 AI에는 유창한 일본어 이상이 필요합니다. 해당 분야의 용어와 규정, 실무 절차, 판단 기준을 아는 사람이 있어야 합니다. 저희는 일본에 대한 전문 지식이 필요한 AI 프로젝트를 대상으로 전문가가 주도하는 어노테이션과 평가, 검증, 데이터셋 구축을 지원합니다.
전문직 분야
세무
세무사
税理士
일본 세제와 세무 절차, 세무 전문 지식.
- 세무 질의 평가
- 세무 문서 분류
- AI 답변 검증
- 세무 용어 어노테이션
회계
공인회계사
公認会計士
회계 기준과 재무제표, 감사, 기업 재무.
- 재무제표 해석
- 회계 데이터 분류
- 회계 답변 검수
- 감사 관련 데이터셋 평가
노무 · 인사
노무 · 사회보험 전문가
社会保険労務士
일본의 노동 · 사회보험 분야 국가자격인 사회보험노무사
노동 관계 법령과 사회보험, 급여, 인사 컴플라이언스.
- 노동법 데이터셋
- 고용 관련 법규 어노테이션
- 사회보험 분류
- 급여 관련 AI 평가
등기
사법서사
司法書士
법인 등기와 부동산 등기, 법률 절차.
- 법인 등기 데이터셋
- 부동산 등기 데이터셋
- 법률 문서 분류
- 절차 관련 QA 평가
그 밖의 전문 분야
용어와 격식, 엣지 케이스는 산업마다 다릅니다. 프로덕션에 들어가기 전에 고객사 팀과 함께 용어집을 만듭니다.
- 금융
- 법률
- 헬스케어
- 이커머스
- 고객 지원
- 여행
- 기술
저희는 유자격 전문가를 상시 등록해 두는 인력 풀을 운영하지 않습니다. 어노테이션 팀은 프로젝트가 요구하는 전문성에 맞춰 매번 새로 구성하며, 투입 가능 여부는 해당 프로젝트의 범위와 물량, 전문 영역, 일정에 비추어 판단합니다. 프로젝트에 필요한 자격을 확보할 수 없는 경우에는 착수 전에 말씀드립니다.
전문성 수준
작업마다 필요한 만큼의 전문성.
전문가 검수가 언제나 정답인 것은 아닙니다. 저희는 작업이 실제로 요구하는 수준에 전문성을 맞춰, 판단이 정말 필요한 곳에 예산이 쓰이도록 합니다.
레벨 01
일반 어노테이터
일본어 능력은 필요하지만 전문 지식까지는 요구되지 않는 작업.
레벨 02
도메인 특화 어노테이터
특정 산업에 대한 실무 지식이나 학술적 지식이 필요한 작업.
레벨 03
전문직 · 유자격 전문가
고도의 도메인 지식이나 전문 실무 경험, 또는 특정 자격이 필요한 작업.
전체 구조
일본의 전문성을 AI가 쓸 수 있는 데이터로.
도메인 지식은 구조화되고 검수 가능한 데이터로 옮겨질 때 비로소 모델에 쓸모가 생깁니다. 저희가 제공하는 것은 바로 그 변환입니다.
일본의 전문성
- 일본어
- 법률 · 규제
- 세제
- 회계 실무
- 노무 실무
- 상관행
- 전문 용어
전문가 어노테이션 · 평가
바로 쓸 수 있는 AI 데이터셋
활용 사례
전문 영역 AI를 위한 작업.
이 작업의 대부분은 생성형 AI를 다루는 일입니다. 모델이 만들어 낸 결과를 판정하고, 후보들의 우열을 매기고, 틀리면 대가가 큰 영역에서 어디서 무너지는지 찾아냅니다.
LLM 학습
전문 영역의 AI를 학습시키기 위한 고품질 전문가 피드백.
AI 답변 평가
생성된 답변을 정확성과 관련성, 추론의 질, 전문적 타당성 기준으로 평가합니다.
RLHF / 휴먼 피드백
해당 도메인 지식을 갖춘 어노테이터에게서 순위와 선호 데이터를 수집합니다.
AI 벤치마크
일본어 전문 영역 모델을 위해 전문가가 검수한 벤치마크 데이터셋을 만듭니다.
RAG 평가
검색된 문서와 그에 기반해 생성된 답변이 정확하고 쓸모 있는지 판정합니다.
AI 에이전트 평가
전문 업무나 산업별 워크플로를 수행하는 에이전트를 처음부터 끝까지 검증합니다.
데이터셋 구축
전문 영역 AI 서비스를 위한 일본어 데이터셋을 처음부터 구축합니다.
레드팀
도메인 고유의 오류와 리스크, 환각, 엣지 케이스를 드러냅니다.
프로세스
전문가 어노테이션이 진행되는 방식.
전문가 프로젝트를 무너뜨리는 것은 처리량이 아니라 모호함입니다. 작업의 대부분은 프로덕션이 시작되기 전에 이루어집니다.
-
01
전문성 요건 정의
도메인과 필요한 자격 또는 경험, 작업 난이도, 품질 기준을 명확히 합니다.
-
02
적합한 팀 구성
언어 능력과 전문 지식, 경험, 프로젝트 요건에 맞춰 어노테이터를 구성합니다.
-
03
가이드라인 설계
어노테이션 가이드라인과 평가 기준을 고객사 팀과 함께 작성합니다.
-
04
파일럿 어노테이션
파일럿 배치는 가이드라인에 남은 모호함을 구조적인 오류로 굳기 전에 드러냅니다.
-
05
프로덕션
확정된 가이드라인에 따라 어노테이션과 평가, 순위 매기기, 검증을 수행합니다.
-
06
품질 관리
프로젝트에 필요한 방식에 따라 다단계 검수, 합의 평가, 전문가 판정을 적용합니다.
-
07
납품과 개선
데이터셋은 요청하신 형식으로 납품하고, 가이드라인은 모델 성능에 맞춰 계속 개선합니다.
품질
전문성이 중요할수록
품질은 더 중요해집니다.
전문가 어노테이션은 단순한 일치도 점수에 기댈 수 없습니다. 자격을 갖춘 두 전문가의 판단이 갈리면서도 양쪽 모두 타당할 수 있기 때문에, 이견은 평균으로 뭉개지 않고 판정으로 해소해야 합니다.
- 자격 기준에 따른 검수자 선정
- 캘리브레이션 과제
- 복수 어노테이터 검수
- 전문가 판정
- 합의 기반 평가
- 골드 스탠더드 데이터셋
- 어노테이터 간 일치도 모니터링
- 가이드라인 지속 개선
휴먼 인 더 루프
루프 안에서 전문가가 맡는 자리.
납품물은 전문가가 아닙니다. 검수를 거쳐 구조화된 피드백 데이터가 납품물입니다.
-
AI 모델
현재 상태의 고객사 모델.
-
AI 출력
생성된 답변, 순위, 행동.
-
도메인 전문가
이 영역에서 무엇이 정답인지 아는 전문가.
-
평가와 수정
점수를 매기고, 순위를 정하고, 바로잡고, 근거를 남깁니다.
-
피드백 데이터
구조화되고 검수를 거쳐 바로 납품할 수 있는 형태.
-
모델 개선
다시 학습이나 평가로.
예시
전문가 어노테이션 프로젝트의 모습.
실제 고객 사례가 아니라 프로젝트의 형태를 보여 드리기 위한 예시입니다. 실제 프로젝트는 NDA로 보호됩니다.
법률 AI 어시스턴트의 답변을 일본 법률과 전문가 기준에 비추어 평가합니다.
일본 세무 질의를 처리하는 시스템이 생성한 답변을 검수합니다.
재무제표에 어노테이션하고, AI가 생성한 회계 설명을 평가합니다.
일본의 고용 관계 법령과 사회보험, 인사 절차에 관한 답변을 평가합니다.
일본의 법인 등기와 법률 절차를 다루는 데이터셋을 구축하고 검수합니다.
일본의 특정 전문 산업을 겨냥한 제품을 위해 전문가가 검수한 데이터셋을 구축합니다.
FAQ
전문가 어노테이션에 대한 질문.
여기에 없는 내용은 문의와 함께 보내 주시면 직접 답변드립니다.
일반 어노테이터가 아니라 해당 분야의 전문 지식이나 업계 경험, 학술적 지식을 갖춘 사람이 수행하는 어노테이션과 평가, 검수를 말합니다. 올바른 라벨이, 언어에 능숙한 비전문가로서는 안정적으로 내리기 어려운 도메인 판단에 좌우되는 경우에 활용합니다.
프로젝트에 따라 관련 자격이나 실무 경험을 갖춘 인원이 포함된 팀을 구성할 수 있습니다. 다만 저희는 상시 등록된 인력 풀을 두고 있지 않으며, 투입 가능 여부는 전문 영역과 물량, 일정, 작업 요건에 따라 달라집니다. 어디까지 가능한지는 프로젝트 착수 전에 확인해 드립니다.
프로젝트에 따라 법률, 세무, 회계, 노무 및 사회보험, 법인 등기, 금융, 헬스케어, 엔지니어링을 비롯한 여러 전문 산업의 전문가가 참여할 수 있습니다. 구성은 프로젝트마다 정합니다.
가능합니다. 전문가 어노테이터는 생성된 답변을 사실 정확성과 추론의 질, 전문적 타당성, 관련성, 그리고 프로젝트별 기준 충족 여부에 따라 평가할 수 있습니다.
지원합니다. 프로젝트에 따라 선호 순위 매기기, 답변 평가, 휴먼 피드백 수집을 비롯해 LLM 개발과 평가에 쓰이는 워크플로를 지원합니다.
가능합니다. 도메인 지식이 필요한 데이터셋을 포함해 일본어 벤치마크 데이터셋의 구축과 전문가 검수를 지원합니다.
가능하며, 오히려 권장합니다. 어노테이션 가이드라인과 자격 요건, 품질 관리 프로세스를 규모를 키우기 전에 검증하는 방법이 바로 파일럿입니다.
AI에 일본의 전문성이 필요하신가요?
모델이 무엇을 이해해야 하는지
저희에게 알려 주세요.
도메인과 데이터, 품질 요건, 규모에 맞춰 어노테이션과 평가 워크플로를 설계해 드립니다.
일반 어노테이션부터 도메인 전문가 평가까지.