Gán nhãn NLP tiếng Nhật — thực thể, quan hệ và phân loại

Bộ nào mà quy trình của quý khách đang dùng — MeCab với IPAdic hoặc UniDic, Sudachi, Juman++ hoặc một tokenizer cấp từ con lấy từ chính mô hình của quý khách. Chúng tôi chốt điều này khi khởi động dự án vì ranh giới đoạn chỉ căn khớp được với một cách tách từ, và chúng tôi lưu vị trí ký tự bên dưới để sau này việc đổi bộ phân tích chỉ là xuất lại dữ liệu chứ không phải gán nhãn lại.

Có, và chúng tôi thà dùng tập nhãn của quý khách còn hơn áp đặt của mình. Điều chúng tôi sẽ làm là thử sức nó trên một mẫu trước: các bảng phân loại sẵn có thường có hai đến ba nhóm mà trên thực tế lại chồng lấn nhau, và phát hiện điều đó trong giai đoạn thử nghiệm rẻ hơn rất nhiều so với phát hiện sau năm mươi nghìn mục.

Điều đó hoàn toàn phụ thuộc vào tác vụ. Các kiểu thực thể rõ ràng trên văn bản sạch đạt mức đồng thuận cao rất nhanh; thái độ theo khía cạnh và các bảng phân loại ý định chi li thì không, và một dự án khẳng định ngược lại thường đang đo một thứ dễ hơn thứ nó bàn giao. Chúng tôi báo cáo con số thực tế theo từng nhãn từ giai đoạn thử nghiệm, và nếu một nhóm nhãn không thể đạt mức đồng thuận dùng được, chúng tôi sẽ nói thẳng và đề xuất thay đổi nhóm đó.

Có, ở những chỗ bảng phân loại thực sự cần đến — danh từ ghép và tên tổ chức tiếng Nhật là lý do thường gặp. Quy tắc lồng nhau được viết vào tài liệu hướng dẫn và được kiểm chứng tự động, vì việc lồng nhau được cho phép mà không được quy định rõ là một nguồn gây thiếu nhất quán rất đáng tin cậy.

Có. Sửa đầu ra của mô hình là cách hiệu quả cho công việc khối lượng lớn, với cùng điểm lưu ý như ở mọi chỗ khác: các lượt sửa có xu hướng thừa hưởng luôn điểm mù của mô hình. Chúng tôi đo lượt sửa đó so với một mẫu gán nhãn từ đầu để quý khách biết nó thực sự bắt được những gì, còn với các bộ đánh giá thì chúng tôi gán nhãn từ đầu.