Vì sao dữ liệu tiếng Nhật khó với AI

Cùng một từ có thể viết bằng kanji, hiragana, katakana hoặc chữ Latin, và cả bốn có thể xuất hiện trong một câu. 卵, たまご và タマゴ là cùng một từ với những sắc thái khác nhau; コンピュータ và コンピューター khác nhau một ký tự và cả hai đều chuẩn.

Cách chúng tôi xử lý Một quy ước chuẩn hóa liệt kê hệ chữ viết bắt buộc cho các từ thường gặp, đặt một mặc định cho phần còn lại, và chốt cách xử lý trường âm cùng dạng full-width hay half-width. Mọi thứ khác đều thừa hưởng từ tài liệu đó.

Văn bản tiếng Nhật là một chuỗi liền mạch. Ranh giới từ do một bộ phân tích hình thái tạo ra, và MeCab, Sudachi cùng Juman++ tách cùng một câu theo những cách khác nhau — nên một đoạn được gán nhãn theo bộ này có thể không căn khớp với bộ kia.

Cách chúng tôi xử lý Chốt bộ phân tích và từ điển trước khi gán nhãn, lưu các đoạn theo vị trí ký tự để chúng sống sót qua việc đổi tokenizer, và kiểm chứng rằng không đoạn nào kết thúc ở giữa một token.

Ngữ pháp tiếng Nhật buộc phải chọn một mức độ lịch sự ở gần như mọi câu. 尊敬語 nâng đối phương lên, 謙譲語 hạ người nói xuống, còn 丁寧語 là văn phong lịch sự trung tính; lựa chọn đúng phụ thuộc vào mối quan hệ, không phải vào nội dung.

Cách chúng tôi xử lý Chọn một văn phong mặc định cho từng bề mặt sản phẩm, liệt kê các ngoại lệ, và chấm văn phong như một tiêu chí riêng khi thẩm định để một câu trả lời đúng nội dung nhưng sai văn phong không thể lọt qua.

Tiếng Nhật lược bỏ bất cứ thứ gì mà ngữ cảnh có thể khôi phục. Một câu trả lời viết một cách tách rời thường gắn nhầm đối tượng được nhắc tới, và trong hội thoại nhiều lượt thì đối tượng thật có thể nằm cách đó vài lượt.

Cách chúng tôi xử lý Gán nhãn và thẩm định các cuộc hội thoại như những đơn vị trọn vẹn thay vì theo từng lượt, và coi một đối tượng thực sự không khôi phục được là một lỗi của mục dữ liệu chứ không phải thứ để đoán.

Lời từ chối thường được diễn đạt như một nhận xét về độ khó hoặc về hoàn cảnh. それはちょっと難しいです là từ chối; ちょっと考えさせてください thường cũng là từ chối. Đọc theo nghĩa đen sẽ làm đảo ngược ý nghĩa.

Cách chúng tôi xử lý Định nghĩa các nhóm từ chối và mức độ dứt khoát mong muốn của chúng kèm ví dụ cụ thể, và chấm lời từ chối dựa trên việc người Nhật có đọc ra đó là lời từ chối hay không — chứ không dựa trên việc câu đó có chứa từ phủ định hay không.

Một tên người hay tên địa danh tiếng Nhật viết bằng kanji thường có vài cách đọc khả dĩ, và cách đọc đúng là một sự thật về chính cá nhân đó chứ không phải một quy tắc. 東海林 có thể là Shoji hoặc Tokairin; cả hai đều là họ có thật.

Cách chúng tôi xử lý Ghi lại cách đọc thành một trường riêng thay vì suy đoán, kiểm chứng theo một nguồn, và đánh dấu cách đọc không kiểm chứng được là chưa kiểm chứng thay vì chọn cách đọc phổ biến nhất.

Tiếng Nhật trong pháp luật, thuế, y tế và hành chính có bộ từ vựng, cấu trúc câu và cách diễn đạt quy ước riêng. Thành thạo tiếng Nhật đời thường là chưa đủ để phán đoán xem một điều khoản hợp đồng hay một phần giải thích về thuế đã được diễn đạt đúng hay chưa.

Cách chúng tôi xử lý Ghép chuyên viên gán nhãn với đúng văn phong mà dữ liệu được viết ra, và đưa chuyên gia lĩnh vực vào khi phán đoán cần đưa ra là phán đoán nghề nghiệp chứ không phải phán đoán ngôn ngữ.