Giọng nói & hội thoại
Chuyển giọng nói thành văn bản, gắn dấu thời gian, phân tách người nói, gán nhãn ý định và slot, gán nhãn cảm xúc hoặc phương ngữ trên âm thanh tiếng Nhật — thực hiện theo một quy ước bằng văn bản chứ không theo thói quen bất thành văn.
Hai người gỡ băng nhận cùng một đoạn âm thanh tiếng Nhật mà không có quy ước sẽ bất đồng ở khoảng một phần ba số dòng. Không phải về nội dung đã nói, mà về cách viết nó ra.
Tiếng Nhật không có khoảng trắng, có bốn hệ chữ viết và có khoảng cách lớn giữa cách một từ phát âm với cách nó được viết theo quy ước. Vì vậy ngay khi âm thanh trở thành văn bản, đã có người phải đưa ra hàng chục lựa chọn: 有難うございます viết bằng kanji hay kana, 3人 viết là 3人 hay 三人, chữ えーっと ở đầu câu được giữ hay bỏ, một lần nói lại giữa chừng được ghi nguyên hay được chỉnh lại.
Không lựa chọn nào trong số đó là sai nếu xét riêng lẻ. Cái sai là đưa ra chúng một cách thiếu nhất quán trên cả kho ngữ liệu, vì một mô hình ASR huấn luyện trên các đích không nhất quán sẽ học rằng cùng một âm thanh ánh xạ tới nhiều chuỗi ký tự khác nhau, và tỷ lệ lỗi của nó hấp thụ phần chênh lệch đó. Đòn bẩy chất lượng lớn nhất trong dữ liệu giọng nói tiếng Nhật là một quy ước chuẩn hóa được viết thành văn bản và được thực thi thật sự.
Vì vậy chúng tôi bắt đầu mọi dự án về giọng nói bằng việc thống nhất tài liệu đó — và nếu quý khách đã có sẵn một tài liệu như vậy, chúng tôi dùng của quý khách thay vì áp đặt của mình.
Tổng quan nhanh
Loại tác vụ
Gỡ băng thường là lớp nền; các phần còn lại được thêm lên trên cùng một trục thời gian.
Nguyên văn hoặc đã làm sạch, theo một quy ước bằng văn bản bao trùm từ đệm, nói lại, lặp từ, phát âm sai và các đoạn không nghe rõ.
Dấu thời gian ở cấp đoạn, cấp phát ngôn hoặc cấp từ, và căn khớp cưỡng bức theo một bản gỡ băng sẵn có nếu đã có.
Ai đang nói, xuyên qua các đoạn chồng tiếng và các lần đổi kênh — chính là phần hay hỏng nhất trên các bản ghi cuộc gọi thực tế.
Phát ngôn đang muốn làm gì và mang theo những giá trị nào, được đắp lên bản gỡ băng để phục vụ trợ lý giọng nói và phân tích cuộc gọi.
Cảm xúc, thái độ, trọng âm ngữ điệu, phong cách nói và biến thể vùng miền, được chấm theo các nhóm đã định nghĩa chứ không theo cảm nhận.
Đặc thù tiếng Nhật
Bốn điểm sau bao trùm phần lớn bất đồng giữa hai người gỡ băng đều có năng lực.
ありがとう, 有難う và アリガトウ là cùng một từ. Nếu để mỗi người gỡ băng tự quyết, kho ngữ liệu sẽ chứa cả ba, và mô hình coi chúng là ba đích khác nhau.
Cách chúng tôi xử lý Quy ước liệt kê hệ chữ viết bắt buộc cho các từ thông dụng, đặt một quy tắc mặc định cho phần còn lại, và một khâu kiểm tra tự động sẽ đánh dấu các biến thể trước khi bàn giao.
Loại từ đếm trong tiếng Nhật đổi cách đọc theo danh từ mà nó đếm — 一本, 一杯, 一人 — và một con số có thể viết là 3, 三 hoặc 参. Nếu viết thiếu nhất quán, độ chính xác về số liệu của mô hình thu được sẽ không thể đo được.
Cách chúng tôi xử lý Một chính sách về chữ số chốt việc dùng số Ả Rập hay kanji theo từng ngữ cảnh, cùng cách ghi loại từ đếm và đơn vị, kèm ví dụ cụ thể cho ngày tháng, tiền, giờ giấc và số điện thoại.
あの, えーっと, まあ và そのー xuất hiện dày đặc trong tiếng Nhật tự nhiên. Giữ lại thì bản gỡ băng nhiễu hơn; bỏ đi thì dữ liệu nguyên văn không dùng được cho các mô hình nhận biết hiện tượng ngắt quãng.
Cách chúng tôi xử lý Biến thể nguyên văn và biến thể làm sạch được định nghĩa riêng, với một danh mục từ đệm cố định và cách viết cố định cho từng biến thể, để lựa chọn này là một thiết lập của dự án chứ không phải phán đoán theo từng tệp.
Tiếng Nhật trong tổng đài dày đặc kính ngữ và khiêm nhường ngữ, và một số cặp thường bị nghe nhầm — いたします với いただきます, よろしいでしょうか với よろしかったでしょうか — bởi những người gỡ băng làm việc gấp gáp.
Cách chúng tôi xử lý Thẩm định viên được hướng dẫn về các mẫu kính ngữ đặc thù cho loại âm thanh của quý khách, và lỗi kính ngữ là một nhóm riêng có tên gọi trong lượt thẩm định chứ không bị gộp vào độ chính xác chung.
Quy trình
Tài liệu quy ước được viết trước khi có ai gỡ băng trọn một tệp, và chỉ được sửa đổi thông qua một thay đổi có quản lý phiên bản.
Chúng tôi nghe một mẫu có tính đại diện — bao gồm cả phần âm thanh tệ nhất chứ không chỉ phần sạch nhất — và xác định điều gì sẽ thực sự khó.
Hệ chữ viết, chữ số, từ đệm, sự kiện phi lời nói, đoạn chồng tiếng, đoạn không nghe rõ, vai người nói và độ mịn của mốc thời gian đều được chốt trong một tài liệu do quý khách phê duyệt.
Nhiều người gỡ băng làm cùng những tệp giống nhau một cách độc lập. Chỗ nào họ khác nhau, chỗ đó quy ước còn mơ hồ và được làm sắc nét lại.
Mọi tệp đều được một người khác nghe lại lượt hai; một mẫu được gỡ băng lại một cách mù để tạo ra con số chính xác đo được.
Bản gỡ băng, mốc thời gian và nhãn được bàn giao kèm phiên bản quy ước, báo cáo QA và danh sách các tệp bị đánh dấu là không dùng được thay vì bị đoán mò.
Bàn giao
Chúng tôi làm việc với âm thanh của quý khách ở nguyên trạng. Khi một codec hoặc tần số lấy mẫu giới hạn những gì có thể đạt được, chúng tôi nói rõ trước khi dự án bắt đầu chứ không phải sau đó.
| Lớp dữ liệu | Đầu ra mặc định | Cũng có sẵn |
|---|---|---|
| Bản gỡ băng | JSON kèm mốc thời gian theo đoạn | văn bản thuần, SRT, VTT |
| Mốc thời gian cấp từ | JSON | CTM, TextGrid |
| Nhãn người nói | RTTM hoặc lượt nói dạng JSON | bản gỡ băng theo từng kênh |
| Ý định và slot | JSONL, mỗi dòng một phát ngôn | CSV, định dạng đoạn CoNLL |
| Nhãn cận ngôn ngữ | JSONL kèm khoảng thời gian | CSV, tệp chú giải ELAN |
Chất lượng
Độ chính xác trên âm thanh tiếng Nhật được đo lường chứ không được tuyên bố — và được đo trên những tệp khó, không phải những tệp dễ.
FAQ
Những điều các đội ngũ hỏi trước khi gửi lô âm thanh tiếng Nhật đầu tiên.
Có, và với âm thanh sạch thì đó thường là phương án đáng tiền hơn. Điểm cần lưu ý là việc sửa một bản gỡ băng của máy khiến người làm nghiêng về chấp nhận những gì đã hiện trên màn hình, nên với dữ liệu huấn luyện, chúng tôi hoặc gỡ băng từ đầu, hoặc chạy một khâu kiểm tra mù trên một mẫu để đo xem lượt sửa thực sự bắt được bao nhiêu lỗi.
Chúng tôi thống nhất trước xem phương ngữ được ghi đúng như lời nói hay được chuẩn hóa về tiếng Nhật chuẩn, vì quyết định đó thay đổi hoàn toàn bộ dữ liệu. Khi phương ngữ nằm trong phạm vi công việc, chúng tôi gán nhãn biến thể, và chúng tôi nói thẳng biến thể nào chúng tôi bố trí được người làm một cách ổn định và biến thể nào thì không.
Chúng tôi làm việc với bản ghi thực tế, kể cả âm thanh cuộc gọi ở băng thông điện thoại, tiếng ồn nền và nhiều người nói chồng lên nhau. Điều quan trọng hơn định dạng là quý khách gửi trước một mẫu có tính đại diện — xác định phạm vi dựa trên âm thanh sạch rồi lại bàn giao trên âm thanh nhiễu chính là cách các dự án về giọng nói đi chệch hướng.
Có, theo NDA và thỏa thuận xử lý dữ liệu, trong một môi trường tách biệt có phân quyền theo vai trò, cùng các điều khoản về thời hạn lưu trữ và xóa dữ liệu được thống nhất trong hợp đồng. Khi bản ghi chứa thông tin cá nhân, chúng tôi cũng có thể đánh dấu để che, hoặc làm việc trên phần âm thanh mà quý khách đã che trước khi gửi. Xem trang bảo mật để có bức tranh đầy đủ.
Có. Chồng tiếng là chỗ việc phân tách tự động hỏng nhiều nhất, và đó là một trong những lý do chính để đưa con người vào. Quy ước của chúng tôi định nghĩa cách phân đoạn và quy gán phần lời nói chồng lên nhau, để cách xử lý được nhất quán thay vì quyết định theo từng tệp.
Giọng nói & âm thanh
Một mẫu có tính đại diện nói cho chúng tôi biết nhiều hơn một bản đặc tả. Chúng tôi sẽ phản hồi bằng một bản quy ước nháp, một mẫu đã gỡ băng và một góc nhìn thẳng thắn về tỷ lệ lỗi có thể trông đợi.
Ký NDA trước khi quý khách chia sẻ bất kỳ dữ liệu nào. Xác định phạm vi thử nghiệm là miễn phí.