Thị giác & đa phương thức
Khung bao, đa giác, phân vùng, điểm khóa, theo vết trong video, OCR và bố cục tài liệu — trên dữ liệu mà văn bản trong ảnh là tiếng Nhật và tài liệu tuân theo quy ước giấy tờ kinh doanh Nhật Bản.
Phần lớn công việc gán nhãn thị giác không phụ thuộc ngôn ngữ. Nhưng chỉ cần có chữ trong khung hình, hoặc một biểu mẫu Nhật trên trang giấy, là sự độc lập đó biến mất rất nhanh.
Vẽ một khung quanh chiếc xe hơi là công việc như nhau ở mọi quốc gia. Đọc chữ trên một hóa đơn Nhật thì không. Tài liệu Nhật viết theo chiều dọc cũng thường xuyên như viết ngang, trộn bốn hệ chữ viết trong cùng một dòng, dùng ký tự Latin và chữ số dạng full-width, mang furigana phía trên những từ mà nó chú âm, và đặt con dấu công ty ở chỗ mà biểu mẫu phương Tây trông đợi một chữ ký.
Các dự án Document AI thất bại vì những chi tiết này chứ không phải vì mô hình. Một bản gán nhãn bố cục coi một cột dọc là năm dòng riêng biệt, hay một bản chuyển văn bản OCR âm thầm đổi chữ số full-width thành half-width, sẽ tạo ra dữ liệu huấn luyện dạy cho mô hình một thứ khác với điều quý khách định dạy.
Điều tương tự cũng đúng với chữ trên màn hình và chữ ngoài đời thực: biển hiệu cửa hàng, bao bì sản phẩm, thực đơn và bảng thông tin nhà ga đều dày đặc kiểu chữ tiếng Nhật mà các tài liệu hướng dẫn gán nhãn phổ thông đơn giản là không đề cập tới.
Tổng quan nhanh
Loại tác vụ
Hình học, phân loại và văn bản là những lớp riêng biệt, và được thẩm định riêng.
Khung bao, khung bao xoay, đa giác và mặt nạ ở cấp điểm ảnh theo một bảng phân loại lớp đã thống nhất trước khi triển khai chính thức.
Đặt điểm mốc và gán thuộc tính cho từng đối tượng phục vụ nhận dạng tư thế, trạng thái sản phẩm, phân hạng tình trạng và các công việc chi tiết tương tự.
Theo vết đối tượng qua các khung hình với danh tính ổn định, cùng việc phân đoạn theo thời gian cho hành động và sự kiện.
Phát hiện vùng văn bản, thứ tự đọc, chuyển thành văn bản và xác định vai trò cấu trúc trên tài liệu kinh doanh tiếng Nhật.
Biến một tài liệu thành các giá trị có cấu trúc — đoạn chữ nào là tổng tiền, ngày nào là ngày phát hành, những dòng hàng nào thuộc về nhau.
Đặc thù tiếng Nhật
Bốn điểm hay hỏng lặp đi lặp lại trên dữ liệu hình ảnh và tài liệu tiếng Nhật.
Tiếng Nhật viết từ trên xuống dưới, từ phải sang trái, đồng thời cũng viết từ trái sang phải, và một trang thường trộn cả hai. Những công cụ mặc định rằng dòng chữ nằm ngang sẽ tạo ra một thứ tự đọc sai một cách rất tự tin.
Cách chúng tôi xử lý Thứ tự đọc được gán nhãn tường minh chứ không suy ra từ hình học, kèm quy tắc cho trang trộn nhiều hướng viết, chữ ruby và bố cục nhiều cột.
Những chữ kana nhỏ in phía trên hoặc bên cạnh một từ kanji là phần chú âm, không phải nội dung bổ sung. Nếu ghi thẳng vào dòng, chúng làm hỏng văn bản; nếu bỏ đi một cách máy móc, chúng làm mất thông tin mà quý khách có thể cần.
Cách chúng tôi xử lý Chữ ruby được ghi lại như một chú giải liên kết với văn bản gốc, để về sau có thể giữ, bỏ hoặc dùng làm nhãn cách đọc mà không phải gán nhãn lại.
Ａ１２３ và A123 trông gần như giống hệt nhau nhưng là những ký tự khác nhau. Việc chuẩn hóa không kiểm soát ở đây là một trong những lỗi âm thầm phổ biến nhất trong các bộ dữ liệu OCR tiếng Nhật.
Cách chúng tôi xử lý Quy ước chuyển thành văn bản nêu rõ ký tự nào được chuẩn hóa và ký tự nào được giữ nguyên, và một khâu kiểm tra tự động thực thi điều đó trước khi bàn giao.
Hóa đơn, biên lai và đơn từ Nhật Bản có bộ từ vựng cấu trúc riêng — 御中, 但し書き, con dấu công ty, ngày tháng theo niên hiệu, tổng tiền đã bao gồm thuế và chưa bao gồm thuế đặt cạnh nhau.
Cách chúng tôi xử lý Schema trường dữ liệu được xây dựng dựa trên ví dụ thật thuộc các loại tài liệu của quý khách, trong đó ngày theo niên hiệu, vùng con dấu và cách xử lý thuế được định nghĩa thành các trường chính thức chứ không phải văn bản tự do.
Quy trình
Bảng phân loại nhãn và các quy tắc về hình học được chốt trên một mẫu thật trước khi có ai gán nhãn ở quy mô lớn.
Chúng tôi gán nhãn một tập nhỏ có tính đại diện để tìm ra các trường hợp mơ hồ — thế nào là một đối tượng, xử lý ra sao ở mép khung hình, khi nào một lớp thực sự không rõ ràng.
Độ khít của khung bao, cách xử lý che khuất, kích thước đối tượng tối thiểu, phần bị cắt cụt, đối tượng theo nhóm và cách xử lý văn bản không đọc được đều được chốt bằng văn bản.
Nhiều chuyên viên gán nhãn cùng những bức ảnh giống nhau một cách độc lập. Mức đồng thuận về hình học được đo, và chỗ nào thấp thì quy tắc ở đó còn mơ hồ.
Hình học và nhãn được thẩm định thành hai lượt riêng, vì một khung bao khít trên lớp sai và một khung bao lỏng trên lớp đúng là hai loại lỗi khác nhau.
Phần gán nhãn được bàn giao theo định dạng của quý khách kèm phiên bản bảng phân loại nhãn, số lượng theo từng lớp và báo cáo QA của lô.
Bàn giao
Chúng tôi xuất dữ liệu theo đúng định dạng gốc của quy trình huấn luyện bên quý khách thay vì bắt quý khách phải viết bộ chuyển đổi.
| Tác vụ | Đầu ra mặc định | Cũng có sẵn |
|---|---|---|
| Phát hiện đối tượng và phân vùng | COCO JSON | YOLO, Pascal VOC, CVAT XML, mặt nạ dạng PNG |
| Điểm khóa và thuộc tính | COCO keypoints JSON | CSV, schema JSON tùy chỉnh |
| Theo vết trong video | Định dạng MOT | COCO theo từng khung hình, CVAT XML |
| OCR và bố cục | JSON kèm tọa độ trang | hOCR, ALTO, PAGE XML |
| Trích xuất trường dữ liệu | JSONL, mỗi dòng một tài liệu | CSV, schema document-AI của quý khách |
Chất lượng
Lỗi trong dữ liệu thị giác rất khéo ẩn mình. Đây là những khâu kiểm tra làm chúng lộ ra trước khi quá trình huấn luyện làm việc đó.
FAQ
Những câu hỏi thường gặp về công việc thị giác và document AI tiếng Nhật.
Có — phần ghi tay trên biểu mẫu, địa chỉ, họ tên và bình luận tự do. Chữ viết tay chậm hơn và có tỷ lệ mơ hồ thực sự cao hơn chữ in, nên chúng tôi đánh dấu những ký tự không chắc chắn thay vì đoán, và thống nhất trước xem một trường không đọc được sẽ được ghi theo phương án tốt nhất có thể hay bị đánh dấu là không đọc được. Quyết định đó quan trọng với mô hình của quý khách hơn cả con số chính xác thô.
Có. Chúng tôi làm việc trong các nền tảng do khách hàng cung cấp — trong đó có CVAT, Label Studio, SageMaker Ground Truth, Labelbox và các công cụ nội bộ — hoặc trong môi trường bảo mật của riêng chúng tôi khi quý khách không muốn cấp thêm tài khoản. Dùng công cụ nào cũng không làm thay đổi tài liệu hướng dẫn hay quy trình thẩm định.
Có, và với công việc phát hiện đối tượng khối lượng lớn thì đó thường là cách hợp lý. Rủi ro là lượt sửa sẽ thừa hưởng luôn các điểm mù của mô hình, nên chúng tôi đo lượt sửa đó so với một mẫu gán nhãn từ đầu và cho quý khách biết nó thực sự bắt được những gì. Với OCR trên tài liệu tiếng Nhật, chúng tôi thận trọng hơn, vì lỗi của mô hình ở ký tự full-width và văn bản viết dọc rất dễ bị bỏ sót khi nhìn trên màn hình.
Theo NDA và thỏa thuận xử lý dữ liệu, trong một môi trường tách biệt, với quyền truy cập giới hạn ở những người tham gia dự án. Chúng tôi cũng có thể gán nhãn thông tin cá nhân để che, hoặc chỉ làm việc trên tài liệu mà quý khách đã che trước khi gửi. Các điều khoản về thời hạn lưu trữ và xóa dữ liệu được thống nhất trong hợp đồng chứ không để mặc cho chính sách chung.
Tài liệu Nhật thường dùng năm theo niên hiệu — 令和6年 thay vì 2024 — và thường trộn cả hai trên cùng một trang. Chúng tôi xử lý ngày theo niên hiệu như một trường riêng với chuỗi gốc được giữ nguyên, cộng thêm một giá trị dương lịch đã chuẩn hóa nếu quý khách muốn, để không mất thông tin trong quá trình quy đổi và không có lỗi quy đổi nào bị đóng cứng vào dữ liệu.
Hình ảnh & video
Một mẫu có tính đại diện từ tài liệu hoặc đoạn phim thật của quý khách là đủ để chúng tôi soạn bảng phân loại nhãn, gán nhãn một bộ thử nghiệm và chỉ ra chỗ nào sẽ có sự mơ hồ.
Ký NDA trước khi quý khách chia sẻ bất kỳ dữ liệu nào. Xác định phạm vi thử nghiệm là miễn phí.