Cách chúng tôi đo chất lượng gán nhãn

Chúng tôi không công bố cam kết về độ chính xác, và chúng tôi cũng sẽ thận trọng với một cam kết như vậy từ bất kỳ nhà cung cấp nào. Độ chính xác có thể đạt được phụ thuộc vào tác vụ, bảng phân loại nhãn, chất lượng dữ liệu nguồn và mức độ mơ hồ thực sự có trong lĩnh vực đó — không điều nào trong số đó được biết trước khi có một dự án thử nghiệm. Thứ chúng tôi cam kết là phương pháp đo lường: dùng chỉ số nào, tính ra sao, báo cáo với tần suất nào, và điều gì xảy ra khi một lô không đạt. Sau một dự án thử nghiệm trên dữ liệu của quý khách, chúng ta có thể bàn về các mục tiêu thực tế, vì đến lúc đó đã có thứ có thật để bàn.

Đó là dữ liệu mẫu. Chúng tồn tại để cho thấy giao diện báo cáo những gì và các chỉ số trông ra sao khi vận hành, và chính vì vậy chúng đi kèm một nhãn hiển thị rõ và một lời chú thích. Đó không phải kết quả từ một dự án của khách hàng, và chúng tôi sẽ không trình bày chúng như vậy.

Chỉ riêng nó thì không. Mức đồng thuận đo tính nhất quán, không đo tính đúng đắn — những chuyên viên cùng chung một hiểu lầm sẽ đồng thuận hoàn hảo. Nó cũng bị thổi phồng bởi các bảng phân loại mất cân bằng, và đó là lý do chúng tôi báo cáo một hệ số đã hiệu chỉnh theo may rủi bên cạnh mức đồng thuận thô, cũng là lý do các bộ chuẩn do thẩm định viên cấp cao phân xử tồn tại như một phép kiểm tra độc lập về tính đúng đắn.

Lô đó không được bàn giao. Tùy loại lỗi, cách xử lý có thể là gán nhãn lại có trọng điểm, sửa đổi tài liệu hướng dẫn rồi làm lại các mục bị ảnh hưởng, hoặc chuyển vấn đề lên phía quý khách khi nguyên nhân nằm ở đầu nguồn — một bảng phân loại mơ hồ hoặc dữ liệu nguồn không đủ để chống đỡ tác vụ. Chúng tôi thà bàn giao trễ kèm lời giải thích còn hơn bàn giao đúng hạn với một con số không trụ nổi khi va chạm với mô hình của quý khách.

Có, và đó là một yêu cầu hợp lý. Quý khách có thể xem tài liệu hướng dẫn cùng lịch sử phiên bản của nó, lấy một mẫu để tự chấm điểm độc lập, và so kết quả của mình với các con số chúng tôi báo cáo. Khi khách hàng chạy QA song song, chúng tôi coi sự khác biệt giữa hai bên là một phát hiện đáng điều tra chứ không phải một tranh chấp cần phân bua.