กรอบการทำงานด้านคุณภาพ

เราวัดคุณภาพการกำกับข้อมูลอย่างไร

คุณภาพคือตัวเลขที่คุณนำไปทำอะไรต่อได้ ไม่อย่างนั้นก็เป็นเพียงความคิดเห็น หน้านี้อธิบายอย่างชัดเจนว่าเราผลิตตัวเลขใดบ้าง คำนวณอย่างไร บอกและไม่บอกอะไรคุณได้ และรายงาน QA ที่มาพร้อมทุกชุดงานมีอะไรอยู่ข้างใน

ตัวเลขทุกตัวที่แสดงบนเว็บไซต์นี้ในฐานะตัวอย่างถูกกำกับไว้ว่าเป็นตัวอย่าง เราไม่ประกาศการรับประกันความแม่นยำ เพราะการรับประกันที่ให้ไว้ก่อนได้เห็นข้อมูลของคุณไม่ใช่คำมั่น แต่เป็นตัวเลขทางการตลาด

คุณภาพเกิดจากการออกแบบ ไม่ใช่จากการตรวจ

การตรวจรอบสุดท้ายจับความผิดพลาดได้ แต่จับความกำกวมไม่ได้ และความกำกวมคือสิ่งที่บั่นทอนชุดข้อมูลภาษาญี่ปุ่นจริง ๆ หากแนวทางเปิดช่องให้ตีความกรณีหนึ่งได้สองแบบ ทั้งสองแบบก็จะผ่านการตรวจ และความไม่สอดคล้องนั้นก็ไหลเข้าสู่ข้อมูลฝึกสอนพร้อมใบรับรองว่าสะอาดดี

งานที่กำหนดคุณภาพจึงเกิดขึ้นก่อนการกำกับข้อมูล ทั้งการเขียนแนวทาง การทดสอบมันกับกรณีก้ำกึ่งจริงระหว่างโครงการนำร่องจนพัง การวัดว่าผู้กำกับข้อมูลที่ทำงานอย่างเป็นอิสระให้ผลลู่เข้าหากันหรือไม่ และการแก้แนวทางในจุดที่ยังไม่ลู่เข้า การตรวจทานคือแนวป้องกันที่สอง ไม่ใช่แนวแรก

ต่อไปนี้คือระบบทั้งหมด รวมถึงส่วนที่เผยแพร่แล้วรู้สึกกระอักกระอ่วน คือแต่ละตัวชี้วัดจับอะไรไม่ได้ และตัวเลขจะดูดีได้อย่างไรทั้งที่ชุดข้อมูลไม่ดี

ภาพรวมโดยย่อ

วัดจาก
ความสอดคล้องระหว่างผู้กำกับข้อมูล ความแม่นยำที่วัดได้เทียบชุดข้อมูลมาตรฐาน อัตราการชี้ขาด และการเลื่อนไหลของป้ายกำกับ
รายงานเป็นราย
ชุดงาน พร้อมการแจกแจงรายป้ายกำกับและรายเกณฑ์ แทนที่จะเป็นตัวเลขรวมตัวเดียว
ความเข้มของการตรวจทาน
กำหนดเป็นรายโครงการ ตรวจเข้มขึ้นเมื่อต้องใช้วิจารณญาณ และเบาลงเมื่องานเป็นเชิงกลไก
ข้อขัดแย้ง
ชี้ขาดเป็นลายลักษณ์อักษรโดยผู้ตรวจทานอาวุโส และบันทึกกลับเข้าแนวทาง
สิ่งที่เราไม่ทำ
ประกาศการรับประกันความแม่นยำ หรืออ้างตัวเลขที่วัดได้จากโครงการอื่น

ระบบ

หกขั้นตอนที่ทำงานต่อเนื่อง

วงจรนี้ทำงานตลอดอายุโครงการ ไม่ใช่ทำครั้งเดียวตอนเริ่ม

  1. 01

    กำหนดข้อกำหนด

    แนวทางถูกเขียนขึ้นพร้อมตัวอย่างประกอบและตัวอย่างค้านสำหรับทุกการตัดสินใจที่งานนั้นต้องการ สิ่งใดที่ปล่อยไว้โดยนัยตรงนี้จะกลายเป็นความไม่สอดคล้องในภายหลัง

  2. 02

    ปรับเทียบ

    ผู้กำกับข้อมูลติดป้ายกำกับชุดปรับเทียบชุดเดียวกันอย่างเป็นอิสระ ความแตกต่างชี้ให้เห็นจุดที่แนวทางยังกำกวม เราแก้ที่แนวทาง ไม่ใช่แก้ที่ผู้กำกับข้อมูล

  3. 03

    กำกับข้อมูล

    งานระดับโปรดักชัน โดยบันทึกเวอร์ชันของแนวทางไว้รายรายการ คำถามเกี่ยวกับเรกคอร์ดหนึ่งในภายหลังจึงตอบได้อย่างแม่นยำ

  4. 04

    ตรวจทาน

    ผู้กำกับข้อมูลคนที่สองตรวจทานด้วยความเข้มที่งานนั้นสมควรได้รับ การตรวจทานเป็นบทบาทแยกที่มีเกณฑ์ของตัวเอง ไม่ใช่การทำซ้ำงานกำกับข้อมูลให้เร็วขึ้น

  5. 05

    ชี้ขาด

    ข้อขัดแย้งส่งต่อให้ผู้ตรวจทานอาวุโส ซึ่งบันทึกผลการตัดสินและเหตุผลไว้ ทุกการตัดสินจะกลายเป็นตัวอย่างประกอบในแนวทาง

  6. 06

    วัดผลและป้อนกลับ

    ความสอดคล้อง ความแม่นยำเทียบชุดข้อมูลมาตรฐาน และการเลื่อนไหล ถูกคำนวณรายชุดงาน เปรียบเทียบกับชุดงานก่อนหน้า และใช้ตัดสินว่าควรปรับปรุงแนวทางในจุดใดต่อไป

ตัวชี้วัด

แต่ละตัวเลขหมายความว่าอย่างไรจริง ๆ

นิยามไว้ตรงนี้ เพื่อให้ตัวเลขในรายงาน QA ตีความได้โดยไม่ต้องถามเราว่ามันหมายถึงอะไร

ความสอดคล้องระหว่างผู้กำกับข้อมูล
ความถี่ที่ผู้กำกับข้อมูลซึ่งทำงานอย่างเป็นอิสระให้ป้ายกำกับเดียวกันกับรายการเดียวกัน รายงานเป็นค่าความสอดคล้องดิบควบคู่กับสัมประสิทธิ์ที่ปรับค่าความบังเอิญแล้ว เพราะความสอดคล้องดิบบนระบบหมวดหมู่ที่ไม่สมดุลอาจดูดีเยี่ยมทั้งที่แทบไม่ให้ข้อมูลอะไรเลย
Cohen’s κ / Krippendorff’s α
สัมประสิทธิ์ความสอดคล้องที่ปรับค่าความบังเอิญแล้ว ใช้ Cohen’s κ สำหรับผู้กำกับข้อมูลสองคนบนป้ายกำกับเชิงหมวดหมู่ และ Krippendorff’s α เมื่อมีผู้กำกับข้อมูลมากกว่าสองคน มีการตัดสินที่ขาดหายไป หรือใช้มาตรวัดเชิงอันดับ รายงานจะระบุว่าใช้ตัวใด แทนที่จะปล่อยไว้โดยนัย
ความแม่นยำเทียบชุดข้อมูลมาตรฐาน
ความแม่นยำเมื่อเทียบกับชุดอ้างอิงที่ผู้ตรวจทานอาวุโสกำกับและชี้ขาดไว้ ตัวนี้วัดความถูกต้อง ไม่ใช่ความสม่ำเสมอ เพราะผู้กำกับข้อมูลสองคนอาจเห็นตรงกันทุกประการและผิดทั้งคู่ ซึ่งสถิติความสอดคล้องเพียงอย่างเดียวไม่มีวันเผยให้เห็น
อัตราการชี้ขาด
สัดส่วนของรายการที่ต้องให้ผู้ตรวจทานอาวุโสเข้ามาตัดสิน อัตราการชี้ขาดที่สูงขึ้นมักเป็นสัญญาณแรกสุดว่าข้อมูลเปลี่ยนไปหรือแนวทางมีช่องโหว่ และมันขยับก่อนที่ความแม่นยำจะขยับ
การเลื่อนไหลของป้ายกำกับ
การเคลื่อนของการกระจายตัวของป้ายกำกับหรือของพฤติกรรมผู้กำกับข้อมูลตามเวลา โครงการระยะยาวเลื่อนไหลด้วยเหตุผลธรรมดา เช่น ข้อมูลต้นทางเปลี่ยนไป หรือผู้กำกับข้อมูลมั่นใจขึ้น การเฝ้าติดตามการเลื่อนไหลคือสิ่งที่แยกเรื่องนี้ออกจากการเสื่อมคุณภาพจริง
ความสอดคล้องของขอบเขต
สำหรับงานระดับช่วงข้อความ คือความใกล้เคียงกันของผู้กำกับข้อมูลในการระบุจุดเริ่มและจุดจบของช่วงข้อความ รายงานแยกจากความสอดคล้องของป้ายกำกับ ชุดข้อมูลช่วงข้อความภาษาญี่ปุ่นอาจมีความสอดคล้องของป้ายกำกับดีเยี่ยมแต่ขอบเขตใช้งานไม่ได้

ภาพรวมคุณภาพ

แดชบอร์ด QA ตัวอย่าง

ความสอดคล้อง

97.8%

2.1% เทียบ 7 วันก่อน

ความแม่นยำเทียบชุดมาตรฐาน

98.6%

1.4% เทียบ 7 วันก่อน

รายการที่ตรวจทาน

24826

18.7% สัปดาห์นี้

ข้อขัดแย้งที่ค้างอยู่

18

12 เทียบ 7 วันก่อน

การเลื่อนไหลของป้ายกำกับ (30 วัน)

การเลื่อนไหลที่สังเกตได้ เกณฑ์แจ้งเตือน
0%2.5%5% Day 1Day 8Day 15Day 22Day 30

สรุปคุณภาพ

  • การปฏิบัติตามแนวทาง
  • การปรับเทียบผู้ตรวจทาน
  • การเฝ้าระวังค่าผิดปกติ
  • การตรวจจับการเลื่อนไหล

อินเทอร์เฟซนี้เป็นภาพประกอบ ตัวเลขที่แสดงเป็นข้อมูลตัวอย่างที่ใช้อธิบายวิธีที่เราเฝ้าติดตามคุณภาพ ไม่ใช่ผลลัพธ์ที่รายงานจริง

การตรวจทาน

ชุดงานหนึ่งถูกตรวจทานมากน้อยเพียงใด

ความเข้มของการตรวจทานเป็นการตั้งค่าระดับโครงการ ตกลงร่วมกับคุณและระบุไว้ในสัญญา เข้มกว่าไม่ได้ดีกว่าเสมอไป งานเชิงกลไกที่ตรวจทานเต็มรูปแบบคือการใช้งบประมาณกับจุดที่ไม่ต้องใช้วิจารณญาณ

ตัวอย่างรูปแบบการตรวจทานเพื่อประกอบคำอธิบาย ความเข้มจริงของแต่ละโครงการตกลงกันตอนกำหนดขอบเขต
ความเข้มของการตรวจทานมักใช้กับสิ่งที่เกิดขึ้น
ตรวจทานแบบสุ่มตัวอย่างงานเชิงกลไกปริมาณมากที่ความสอดคล้องนิ่งแล้วตรวจทานรายการตามสัดส่วนที่กำหนดไว้ หากพบข้อบกพร่องจะขยายวงการตรวจ
ตรวจทานรอบที่สองเต็มรูปแบบการติดป้ายกำกับที่ต้องใช้วิจารณญาณ และงานช่วงข้อความภาษาญี่ปุ่นส่วนใหญ่ทุกรายการถูกตรวจทานโดยผู้กำกับข้อมูลคนที่สอง
กำกับข้อมูลซ้ำสองแบบปิดข้อมูลชุดประเมินผล ชุดเบนช์มาร์ก และชุดข้อมูลมาตรฐานผู้กำกับข้อมูลสองคนทำงานอย่างเป็นอิสระ และข้อขัดแย้งทุกข้อถูกชี้ขาด
ตรวจทานโดยผู้เชี่ยวชาญสาขาที่มีการกำกับดูแลและงานที่ต้องใช้วิจารณญาณเชิงวิชาชีพผู้เชี่ยวชาญเฉพาะสาขาเป็นผู้ตรวจทาน พร้อมเหตุผลเป็นลายลักษณ์อักษรในรายการที่มีข้อโต้แย้ง

ระบบจัดหมวดหมู่ข้อผิดพลาด

ตั้งชื่อให้ความล้มเหลว

ข้อบกพร่องที่มีชื่อย่อมนับได้ ดูแนวโน้มได้ และแก้ไขได้ ส่วนจำนวน "ข้อผิดพลาด" แบบรวม ๆ บอกคุณไม่ได้ว่าต้องเปลี่ยนอะไร

ช่องโหว่ของแนวทาง

แนวทางไม่ครอบคลุมกรณีนี้ แก้ด้วยการปรับปรุงแนวทาง ไม่ใช่ด้วยการแก้รายการนั้น มิฉะนั้นกรณีเดิมจะเกิดซ้ำอีก

การใช้แนวทางผิด

แนวทางครอบคลุมกรณีนี้แล้วแต่ผู้กำกับข้อมูลใช้กฎผิด แก้ด้วยการให้ผลป้อนกลับ และหากเกิดซ้ำก็แก้ด้วยตัวอย่างประกอบที่ชัดเจนขึ้น

ข้อผิดพลาดของขอบเขต

ป้ายกำกับถูกแต่ช่วงข้อความไม่ถูก เป็นเรื่องเฉพาะของงานช่วงข้อความภาษาญี่ปุ่น ที่กฎเรื่องขอบเขตกับการตัดคำมีปฏิสัมพันธ์กัน

ข้อผิดพลาดด้านระดับภาษาหรือนัย

ถูกต้องทางภาษาแต่ผิดทางสังคม คือใช้ระดับความสุภาพผิด หรือปฏิเสธนุ่มเกินกว่าจะอ่านเป็นการปฏิเสธ

ข้อผิดพลาดเชิงข้อเท็จจริง

ข้อความที่ตรวจสอบได้ รูปการอ่านของชื่อ หรือตัวเลข ผิดพลาด แยกออกจากข้อผิดพลาดเชิงวิจารณญาณ เพราะทางแก้คือการตรวจสอบ ไม่ใช่การปรับเทียบ

ข้อบกพร่องของข้อมูลต้นทาง

ตัวรายการเองใช้ไม่ได้ เช่น เสียงที่ฟังไม่ออก ภาพสแกนที่อ่านไม่ออก หรือพรอมป์ต์ที่กำกวม จะถูกติดธงและส่งคืน ไม่มีการเติมด้วยการเดาที่ดูสมเหตุสมผล

การรายงาน

สิ่งที่มาพร้อมทุกชุดงาน

รายงานถูกออกแบบมาให้คุณตรวจสอบชุดงานนั้นได้เองโดยไม่ต้องมีเราอยู่ในห้อง

  • ตัวเลขความสอดคล้องรายป้ายกำกับหรือรายเกณฑ์ พร้อมระบุอย่างชัดเจนว่าใช้สัมประสิทธิ์ตัวใด
  • ความแม่นยำเทียบชุดข้อมูลมาตรฐานของชุดงานนั้น และแนวโน้มเทียบกับชุดงานก่อนหน้า
  • อัตราการชี้ขาด พร้อมบันทึกการชี้ขาดและเหตุผลที่บันทึกไว้ของการตัดสินแต่ละครั้ง
  • จำนวนข้อผิดพลาดที่แจกแจงตามระบบจัดหมวดหมู่ข้างต้น แทนที่จะเป็นยอดรวมข้อบกพร่องตัวเดียว
  • เวอร์ชันของแนวทางที่ใช้กำกับข้อมูลชุดงานนั้น และบันทึกการเปลี่ยนแปลงเทียบกับเวอร์ชันก่อนหน้า
  • รายการที่ติดธงว่าเป็นข้อบกพร่องของข้อมูลต้นทาง จะแสดงเป็นรายการ ไม่ใช่ถูกตัดทิ้งไปเงียบ ๆ

คำถามที่พบบ่อย

เกี่ยวกับการวัดคุณภาพ

คำถามว่าตัวเลขเหล่านี้พิสูจน์อะไรได้และพิสูจน์อะไรไม่ได้

เราไม่ประกาศการรับประกันความแม่นยำ และเราจะมองการรับประกันจากผู้ให้บริการรายใดก็ตามด้วยความระมัดระวัง ความแม่นยำที่ทำได้จริงขึ้นอยู่กับตัวงาน ระบบหมวดหมู่ คุณภาพของข้อมูลต้นทาง และปริมาณความกำกวมที่มีอยู่จริงในสาขานั้น ซึ่งไม่มีข้อใดรู้ได้ก่อนทำโครงการนำร่อง สิ่งที่เราให้คำมั่นคือวิธีการวัดผล ว่าใช้ตัวชี้วัดใด คำนวณอย่างไร รายงานถี่แค่ไหน และจะเกิดอะไรขึ้นเมื่อชุดงานหนึ่งไม่ผ่านเกณฑ์ หลังทำโครงการนำร่องบนข้อมูลของคุณแล้ว เราจึงจะคุยเรื่องเป้าหมายที่เป็นจริงได้ เพราะถึงตอนนั้นจะมีอะไรที่จับต้องได้ให้คุยกัน

เป็นข้อมูลตัวอย่าง มีไว้เพื่อแสดงว่าอินเทอร์เฟซรายงานอะไรและตัวชี้วัดมีหน้าตาอย่างไรเมื่อเคลื่อนไหว และด้วยเหตุผลนี้เองจึงมีป้ายกำกับและคำชี้แจงแสดงไว้อย่างชัดเจน ตัวเลขเหล่านี้ไม่ใช่ผลลัพธ์จากโครงการของลูกค้า และเราจะไม่นำเสนอมันในลักษณะนั้น

ไม่ใช่ในตัวมันเอง ความสอดคล้องวัดความสม่ำเสมอ ไม่ใช่ความถูกต้อง ผู้กำกับข้อมูลที่เข้าใจผิดเหมือนกันย่อมเห็นตรงกันทุกประการ ค่านี้ยังพองขึ้นจากระบบหมวดหมู่ที่ไม่สมดุล ซึ่งเป็นเหตุผลที่เรารายงานสัมประสิทธิ์ที่ปรับค่าความบังเอิญแล้วควบคู่กับความสอดคล้องดิบ และเป็นเหตุผลที่ต้องมีชุดข้อมูลมาตรฐานซึ่งผู้ตรวจทานอาวุโสชี้ขาดไว้ เป็นการตรวจสอบความถูกต้องที่เป็นอิสระ

ชุดงานนั้นไม่ถูกส่งมอบ ขึ้นอยู่กับลักษณะความล้มเหลว การตอบสนองอาจเป็นการกำกับข้อมูลใหม่เฉพาะจุด การปรับปรุงแนวทางแล้วตามด้วยการทำงานใหม่ในรายการที่ได้รับผลกระทบ หรือการส่งเรื่องกลับมาที่คุณเมื่อสาเหตุอยู่ต้นน้ำ เช่น ระบบหมวดหมู่ที่กำกวมหรือข้อมูลต้นทางที่รองรับงานนั้นไม่ได้ เราขอส่งงานช้าพร้อมคำอธิบาย ดีกว่าส่งตรงเวลาพร้อมตัวเลขที่จะไม่รอดเมื่อเจอกับโมเดลของคุณ

ได้ และเป็นสิ่งที่สมเหตุสมผลที่จะขอ คุณตรวจดูแนวทางและประวัติเวอร์ชันของมันได้ ขอตัวอย่างไปให้คะแนนอย่างเป็นอิสระได้ และนำผลของคุณมาเทียบกับตัวเลขที่เรารายงานได้ ในกรณีที่ลูกค้าทำ QA ของตัวเองคู่ขนานไปด้วย เราถือว่าความแตกต่างระหว่างสองฝ่ายคือข้อค้นพบที่ควรตรวจสอบ ไม่ใช่ข้อพิพาทที่ต้องเถียงกัน

คุณภาพ

ขอตัวเลขจากข้อมูลของคุณเองได้เลย

โครงการนำร่องให้ตัวเลขความสอดคล้องจริง การแจกแจงข้อผิดพลาดจริง และมุมมองตรงไปตรงมาว่าส่วนใดของระบบหมวดหมู่ของคุณจะไปรอดเมื่อทำในปริมาณมาก

ลงนาม NDA ก่อนที่คุณจะส่งข้อมูลใด ๆ การกำหนดขอบเขตโครงการนำร่องไม่มีค่าใช้จ่าย