ช่องโหว่ของแนวทาง
แนวทางไม่ครอบคลุมกรณีนี้ แก้ด้วยการปรับปรุงแนวทาง ไม่ใช่ด้วยการแก้รายการนั้น มิฉะนั้นกรณีเดิมจะเกิดซ้ำอีก
กรอบการทำงานด้านคุณภาพ
คุณภาพคือตัวเลขที่คุณนำไปทำอะไรต่อได้ ไม่อย่างนั้นก็เป็นเพียงความคิดเห็น หน้านี้อธิบายอย่างชัดเจนว่าเราผลิตตัวเลขใดบ้าง คำนวณอย่างไร บอกและไม่บอกอะไรคุณได้ และรายงาน QA ที่มาพร้อมทุกชุดงานมีอะไรอยู่ข้างใน
ตัวเลขทุกตัวที่แสดงบนเว็บไซต์นี้ในฐานะตัวอย่างถูกกำกับไว้ว่าเป็นตัวอย่าง เราไม่ประกาศการรับประกันความแม่นยำ เพราะการรับประกันที่ให้ไว้ก่อนได้เห็นข้อมูลของคุณไม่ใช่คำมั่น แต่เป็นตัวเลขทางการตลาด
การตรวจรอบสุดท้ายจับความผิดพลาดได้ แต่จับความกำกวมไม่ได้ และความกำกวมคือสิ่งที่บั่นทอนชุดข้อมูลภาษาญี่ปุ่นจริง ๆ หากแนวทางเปิดช่องให้ตีความกรณีหนึ่งได้สองแบบ ทั้งสองแบบก็จะผ่านการตรวจ และความไม่สอดคล้องนั้นก็ไหลเข้าสู่ข้อมูลฝึกสอนพร้อมใบรับรองว่าสะอาดดี
งานที่กำหนดคุณภาพจึงเกิดขึ้นก่อนการกำกับข้อมูล ทั้งการเขียนแนวทาง การทดสอบมันกับกรณีก้ำกึ่งจริงระหว่างโครงการนำร่องจนพัง การวัดว่าผู้กำกับข้อมูลที่ทำงานอย่างเป็นอิสระให้ผลลู่เข้าหากันหรือไม่ และการแก้แนวทางในจุดที่ยังไม่ลู่เข้า การตรวจทานคือแนวป้องกันที่สอง ไม่ใช่แนวแรก
ต่อไปนี้คือระบบทั้งหมด รวมถึงส่วนที่เผยแพร่แล้วรู้สึกกระอักกระอ่วน คือแต่ละตัวชี้วัดจับอะไรไม่ได้ และตัวเลขจะดูดีได้อย่างไรทั้งที่ชุดข้อมูลไม่ดี
ภาพรวมโดยย่อ
ระบบ
วงจรนี้ทำงานตลอดอายุโครงการ ไม่ใช่ทำครั้งเดียวตอนเริ่ม
แนวทางถูกเขียนขึ้นพร้อมตัวอย่างประกอบและตัวอย่างค้านสำหรับทุกการตัดสินใจที่งานนั้นต้องการ สิ่งใดที่ปล่อยไว้โดยนัยตรงนี้จะกลายเป็นความไม่สอดคล้องในภายหลัง
ผู้กำกับข้อมูลติดป้ายกำกับชุดปรับเทียบชุดเดียวกันอย่างเป็นอิสระ ความแตกต่างชี้ให้เห็นจุดที่แนวทางยังกำกวม เราแก้ที่แนวทาง ไม่ใช่แก้ที่ผู้กำกับข้อมูล
งานระดับโปรดักชัน โดยบันทึกเวอร์ชันของแนวทางไว้รายรายการ คำถามเกี่ยวกับเรกคอร์ดหนึ่งในภายหลังจึงตอบได้อย่างแม่นยำ
ผู้กำกับข้อมูลคนที่สองตรวจทานด้วยความเข้มที่งานนั้นสมควรได้รับ การตรวจทานเป็นบทบาทแยกที่มีเกณฑ์ของตัวเอง ไม่ใช่การทำซ้ำงานกำกับข้อมูลให้เร็วขึ้น
ข้อขัดแย้งส่งต่อให้ผู้ตรวจทานอาวุโส ซึ่งบันทึกผลการตัดสินและเหตุผลไว้ ทุกการตัดสินจะกลายเป็นตัวอย่างประกอบในแนวทาง
ความสอดคล้อง ความแม่นยำเทียบชุดข้อมูลมาตรฐาน และการเลื่อนไหล ถูกคำนวณรายชุดงาน เปรียบเทียบกับชุดงานก่อนหน้า และใช้ตัดสินว่าควรปรับปรุงแนวทางในจุดใดต่อไป
ตัวชี้วัด
นิยามไว้ตรงนี้ เพื่อให้ตัวเลขในรายงาน QA ตีความได้โดยไม่ต้องถามเราว่ามันหมายถึงอะไร
ความสอดคล้อง
97.8%
2.1% เทียบ 7 วันก่อน
ความแม่นยำเทียบชุดมาตรฐาน
98.6%
1.4% เทียบ 7 วันก่อน
รายการที่ตรวจทาน
24826
18.7% สัปดาห์นี้
ข้อขัดแย้งที่ค้างอยู่
18
12 เทียบ 7 วันก่อน
อินเทอร์เฟซนี้เป็นภาพประกอบ ตัวเลขที่แสดงเป็นข้อมูลตัวอย่างที่ใช้อธิบายวิธีที่เราเฝ้าติดตามคุณภาพ ไม่ใช่ผลลัพธ์ที่รายงานจริง
การตรวจทาน
ความเข้มของการตรวจทานเป็นการตั้งค่าระดับโครงการ ตกลงร่วมกับคุณและระบุไว้ในสัญญา เข้มกว่าไม่ได้ดีกว่าเสมอไป งานเชิงกลไกที่ตรวจทานเต็มรูปแบบคือการใช้งบประมาณกับจุดที่ไม่ต้องใช้วิจารณญาณ
| ความเข้มของการตรวจทาน | มักใช้กับ | สิ่งที่เกิดขึ้น |
|---|---|---|
| ตรวจทานแบบสุ่มตัวอย่าง | งานเชิงกลไกปริมาณมากที่ความสอดคล้องนิ่งแล้ว | ตรวจทานรายการตามสัดส่วนที่กำหนดไว้ หากพบข้อบกพร่องจะขยายวงการตรวจ |
| ตรวจทานรอบที่สองเต็มรูปแบบ | การติดป้ายกำกับที่ต้องใช้วิจารณญาณ และงานช่วงข้อความภาษาญี่ปุ่นส่วนใหญ่ | ทุกรายการถูกตรวจทานโดยผู้กำกับข้อมูลคนที่สอง |
| กำกับข้อมูลซ้ำสองแบบปิดข้อมูล | ชุดประเมินผล ชุดเบนช์มาร์ก และชุดข้อมูลมาตรฐาน | ผู้กำกับข้อมูลสองคนทำงานอย่างเป็นอิสระ และข้อขัดแย้งทุกข้อถูกชี้ขาด |
| ตรวจทานโดยผู้เชี่ยวชาญ | สาขาที่มีการกำกับดูแลและงานที่ต้องใช้วิจารณญาณเชิงวิชาชีพ | ผู้เชี่ยวชาญเฉพาะสาขาเป็นผู้ตรวจทาน พร้อมเหตุผลเป็นลายลักษณ์อักษรในรายการที่มีข้อโต้แย้ง |
ระบบจัดหมวดหมู่ข้อผิดพลาด
ข้อบกพร่องที่มีชื่อย่อมนับได้ ดูแนวโน้มได้ และแก้ไขได้ ส่วนจำนวน "ข้อผิดพลาด" แบบรวม ๆ บอกคุณไม่ได้ว่าต้องเปลี่ยนอะไร
แนวทางไม่ครอบคลุมกรณีนี้ แก้ด้วยการปรับปรุงแนวทาง ไม่ใช่ด้วยการแก้รายการนั้น มิฉะนั้นกรณีเดิมจะเกิดซ้ำอีก
แนวทางครอบคลุมกรณีนี้แล้วแต่ผู้กำกับข้อมูลใช้กฎผิด แก้ด้วยการให้ผลป้อนกลับ และหากเกิดซ้ำก็แก้ด้วยตัวอย่างประกอบที่ชัดเจนขึ้น
ป้ายกำกับถูกแต่ช่วงข้อความไม่ถูก เป็นเรื่องเฉพาะของงานช่วงข้อความภาษาญี่ปุ่น ที่กฎเรื่องขอบเขตกับการตัดคำมีปฏิสัมพันธ์กัน
ถูกต้องทางภาษาแต่ผิดทางสังคม คือใช้ระดับความสุภาพผิด หรือปฏิเสธนุ่มเกินกว่าจะอ่านเป็นการปฏิเสธ
ข้อความที่ตรวจสอบได้ รูปการอ่านของชื่อ หรือตัวเลข ผิดพลาด แยกออกจากข้อผิดพลาดเชิงวิจารณญาณ เพราะทางแก้คือการตรวจสอบ ไม่ใช่การปรับเทียบ
ตัวรายการเองใช้ไม่ได้ เช่น เสียงที่ฟังไม่ออก ภาพสแกนที่อ่านไม่ออก หรือพรอมป์ต์ที่กำกวม จะถูกติดธงและส่งคืน ไม่มีการเติมด้วยการเดาที่ดูสมเหตุสมผล
การรายงาน
รายงานถูกออกแบบมาให้คุณตรวจสอบชุดงานนั้นได้เองโดยไม่ต้องมีเราอยู่ในห้อง
คำถามที่พบบ่อย
คำถามว่าตัวเลขเหล่านี้พิสูจน์อะไรได้และพิสูจน์อะไรไม่ได้
เราไม่ประกาศการรับประกันความแม่นยำ และเราจะมองการรับประกันจากผู้ให้บริการรายใดก็ตามด้วยความระมัดระวัง ความแม่นยำที่ทำได้จริงขึ้นอยู่กับตัวงาน ระบบหมวดหมู่ คุณภาพของข้อมูลต้นทาง และปริมาณความกำกวมที่มีอยู่จริงในสาขานั้น ซึ่งไม่มีข้อใดรู้ได้ก่อนทำโครงการนำร่อง สิ่งที่เราให้คำมั่นคือวิธีการวัดผล ว่าใช้ตัวชี้วัดใด คำนวณอย่างไร รายงานถี่แค่ไหน และจะเกิดอะไรขึ้นเมื่อชุดงานหนึ่งไม่ผ่านเกณฑ์ หลังทำโครงการนำร่องบนข้อมูลของคุณแล้ว เราจึงจะคุยเรื่องเป้าหมายที่เป็นจริงได้ เพราะถึงตอนนั้นจะมีอะไรที่จับต้องได้ให้คุยกัน
เป็นข้อมูลตัวอย่าง มีไว้เพื่อแสดงว่าอินเทอร์เฟซรายงานอะไรและตัวชี้วัดมีหน้าตาอย่างไรเมื่อเคลื่อนไหว และด้วยเหตุผลนี้เองจึงมีป้ายกำกับและคำชี้แจงแสดงไว้อย่างชัดเจน ตัวเลขเหล่านี้ไม่ใช่ผลลัพธ์จากโครงการของลูกค้า และเราจะไม่นำเสนอมันในลักษณะนั้น
ไม่ใช่ในตัวมันเอง ความสอดคล้องวัดความสม่ำเสมอ ไม่ใช่ความถูกต้อง ผู้กำกับข้อมูลที่เข้าใจผิดเหมือนกันย่อมเห็นตรงกันทุกประการ ค่านี้ยังพองขึ้นจากระบบหมวดหมู่ที่ไม่สมดุล ซึ่งเป็นเหตุผลที่เรารายงานสัมประสิทธิ์ที่ปรับค่าความบังเอิญแล้วควบคู่กับความสอดคล้องดิบ และเป็นเหตุผลที่ต้องมีชุดข้อมูลมาตรฐานซึ่งผู้ตรวจทานอาวุโสชี้ขาดไว้ เป็นการตรวจสอบความถูกต้องที่เป็นอิสระ
ชุดงานนั้นไม่ถูกส่งมอบ ขึ้นอยู่กับลักษณะความล้มเหลว การตอบสนองอาจเป็นการกำกับข้อมูลใหม่เฉพาะจุด การปรับปรุงแนวทางแล้วตามด้วยการทำงานใหม่ในรายการที่ได้รับผลกระทบ หรือการส่งเรื่องกลับมาที่คุณเมื่อสาเหตุอยู่ต้นน้ำ เช่น ระบบหมวดหมู่ที่กำกวมหรือข้อมูลต้นทางที่รองรับงานนั้นไม่ได้ เราขอส่งงานช้าพร้อมคำอธิบาย ดีกว่าส่งตรงเวลาพร้อมตัวเลขที่จะไม่รอดเมื่อเจอกับโมเดลของคุณ
ได้ และเป็นสิ่งที่สมเหตุสมผลที่จะขอ คุณตรวจดูแนวทางและประวัติเวอร์ชันของมันได้ ขอตัวอย่างไปให้คะแนนอย่างเป็นอิสระได้ และนำผลของคุณมาเทียบกับตัวเลขที่เรารายงานได้ ในกรณีที่ลูกค้าทำ QA ของตัวเองคู่ขนานไปด้วย เราถือว่าความแตกต่างระหว่างสองฝ่ายคือข้อค้นพบที่ควรตรวจสอบ ไม่ใช่ข้อพิพาทที่ต้องเถียงกัน
คุณภาพ
โครงการนำร่องให้ตัวเลขความสอดคล้องจริง การแจกแจงข้อผิดพลาดจริง และมุมมองตรงไปตรงมาว่าส่วนใดของระบบหมวดหมู่ของคุณจะไปรอดเมื่อทำในปริมาณมาก
ลงนาม NDA ก่อนที่คุณจะส่งข้อมูลใด ๆ การกำหนดขอบเขตโครงการนำร่องไม่มีค่าใช้จ่าย