การประเมินผล LLM ภาษาญี่ปุ่นและผลป้อนกลับจากมนุษย์

ผู้ตัดสินที่เป็น LLM นั้นถูก เร็ว และมีประโยชน์สำหรับติดตามการถดถอยระหว่างรุ่น แต่ไม่น่าเชื่อถือพอดีในจุดที่ภาษาญี่ปุ่นยาก คือความเหมาะสมของความสุภาพ ความหนักแน่นของการปฏิเสธ ความสม่ำเสมอของภาษายกย่อง และรูปการอ่านของชื่อ เพราะการตัดสินเหล่านั้นอาศัยความรู้เชิงวัจนปฏิบัติของเจ้าของภาษา รูปแบบที่ใช้กันบ่อยคือใช้ชุดที่มนุษย์ให้คะแนนเป็นชุดอ้างอิง ใช้ LLM เป็นผู้ตัดสินสำหรับการรันบ่อย ๆ และให้มนุษย์ให้คะแนนซ้ำเป็นระยะเพื่อตรวจว่าผู้ตัดสินยังไม่เลื่อนไหลออกจากชุดอ้างอิง

ขึ้นอยู่กับว่าคุณต้องการตรวจจับความแตกต่างขนาดใด และให้คะแนนกี่เกณฑ์ รายการที่คัดมาอย่างดีไม่กี่ร้อยรายการมักแยกโมเดลสองตัวที่ต่างกันชัดเจนได้ แต่การแยกเช็กพอยต์ที่เกือบเท่ากันต้องใช้มากกว่านั้นมาก เรากำหนดขนาดชุดข้อมูลตามการตัดสินใจที่คุณต้องการจะทำ และเราจะบอกคุณเมื่อชุดข้อมูลเล็กเกินกว่าจะรองรับข้อสรุปที่คุณต้องการ

ได้ สำหรับเนื้อหาอย่างคำถามด้านกฎหมาย ภาษี บัญชี แรงงาน หรือการจดทะเบียนนิติบุคคล เราจัดทีมประเมินผลขึ้นตามความเชี่ยวชาญที่งานนั้นต้องการ เราไม่ได้เก็บรายชื่อผู้ประกอบวิชาชีพที่มีใบอนุญาตไว้เป็นการประจำ ความพร้อมของบุคลากรจะประเมินเป็นรายโครงการจากขอบเขต ปริมาณงาน และกรอบเวลา และเราจะยืนยันสิ่งที่ทำได้จริงก่อนเริ่มงาน

เราทำได้ แต่ไม่ใช่ด้วยคนกลุ่มเดิม ผู้ประเมินในโครงการหนึ่งจะถูกแยกออกจากผู้กำกับข้อมูลที่เขียนข้อมูลฝึกสอนของโครงการนั้น เพราะการให้คะแนนตามแนวทางที่ตัวเองมีส่วนเขียนไม่ใช่การวัดผลที่เป็นอิสระ หากคุณต้องการให้การประเมินอยู่นอกผู้ให้บริการที่ผลิตข้อมูลไปเลย เราเห็นว่านั่นเป็นจุดยืนที่สมเหตุสมผลและจะบอกคุณตรง ๆ

รายงานผลตามจริง พร้อมการวิเคราะห์ความล้มเหลวที่อธิบายผลนั้น รายงานที่มีแต่คะแนนนำไปทำอะไรต่อไม่ได้ สิ่งที่คุณต้องการคือรูปแบบที่เกิดซ้ำอยู่เบื้องหลัง ตัวอย่างประกอบของแต่ละรูปแบบ และมุมมองที่เป็นรูปธรรมว่าทางแก้คือข้อมูลเพิ่ม แนวทางที่ต่างออกไป หรือการเปลี่ยนตัวผลิตภัณฑ์ เราขอส่งมอบข้อค้นพบที่ไม่น่าพอใจอย่างชัดเจน ดีกว่าทำให้มันฟังดูนุ่มลง