Richtlinienlücke
Der Fall ist von der Richtlinie nicht abgedeckt. Behoben wird das durch eine Überarbeitung der Richtlinie, nicht durch Korrektur des Elements – sonst kehrt derselbe Fall wieder.
Qualitätssystem
Wie wir Annotationsqualität messen
Qualität ist entweder eine Zahl, mit der Sie arbeiten können, oder eine Meinung. Diese Seite erklärt genau, welche Zahlen wir erzeugen, wie sie berechnet werden, was sie aussagen können und was nicht, und was mit jeder Charge im QA-Bericht ankommt.
Jede Zahl, die auf dieser Website als Beispiel gezeigt wird, ist als Beispiel gekennzeichnet. Wir veröffentlichen keine Genauigkeitsgarantien, denn eine Garantie, die abgegeben wird, bevor wir Ihre Daten gesehen haben, ist keine Zusage – sie ist eine Marketingzahl.
Qualität wird eingebaut, nicht hineingeprüft
Eine Endkontrolle kann Fehler finden. Mehrdeutigkeit kann sie nicht finden, und Mehrdeutigkeit ist das, was einen japanischen Datensatz tatsächlich verschlechtert. Erlaubt die Richtlinie zwei Lesarten eines Falls, bestehen beide die Kontrolle, und die Inkonsistenz landet mit sauberem Attest in den Trainingsdaten.
Die Arbeit, die über Qualität entscheidet, passiert deshalb vor der Annotation: die Richtlinie schreiben, sie im Pilotprojekt an echten Grenzfällen scheitern lassen, messen, ob unabhängige Annotatoren zusammenlaufen, und die Richtlinie dort korrigieren, wo sie es nicht tun. Prüfen ist die zweite Verteidigungslinie, nicht die erste.
Es folgt das ganze System, einschließlich der Teile, die unangenehm zu veröffentlichen sind – was jede Kennzahl nicht erfasst und wo eine Zahl gesund aussehen kann, während der Datensatz es nicht ist.
Im Überblick
- Gemessen wird
- Inter-Annotator-Übereinstimmung, gemessene Gold-Set-Genauigkeit, Entscheidungsquote und Label-Drift.
- Berichtet je
- Charge, aufgeschlüsselt nach Label und Kriterium statt als eine vermischte Zahl.
- Prüftiefe
- Je Projekt festgelegt. Tiefer, wo Urteilsvermögen gefragt ist, leichter, wo die Aufgabe mechanisch ist.
- Abweichungen
- Werden von einem Senior-Prüfer schriftlich entschieden und in die Richtlinie zurückgeschrieben.
- Was wir nicht tun
- Genauigkeitsgarantien veröffentlichen oder eine Zahl nennen, die in einem anderen Projekt gemessen wurde.
Das System
Sechs Stufen, die durchgehend laufen
Dieser Kreislauf läuft über die gesamte Projektdauer, nicht einmal zu Beginn.
-
01
Spezifizieren
Die Richtlinie wird mit ausgearbeiteten Beispielen und Gegenbeispielen zu jeder Entscheidung geschrieben, die die Aufgabe verlangt. Was hier implizit bleibt, wird später zur Inkonsistenz.
-
02
Kalibrieren
Annotatoren labeln dasselbe Kalibrierungsset unabhängig. Die Abweichung zeigt, wo die Richtlinie mehrdeutig ist – korrigiert wird die Richtlinie, nicht der Annotator.
-
03
Annotieren
Produktionsarbeit, mit der Richtlinienversion je Element festgehalten, sodass eine spätere Frage zu einem einzelnen Eintrag präzise beantwortet werden kann.
-
04
Prüfen
Ein zweiter Annotator prüft in der Tiefe, die die Aufgabe verlangt. Prüfen ist eine eigene Rolle mit eigenen Kriterien, keine schnellere Wiederholung der Annotation.
-
05
Entscheiden
Abweichungen gehen an einen Senior-Prüfer, der die Auflösung und ihren Grund festhält. Jede Auflösung wird zu einem ausgearbeiteten Beispiel in der Richtlinie.
-
06
Messen und zurückspielen
Übereinstimmung, Gold-Set-Genauigkeit und Drift werden je Charge berechnet, mit früheren Chargen verglichen und genutzt, um zu entscheiden, wo die nächste Richtlinienüberarbeitung nötig ist.
Kennzahlen
Was jede Zahl tatsächlich bedeutet
Hier definiert, damit eine Zahl im QA-Bericht interpretierbar ist, ohne dass Sie uns fragen müssen, worauf sie sich bezieht.
- Inter-Annotator-Übereinstimmung アノテーター間一致率
- Wie oft unabhängige Annotatoren dasselbe Label auf dasselbe Element vergeben. Wird als rohe Übereinstimmung zusammen mit einem zufallskorrigierten Koeffizienten berichtet, denn rohe Übereinstimmung auf einer unausgewogenen Taxonomie kann hervorragend aussehen und fast keine Information tragen.
- Cohens κ / Krippendorffs α 一致係数
- Zufallskorrigierte Übereinstimmungskoeffizienten. Cohens κ für zwei Annotatoren auf kategorialen Labels; Krippendorffs α, wenn es mehr als zwei Annotatoren, fehlende Urteile oder Ordinalskalen gibt. Welcher verwendet wird, steht im Bericht und bleibt nicht implizit.
- Gold-Set-Genauigkeit ゴールドセット正解率
- Genauigkeit gegen ein Referenzset, das Senior-Prüfer annotiert und entschieden haben. Sie misst Richtigkeit statt Konsistenz – zwei Annotatoren können perfekt übereinstimmen und beide falsch liegen, was eine Übereinstimmungsstatistik allein nie zeigt.
- Entscheidungsquote 裁定率
- Der Anteil der Elemente, die ein Senior-Prüfer auflösen musste. Eine steigende Entscheidungsquote ist meist das früheste Signal dafür, dass sich die Daten verschoben haben oder die Richtlinie eine Lücke hat, und sie bewegt sich vor der Genauigkeit.
- Label-Drift ラベルドリフト
- Bewegung in der Labelverteilung oder im Verhalten der Annotatoren über die Zeit. Lange Projekte driften aus gewöhnlichen Gründen – die Quelldaten ändern sich, Annotatoren werden sicherer –, und Drift-Monitoring ist das, was das von echter Verschlechterung trennt.
- Grenzübereinstimmung 境界一致率
- Bei Span-Aufgaben: wie genau Annotatoren darin übereinstimmen, wo ein Span beginnt und endet, getrennt davon berichtet, ob sie sich beim Label einig sind. Ein japanischer Span-Datensatz kann hervorragende Labelübereinstimmung und unbrauchbare Grenzen haben.
Qualitätsübersicht
Beispiel-QA-DashboardÜbereinstimmung
97.8%
2.1% vs. letzte 7 Tage
Gold-Set-Genauigkeit
98.6%
1.4% vs. letzte 7 Tage
Geprüfte Elemente
24826
18.7% diese Woche
Offene Abweichungen
18
12 vs. letzte 7 Tage
Label-Drift (30 Tage)
Beobachtete Drift
Alarmschwelle
Qualität im Überblick
- Einhaltung der Richtlinien
- Kalibrierung der Prüfer
- Ausreißer-Monitoring
- Drift-Erkennung
Illustration der Oberfläche. Die gezeigten Zahlen sind Beispieldaten, die erklären, wie wir Qualität überwachen – keine berichteten Ergebnisse.
Prüfung
Wie viel einer Charge geprüft wird
Die Prüftiefe ist eine Projekteinstellung, mit Ihnen vereinbart und im Vertrag festgehalten. Mehr ist nicht immer besser – eine mechanische Aufgabe in voller Tiefe zu prüfen setzt Budget dort ein, wo kein Urteilsvermögen nötig ist.
| Prüftiefe | Üblich für | Was passiert |
|---|---|---|
| Stichprobenprüfung | Mechanische Aufgaben mit hohem Volumen und stabiler Übereinstimmung | Ein festgelegter Anteil der Elemente wird geprüft; Fehler lösen einen breiteren Durchlauf aus |
| Vollständiger zweiter Durchlauf | Urteilsabhängiges Labeling und die meiste japanische Span-Arbeit | Jedes Element wird von einem zweiten Annotator geprüft |
| Blinde Doppelannotation | Evaluationssets, Benchmarks und Gold-Sets | Zwei Annotatoren arbeiten unabhängig; alle Abweichungen werden entschieden |
| Expertenprüfung | Regulierte Domänen und fachliches Urteil | Ein Fachexperte prüft, mit schriftlicher Begründung bei strittigen Elementen |
Fehlertaxonomie
Die Fehler benennen
Ein Defekt, der einen Namen hat, lässt sich zählen, im Trend verfolgen und beheben. Eine allgemeine Zahl von „Fehlern“ sagt Ihnen nicht, was zu ändern ist.
Falsche Anwendung der Richtlinie
Der Fall ist abgedeckt und der Annotator hat die Regel falsch angewendet. Behoben durch Feedback und, bei Wiederholung, durch ein klareres ausgearbeitetes Beispiel.
Grenzfehler
Das Label stimmt, der Span nicht. Typisch für japanische Span-Arbeit, wo Grenzregeln und Tokenisierung zusammenwirken.
Register- oder Nuancenfehler
Sprachlich richtig, sozial falsch: der falsche Höflichkeitsgrad oder eine Ablehnung, die zu weich ist, um als solche gelesen zu werden.
Sachlicher Fehler
Eine überprüfbare Aussage, Namenslesung oder Zahl ist falsch. Von Urteilsfehlern unterschieden, weil die Lösung Verifikation heißt und nicht Kalibrierung.
Quellendefekt
Das Element selbst ist unbrauchbar – unverständliches Audio, ein unleserlicher Scan, ein mehrdeutiger Prompt. Wird markiert und zurückgegeben, nie mit einer plausiblen Vermutung gefüllt.
Berichte
Was mit jeder Charge ankommt
Der Bericht ist so angelegt, dass Sie die Charge auch ohne uns im Raum prüfen könnten.
- Übereinstimmungswerte je Label oder Kriterium, mit ausdrücklicher Angabe des verwendeten Koeffizienten.
- Gold-Set-Genauigkeit für die Charge und der Trend gegenüber früheren Chargen.
- Entscheidungsquote, mit dem Entscheidungsprotokoll und der zu jeder Auflösung festgehaltenen Begründung.
- Fehlerzahlen, aufgeschlüsselt nach der obigen Taxonomie statt als eine einzige Defektsumme.
- Die Richtlinienversion, gegen die die Charge annotiert wurde, und ein Änderungsprotokoll zur vorherigen Version.
- Als Quellendefekt markierte Elemente, aufgelistet statt stillschweigend weggelassen.
FAQ
Zur Qualitätsmessung
Fragen dazu, was diese Zahlen belegen und was nicht.
Wir veröffentlichen keine Genauigkeitsgarantie, und wir würden eine solche von jedem Anbieter mit Vorsicht behandeln. Die erreichbare Genauigkeit hängt von der Aufgabe, der Taxonomie, der Qualität der Quelldaten und davon ab, wie viel echte Mehrdeutigkeit die Domäne enthält – nichts davon ist vor einem Pilotprojekt bekannt. Wozu wir uns verpflichten, ist die Messmethode: welche Kennzahlen, wie berechnet, in welchem Rhythmus berichtet und was passiert, wenn eine Charge die Vorgaben verfehlt. Nach einem Pilotprojekt an Ihren Daten können wir über realistische Zielwerte sprechen, weil es dann etwas Reales zu besprechen gibt.
Es sind Beispieldaten. Sie zeigen, was die Oberfläche berichtet und wie die Kennzahlen in Bewegung aussehen, und genau deshalb stehen sie hinter einem sichtbaren Hinweis und einem Disclaimer. Es sind keine Ergebnisse aus einem Kundenprojekt, und wir werden sie auch nicht als solche darstellen.
Nicht für sich genommen. Übereinstimmung misst Konsistenz, nicht Richtigkeit – Annotatoren, die dasselbe Missverständnis teilen, stimmen perfekt überein. Sie wird zudem von unausgewogenen Taxonomien aufgebläht; deshalb berichten wir neben der rohen Übereinstimmung einen zufallskorrigierten Koeffizienten, und deshalb gibt es von Senior-Prüfern entschiedene Gold-Sets als unabhängige Kontrolle der Richtigkeit.
Sie wird nicht geliefert. Je nach Fehler folgt gezielte Neuannotation, eine Richtlinienüberarbeitung samt Nacharbeit der betroffenen Elemente oder eine Eskalation an Sie, wenn die Ursache vorgelagert ist – eine mehrdeutige Taxonomie oder Quelldaten, die die Aufgabe nicht tragen. Wir liefern lieber spät mit einer Erklärung als pünktlich mit einer Zahl, die den Kontakt mit Ihrem Modell nicht übersteht.
Ja, und es ist eine vernünftige Forderung. Sie können die Richtlinie und ihre Versionshistorie einsehen, eine Stichprobe für eine unabhängige Bewertung nehmen und Ihre Befunde mit unseren berichteten Zahlen vergleichen. Wenn ein Kunde parallel eigene QA betreibt, behandeln wir Abweichungen zwischen beiden als Befund, dem nachzugehen ist, und nicht als Streitfall, den man ausficht.
Qualität
Fragen Sie uns nach den Zahlen zu Ihren eigenen Daten.
Ein Pilotprojekt liefert echte Übereinstimmungswerte, eine echte Fehleraufschlüsselung und eine ehrliche Einschätzung, welche Teile Ihrer Taxonomie im Volumen halten werden.
NDA, bevor Sie Daten übermitteln. Die Planung des Pilotprojekts ist kostenlos.