Evaluation & Human Feedback
Strukturiertes menschliches Urteil über das, was Ihr Modell auf Japanisch tatsächlich produziert – bewertet von Muttersprachlern nach einer schriftlichen Rubric, mit gemessener Übereinstimmung und schriftlich entschiedenen Abweichungen.
Eine Evaluation ist nur so gut wie ihre Rubric. Wenn zwei kompetente Japanischsprecher dieselbe Antwort unterschiedlich bewerten und nicht sagen können, warum, ist die Zahl am Ende Rauschen mit Nachkommastelle.
Automatische Metriken und LLM-as-Judge-Aufbauten taugen dazu, einen Trend zu verfolgen, und sind unzuverlässig genau bei den Fehlern, die im Japanischen am meisten zählen. Ein überwiegend auf Englisch trainiertes Judge-Modell winkt bereitwillig eine Antwort durch, deren Höflichkeitsgrad zur Situation nicht passt, deren Ablehnung zu weich ist, um als Ablehnung gelesen zu werden, oder deren Höflichkeitsformen der drei Züge zuvor etablierten Beziehung widersprechen. Genau diese Fehler bemerkt ein japanischer Nutzer sofort und eine Metrik gar nicht.
Wir bewerten deshalb so, wie es ein sorgfältiger Prüfer täte, machen das Prüfen aber reproduzierbar: verankerte Rubrics mit ausgearbeiteten Beispielen zu jedem Punktwert, Kalibrierung vor Beginn der Bewertung, blinde Doppelbewertung einer Stichprobe und eine schriftliche Entscheidung, wenn Bewerter uneins sind. Heraus kommen Zahlen, die Sie vertreten können, samt der Begründung, die zu ihnen geführt hat.
Unabhängigkeit behandeln wir außerdem als Konstruktionsbedingung. Die Bewerter eines Projekts sind nicht die Personen, die seine Trainingsdaten geschrieben haben, denn wer die eigene Richtlinie bewertet, bewertet sie tendenziell großzügig.
Im Überblick
Evaluationsarten
Verschiedene Fragen brauchen verschiedene Instrumente. Die meisten Programme fahren zwei oder drei davon gegen dasselbe Modell.
Zwei Antworten auf denselben Prompt, verglichen nach schriftlichen Kriterien. Der robusteste Weg, Modellversionen zu vergleichen, weil ein relatives Urteil weit stabiler ist als ein absoluter Wert.
Absolute Werte auf benannten Kriterien – Richtigkeit, Nützlichkeit, Register, Formatierung, Safety – jeweils mit verankerten Beschreibungen dessen, was ein Wert bedeutet.
Ob eine Aussage stimmt und ob sie tatsächlich durch die Passage gedeckt ist, die das Modell erhalten hat. Das sind zwei verschiedene Fehler und werden getrennt bewertet.
Adversariale Prompts, auf Japanisch von japanischen Muttersprachlern geschrieben – einschließlich der indirekten und beschönigenden Formulierungen, die in übersetzten Prompt-Sets nie vorkommen.
Ein zurückgehaltenes Evaluationsset für Ihre Domäne, dessen Elemente unterscheiden sollen, statt von allem richtig beantwortet zu werden.
Japanisch-spezifisch
Jeder dieser Punkte ist für ein englisch trainiertes Judge-Modell unsichtbar und für einen japanischen Leser offensichtlich.
Eine Antwort kann grammatisch, sachlich richtig und trotzdem falsch sein, weil sie einen Kunden in dem Register anspricht, das man unter Kollegen verwendet. Höflichkeit ist im Japanischen eine Achse der Richtigkeit, keine stilistische.
Unser Vorgehen Das Register ist ein eigenes Rubric-Kriterium mit eigenen Ankern, getrennt von der Richtigkeit bewertet, damit eine inhaltlich gute, aber im Register falsche Antwort sich nicht hinter ihrem Inhalt verstecken kann.
Japanische Ablehnungen sind standardmäßig indirekt. Ein Modell, das eine verbotene Anfrage mit 難しいかもしれません beantwortet, hat streng genommen laviert, und viele Evaluationsaufbauten werten das als gelungene Ablehnung.
Unser Vorgehen Ablehnungen werden danach bewertet, ob ein japanischer Muttersprachler sie als Ablehnung liest, auf einer Skala mit ausgearbeiteten Beispielen; Überablehnung gilt als eigener Fehler und nicht als Erfolg.
Die früh im Gespräch etablierte Beziehung bindet jeden späteren Zug. Modelle setzen sie mitten im Dialog häufig zurück, was für japanische Nutzer klingt, als hätte der Assistent vergessen, mit wem er spricht.
Unser Vorgehen Mehrstufige Elemente werden als Gespräche bewertet, mit einem Konsistenzkriterium, das über die Züge hinweg schaut statt jede Antwort für sich zu betrachten.
Japanische Eigennamen haben mehrere gültige Lesungen, und ein Modell, das die falsche Lesung eines Personen- oder Ortsnamens erzeugt, begeht einen sachlichen Fehler, den keine Rechtschreibprüfung sieht.
Unser Vorgehen Fehler bei Eigennamen und Lesungen sind eine eigene Unterkategorie der Faktentreue und werden gegen japanische Quellen geprüft, nicht gegen das Gedächtnis der bewertenden Person.
Prozess
Die Rubric ist das Ergebnis, das den Durchlauf überdauert. Sie macht die nächste Evaluation mit dieser vergleichbar.
Wir übersetzen Ihre Qualitätsanliegen in benannte Kriterien und schreiben zu jedem Punktwert verankerte Beschreibungen mit echten Beispielen aus Ihren eigenen Modellausgaben.
Prompts werden gezogen oder geschrieben, um die Verhaltensweisen abzudecken, die Ihnen wichtig sind – auch die seltenen und adversarialen Fälle, die eine Zufallsstichprobe nie zutage fördern würde.
Alle Bewerter bearbeiten dieselbe Kalibrierungscharge. Abweichungen werden besprochen, die Anker der Rubric geschärft, und die eigentliche Bewertung beginnt erst, wenn die Übereinstimmung stabil ist.
Ein festgelegter Anteil der Elemente wird von zwei Bewertern blind bewertet. Abweichungen gehen an einen Senior-Prüfer, der den Grund der Entscheidung festhält.
Sie erhalten die Werte, die Übereinstimmungsstatistik, das Entscheidungsprotokoll und eine schriftliche Zusammenfassung der wiederkehrenden Fehlermuster – nicht nur eine Zeile in einer Rangliste.
Lieferung
Jeder Wert ist einem Element, einer Bewerterrolle, einer Rubric-Version und, wo eine geschrieben wurde, einer Begründung zuzuordnen.
| Ergebnis | Format | Inhalt |
|---|---|---|
| Werte je Element | JSONL oder CSV | Element-ID, Kriterienwerte, Begründung, Bewerterrolle, Rubric-Version |
| Übereinstimmungsbericht | PDF oder Markdown | Übereinstimmung je Kriterium, Entscheidungsquote, Drift über den Durchlauf |
| Fehleranalyse | PDF oder Markdown | wiederkehrende Muster, ausgearbeitete Beispiele, Vorschläge für Richtlinien- oder Datenänderungen |
| Red-Team-Befunde | JSONL | Prompt, Antwort, Kategorie, Schweregrad, Hinweise zur Reproduktion |
| Benchmark-Set | JSONL plus Harness | Elemente, Referenzantworten, zulässige Varianten, Bewertungsskript |
Qualität
Eine Evaluation ohne Übereinstimmungsstatistik ist eine Meinung. Diese Prüfungen machen eine Messung daraus.
FAQ
Was Teams fragen, bevor sie eine erste japanische Evaluation beauftragen.
LLM-Judges sind billig, schnell und nützlich, um zwischen Releases Regressionen zu verfolgen. Unzuverlässig sind sie genau dort, wo Japanisch schwierig ist – Angemessenheit der Höflichkeit, Stärke der Ablehnung, Konsistenz der Höflichkeitsformen und Namenslesungen –, weil diese Urteile muttersprachliches pragmatisches Wissen voraussetzen. Üblich ist eine Kombination: ein von Menschen bewertetes Set als Referenz, ein LLM-Judge für häufige Durchläufe und periodische menschliche Nachbewertung, um zu prüfen, dass der Judge nicht von der Referenz weggedriftet ist.
Das hängt davon ab, wie groß der Unterschied ist, den Sie erkennen wollen, und wie viele Kriterien Sie bewerten. Ein paar hundert gut gewählte Elemente trennen meist zwei deutlich verschiedene Modelle; nahezu gleichwertige Checkpoints zu unterscheiden verlangt erheblich mehr. Wir dimensionieren das Set nach der Entscheidung, die Sie treffen wollen, und sagen Ihnen, wenn ein Set zu klein ist, um die gewünschte Schlussfolgerung zu tragen.
Ja. Bei Themen wie Recht, Steuern, Rechnungswesen, Arbeitsrecht oder Registerverfahren stellen wir das Evaluationsteam um die Expertise herum zusammen, die die Aufgabe erfordert. Wir unterhalten keinen festen Pool zugelassener Berufsträger – die Verfügbarkeit wird je Projekt anhand von Umfang, Volumen und Zeitplan beurteilt, und wir bestätigen vor Arbeitsbeginn, was machbar ist.
Ja, aber nicht mit denselben Personen. Die Bewerter eines Projekts sind von den Annotatoren getrennt, die seine Trainingsdaten geschrieben haben, denn gegen eine Richtlinie zu bewerten, an der man mitgeschrieben hat, ist keine unabhängige Messung. Wenn Ihnen lieber ist, dass die Evaluation vollständig außerhalb des Dienstleisters liegt, der die Daten erstellt hat, halten wir das für eine vernünftige Position und sagen das auch.
Die Ergebnisse, dazu die Fehleranalyse, die sie erklärt. Ein Bericht, der nur einen Wert enthält, ist nicht handlungsfähig – Sie brauchen die wiederkehrenden Muster dahinter, ausgearbeitete Beispiele dazu und eine konkrete Einschätzung, ob die Lösung mehr Daten, eine andere Richtlinie oder eine Änderung am Produkt ist. Wir liefern einen unbequemen Befund lieber klar, als ihn abzumildern.
LLM-Evaluation
Schicken Sie uns eine Reihe von Modellausgaben oder die Prompts, an denen Sie es testen wollen. Wir melden uns mit einer vorgeschlagenen Rubric, einer danach bewerteten Stichprobe und dem, was ein vollständiger Durchlauf bedeuten würde.
NDA, bevor Sie Daten übermitteln. Die Planung des Pilotprojekts ist kostenlos.