LLM & generative KI
Instruction-Antwort-Paare, Rangvergleiche, mehrstufige Dialoge und Safety-Daten, geschrieben von Annotatoren in Japan nach einem Styleguide, den Ihr Team freigegeben hat.
Das Schwierige an japanischen Instruction-Daten ist nicht, eine Antwort zu schreiben. Es ist, dieselbe Antwort im selben Register zehntausendmal zu schreiben – und schriftlich begründen zu können, warum dieses Register gewählt wurde.
Instruction-Daten, die viele Menschen schreiben, driften. Ein Annotator beendet jede Antwort mit ですます, ein zweiter wechselt mitten in einer technischen Erklärung zu である, ein dritter schreibt im knappen Stil eines Chat-Assistenten. Ein Modell, das auf der Mischung trainiert wird, lernt, dass alle drei zulässig sind, und produziert dann, was ihm gerade passt – die mit Abstand häufigste Klage, die wir über japanische Fine-Tunes hören.
Das Register ist nicht die einzige Achse, die driftet. Ablehnungen sind schlimmer. Japanisch lehnt indirekt ab, und ein Annotator, dem niemand gesagt hat, wie eine Ablehnung auszusehen hat, schreibt alles zwischen einem klaren お断りします und einem weichen それは難しいかもしれません. Wenn die Hälfte der Safety-Daten so weich ablehnt, dass es als Zustimmung durchgeht, lernt das Modell zu lavieren statt abzulehnen.
Das Ergebnis sind deshalb nie nur die Daten. Es sind die Daten plus die schriftlichen Entscheidungen, die sie hervorgebracht haben: der Styleguide, die Ablehnungsvorlage, die Formatierungsregeln und jeweils die Version, gegen die eine bestimmte Charge geschrieben wurde.
Im Überblick
Datensatzarten
Fünf Datensatzfamilien, meist kombiniert. Jede hat eine andere Definition von „richtig“, also bekommt jede einen eigenen Abschnitt in der Richtlinie und einen eigenen Prüfdurchlauf.
Prompt-Antwort-Paare, die das gewünschte Verhalten vorführen – neu geschrieben oder aus Ihren vorhandenen Inhalten umgeschrieben.
Zwei oder mehr Antwortkandidaten, verglichen nach schriftlichen Kriterien, wobei der Grund für die Wahl festgehalten und nicht erschlossen wird.
Gespräche, in denen sich Kontext ansammelt – das im ersten Zug gesetzte Register muss bis zum achten Zug halten, und genau daran scheitern die meisten japanischen Dialogdaten.
Prompts, die abgelehnt werden sollen, Prompts, die nach Ablehnung aussehen und es nicht sind, und die Ablehnungsformulierung, die beides trennt.
Tripel aus Frage, abgerufener Passage und belegter Antwort, dazu die negativen Fälle, in denen die Passage die Antwort gar nicht enthält.
Japanisch-spezifisch
Das sind die vier Entscheidungen, die, wenn sie nicht getroffen werden, einen Datensatz ergeben, der in der Prüfung gut aussieht und sich im Modell schlecht verhält.
Japanisch erzwingt in jeder Satzendung eine Höflichkeitsentscheidung. ですます, である und die schlichte Form sind nicht austauschbar, und ein auf einer Mischung trainiertes Modell mischt sie innerhalb einer einzigen Antwort.
Unser Vorgehen Der Styleguide legt je Produktoberfläche ein Standardregister fest, listet die Ausnahmen auf und gibt zu jeder ausgearbeitete Beispiele. Registerkonsistenz ist ein bewertetes Kriterium in der Prüfung, keine Geschmacksfrage.
それはちょっと難しいです ist eine Ablehnung, keine Aussage über Schwierigkeit. Annotatoren, die das wörtlich labeln, bringen dem Modell bei, eine Absage als neutrale Bemerkung zu lesen.
Unser Vorgehen Ablehnungskategorien und ihre Formulierungen werden vorab definiert, jeweils mit der beabsichtigten Stärke. Safety-Daten werden gezielt daraufhin geprüft, ob eine Ablehnung für einen japanischen Leser als Ablehnung ankommt.
Japanisch lässt weg, was der Kontext offensichtlich macht. In mehrstufigen Daten kann der Bezug vier Züge zurückliegen, und ein Annotator, der eine Antwort isoliert schreibt, rät falsch.
Unser Vorgehen Mehrstufige Elemente werden als ganze Gespräche geschrieben und geprüft, nie Zug für Zug. Wo der Bezug wirklich mehrdeutig ist, wird das Gespräch entweder korrigiert oder verworfen – nicht mit einer Vermutung gelabelt.
Dasselbe Wort erscheint in Kanji, Hiragana oder Katakana; Zahlen und Interpunktion erscheinen vollbreit oder halbbreit. Unkontrolliert bringt das dem Modell bei, dass Formatierung zufällig ist.
Unser Vorgehen Eine Normalisierungskonvention regelt die Schriftwahl für häufige Wörter, Ziffern, Interpunktion, Abstände um lateinischen Text und Listenformatierung. Sie gilt beim Schreiben und wird vor der Lieferung automatisch geprüft.
Prozess
Das Pilotprojekt ist dazu da, den ersten Richtlinienentwurf scheitern zu lassen. Die Produktion beginnt erst, wenn er nicht mehr scheitert.
Wir einigen uns darauf, wie eine gute Antwort für Ihr Produkt aussieht: Register, Länge, Formatierung, was wie abgelehnt wird und was das Modell tun soll, wenn es etwas nicht weiß.
Die Entscheidungen werden zu einem schriftlichen Dokument mit ausgearbeiteten Beispielen und Gegenbeispielen. Was Sie noch nicht entschieden haben, wird hier sichtbar gemacht statt stillschweigend geschluckt.
Eine kleine Charge wird von mehreren Annotatoren unabhängig geschrieben. Wo sie auseinandergehen, war die Richtlinie unklar – wir korrigieren die Richtlinie, nicht die Annotatoren.
Jedes Element wird von einem Annotator geschrieben und von einem anderen geprüft; ein Senior-Prüfer nimmt Stichproben und entscheidet Abweichungen schriftlich.
Zur Lieferung gehören die Daten, die Richtlinienversion, die Herkunftsangaben je Eintrag, der QA-Bericht und ein Änderungsprotokoll zur vorherigen Charge.
Lieferung
Die Felder werden beim Kickoff vereinbart; das hier ist die Standardform, wenn Sie kein bestehendes Schema haben.
| Datensatz | Standardformat | Enthält je Eintrag |
|---|---|---|
| Instruction / SFT | JSONL, messages-Array | system-/user-/assistant-Züge, Aufgaben-Tag, Richtlinienversion |
| Präferenzpaare | JSONL, chosen + rejected | beide Kandidaten, Bewertung je Kriterium, schriftliche Begründung |
| Mehrstufige Dialoge | JSONL, ein Gespräch je Zeile | vollständige Zugliste, Persona-Notizen, Register-Tag |
| Safety und Ablehnung | JSONL | Prompt, Kategorie, erwartetes Verhalten, verwendete Ablehnungsformulierung |
| RAG-Grounding | JSONL | Frage, Passagen, Antwort, Belegstellen, Beantwortbarkeits-Flag |
Qualität
Allgemeine Annotations-QA erkennt weder Registerdrift noch eine zu weiche Ablehnung. Diese Prüfungen tun es.
FAQ
Die Fragen, die Teams stellen, wenn sie ein erstes japanisches Fine-Tuning abgrenzen.
Beides. Von Grund auf zu schreiben ist im Japanischen üblich, weil brauchbare offene Instruction-Daten auf Japanisch rar sind und maschinell übersetzte Daten englische Satzstruktur ins Modell tragen. Wenn Sie bereits Inhalte haben – Support-Protokolle, Handbücher, interne Dokumente –, schreiben wir häufiger daraus um, was die Daten in Ihrer tatsächlichen Domäne verankert.
Durch einen schriftlichen Styleguide mit ausgearbeiteten Beispielen, eine Kalibrierungsrunde vor der Produktion, in der mehrere Annotatoren dieselben Elemente unabhängig schreiben, und durch Registerkonsistenz als ausdrücklich bewertetes Kriterium in der Prüfung. Konsistenz ist hier eine messbare Eigenschaft, kein Anspruch – wir beobachten die Abweichung zwischen Annotatoren, und jede geklärte Abweichung wird in den Styleguide zurückgeschrieben.
Nicht als Quelle für die fertigen Daten. Übersetzte Instruction-Daten erben englische Diskursstruktur, englische Höflichkeitsannahmen und englische Formatierungsgewohnheiten, und Modelle, die darauf trainiert sind, erzeugen Japanisch, das Muttersprachler als übersetzt beschreiben. Als Gerüst für Prompt-Ideen setzen wir Übersetzung durchaus ein, die Antworten werden aber von japanischen Muttersprachlern auf Japanisch geschrieben.
Nur wenn Sie dem zugestimmt haben, und immer mit menschlichem Umschreiben und Prüfen obendrauf – nie als ungeprüfte Durchreiche. Ob KI-Unterstützung eingesetzt wurde, wird je Eintrag festgehalten, sodass Sie später filtern oder prüfen können. Wenn Sie vollständig menschlich verfasste Daten brauchen, führen wir das Projekt so durch, und das Herkunftsfeld belegt es.
Bei weniger, als die meisten Teams erwarten. Ein paar tausend sorgfältig geschriebene, registerkonsistente Elemente bringen ein japanisches Fine-Tuning meist weiter als die zehnfache Menge verrauschter Daten, weil das Modell ebenso sehr einen Stil wie eine Aufgabe lernt. Wir grenzen zuerst ein Pilotprojekt mit einigen hundert Elementen ab, um die Richtlinie zu belegen, und dimensionieren die Produktion nach dem, was dieser Pilot misst.
LLM-Trainingsdaten
Eine Beschreibung der Aufgabe und eine Handvoll Beispielantworten genügen für den Anfang. Wir melden uns mit den Taxonomiefragen, die zu klären wären, und einem abgegrenzten Pilotprojekt.
NDA, bevor Sie Daten übermitteln. Die Planung des Pilotprojekts ist kostenlos.