Warum japanische Daten für KI schwierig sind

Der Fehler zeigt sich als Schweigen, nicht als Fehlermeldung

Japanische Datensätze scheitern selten laut. Sie scheitern, indem sie zwei vertretbare Antworten auf dieselbe Frage enthalten, festgehalten, als wären sie dieselbe Antwort. Ein Annotator schreibt einen Firmennamen mit 株式会社 innerhalb des Entity-Spans, ein anderer lässt es weg; eine Person transkribiert ありがとう, eine andere 有難う; ein Bewerter liest それはちょっと難しいです als Aussage über Schwierigkeit, ein anderer als Ablehnung. Nichts in der Pipeline protestiert. Die Inkonsistenz wird schlicht Teil dessen, was das Modell lernt.

Deshalb ist japanische Annotationsarbeit von Spezifikation geprägt und nicht von Arbeitsmenge. Fast jede Schwierigkeit weiter unten hat keine einzig richtige Auflösung – sie hat eine Auflösung, die gewählt, aufgeschrieben und dann zehntausendmal identisch angewendet werden muss. Ein Team, das diese Entscheidungen ausdrücklich trifft, schlägt ein größeres Team, das es nicht tut.

Es folgt die Liste, die wir zu Projektbeginn durcharbeiten, samt der Entscheidung, die jeder Punkt erzwingt. Sie ist bewusst konkret: Das sind die Fragen, die wir Ihnen tatsächlich stellen werden.

Im Überblick

Schriftsysteme: Vier gleichzeitig im Gebrauch – Kanji, Hiragana, Katakana und lateinische Schrift – oft innerhalb eines Satzes.
Wortgrenzen: Keine. Die Segmentierung stammt von einem morphologischen Analysator, und die Analysatoren sind sich uneins.
Höflichkeit: Grammatisch verpflichtend. Jede Satzendung kodiert eine soziale Beziehung.
Subjekte: Werden regelmäßig weggelassen und aus dem Kontext erschlossen, manchmal mehrere Sätze zurück.
Praktische Folge: Die meisten Defekte in japanischen Daten sind nicht getroffene Entscheidungen, keine Fehler der Annotatoren.

Die Schwierigkeiten

Sieben Eigenschaften, die englisch-zentrierte Annahmen brechen

Jede davon ist eine Eigenschaft der Sprache, keine Eigenart eines Datensatzes. Sie werden in jedem japanischen Projekt auftauchen.

Vier Schriftsysteme gleichzeitig

漢字・ひらがな・カタカナ・ローマ字

Dasselbe Wort kann in Kanji, Hiragana, Katakana oder lateinischer Schrift geschrieben werden, und alle vier können in einem Satz vorkommen. 卵, たまご und タマゴ sind dasselbe Wort mit verschiedenen Konnotationen; コンピュータ und コンピューター unterscheiden sich um ein Zeichen und sind beide üblich.

Unser Vorgehen Eine Normalisierungskonvention listet die vorgeschriebene Schrift für häufige Wörter auf, setzt für den Rest eine Standardregel und legt die Behandlung von Langvokalen sowie vollbreiten und halbbreiten Zeichen fest. Alles Weitere erbt aus diesem Dokument.

Keine Leerzeichen zwischen Wörtern

分かち書きがない

Japanischer Text ist eine ununterbrochene Zeichenkette. Wortgrenzen erzeugt ein morphologischer Analysator, und MeCab, Sudachi und Juman++ segmentieren denselben Satz unterschiedlich – ein gegen einen davon annotierter Span passt womöglich nicht zum nächsten.

Unser Vorgehen Analysator und Wörterbuch vor der Annotation festlegen, Spans als Zeichen-Offsets speichern, damit sie einen Tokenizer-Wechsel überstehen, und validieren, dass kein Span innerhalb eines Tokens endet.

Verpflichtende Höflichkeit

敬語

Die japanische Grammatik erzwingt in nahezu jedem Satz eine Höflichkeitsentscheidung. 尊敬語 erhöht das Gegenüber, 謙譲語 senkt die sprechende Person und 丁寧語 ist das neutrale höfliche Register; die richtige Wahl hängt von der Beziehung ab, nicht vom Inhalt.

Unser Vorgehen Je Produktoberfläche ein Standardregister wählen, die Ausnahmen auflisten und das Register in der Prüfung als eigenes Kriterium bewerten, damit eine inhaltlich gute, aber im Register falsche Antwort nicht durchgeht.

Ausgelassene Subjekte und Objekte

主語省略・ゼロ代名詞

Japanisch lässt alles weg, was der Kontext wiederherstellbar macht. Eine isoliert geschriebene Antwort hängt sich häufig an den falschen Bezug, und im mehrstufigen Dialog kann der wahre Bezug mehrere Züge zurückliegen.

Unser Vorgehen Gespräche als Ganzes annotieren und prüfen statt Zug für Zug, und einen wirklich nicht rekonstruierbaren Bezug als Defekt des Elements behandeln statt als etwas, das man erraten kann.

Indirektheit als Grammatik der Ablehnung

断りの婉曲表現

Eine Ablehnung wird oft als Aussage über Schwierigkeit oder Umstände formuliert. それはちょっと難しいです lehnt ab; ちょっと考えさせてください lehnt häufig ab. Wörtliches Lesen kehrt die Bedeutung um.

Unser Vorgehen Ablehnungskategorien und ihre beabsichtigte Stärke mit ausgearbeiteten Beispielen definieren und Ablehnungen danach bewerten, ob ein japanischer Muttersprachler sie als Ablehnung liest – nicht danach, ob sie eine Verneinung enthalten.

Namen mit mehreren gültigen Lesungen

固有名詞の読み

Ein japanischer Personen- oder Ortsname in Kanji hat oft mehrere mögliche Lesungen, und die richtige ist eine Tatsache über die einzelne Person und keine Regel. 東海林 kann Shoji oder Tokairin sein; beides sind echte Familiennamen.

Unser Vorgehen Die Lesung als eigenes Feld erfassen statt sie abzuleiten, gegen eine Quelle prüfen und eine nicht überprüfbare Lesung als ungeprüft markieren, statt die häufigste zu wählen.

Fachregister, die vom Alltagsjapanischen abweichen

専門用語・文体

Juristisches, steuerliches, medizinisches und behördliches Japanisch hat eigenes Vokabular, eigene Satzstrukturen und feste Formulierungen. Fließendes Alltagsjapanisch reicht nicht aus, um zu beurteilen, ob eine Vertragsklausel oder eine Steuererläuterung korrekt formuliert ist.

Unser Vorgehen Den Annotator auf das Register abstimmen, in dem die Daten geschrieben sind, und Fachexperten hinzuziehen, wo das zu treffende Urteil ein fachliches und kein sprachliches ist.

Ein ausgearbeitetes Beispiel

Ein Satz, fünf Bedeutungen

Der folgende Satz ist gewöhnlich, höflich und außerordentlich verbreitet. Welche seiner fünf Lesarten gilt, entscheidet ausschließlich die Situation darum herum – und genau diese Information muss eine Annotationsrichtlinie liefern.

大丈夫です。

Daijōbu desu.

Ein Satz, mehrere Bedeutungen.

Zeigen Sie auf eine Bedeutung, um den Kontext zu sehen, der sie bestimmt.

Es ist dasselbe Beispiel wie auf der Startseite. Es steht hier, weil es am klarsten zeigt, warum der Kontext und nicht das Vokabular der schwierige Teil japanischer Annotation ist.

Spezifikation

Entscheidungen, die vor dem Start aufgeschrieben gehören

Jede davon wird sonst implizit und unterschiedlich von jeder Person entschieden, die die Daten anfasst.

In welcher Schrift jedes häufige Wort geschrieben wird und die Standardregel für Wörter, die nicht auf der Liste stehen.
Ob Ziffern arabisch oder in Kanji stehen und wie Zählwörter, Datumsangaben, Geldbeträge und Uhrzeiten geschrieben werden.
Der morphologische Analysator und das Wörterbuch, gegen die Span-Grenzen definiert werden.
Ob Rechtsformzusätze wie 株式会社 innerhalb oder außerhalb eines Organisations-Spans liegen.
Maximal- oder Minimal-Span-Politik für Komposita und wo Schachtelung erlaubt ist.
Das Standard-Höflichkeitsregister, seine Ausnahmen und wie eine korrekte Ablehnung aussieht.
Normalisierung vollbreiter und halbbreiter Zeichen: was umgewandelt und was exakt erhalten wird.
Wie Ära-Datumsangaben erfasst werden und ob eine gregorianische Umrechnung daneben gespeichert wird.
Was mit einem wirklich mehrdeutigen Element geschieht – markiert, eskaliert oder ausgeschlossen.

Glossar

Begriffe, die in japanischen Annotationsrichtlinien vorkommen

Das Vokabular, das Ihnen in einer japanischen Datenspezifikation begegnet, definiert so, wie es in der Annotationsarbeit tatsächlich verwendet wird.

Keigo 敬語: Das Gesamtsystem der japanischen Höflichkeitssprache, das Ehrerbietungs-, Bescheidenheits- und Höflichkeitsformen umfasst. Sein Gebrauch ist grammatisch verpflichtend und nicht optional, also kodiert jeder Satz eine soziale Haltung.
Sonkeigo 尊敬語: Ehrerbietende Sprache, die die Person erhöht, über die gesprochen wird. Wird über Kunden, Auftraggeber oder Vorgesetzte verwendet – nie über sich selbst.
Kenjougo 謙譲語: Bescheidenheitssprache, die die sprechende Person oder ihre Gruppe gegenüber der angesprochenen Person senkt. In der japanischen Geschäftskommunikation Standard, wenn eigenes Handeln beschrieben wird.
Teineigo 丁寧語: Das schlichte höfliche Register, vor allem an ですます-Satzendungen erkennbar. Der übliche Standard für japanische KI-Ausgaben gegenüber Endnutzern.
Wakachigaki 分かち書き: Schreiben mit Leerzeichen zwischen den Wörtern. Im Japanischen nicht üblich, weshalb die Segmentierung von einem morphologischen Analysator erzeugt und nicht am Text abgelesen werden muss.
Morphologischer Analysator 形態素解析器: Ein Werkzeug, das japanischen Text in Morpheme zerlegt und Wortarten zuweist. MeCab, Sudachi und Juman++ sind die üblichen Optionen, und sie sind sich nicht immer einig.
Furigana / Ruby ふりがな・ルビ: Kleine Kana über oder neben Kanji, die deren Lesung angeben. Eine Aussprachehilfe, kein Inhalt, weshalb sie im annotierten Text eine eigene Darstellung braucht.
Okurigana 送り仮名: Kana, die einem Kanji folgen, um die Flexion anzuzeigen. Für dasselbe Wort sind oft mehrere Schreibungen zulässig, was eine häufige Quelle von Oberflächenvarianz ist.
Hyoukiyure 表記ゆれ: Orthografische Variation – dasselbe Wort erscheint über ein Korpus hinweg in verschiedenen Schriften oder Schreibungen. Der mit Abstand häufigste Defekt in unspezifizierten japanischen Datensätzen.
Zenkaku / Hankaku 全角・半角: Vollbreite und halbbreite Zeichenformen. Ａ und A sind verschiedene Zeichen, die fast identisch aussehen, weshalb die Normalisierung ausdrücklich festgelegt sein muss.
Josuushi 助数詞: Zählwörter, die an Zahlen treten und mit der Art des Gezählten wechseln. Ihre Lesung ist unregelmäßig, was besonders für Sprachdaten zählt.
Nullanapher ゼロ代名詞: Ein ausgelassenes Subjekt oder Objekt, das aus dem Kontext erschlossen werden muss. Im Japanischen allgegenwärtig und eine häufige Ursache falscher Bezüge in generiertem Text.
Kyuujitai 旧字体: Vorreformierte Kanji-Formen, die sich noch in älteren Dokumenten, Registerauszügen und manchen Personennamen finden. Sie müssen erhalten statt normalisiert werden, wenn sie eine Person oder eine eingetragene Gesellschaft identifizieren.
Wareki 和暦: Japanische Datumsangaben nach Ära, etwa 令和6年. Üblich auf amtlichen Dokumenten und Formularen und häufig zusammen mit gregorianischen Daten auf derselben Seite.

FAQ

Zu japanischen Sprachdaten

Fragen von Teams, die ihren ersten japanischen Datensatz aufbauen.

Für Prompts und Aufgabenideen ist Übersetzung ein brauchbares Gerüst. Für Antworten nicht: Übersetztes Japanisch trägt englische Satzstruktur, englische Höflichkeitsannahmen und englische Formatierungsgewohnheiten, und Muttersprachler beschreiben darauf trainierte Modelle als übersetzt klingend. Übersetzung kann außerdem die Phänomene nicht erzeugen, die es nur im Japanischen gibt – Konsistenz der Höflichkeitsformen, indirekte Ablehnung, Schriftvariation –, und genau die wollen Sie beibringen.

Bei allem, was mit Register, Ablehnungsstärke oder pragmatischer Bedeutung zu tun hat, ist muttersprachliches Urteil kein Luxus. Ob それはちょっと難しいです als Absage gelesen wird, ist eine Tatsache darüber, wie der Satz bei einem muttersprachlichen Hörer ankommt, und eine sehr fortgeschrittene nicht-muttersprachliche Person kann ihn korrekt analysieren und die Stärke trotzdem falsch einschätzen. Für mechanische Aufgaben mit gut spezifizierter Richtlinie reicht fortgeschrittenes Niveau oft aus.

Sie zählt immer dann, wenn Labels Spans sind. Verschiedene Analysatoren setzen Grenzen unterschiedlich, sodass ein gegen eine Segmentierung annotierter Span unter einer anderen mitten in einem Token liegen kann, und das BIO-Tagging verschiebt ihn stillschweigend. Zeichen-Offsets neben dem Tag-Format zu speichern ist das, was die Daten einen späteren Tokenizer-Wechsel ohne Neuannotation überstehen lässt.

Pro Element meist ja – die Spezifikationsarbeit ist größer, der Annotatorenpool kleiner, und mehr Aufgaben brauchen eine Prüfung durch eine zweite muttersprachliche Person. Der Ausgleich ist, dass gut spezifizierte japanische Daten pro Element weiter tragen, weil das Modell zu einem großen Teil einen konsistenten Stil lernt – und Konsistenz erreicht man durch Spezifikation, nicht durch Volumen.

Eine Stichprobe Ihrer echten Daten, auch die Teile, die Sie für unordentlich halten, dazu eine Beschreibung, was das Modell damit tun soll. Das genügt uns, um die oben genannten Entscheidungen zu entwerfen, einen kleinen Piloten zu annotieren und Ihnen zu zeigen, wo zwei vernünftige Annotatoren uneins sind – der schnellste Weg herauszufinden, was Ihrer Spezifikation fehlt.

Japanische Sprachdaten

Das Schwierige ist die Spezifikation. Fangen Sie dort an.

Schicken Sie eine Datenprobe und was das Modell tun soll. Wir melden uns mit den Entscheidungen, die Ihre Richtlinie treffen muss, und einem Piloten, der sie testet.

Pilotprojekt starten Alle Leistungen ansehen

NDA, bevor Sie Daten übermitteln. Die Planung des Pilotprojekts ist kostenlos.