NLP japonais
Reconnaissance d’entités nommées, extraction de relations, classification d’intentions et de thèmes, sentiment, inférence en langue naturelle et segmentation — annotés avec le tokeniseur que votre chaîne utilise réellement.
Le japonais n’a pas d’espaces entre les mots. Toute annotation par empans dépend donc d’une décision de frontière que quelqu’un doit prendre, et cette décision doit correspondre au tokeniseur en aval, faute de quoi les étiquettes ne s’aligneront pas.
En anglais, « Toyota Motor Corporation » compte trois tokens évidents et la seule question est de savoir où l’entité commence et s’arrête. En japonais, 株式会社トヨタ自動車 est une chaîne ininterrompue, et au moins quatre annotations défendables existent : avec ou sans 株式会社, avec ou sans 自動車, en traitant l’ensemble comme une seule entité, ou en imbriquant une entité plus courte dans une plus longue.
Chacune de ces options est un choix légitime. Ce qui importe, c’est que le même choix soit fait à chaque fois, qu’il soit écrit, et qu’il survive au contact du tokeniseur employé par votre modèle — car une frontière d’empan qui tombe au milieu d’un token ne peut pas être représentée en étiquetage BIO sans se déplacer silencieusement.
C’est pourquoi nous figeons le tokeniseur et les règles de frontière avant le début de l’annotation, et pourquoi nous annotons des décalages en caractères sous le format d’étiquetage de votre choix, afin que les données puissent être retokenisées plus tard sans être réannotées.
En bref
Types de tâches
Les tâches sur empans et les tâches sur documents ont des modes de défaillance différents, elles reçoivent donc des critères de relecture différents.
Empans d’entités selon une taxonomie définie pour votre domaine, y compris les entités imbriquées et chevauchantes lorsque vous en avez besoin.
Comment les entités se relient — qui a fait quoi à qui, quelle valeur appartient à quel champ, quelle proposition modifie quel terme.
Intention, thème, catégorie de routage ou étiquette de politique, au niveau de l’énoncé ou du document, mono- ou multi-étiquette.
Polarité et émotion au niveau du document, de la phrase ou de l’aspect — ce dernier niveau étant celui dont le texte commercial japonais a réellement besoin.
Paires d’implication, de paraphrase et de similarité sémantique, plus les négatifs difficiles qui rendent un jeu d’évaluation discriminant.
Spécificités japonaises
Ces quatre questions surgissent dans la première heure de tout projet japonais d’annotation par empans.
Le japonais s’écrit sans espaces : une frontière d’empan relève donc d’un jugement et non d’une simple consultation. Différents analyseurs morphologiques segmentent la même phrase différemment, et des étiquettes alignées sur l’un ne s’aligneront pas sur l’autre.
Notre approche L’analyseur et le dictionnaire sont figés au lancement, les empans sont stockés en décalages de caractères pour survivre à une retokenisation, et les conventions de frontière sont énoncées avec des exemples travaillés.
株式会社 peut précéder ou suivre un nom d’entreprise, apparaître abrégé en (株), ou être omis entièrement. Qu’il soit ou non inclus dans l’empan de l’entité change toutes les correspondances de chaînes en aval.
Notre approche Une règle unique couvre les préfixes et suffixes de forme juridique, les formes abrégées et les variantes entre parenthèses, et une forme canonique est consignée à côté de l’empan de surface.
Le japonais enchaîne les noms sans séparateur — 個人情報保護管理者 est une seule chaîne contenant au moins trois unités porteuses de sens. Là où l’entité s’arrête relève d’une décision, pas d’un fait.
Notre approche Les consignes fixent une politique d’empan maximal ou minimal par type d’entité, avec imbrication lorsque les deux sont réellement nécessaires, plutôt que de laisser chaque annotateur choisir.
Les verbes et les adjectifs se conjuguent, et les particules s’attachent directement aux mots qu’elles marquent. Les inclure ou les exclure décale les frontières d’empans d’un ou deux caractères dans tout un corpus.
Notre approche Les terminaisons flexionnelles et les particules attachées sont explicitement dans ou hors de l’empan par règle, et un contrôle automatique signale les empans qui se terminent à l’intérieur d’un token.
Processus
L’essentiel de la valeur se crée avant le début de l’annotation, dans la taxonomie et les règles de frontière.
Nous convenons du jeu d’étiquettes, de l’analyseur et du dictionnaire, et de la représentation des empans, afin que l’annotation corresponde à la chaîne à laquelle elle est destinée.
Un petit échantillon est annoté pour faire apparaître les constructions réellement ambiguës de votre domaine. Elles deviennent les exemples travaillés des consignes.
Les annotateurs étiquettent le même ensemble indépendamment. L’accord est mesuré séparément sur les frontières et sur les étiquettes, car ils échouent pour des raisons différentes.
Annotation en production avec une passe de relecture, et arbitrage écrit des désaccords qui alimente directement les consignes.
Les données sont livrées avec les décalages en caractères et le format d’étiquetage retenu, la version de taxonomie, les effectifs par étiquette et le rapport QA.
Livraison
Les décalages en caractères sont toujours inclus, quel que soit le format de surface retenu, afin que les données puissent être retokenisées sans être réannotées.
| Tâche | Sortie par défaut | Également disponible |
|---|---|---|
| Entités nommées | JSONL avec décalages en caractères | CoNLL-U, BIO / BILOU, standoff brat |
| Relations et événements | JSONL avec références d’empans | standoff brat, JSON de graphe sur mesure |
| Classification | JSONL ou CSV | matrices one-hot ou multi-étiquettes |
| Sentiment | JSONL avec empans d’aspects | CSV, étiquettes par phrase |
| NLI et similarité | Paires en JSONL | CSV, TSV au format des benchmarks |
Qualité
Un jeu de données par empans peut afficher une excellente exactitude d’étiquettes et des frontières inutilisables. Nous mesurons les deux.
FAQ
Les questions qui se posent lors du cadrage d’un projet japonais d’annotation par empans.
Celui qu’utilise votre chaîne — MeCab avec IPAdic ou UniDic, Sudachi, Juman++ ou un tokeniseur en sous-mots issu de votre propre modèle. Nous le figeons au lancement, car les frontières d’empans ne s’alignent que sur une seule segmentation, et nous stockons les décalages en caractères en dessous, de sorte qu’un changement d’analyseur ultérieur soit une réexportation et non une réannotation.
Oui, et nous préférons adopter le vôtre plutôt qu’imposer le nôtre. Ce que nous ferons, c’est le mettre à l’épreuve sur un échantillon au préalable : les taxonomies existantes comportent presque toujours deux ou trois catégories qui se recouvrent en pratique, et le découvrir pendant un pilote coûte bien moins cher que de le découvrir après cinquante mille items.
Cela dépend entièrement de la tâche. Des types d’entités nets sur du texte propre atteignent vite un accord élevé ; le sentiment par aspect et les taxonomies d’intentions fines, non — et un projet qui prétend le contraire mesure généralement quelque chose de plus facile que ce qu’il livre. Nous restituons le chiffre réel par étiquette issu du pilote, et si une catégorie ne peut pas atteindre un accord exploitable, nous le dirons et proposerons de la modifier.
Oui, lorsque la taxonomie en a réellement besoin — les noms composés et les noms d’organisations japonais en sont la raison habituelle. Les règles d’imbrication sont inscrites dans les consignes et validées automatiquement, car une imbrication autorisée mais non spécifiée est une source fiable d’incohérence.
Oui. Corriger les sorties d’un modèle est efficace pour les travaux à fort volume, avec la même réserve que partout ailleurs : les passes de correction tendent à hériter des angles morts du modèle. Nous mesurons la passe de correction contre un échantillon annoté de zéro afin que vous sachiez ce qu’elle rattrape réellement, et pour les jeux d’évaluation nous annotons de zéro.
Texte & NLP
Envoyez un jeu d’étiquettes et un échantillon de texte japonais réel. Nous annotons un pilote, restituons l’accord sur les frontières et sur les étiquettes, et vous disons quelles catégories ne tiendront pas en volume.
NDA avant tout partage de données. Le cadrage du pilote est gratuit.