Questions fréquentes

Le japonais est notre raison d’être. Nous prenons en charge les travaux bilingues japonais–anglais — relecture de traduction, alignement interlingue, jeux d’évaluation parallèles — parce qu’ils mobilisent le même jugement en japonais. Pour des travaux en volume dans d’autres langues, nous préférons vous dire franchement que nous ne sommes pas le bon prestataire plutôt que de prendre le projet et de le sous-traiter.

Oui. Nous travaillons dans les plateformes et bureaux virtuels fournis par le client, y compris lorsque la politique exige que les données ne quittent jamais votre infrastructure, et dans notre propre environnement sécurisé lorsque vous préférez ne pas créer de comptes. L’outillage change ; les consignes, les passes de relecture et la restitution QA, non.

Nous collectons et créons des données lorsqu’il s’agit d’un travail en langue japonaise — rédaction de données d’instruction, construction de prompts d’évaluation, enregistrement de parole scriptée, recherche d’échantillons documentaires. Nous ne sommes pas une structure de collecte de données généraliste, et pour une collecte de terrain à grande échelle, un spécialiste vous servirait mieux.

Oui, et la première chose que nous faisons est de lire ses consignes et de réannoter à l’aveugle un échantillon des données déjà livrées. Cela vous dit ce que vous avez réellement — y compris si les étiquettes existantes sont cohérentes entre elles — avant d’y ajouter quoi que ce soit. Poursuivre un jeu de données sans mesurer ce qu’il contient est la façon dont l’incohérence se cumule.

Oui. Une équipe dédiée est un dispositif courant pour les programmes d’IA au long cours, où les mêmes annotateurs portent les consignes dans la durée et où leur contexte accumulé est un actif réel. C’est aussi le dispositif où la dérive des consignes compte le plus, il s’accompagne donc d’un recalibrage périodique sur un jeu de référence.

L’accord inter-annotateurs avec un coefficient corrigé du hasard, l’exactitude sur jeu de référence, le taux d’arbitrage, et des décomptes d’erreurs ventilés selon une taxonomie nommée plutôt qu’un total de défauts unique. Tout est restitué par étiquette ou par critère plutôt que globalement, car un chiffre global masque précisément la catégorie qui échoue. La page qualité expose comment chaque chiffre est calculé et ce qu’il ne capte pas.

JSONL, CSV, CoNLL-U, COCO, SRT, CTM, TextGrid, hOCR et des schémas sur mesure définis au lancement. Les données par empans incluent toujours les décalages en caractères sous le format d’étiquetage retenu, de sorte qu’un changement ultérieur de tokeniseur soit une réexportation et non une réannotation. Chaque lot est livré avec sa version de consignes et un journal des modifications par rapport au précédent.

Les révisions suivent le même parcours de relecture et d’arbitrage que le premier passage — une voie rapide de correction est précisément ce qui fait dériver un jeu de données d’un lot à l’autre. Lorsque la cause est une lacune des consignes, nous révisons les consignes et reprenons les items concernés, pas seulement ceux que vous avez signalés, car la même lacune aura produit la même erreur ailleurs.

Le débit dépend de la complexité de la tâche, de la profondeur de relecture et de la part d’ambiguïté réelle que contiennent les données, et il varie davantage d’une tâche à l’autre que la plupart des estimations ne l’admettent. Nous mesurons le débit réel pendant le pilote sur vos données et nous engageons sur un plan à partir de là. Une date de livraison annoncée avant que quiconque ait annoté vos données est une supposition présentée comme un engagement.

Nous examinons les items concernés avec vous. En général, l’une de ces trois choses est vraie : les consignes étaient ambiguës, auquel cas nous les révisons et reprenons le travail ; les consignes étaient claires et mal appliquées, auquel cas nous corrigeons et réinjectons cela en relecture ; ou les consignes disent quelque chose que vous ne voulez plus qu’elles disent, auquel cas le changement relève d’une décision de périmètre. Ranger un désaccord dans l’une de ces trois cases est plus productif que de discuter de l’étiquette elle-même.

Pour les projets qui l’exigent, nous constituons des équipes autour de l’expertise métier requise, ce qui peut inclure des personnes disposant de qualifications pertinentes ou d’une expérience pratique dans des domaines tels que le droit, la fiscalité, la comptabilité, le droit social et la protection sociale, ou l’immatriculation des sociétés. Nous n’entretenons pas de vivier permanent de professionnels agréés. La disponibilité est appréciée projet par projet au regard du périmètre, du volume, de la spécialisation et du calendrier, et si une qualification ne peut pas être trouvée pour votre projet, nous vous le dirons avant son démarrage.

D’après la nature du jugement qu’exige la tâche. La terminologie et les conventions documentaires peuvent être transmises à un annotateur formé avec un bon lexique et une phase de calibrage, et pour la plupart des travaux c’est la meilleure réponse — plus rapide, plus cohérente et moins coûteuse. Un spécialiste se justifie lorsque le jugement lui-même est professionnel : savoir si une interprétation est défendable, si une réponse induirait un lecteur en erreur sur ses obligations.

Oui. Des spécialistes métier peuvent noter les réponses générées sur l’exactitude factuelle, la qualité du raisonnement, la justesse professionnelle et le respect de vos critères, et produire des classements de préférences pour les travaux d’alignement, des jeux de benchmark, l’évaluation de la recherche documentaire et du red teaming. Le raisonnement derrière chaque jugement est consigné, ce qui est généralement ce qui rend une évaluation experte digne de son coût.

Non. Ils annotent et évaluent des données. Le résultat est constitué de données d’entraînement ou d’évaluation pour votre système d’IA, et non d’un conseil juridique, fiscal ou comptable à vous ou à vos utilisateurs, et rien de ce qui est produit dans un projet d’annotation ne doit être présenté à un utilisateur final comme un conseil professionnel. Nous sommes explicites là-dessus parce que la distinction compte pour nous deux.