Mengapa Data Bahasa Jepang Sulit bagi AI

Mode kegagalannya adalah kesenyapan, bukan kesalahan

Dataset bahasa Jepang jarang gagal dengan gaduh. Ia gagal dengan memuat dua jawaban yang sama-sama dapat dipertahankan untuk pertanyaan yang sama, tercatat seolah-olah keduanya jawaban yang sama. Satu anotator menulis nama perusahaan dengan 株式会社 di dalam rentang entitas dan anotator lain mengeluarkannya; satu transkriptor menulis ありがとう dan yang lain 有難う; satu evaluator membaca それはちょっと難しいです sebagai pernyataan tentang tingkat kesulitan dan yang lain sebagai penolakan. Tidak ada satu pun bagian dalam pipeline yang memprotes. Inkonsistensi itu begitu saja menjadi bagian dari apa yang dipelajari model.

Karena itulah pekerjaan anotasi bahasa Jepang lebih didominasi oleh penyusunan spesifikasi daripada oleh tenaga kerja. Hampir setiap kesulitan di bawah ini tidak punya satu penyelesaian yang benar — yang ada adalah penyelesaian yang harus dipilih, dituliskan, lalu diterapkan secara identik sepuluh ribu kali. Tim yang membuat pilihan-pilihan itu secara eksplisit akan mengungguli tim yang lebih besar tetapi tidak melakukannya.

Berikut adalah daftar yang kami telusuri di awal sebuah proyek, beserta keputusan yang dituntut oleh masing-masing butirnya. Daftar ini sengaja dibuat konkret: inilah pertanyaan-pertanyaan yang benar-benar akan kami ajukan kepada Anda.

Sekilas

Sistem penulisan: Empat sistem dipakai sekaligus — kanji, hiragana, katakana, dan aksara Latin — kerap dalam satu kalimat.
Batas kata: Tidak ada. Segmentasi dihasilkan oleh penganalisis morfologis, dan antarpenganalisis pun berbeda hasilnya.
Kesantunan: Wajib secara gramatikal. Setiap akhiran kalimat menyandikan sebuah hubungan sosial.
Subjek: Lazim dihilangkan dan dipulihkan dari konteks, kadang dari beberapa kalimat sebelumnya.
Konsekuensi praktis: Sebagian besar cacat data bahasa Jepang berasal dari keputusan yang tidak pernah diambil, bukan dari kekeliruan anotator.

Kesulitannya

Tujuh sifat yang mematahkan asumsi berbasis bahasa Inggris

Masing-masing adalah sifat bahasanya, bukan keanehan sebuah dataset. Ketujuhnya akan muncul di proyek bahasa Jepang mana pun yang Anda jalankan.

Empat sistem penulisan sekaligus

漢字・ひらがな・カタカナ・ローマ字

Kata yang sama dapat ditulis dengan kanji, hiragana, katakana, atau aksara Latin, dan keempatnya bisa muncul dalam satu kalimat. 卵, たまご, dan タマゴ adalah kata yang sama dengan konotasi berbeda; コンピュータ dan コンピューター berbeda satu karakter dan keduanya baku.

Cara kami menanganinya Konvensi normalisasi mendaftar aksara yang wajib dipakai untuk kata-kata yang sering muncul, menetapkan aturan default untuk sisanya, dan mengunci perlakuan vokal panjang serta bentuk full-width atau half-width. Segala hal lain mewarisi ketentuan dari dokumen itu.

Tidak ada spasi antarkata

分かち書きがない

Teks bahasa Jepang adalah untaian tanpa jeda. Batas kata dihasilkan oleh penganalisis morfologis, dan MeCab, Sudachi, serta Juman++ memenggal kalimat yang sama secara berbeda — sehingga rentang yang dianotasi mengikuti satu penganalisis bisa jadi tidak sejajar dengan penganalisis lain.

Cara kami menanganinya Kunci penganalisis dan kamusnya sebelum anotasi, simpan rentang sebagai offset karakter agar tetap bertahan saat tokenizer diganti, dan validasi bahwa tidak ada rentang yang berakhir di tengah token.

Kesantunan yang wajib

敬語

Tata bahasa Jepang memaksa sebuah pilihan kesantunan pada hampir setiap kalimat. 尊敬語 meninggikan pihak lain, 謙譲語 merendahkan penutur, dan 丁寧語 adalah ragam santun yang netral; pilihan yang benar bergantung pada hubungan antarpihak, bukan pada isinya.

Cara kami menanganinya Pilih satu ragam default per permukaan produk, daftarkan pengecualiannya, dan nilai ragam bahasa sebagai kriteria tersendiri dalam tinjauan agar jawaban yang berisi tetapi salah ragam tidak bisa lolos.

Subjek dan objek yang dihilangkan

主語省略・ゼロ代名詞

Bahasa Jepang menghilangkan apa pun yang dapat dipulihkan dari konteks. Jawaban yang ditulis secara terpisah kerap tertaut pada rujukan yang keliru, dan dalam dialog multigiliran rujukan yang sebenarnya bisa berada beberapa giliran sebelumnya.

Cara kami menanganinya Anotasi dan tinjau percakapan sebagai satu kesatuan utuh, bukan per giliran, dan perlakukan rujukan yang benar-benar tak terpulihkan sebagai cacat pada item tersebut, bukan sebagai sesuatu yang boleh ditebak.

Ketidaklangsungan sebagai tata bahasa penolakan

断りの婉曲表現

Sebuah penolakan sering diungkapkan sebagai pernyataan tentang kesulitan atau keadaan. それはちょっと難しいです berarti menolak; ちょっと考えさせてください kerap juga berarti menolak. Membacanya secara harfiah membalikkan maknanya.

Cara kami menanganinya Tetapkan kategori penolakan dan kekuatan yang dimaksudkan untuk masing-masing dengan contoh terurai, dan nilai penolakan berdasarkan apakah penutur bahasa Jepang membacanya sebagai penolakan — bukan berdasarkan ada tidaknya kata negasi.

Nama dengan beberapa cara baca yang sah

固有名詞の読み

Nama orang atau nama tempat Jepang yang ditulis dengan kanji sering punya beberapa cara baca yang mungkin, dan yang benar adalah fakta tentang orang atau tempat itu, bukan hasil sebuah aturan. 東海林 bisa dibaca Shoji atau Tokairin; keduanya nama keluarga yang nyata.

Cara kami menanganinya Rekam cara bacanya sebagai field tersendiri alih-alih menyimpulkannya, verifikasi terhadap sebuah sumber, dan tandai cara baca yang tidak dapat diverifikasi sebagai belum terverifikasi, bukan memilih yang paling umum.

Ragam bidang khusus yang berbeda dari bahasa Jepang sehari-hari

専門用語・文体

Bahasa Jepang hukum, perpajakan, kedokteran, dan administrasi memakai kosakata, struktur kalimat, serta ungkapan konvensionalnya sendiri. Kefasihan berbahasa Jepang sehari-hari tidak cukup untuk menilai apakah sebuah klausa kontrak atau penjelasan perpajakan sudah dirumuskan dengan benar.

Cara kami menanganinya Sesuaikan anotator dengan ragam bahasa yang dipakai dalam datanya, dan libatkan spesialis domain ketika penilaian yang diambil bersifat profesional, bukan kebahasaan.

Contoh terurai

Satu frasa, lima makna

Frasa di bawah ini biasa, santun, dan sangat sering dipakai. Mana di antara kelima pembacaannya yang berlaku sepenuhnya ditentukan oleh situasi di sekelilingnya — dan justru informasi itulah yang harus disediakan oleh sebuah pedoman anotasi.

大丈夫です。

Daijōbu desu.

Satu frasa, banyak makna.

Arahkan kursor ke salah satu makna untuk melihat konteks yang menentukannya.

Ini contoh yang sama dengan yang dipakai di halaman beranda. Contoh ini ada di sini karena merupakan ilustrasi tunggal paling jelas tentang mengapa konteks, bukan kosakata, adalah bagian tersulit dari anotasi bahasa Jepang.

Spesifikasi

Keputusan yang layak dituliskan sebelum Anda mulai

Kalau tidak, setiap butir berikut akan diputuskan secara diam-diam, dan berbeda-beda, oleh tiap orang yang menyentuh datanya.

Aksara apa yang dipakai untuk tiap kata yang sering muncul, dan aturan default untuk kata yang tidak ada dalam daftar.
Apakah angka ditulis dengan angka Arab atau kanji, serta cara menuliskan kata penggolong, tanggal, nominal uang, dan waktu.
Penganalisis morfologis dan kamus yang menjadi acuan penetapan batas rentang.
Apakah prefiks dan sufiks bentuk badan hukum seperti 株式会社 berada di dalam atau di luar rentang organisasi.
Kebijakan rentang maksimal atau minimal untuk nomina majemuk, dan di mana penyarangan diperbolehkan.
Ragam kesantunan default, pengecualiannya, dan seperti apa bentuk penolakan yang benar.
Normalisasi full-width dan half-width: apa yang dikonversi, dan apa yang dipertahankan persis apa adanya.
Bagaimana tanggal berbasis era kaisar dicatat, dan apakah konversi Gregorian disimpan berdampingan dengannya.
Apa yang terjadi pada item yang benar-benar ambigu — ditandai, dieskalasi, atau dikeluarkan.

Glosarium

Istilah yang muncul dalam pedoman anotasi bahasa Jepang

Kosakata yang akan Anda temui dalam spesifikasi data bahasa Jepang, didefinisikan sebagaimana benar-benar dipakai dalam pekerjaan anotasi.

Keigo 敬語: Keseluruhan sistem bahasa hormat Jepang, yang mencakup bentuk hormat, merendah, dan santun. Penggunaannya wajib secara gramatikal, bukan pilihan, sehingga setiap kalimat menyandikan satu sikap sosial.
Sonkeigo 尊敬語: Bahasa hormat yang meninggikan orang yang dibicarakan. Dipakai tentang pelanggan, klien, atau atasan — tidak pernah tentang diri sendiri.
Kenjougo 謙譲語: Bahasa merendah yang menempatkan penutur atau kelompoknya lebih rendah daripada lawan bicara. Lazim dalam komunikasi bisnis Jepang saat menjelaskan tindakan sendiri.
Teineigo 丁寧語: Ragam santun biasa, terutama ditandai akhiran kalimat ですます. Ragam default yang umum untuk keluaran AI berbahasa Jepang yang menghadap konsumen.
Wakachigaki 分かち書き: Penulisan dengan spasi yang disisipkan di antara kata. Tidak baku dalam bahasa Jepang, dan itulah sebabnya segmentasi harus dihasilkan oleh penganalisis morfologis, bukan dibaca langsung dari teksnya.
Penganalisis morfologis 形態素解析器: Perangkat yang memenggal teks bahasa Jepang menjadi morfem dan memberinya tag kelas kata. MeCab, Sudachi, dan Juman++ adalah pilihan yang umum, dan hasilnya tidak selalu sama.
Furigana / ruby ふりがな・ルビ: Kana kecil yang dicetak di atas atau di samping kanji untuk menunjukkan cara bacanya. Ia penanda pelafalan, bukan konten, sehingga membutuhkan representasi tersendiri dalam teks yang dianotasi.
Okurigana 送り仮名: Kana yang ditulis setelah kanji untuk menunjukkan infleksi. Beberapa ejaan sering sama-sama diperbolehkan untuk kata yang sama, dan ini sumber lazim variasi bentuk permukaan.
Hyoukiyure 表記ゆれ: Variasi ortografis — kata yang sama muncul dengan aksara atau ejaan berbeda di dalam satu korpus. Cacat paling umum pada dataset bahasa Jepang yang tidak dispesifikasikan.
Zenkaku / hankaku 全角・半角: Bentuk karakter full-width dan half-width. Ａ dan A adalah karakter berbeda yang tampak nyaris identik, sehingga normalisasinya harus dinyatakan secara eksplisit.
Josuushi 助数詞: Kata penggolong yang melekat pada angka, yang berubah mengikuti jenis benda yang dihitung. Cara bacanya tidak beraturan, dan itu terutama penting untuk data suara.
Anafora nol ゼロ代名詞: Subjek atau objek yang dihilangkan dan harus dipulihkan dari konteks. Sangat lazim dalam bahasa Jepang dan sering menjadi penyebab tertautnya rujukan yang keliru pada teks yang dihasilkan model.
Kyuujitai 旧字体: Bentuk kanji sebelum reformasi ejaan yang masih ditemukan pada dokumen lama, catatan hukum, dan sebagian nama orang. Bentuk ini harus dipertahankan, bukan dinormalisasi, ketika ia mengidentifikasi seseorang atau sebuah badan hukum terdaftar.
Wareki 和暦: Tanggal Jepang berbasis era kaisar, seperti 令和6年. Umum pada dokumen resmi dan formulir, dan kerap muncul berdampingan dengan tanggal Gregorian pada halaman yang sama.

FAQ

Seputar data bahasa Jepang

Pertanyaan dari tim yang sedang membangun dataset bahasa Jepang pertamanya.

Untuk prompt dan gagasan tugas, terjemahan adalah perancah yang masuk akal. Untuk jawaban, tidak: bahasa Jepang hasil terjemahan membawa struktur kalimat Inggris, asumsi kesantunan Inggris, dan kebiasaan format Inggris, dan pembaca penutur asli menggambarkan model yang dilatih dengannya sebagai terdengar seperti terjemahan. Terjemahan juga tidak dapat menghasilkan gejala yang hanya ada dalam bahasa Jepang — konsistensi ragam hormat, penolakan tidak langsung, variasi aksara — dan justru itulah perilaku yang sedang ingin Anda ajarkan.

Untuk apa pun yang menyangkut ragam bahasa, kekuatan penolakan, atau makna pragmatik, penilaian penutur asli bukan sekadar pelengkap. Apakah それはちょっと難しいです terbaca sebagai penolakan adalah fakta tentang bagaimana kalimat itu diterima oleh pendengar penutur asli, dan penutur asing yang sangat mahir sekalipun bisa menganalisisnya dengan benar tetapi tetap salah menakar kekuatannya. Untuk tugas mekanis dengan pedoman yang terspesifikasi baik, kemahiran tingkat lanjut sering kali sudah memadai.

Pengaruhnya besar setiap kali labelnya berupa rentang. Penganalisis yang berbeda menempatkan batas secara berbeda, sehingga rentang yang dianotasi mengikuti satu segmentasi bisa jatuh di tengah token menurut segmentasi lain, dan penandaan BIO akan diam-diam menggesernya. Menyimpan offset karakter berdampingan dengan format tag itulah yang membuat data bertahan saat tokenizer diganti kemudian tanpa perlu anotasi ulang.

Per item, biasanya ya — pekerjaan spesifikasinya lebih besar, kumpulan anotatornya lebih kecil, dan lebih banyak tugas yang menuntut tinjauan oleh penutur asli kedua. Faktor penyeimbangnya, data bahasa Jepang yang terspesifikasi baik memberi hasil lebih jauh per itemnya, karena sebagian besar yang dipelajari model adalah gaya yang konsisten, dan konsistensi dicapai lewat spesifikasi, bukan lewat volume.

Sampel data Anda yang sebenarnya, termasuk bagian yang Anda anggap berantakan, ditambah penjelasan tentang apa yang seharusnya dilakukan model terhadapnya. Itu sudah cukup bagi kami untuk menyusun draf keputusan yang tercantum di atas, menganotasi satu pilot kecil, dan menunjukkan kepada Anda di mana dua anotator yang sama-sama masuk akal berbeda pendapat — dan itulah cara tercepat mengetahui apa yang masih kurang dari spesifikasi Anda.

Bacaan lanjutan

Data bahasa Jepang

Bagian tersulitnya adalah spesifikasi. Mulailah dari sana.

Kirimkan sampel data dan apa yang Anda inginkan dilakukan model. Kami akan kembali dengan keputusan-keputusan yang harus diambil pedoman Anda, dan sebuah pilot yang mengujinya.

Mulai Proyek Pilot Lihat semua layanan

NDA sebelum Anda membagikan data apa pun. Penentuan cakupan pilot tanpa biaya.

Mengapa data bahasa Jepang sulit bagi AI