具名實體辨識
依為貴團隊領域定義的標籤分類標註實體範圍，需要時也支援巢狀與重疊的實體。
- 標準與領域專屬類型
- 巢狀與不連續範圍
- 正規化為標準形式
- 讀音與變體連結
日文 NLP
日文 NLP 標註——實體、關係與分類
具名實體辨識、關係抽取、意圖與主題分類、情感、自然語言推論與切分——依貴團隊管線實際使用的斷詞器進行標註。
日文詞與詞之間沒有空格。因此每一次範圍標註，都取決於某個人必須做出的邊界判斷，而這個判斷必須與下游的斷詞器一致，否則標籤對不上。
邊界就是問題的全部
在英文裡，「Toyota Motor Corporation」有三個明顯的詞元，唯一的問題是實體從哪裡開始、到哪裡結束。在日文裡，株式会社トヨタ自動車是一串不間斷的字元，而至少存在四種站得住腳的標註方式：含或不含株式会社、含或不含自動車、把整串當成一個實體，或讓較短的實體巢狀於較長的實體之中。
這幾種都是正當的選擇。重點在於每次都做同樣的選擇、把它寫下來，而且它必須經得起與貴團隊模型所用斷詞器的碰撞——因為落在詞元中間的範圍邊界，在 BIO 標記中無法表示，只會被默默挪位。
這正是我們在標註開始前就先固定斷詞器與邊界規則的原因，也是我們在您想要的任何標記格式底下都同時記錄字元位移的原因：如此一來，資料日後可以重新斷詞，而不必重新標註。
重點速覽
- 任務類型
- NER、關係與事件抽取、意圖與主題分類、情感與情緒、NLI 與換句話說、切分與正規化。
- 對應斷詞器
- 依啟動會議議定，以 MeCab、Sudachi、Juman++ 或貴團隊模型本身的斷詞器為基準標註範圍。
- 邊界規則
- 法人名後綴、複合名詞、敬語接頭詞與活用變化都由書面規則涵蓋。
- 典型輸出
- 含字元位移的 JSONL；亦支援 CoNLL-U、BIO 標記與 brat standoff。
- 審查
- 範圍邊界與範圍標籤作為兩項獨立標準分別審查。
任務類型
我們標註什麼
範圍型任務與文件型任務的失效模式不同，因此適用不同的審查標準。
關係與事件抽取
實體之間如何連結——誰對誰做了什麼、哪個值屬於哪個欄位、哪個子句修飾哪個詞。
- 二元與多元關係
- 事件觸發詞與論元
- 跨句關係
- 否定與不確定性標記
分類
在語句或文件層級標註意圖、主題、分流類別或政策標籤，支援單標籤或多標籤。
- 意圖與對話行為
- 主題與分流類別
- 多標籤的標籤分類
- 超出範圍與不明確的處理
情感與情緒
在文件、句子或面向層級標註極性與情緒——日文商務文本真正需要的其實是最後一種。
- 文件與句子極性
- 面向式情感分析
- 情緒類別
- 禮貌程度與語體標記
推論與相似度
蘊涵、換句話說與語意相似度配對，以及讓評測資料集能拉出差異的困難負例。
- NLI 蘊涵配對
- 換句話說判定
- 分級相似度分數
- 困難負例建構
日文特有事項
一份日文標註規範必須包含的規則
以下四個問題，在每一個日文範圍標註專案的第一個小時內都會冒出來。
詞的邊界
分かち書き日文書寫時沒有空格，因此範圍邊界是判斷，而不是查表。不同的形態素分析器會把同一個句子切得不一樣，對齊某一套切分的標籤，就對不上另一套。
我們的處理方式 分析器與字典在啟動會議中固定，範圍以字元位移儲存以便重新斷詞後仍然有效，邊界慣例則附實作範例明文載明。
公司與組織名稱
法人名株式会社可以放在公司名之前或之後，也可能縮寫成（株），或整個省略。它在不在實體範圍內，會改變下游每一次字串比對的結果。
我們的處理方式 以單一規則涵蓋法人格式的前綴與後綴、縮寫形式與括號變體，並在表層範圍之外一併記錄標準形式。
複合名詞
日文會把名詞一個接一個串起來而沒有分隔——個人情報保護管理者是一整串字，裡面至少包含三個有意義的單位。實體到哪裡結束是一個決定，不是一項事實。
我們的處理方式 標註規範為每種實體類型訂出「取最長範圍」或「取最短範圍」的政策，兩者確實都需要時則採巢狀，而不是讓每位標註人員各自決定。
活用變化與附著助詞
活用・助詞動詞與形容詞會活用，助詞則直接附在它所標記的詞後面。把它們納入或排除，會讓整個語料庫的範圍邊界一律挪移一到兩個字。
我們的處理方式 活用語尾與附著助詞由規則明確規定納入或排除，並以自動檢查標出結束於詞元內部的範圍。
流程
一個 NLP 專案怎麼進行
大部分價值在標註開始之前就已經創造出來了，就在標籤分類與邊界規則裡。
-
01
固定標籤分類與斷詞器
我們一起議定標籤集、分析器與字典，以及範圍的表示方式，讓標註結果與它最終要進入的管線相符。
-
02
找出邊界案例
先標註一小批樣本，讓貴團隊領域中真正模稜兩可的結構浮現出來。這些會成為標註規範中的實作範例。
-
03
校準並量測一致率
標註人員各自獨立標註同一批資料。邊界與標籤的一致率分開量測，因為兩者出錯的原因不同。
-
04
標註與裁定
量產標註搭配審查關卡，分歧以書面裁定，並直接回饋進標註規範。
-
05
連同字元位移一併交付
資料交付時附上字元位移與您選定的標記格式、標籤分類版本、各標籤數量與品質報告。
交付
格式與表示方式
無論您採用哪種表層格式，字元位移一律附上，讓資料可以重新斷詞而不必重新標註。
| 任務 | 預設輸出 | 亦可提供 |
|---|---|---|
| 具名實體 | 含字元位移的 JSONL | CoNLL-U、BIO／BILOU、brat standoff |
| 關係與事件 | 含範圍參照的 JSONL | brat standoff、自訂圖結構 JSON |
| 分類 | JSONL 或 CSV | one-hot 或多標籤矩陣 |
| 情感 | 含面向範圍的 JSONL | CSV、逐句標籤 |
| NLI 與相似度 | JSONL 配對 | CSV、基準測試版面的 TSV |
品質
針對這類工作的控管措施
一份範圍標註資料集可能標籤正確率極佳，邊界卻不堪使用。兩者我們都量測。
- 邊界一致率與標籤一致率分成兩個數字呈報。
- 自動驗證在議定的分析器下，沒有任何範圍結束於詞元內部。
- 逐批追蹤各標籤數量，讓稀有類別在還來得及補救時就被發現正在變薄。
- 巢狀與重疊的範圍依標籤分類的巢狀規則驗證，而不是照單全收。
- 由資深審查者標註一份黃金樣本資料集並定期重跑，以偵測長期專案中的偏移。
- 每一次經過裁定的分歧，都以實作範例的形式回寫進標註規範。
常見問題
關於日文 NLP 標註
規劃日文範圍標註專案時最常出現的問題。
您的管線用哪一套，我們就用哪一套——搭配 IPAdic 或 UniDic 的 MeCab、Sudachi、Juman++，或貴團隊模型自己的子詞斷詞器。我們在啟動會議中就固定它，因為範圍邊界只會對齊某一種切分方式；同時我們在底層保存字元位移，讓日後更換分析器只是重新匯出，而不是重新標註。
可以，而且我們寧可採用貴團隊的，也不想強加我們的。我們會做的是先在樣本上對它做壓力測試：既有的標籤分類通常有兩三個類別在實務上會互相重疊，在試辦期間發現這件事，遠比在五萬筆之後才發現便宜得多。
完全取決於任務。乾淨文本上界線分明的實體類型很快就能達到高一致率；面向式情感分析與細粒度的意圖標籤分類則不會，而宣稱兩者都能達成的專案，通常在量測的是比實際交付內容更容易的東西。我們會從試辦中逐標籤呈報實際數字；若某個類別無法達到可用的一致率，我們會直說，並建議修改該類別。
在標籤分類確實需要時會處理——日文的複合名詞與組織名稱通常就是原因。巢狀規則會寫進標註規範並自動驗證，因為允許巢狀卻沒有把規則寫清楚，是不一致的可靠來源。
可以。修正模型輸出對大量作業而言效率很高，但要留意的和其他地方一樣：修正這一關往往會繼承模型的盲點。我們會拿它與從零標註的樣本比對，讓您知道它實際抓到了什麼；至於評測資料集，我們一律從零標註。