隨著自然語言處理技術的發(fā)展，一些新的方法運用到了自然語言理解中，并取得了不錯的效果。本文將針對意圖識別這部分，淺談在參與某項目中的一些經(jīng)驗和思考。

　　以往意圖識別主要采用規(guī)則系統(tǒng)，規(guī)則系統(tǒng)的模板需要人工配置。

　　例如，我們需要支持“開空調”的意圖，那么可以做如下的配置：

　　意圖：開空調

　　模板：(請|幫我)(打開|啟動)(這個|那個)?(空調|冷風機)(啊|吧)？

　　用戶輸入：“幫我打開空調”，即可通過模板匹配到“開空調”意圖

　　規(guī)則系統(tǒng)的優(yōu)點是可配置，如果需要增加支持的模板，只需在配置系統(tǒng)內加入，這在線上產生重要遺漏時顯得尤為重要，能夠及時修復。缺點是復雜的語言表述需要更復雜的模板，再考慮到語言的隨意性，配置靈活的模板又會使規(guī)則系統(tǒng)接受很多本來沒有意圖的用戶輸入，降低規(guī)則系統(tǒng)的準確率。

　　基于機器學習的方法，可以一定程度上彌補這些問題，大幅提高召回率。規(guī)則系統(tǒng)結合機器學習，在實際操作中是較為靈活的方案。

　　傳統(tǒng)方法依賴特征工程，神經(jīng)網(wǎng)絡需要大量標注，如何以較少的標注數(shù)據(jù)獲得較好的模型效果成為了研究和實驗重點。

　　近年，自監(jiān)督學習的語言模型研究[1]獲得重大進展，各種使用大規(guī)模文本語料庫預訓練的模型層出不窮，這些預訓練模型提供了強大的語義表征能力，使得一些無監(jiān)督方法重新煥發(fā)了活力，這里介紹一種使用語言模型+KNN[2]進行意圖識別的方法

　　該方法可以在沒有人工標注的情況，快速建立預測，同時獲得還不錯的效果，在某場景中驗證準確率達到93%。

　　當面臨復雜語義場景或低容錯時，監(jiān)督學習值得嘗試。而對話場景的數(shù)據(jù)常常是匱乏、昂貴和敏感的，除了人工構造和標注以外，我們需要盡可能的尋找方法獲取標注數(shù)據(jù)。

　　有規(guī)則模板：對規(guī)則系統(tǒng)中的模板按照語法拆分，依據(jù)關鍵詞重要程度，采用笛卡爾積方式構建樣本，這些樣本某種程度上可以用來作為baseline測試集。

　　有大量無標注對話語料：采用弱監(jiān)督方法，使用如Snorkel[3]的工具，基于知識庫、模板、字典、句法和專家規(guī)則等構建推理邏輯，為無標注數(shù)據(jù)打上概率標簽。

圖片來源：Snorkel:Rapid Training Data Creation with Weak Supervision

　　負樣本構造：在某些場景中，包含了大量與業(yè)務意圖無關的對話，而訓練語料通常只有正樣本，或者模型對某些詞過于“敏感”，模型對無意圖和意圖不明的對話會產生錯誤的判斷，除常規(guī)閑聊語料的運用，需要構建無意圖的負樣本參與模型的訓練和驗證

　　在實際操作中，可以基于正樣本的字或詞構建一定區(qū)間長度的隨機序列作為負樣本，也可以對字詞做一定篩選后構建。同時，對于multi-class為了不增加新的無意圖類別，可以將負樣本的標簽概率化為1/n，在預測時設置最大類別概率閾值過濾。

　　正樣本意圖向量：[0，0，1，0，0]

　　弱監(jiān)督意圖向量：[0.1，0.2，0.5，0.1，0.1]

　　負樣本意圖向量：[0.2，0.2，0.2，0.2，0.2]

　　實驗證明，通過加入隨機負樣本訓練，對無序輸入文本的識別能提升50%：

　　使用預訓練模型加任務微調，現(xiàn)在幾乎成為各類NLP任務的標配，僅僅需要較少標注數(shù)據(jù)就能達到以往較多標注數(shù)據(jù)的訓練效果，在意圖分類中嘗試，同樣有較大提升。

　　開源預訓練模型大多基于百科、新聞等語料訓練，屬于通用領域。而對話系統(tǒng)中的文本更加偏向口語化，那么在開源預訓練模型上，加入領域數(shù)據(jù)繼續(xù)訓練，進行領域自適應將變得十分必要。在無業(yè)務數(shù)據(jù)的情況下，可以使用開源對話數(shù)據(jù)來遷移，學習口語化的表征，使得模型更加匹配對話業(yè)務場景。

　　使用預訓練模型微調盡管能取得較好的效果，但是由于其深層的網(wǎng)絡結構和龐大的參數(shù)量，如果部署上線，將面臨資源和性能問題。對此一般做法是，在模型訓練和推理中使用低精度，同時減少模型層數(shù)。近期google提出了一種輕量級ALBERT[4]，通過兩種參數(shù)精簡方法來提升推理性能，而效果依然達到了SOTA，目前已經(jīng)開源中文預訓練模型，十分值得關注。

　　在某些場景，意圖會比較接近，常規(guī)的分類方法無法區(qū)分，一種思路[5]是將意圖類別和用戶輸入文本嵌入到相同向量空間，基于相似度進行對比學習，目標函數(shù):

# mu_pos: 0.8 (should be 0.0 < … < 1.0 for ‘cosine’) is how similar the algorithm should try to make embedding vectors for correct intent labels

# mu_neg: -0.4 (should be -1.0 < … < 1.0 for ‘cosine’) is maximum negative similarity for incorrect intent labels

# loss for maximizing similarity with correct action

loss = tf.maximum(0., mu_pos - sim_op[:, 0])

 

# minimize only maximum similarity over incorrect actions

max_sim_neg = tf.reduce_max(sim_op[:, 1:], -1)
loss += tf.maximum(0., mu_neg + max_sim_neg)

 

# average the loss over the batch and add regularization losses

loss=(tf.reduce_mean(loss)+tf.losses.get_regularization_loss())

　　這種思路有多種好處，能學習到意圖的向量表示，可以在預測時直接基于相似度排序輸出最大意圖；當意圖類別較多時，還能對意圖進行歸類比較；同時這些向量表示也能作為特征用于其他任務，如推薦等。

　　目前少樣本學習在圖像領域非常火，用戶只需要上傳一張圖片，就可以遷移各種臉部表情和肢體動作，引領一波社交應用風潮。

　　在自然語言處理領域，這方面的嘗試還并不是很成功，阿里巴巴的小蜜團隊在打造的智能對話開發(fā)平臺Dialog Studio中提出了少樣本學習方法Induction Network[6]，并將該方法用于創(chuàng)建新的對話任務時意圖識別冷啟動，不過代碼并沒有開源。我們對論文中的方法進行了復現(xiàn)并公布了代碼(github地址)，在少樣本關系抽取數(shù)據(jù)集上進行驗證，歡迎fork和交流。

　　通過積累線上數(shù)據(jù)，迭代訓練，常常是提升效果最大的方式，數(shù)據(jù)決定上限，長遠來講，構建自動化的迭代機制勢在必行。同時，將多輪對話作為輸入，會有更多的探索空間。

　　和美信息自然語言處理團隊三年磨一劍，圍繞銀行智能化場景展開了多種探索并取得不錯的成績。例如，某銀行項目中催收意圖識別服務于總行與分行，滲透率已超過70%，每天20萬+人次的調用。新的一年，和美信息人工智能研究院自然語言處理組將繼續(xù)努力，圍繞自然語言訓練平臺、智能對話工廠進行展開，通過相關技術與業(yè)務人員緊密合作、快速迭代，將公司先進技術與銀行智能化場景結合，實現(xiàn)快速落地應用，未來將有更多AI產品加速銀行智能化轉型進程，也歡迎各位志同道合的小伙伴加入一起探索未來！

　　目前和美信息自然語言處理在銀行場景已落地：智能客服、智能搜索、合同文檔自動解析、人崗精準匹配、文檔查重、客戶意見分析、智能推薦、用戶畫像、輿情監(jiān)控與預警、報告摘要、報告生成、智能審閱等產品，服務各銀行業(yè)務部門。
參考文獻：