近期，信雅達(dá)新一代AI+智能外呼機(jī)器人已在浙商銀行正式上線。

　　想知道最新一代智能外呼機(jī)器人到底運(yùn)用了什么新技術(shù)嗎？相信這篇技術(shù)詳解一定會(huì)讓你大呼過(guò)癮~

　　對(duì)于外呼機(jī)器人、智能客服這類對(duì)響應(yīng)時(shí)間有著嚴(yán)格要求的系統(tǒng)和場(chǎng)景，在實(shí)際生產(chǎn)過(guò)程中，自然少不了對(duì)更加快速、穩(wěn)定的計(jì)算，以及用少量的算力、較少的資源損耗獲取更好運(yùn)行效果的極限追求。

　　而如今NLP領(lǐng)域中，Attention大行其道，其核心在于K、Q、V三個(gè)向量序列的交互融合，其中Q、K的交互給出了兩兩向量之間的某種相關(guān)度（權(quán)重），而最后的輸出序列則是把V按照權(quán)重求和得到的。

　　那么問(wèn)題來(lái)了，即使是目前較為主流的Self-Attention的理論計(jì)算時(shí)間和顯存占用量都是O(n2)級(jí)別的，這也意味著如果序列長(zhǎng)度變成原來(lái)的2倍，顯存占用量就是原來(lái)的4倍，計(jì)算時(shí)間自然也就是原來(lái)的4倍！當(dāng)然，假設(shè)并行核心數(shù)足夠多的情況下，計(jì)算時(shí)間未必會(huì)增加到原來(lái)的4倍，但是顯存的4倍卻是實(shí)實(shí)在在的，無(wú)可避免。

　　為了解決以上問(wèn)題，信雅達(dá)金融大數(shù)據(jù)研究院在智能外呼意圖識(shí)別算法模塊構(gòu)建過(guò)程中，放棄傳統(tǒng)的Self-Attention，采用Sparse Self Attention構(gòu)建模型。

　　通過(guò)Top-k選擇，將原有的Attention退化為稀疏Attetion，簡(jiǎn)單從注意力矩陣上看，就是除了相對(duì)距離不超過(guò)k的、相對(duì)距離為k，2k，3k，…的注意力都設(shè)為0，這樣一來(lái)Attention就具有“局部緊密相關(guān)和遠(yuǎn)程稀疏相關(guān)”的特性。

　　通過(guò)這種方式，可以保留最有助于引起注意的部分，并刪除其他無(wú)關(guān)的信息，這在實(shí)際的使用過(guò)程中也起到了意想不到的效果。經(jīng)過(guò)研究院測(cè)驗(yàn)，這種選擇性方法在保存重要信息和消除噪聲方面是有效的，可以確保注意力可以更多地集中在最有貢獻(xiàn)的價(jià)值因素上。

　　同時(shí)，在實(shí)際生產(chǎn)過(guò)程中，由于外界噪聲和ASR的轉(zhuǎn)義問(wèn)題，經(jīng)常會(huì)在文本中引入不必要的噪聲。Sparse Self Attention在處理這方面問(wèn)題上，獲得了良好的效果。

　　隨著預(yù)訓(xùn)練模型技術(shù)的發(fā)展，譬如Bert、XLNET、GPT-3的出現(xiàn)，使得AI技術(shù)對(duì)人類認(rèn)知的探索更進(jìn)一步。尤其是最近大火的GPT-3，作為單項(xiàng)語(yǔ)言模型訓(xùn)練的代表，GPT-3的模型尺寸達(dá)到了恐怖的1750億，在45TB的訓(xùn)練數(shù)據(jù)加持下，解決了業(yè)界常用的Bert預(yù)訓(xùn)練模型的領(lǐng)域內(nèi)標(biāo)簽數(shù)據(jù)依賴以及領(lǐng)域數(shù)據(jù)分布過(guò)擬合，目前GPT-3的Few-shot在部分NLU任務(wù)上超越了當(dāng)前SOTA。

　　雖然預(yù)訓(xùn)練模型在很多業(yè)務(wù)場(chǎng)景表現(xiàn)優(yōu)異，但是其模型參數(shù)過(guò)大、預(yù)測(cè)時(shí)延較長(zhǎng)、運(yùn)行硬件成本較高的問(wèn)題也導(dǎo)致了模型很難落地。因此，如何對(duì)預(yù)訓(xùn)練模型進(jìn)行模型壓縮，成為工業(yè)界和學(xué)術(shù)界共同關(guān)注的問(wèn)題。

　　為了能夠使用業(yè)界領(lǐng)先的預(yù)訓(xùn)練模型，信雅達(dá)金融大數(shù)據(jù)研究院的數(shù)據(jù)科學(xué)家們采用了知識(shí)蒸餾模型壓縮技術(shù)，使預(yù)訓(xùn)練模型在外呼項(xiàng)目中得到了高效利用。

　　在原始模型訓(xùn)練階段，研究院的數(shù)據(jù)科學(xué)家們基于預(yù)訓(xùn)練模型Bert+深度神經(jīng)網(wǎng)絡(luò)進(jìn)行構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，并將基于樣本訓(xùn)練的教師模型（Net-Teacher）的Class Probabilities作為壓縮模型訓(xùn)練的損失函數(shù)輸入來(lái)參與后續(xù)知識(shí)蒸餾訓(xùn)練過(guò)程。

　　在知識(shí)蒸餾階段，研究院的數(shù)據(jù)科學(xué)家們基于相同的樣本進(jìn)行Net-Student模型的蒸餾訓(xùn)練，對(duì)蒸餾溫度進(jìn)行合適的選取。在整個(gè)訓(xùn)練階段，Net-T輸出soft-target，Net-S同時(shí)輸出soft-predictions和hard-predictions；將Net-T的soft-target與Net-S的soft-prediction對(duì)應(yīng)的交叉熵相加，作為整個(gè)模型損失函數(shù)的Lsoft部分，同時(shí)將Net-S的hard-prediction與ground-truth的交叉熵作為整個(gè)模型損失函數(shù)的Lhard的部分，通過(guò)反向傳播的訓(xùn)練方法進(jìn)行整個(gè)模型的訓(xùn)練，直到訓(xùn)練停止，完成整個(gè)知識(shí)蒸餾過(guò)程。

　　知識(shí)蒸餾后的模型，在準(zhǔn)確率下降不到1%的情況下，預(yù)測(cè)時(shí)間縮短了8倍，模型壓縮帶來(lái)的收益十分可觀，可以成功運(yùn)用到時(shí)延要求高的應(yīng)用場(chǎng)景。

　　常言道：舉一反三才能事半功倍。即使近年來(lái)自學(xué)習(xí)技術(shù)狂飆突進(jìn)式發(fā)展，但人工智能在模仿人類這條路上依舊需要負(fù)重前行，畢竟只有通過(guò)學(xué)習(xí)與積累，才能實(shí)現(xiàn)從入門(mén)到專業(yè)、從青澀到成熟的轉(zhuǎn)變。

　　基于對(duì)“持續(xù)學(xué)習(xí)”的考慮，信雅達(dá)金融大數(shù)據(jù)研究院此次研發(fā)的外呼機(jī)器人系統(tǒng)支持學(xué)習(xí)迭代。在項(xiàng)目啟動(dòng)后，生產(chǎn)語(yǔ)料不斷積累，伴隨而來(lái)的是不斷豐富的知識(shí)庫(kù)以及多種多樣的新增意圖。為了充分利用好這些寶貴數(shù)據(jù)，研究院的攻城獅們下了大功夫：將繁雜的訓(xùn)練過(guò)程封裝為簡(jiǎn)單的自訓(xùn)練配置，通過(guò)一鍵式在線生成新模型，即可進(jìn)行擴(kuò)充語(yǔ)料的增量訓(xùn)練，同時(shí)直接部署測(cè)試環(huán)境進(jìn)行新模型測(cè)試，這樣大大縮短數(shù)據(jù)利用周期，提升學(xué)習(xí)速度，深度學(xué)習(xí)“快”人一步。

　　除了上述技術(shù)之外，大家所熟知的上下文語(yǔ)義分析、同義詞擴(kuò)展、同音字糾錯(cuò)、敏感詞屏蔽等技術(shù)屬于常規(guī)操作，在實(shí)際技術(shù)方案中已經(jīng)實(shí)現(xiàn)了全面覆蓋，受篇幅所限，小編在此就不一一展開(kāi)啦。

　　研究院的數(shù)據(jù)科學(xué)家和攻城獅們告訴小編：“雖然項(xiàng)目已經(jīng)上線，機(jī)器人也在平穩(wěn)運(yùn)行中，但這依然只是萬(wàn)里長(zhǎng)征第一步。”信雅達(dá)在機(jī)器人方面的研究不會(huì)止步，我們的目標(biāo)是讓系統(tǒng)在新技術(shù)加持下不斷進(jìn)化，幫助大金融客戶解決更多業(yè)務(wù)痛點(diǎn)，讓金融機(jī)構(gòu)的服務(wù)不斷優(yōu)化！