本輪試評估將通過技術(shù)測試、材料審查和企業(yè)披露等方式對參測產(chǎn)品的基礎(chǔ)功能、業(yè)務(wù)能力和服務(wù)性能等指標(biāo)進(jìn)行評測。竹間智能作為中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟成員，以“竹間疫情防控情感機(jī)器人”系統(tǒng)參與了本次首批測評，并在各項指標(biāo)上均取得了不錯成績。
參評企業(yè)名單：
功能評測結(jié)果與分析
本輪評測系統(tǒng)測試了方言支持、結(jié)果報表、異常上報等7項基礎(chǔ)功能指標(biāo)，測試了篩查、防控、回訪等5項業(yè)務(wù)功能指標(biāo)。下圖給出了功能部分的評測結(jié)果，列出了參測產(chǎn)品對于各指標(biāo)的支持情況：
圖1基礎(chǔ)功能測試結(jié)果
總體而言，參評產(chǎn)品在并發(fā)外呼、話術(shù)配置和結(jié)果報表等方面表現(xiàn)較好，主要有以下三個方面的特點：
系統(tǒng)對并發(fā)外呼的支持充分保證了呼叫效率，多數(shù)參評產(chǎn)品并發(fā)能力超過1000;
話術(shù)配置具備多樣性，使得疫情防控機(jī)器人的使用場景更為豐富;
結(jié)果報表支持實時統(tǒng)計和展示關(guān)鍵信息;
圖2 業(yè)務(wù)功能測試結(jié)果
針對疫情防控場景，參評產(chǎn)品設(shè)置了多種適配話術(shù)。在篩查、防控、回訪三個話術(shù)上，全面支持的參評產(chǎn)品的占比分別達(dá)到89%、67%和89%。由于宣教話術(shù)通常應(yīng)用于在線客服場景，因此參評產(chǎn)品中約有一半暫未集成。
本次竹間疫情防控情感機(jī)器人能快速上線篩查、防控、回訪等多項功能并實際投入使用，得益于竹間自研的人工智能開放平臺Bot Factory™2020。竹間智能將自研的語音識別技術(shù)和NLP融合，可視化的界面和簡易操作的流程能快速構(gòu)建例如人員篩查、隔離人員回訪等多輪場景對話，話術(shù)配置具備多樣性，使得疫情防控機(jī)器人的使用場景更為豐富。
可以自動批量撥打電話進(jìn)行外呼任務(wù)，大大降低人工壓力并可快速準(zhǔn)確收集相關(guān)信息，自動生成報表以供留檔、分析。
性能評測結(jié)果與分析
本輪評測系統(tǒng)測試了語音識別、語義理解、結(jié)果分析等6項服務(wù)性能指標(biāo)。下圖(圖中系統(tǒng)與上表參評企業(yè)排序無對應(yīng)關(guān)系)給出了信息采集能力、統(tǒng)計分析能力、語音識別能力和語義理解能力等多個重要性能指標(biāo)的準(zhǔn)確率。
圖3 服務(wù)性能測試結(jié)果
總體來看，參評產(chǎn)品在信息采集能力、語言識別能力和系統(tǒng)可靠性等方面較為出色，充分利用自身優(yōu)勢助力疫情防控。在信息采集能力方面，參評產(chǎn)品的準(zhǔn)確率都超過了83%，可有效保證相關(guān)字段信息的獲取，從而滿足政府、機(jī)構(gòu)等對關(guān)鍵信息的統(tǒng)計和分析需求;在語音識別能力方面，考慮到電話環(huán)境噪聲嘈雜，參評產(chǎn)品的準(zhǔn)確率主要分布在82%-96%之間，可以達(dá)到較好的使用效果;在語義理解能力上，各家準(zhǔn)確率在80%上下浮動。
竹間智能出色的語義理解能力基于強(qiáng)大的NLP基礎(chǔ)和針對業(yè)務(wù)領(lǐng)域優(yōu)化的Emotibot-BERT深度遷移學(xué)習(xí)模型。
通過結(jié)合計算語言學(xué)的詞法分析、句法分析、語義角色分析和基于大規(guī)模遷移學(xué)習(xí)的中文預(yù)訓(xùn)練語言模型Emotibot-BERT，可以在無訓(xùn)練數(shù)據(jù)的零啟動測試當(dāng)中，已達(dá)到80%的準(zhǔn)確率，跨領(lǐng)域的意圖理解中，平均準(zhǔn)確率已達(dá)95%以上，語音識別+多輪交互在外呼的實際應(yīng)用場景已達(dá)93.9%的準(zhǔn)確率。再根據(jù)場景的數(shù)據(jù)訓(xùn)練之后，準(zhǔn)確率將繼續(xù)提升。
運營情況統(tǒng)計與分析
除上述功能和性能指標(biāo)評測以外，在首輪疫情防控機(jī)器人評測中，還統(tǒng)計了截至2020年2月7日各參評產(chǎn)品的外呼系統(tǒng)的呼叫情況。下圖給出了外呼系統(tǒng)的總呼叫量與日均呼叫量在各數(shù)量級上的企業(yè)分布情況。
圖4 參評產(chǎn)品總呼叫量及日呼叫量規(guī)模情況
如圖4所示，約有54%的企業(yè)呼叫總數(shù)為百萬級，其余占比較多的總呼叫量分別處于十萬級以下、十萬級、五十萬級和千萬級。從日均呼叫量來看，約有85%的企業(yè)每天都有超過幾萬通外呼電話進(jìn)行信息采集、防控回訪。
目前竹間智能的竹間外呼防疫情感機(jī)器人已經(jīng)在北京、上海、深圳等多地幫助企業(yè)組織、社區(qū)居委進(jìn)行防疫工作。防疫期間也將持續(xù)免費向社會各界提供竹間防疫全場景智能解決方案。
疫情期間免費使用
撥打：400-831-9111防疫期間7*24小時為您服務(wù)
