2023年7月6日,世界人工智能大會在上海世博中心及世博展覽館正式拉開帷幕。在中國電信“算網(wǎng)一體·融創(chuàng)未來”的分論壇上,中國電信數(shù)字智能科技分公司(以下簡稱:電信智科)正式對外發(fā)布中國電信大語言模型TeleChat,并展示了大模型賦能數(shù)據(jù)中臺、智能客服和智慧政務(wù)三個方向的產(chǎn)品。
發(fā)布會現(xiàn)場,電信智科副總經(jīng)理何忠江表示,近年來,人工智能開始爆發(fā)性增長,并進入生成式AI時代。在這過程中,人工智能從機器智能、感知智能轉(zhuǎn)化為認知智能,即通過抽象推理的方式理解自然語言。其中,GPT模型是人工智能技術(shù)發(fā)展變遷的重要代表,作為一種自然語言處理模型,GPT模型通過在大型文本語料庫上的訓練學習到語言模式用于生成自然語言文本,為信息檢索、機器翻譯和文本摘要等多類任務(wù)提供了有效的解決方案。
中國電信依托云網(wǎng)融合的優(yōu)勢,打造了中國電信的大語言模型TeleChat。TeleChat使用了大量高質(zhì)量中英文語料進行預訓練,并采用了千萬級問答數(shù)據(jù)進行微調(diào)。同時,設(shè)計了漸進膨脹注意力機制,用于增加模型的間隔采樣,擴大實際感受野;研發(fā)了自校準微調(diào)技術(shù),將迭代后相關(guān)性偏差作為強化學習的監(jiān)督信號,提升強化學習效果;并且利用知識圖譜協(xié)同增強策略,通過知識圖譜增強大模型的預訓練和推理能力,減少大模型幻覺現(xiàn)象。
此外,以TeleChat為底座的教育版大模型TeleChat-E在全球大模型綜合性考試評測榜單C-Eval上排名第七,前幾名包括GP4、ChatGPT等知名大模型。TeleChat-E使用人工收集、標注、整理的高質(zhì)量領(lǐng)域數(shù)據(jù)對TeleChat進行持續(xù)效果強化。同時,TeleChat-E對Transformer Decoder的損失函數(shù)進行改進,使之更加關(guān)注題目答案的生成,提高準確率。
何忠江指出,通過大模型機制,神經(jīng)網(wǎng)絡(luò)已經(jīng)可以愈加擬人化。在當下,電信TeleChat大模型正在與千行百業(yè)的信息化解決方案進行融合,在諸多行業(yè)實現(xiàn)商業(yè)化落地。本次論壇重點展示了三個大模型賦能行業(yè)應用的產(chǎn)品。
一是大模型+數(shù)據(jù)中臺產(chǎn)品。中國電信演示了將AI能力和數(shù)據(jù)中臺深度融合,打造AI智能取數(shù)能力,基于大數(shù)據(jù)平臺生成的可視化圖表。目前已實現(xiàn)大數(shù)據(jù)中臺大模型將數(shù)據(jù)平臺的權(quán)限和脫敏能力打通,使用戶可以獲取到自己權(quán)限范圍內(nèi)的數(shù)據(jù)表中脫敏后的字段值,比如姓名、電話號碼等。當進入到AI取數(shù)模塊時,用戶可以根據(jù)自身需求讓大模型生成SQL、可視化圖表和分析報告。
二是大模型+智能客服產(chǎn)品,TeleChat大模型能夠輔助坐席或用戶快速獲取文章和材料內(nèi)的信息。在現(xiàn)場演示中可以看到,通過一站式人機融合知識中臺查看產(chǎn)品介紹材料,再激活大模型懸浮對話框,接下來上傳需要模型理解的文件,即可得到理解后生成的反饋。在TeleChat的幫助下,坐席無需閱讀全文找答案,既解決了模型幻覺問題,還能夠做到知識庫管理權(quán)限隔離。
三是大模型+智慧政務(wù)產(chǎn)品,中國電信TeleChat大模型依托5G消息,為政務(wù)客戶提供政務(wù)短信智能化多輪問答,進行行業(yè)領(lǐng)域的基礎(chǔ)語言模型訓練和領(lǐng)域問答能力微調(diào),并基于領(lǐng)域問題反饋的強化學習,最終實現(xiàn)對行業(yè)領(lǐng)域?qū)I(yè)問題的精準回答和平臺推送反饋。
在人工智能發(fā)展的巨大浪潮中,中國電信將依托云網(wǎng)融合優(yōu)勢,打造四級智能算力體系,圍繞行業(yè)應用需求,聯(lián)合產(chǎn)業(yè)鏈上下游生態(tài)合作伙伴,為千行百業(yè)量身打造定制化的行業(yè)應用大模型,促進各行業(yè)數(shù)字化、智能化轉(zhuǎn)型升級,為建設(shè)數(shù)字中國貢獻電信力量。