自然語(yǔ)言理解技術(shù),智能信息服務(wù)的核動(dòng)力
鄧永強(qiáng) 鄭方
2004/04/19
自從互聯(lián)網(wǎng)普及以后,人們難于獲取信息的苦惱,很快就變?yōu)楸贿^(guò)多、龐雜的信息包圍的煩擾。雖然通過(guò)搜索引擎、目錄、人工編輯的社區(qū)等工具,人們可以獲得一定的輔助;但是這些工具的準(zhǔn)確性和方便性仍很不足夠,急迫需要向智能化、精確化、專(zhuān)業(yè)化、個(gè)性化等等以用戶(hù)為中心的智能信息服務(wù)。智能信息服務(wù)將成為下一代互聯(lián)網(wǎng)的主旋律;而自然語(yǔ)言理解技術(shù)可以為信息服務(wù)帶來(lái)革命性的理念和嶄新的應(yīng)用,有效提高服務(wù)的質(zhì)量和滿(mǎn)意度,為相關(guān)行業(yè)和信息服務(wù)業(yè)創(chuàng)造更多的發(fā)展空間,是智能信息服務(wù)的核動(dòng)力。
一、 走向?qū)嵱玫淖匀徽Z(yǔ)言理解技術(shù)
用自然語(yǔ)言與計(jì)算機(jī)進(jìn)行交流,獲取合適的信息,得到滿(mǎn)意的服務(wù),是人們長(zhǎng)期以來(lái)所追求的。自然語(yǔ)言理解是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。NLU是自然語(yǔ)言理解(Natural Language Understanding)的縮寫(xiě)。
隨著計(jì)算機(jī)技術(shù)和人工智能總體技術(shù)的發(fā)展,自然語(yǔ)言理解不斷取得進(jìn)展。機(jī)器翻譯是自然語(yǔ)言理解最早的研究領(lǐng)域。由于早期研究中理論和技術(shù)的局限,所開(kāi)發(fā)的機(jī)譯系統(tǒng)的技術(shù)水平較低,不能滿(mǎn)足實(shí)際應(yīng)用的要求。到了1970年代初期,對(duì)語(yǔ)言理解對(duì)話(huà)系統(tǒng)的研究取得進(jìn)展。進(jìn)入1980年代之后,自然語(yǔ)言理解的應(yīng)用研究廣泛開(kāi)展,機(jī)器學(xué)習(xí)研究又十分活躍,并出現(xiàn)了許多具有較高水平的實(shí)用化系統(tǒng)。這些系統(tǒng)是自然語(yǔ)言理解研究的重要成果,表明自然語(yǔ)言理解在理論上和應(yīng)用上取得了突破性進(jìn)展。
在中國(guó),語(yǔ)音和語(yǔ)言處理技術(shù)的研發(fā)略晚于國(guó)外。清華大學(xué)智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室屬下的語(yǔ)音技術(shù)中心1979年創(chuàng)立(原名語(yǔ)音實(shí)驗(yàn)室),至今已有25年的歷史。在以清華大學(xué)語(yǔ)音技術(shù)中心為代表的頂尖的學(xué)術(shù)機(jī)構(gòu)的帶動(dòng)下,中國(guó)的語(yǔ)音和語(yǔ)言處理技術(shù)得到很大發(fā)展。
相對(duì)于規(guī)范語(yǔ)言,對(duì)自然語(yǔ)言的理解具有更大的難度。這是因?yàn)樽匀徽Z(yǔ)言包含大量的口語(yǔ)語(yǔ)言現(xiàn)象,諸如:省略、指代、更正、重復(fù)、強(qiáng)調(diào)、倒序等等。涉及到語(yǔ)音的口語(yǔ)對(duì)話(huà)系統(tǒng)將還包括噪音、含混不清、口頭語(yǔ)、吃音、音變等等口語(yǔ)語(yǔ)音現(xiàn)象。
而相對(duì)于基于關(guān)鍵詞的技術(shù),自然語(yǔ)言理解技術(shù)的優(yōu)勢(shì)是:(1)直接:在信息查詢(xún)時(shí),用戶(hù)可以不必進(jìn)行多級(jí)菜單的選取而直奔主題。(2)靈活:用戶(hù)查詢(xún)不必嚴(yán)格按照某些"關(guān)鍵詞"進(jìn)行詢(xún)問(wèn),只要用戶(hù)的敘述在"語(yǔ)義"上與要查詢(xún)的一致。
一個(gè)技術(shù)優(yōu)越而適用性好的自然語(yǔ)言理解系統(tǒng),應(yīng)該具備支持上下文相關(guān)分析(包括省略分析)、話(huà)題自由變換、人機(jī)混合主導(dǎo)以及口語(yǔ)對(duì)話(huà)等技術(shù)特點(diǎn)。
上下文相關(guān)分析是指系統(tǒng)在理解當(dāng)前語(yǔ)句時(shí)可以聯(lián)想用戶(hù)以前所說(shuō)的話(huà),進(jìn)行綜合分析,因此即使有時(shí)用戶(hù)所說(shuō)的話(huà)有一定的省略,系統(tǒng)照樣可以理解。
話(huà)題自由變換是指系統(tǒng)允許用戶(hù)在多個(gè)話(huà)題之間不斷轉(zhuǎn)換,系統(tǒng)照樣可以記住以前的談話(huà)內(nèi)容,比如用戶(hù)在問(wèn)航班起飛時(shí)間時(shí),突然問(wèn)目的地與本地的時(shí)差,然后再確認(rèn)要先前詢(xún)問(wèn)的航班,系統(tǒng)都能滿(mǎn)意回答。而目前的一些系統(tǒng),對(duì)話(huà)往往只能局限于某一個(gè)話(huà)題,一旦用戶(hù)變換話(huà)題,系統(tǒng)將無(wú)所適從。
人機(jī)混合主導(dǎo)則是完全的自然對(duì)話(huà),用戶(hù)可以轉(zhuǎn)換話(huà)題后在回到原來(lái)的話(huà)題(像人一樣);用戶(hù)可以"答非機(jī)問(wèn)"(多回答或少回答);……而系統(tǒng)都可以根據(jù)實(shí)際情況提取語(yǔ)義信息,如果用戶(hù)詢(xún)問(wèn)的信息足夠,那么系統(tǒng)直接回答問(wèn)題;而如果用戶(hù)詢(xún)問(wèn)的信息不全或者用戶(hù)遲疑太久,那么系統(tǒng)則主動(dòng)詢(xún)問(wèn)來(lái)獲取足夠的信息。而不具備人機(jī)混合主導(dǎo)性能的系統(tǒng)只能等用戶(hù)發(fā)問(wèn),如果用戶(hù)根本不知道問(wèn)什么,那么系統(tǒng)將一直待機(jī)等待。
口語(yǔ)對(duì)話(huà)是自然語(yǔ)言理解技術(shù)實(shí)現(xiàn)的難點(diǎn),但是也是應(yīng)用系統(tǒng)適用性的關(guān)鍵點(diǎn)?谡Z(yǔ)中,人們的語(yǔ)言很隨意,可以省略、更正、倒敘等等,這些口語(yǔ)現(xiàn)象是傳統(tǒng)的單單基于詞法分析的理解系統(tǒng)所難以解決的,而引入基于關(guān)鍵語(yǔ)義的技術(shù)卻可以很好地解決。
從目前的理論和技術(shù)現(xiàn)狀看,通用的、高質(zhì)量的自然語(yǔ)言處理系統(tǒng),仍然是較長(zhǎng)期的努力目標(biāo),但是針對(duì)一定應(yīng)用,具有相當(dāng)自然語(yǔ)言處理能力的實(shí)用系統(tǒng)已經(jīng)出現(xiàn)。北京得意音通技術(shù)公司依托于清華大學(xué)語(yǔ)音技術(shù)中心,已經(jīng)在某些領(lǐng)域?qū)崿F(xiàn)了商品化、產(chǎn)業(yè)化,典型的實(shí)用系統(tǒng)包括:智能短信服務(wù)、智能搜索引擎、智能聊天機(jī)器人等。
二、商機(jī)無(wú)限的智能信息服務(wù)
互聯(lián)網(wǎng)時(shí)代,信息服務(wù)給人們帶來(lái)極大方便和創(chuàng)造著巨大的社會(huì)效益、經(jīng)濟(jì)價(jià)值的同時(shí),也帶來(lái)了信息爆炸、信息垃圾等等煩惱。采用了自然語(yǔ)言理解技術(shù)的智能信息服務(wù),將給陷入信息汪洋大海的人以指南,幫助他們更自由自主、隨心所欲地遨游,引導(dǎo)他們快速、準(zhǔn)確地獲得所需的信息和服務(wù),從而大大地拓展信息服務(wù)的發(fā)展空間,為相關(guān)產(chǎn)業(yè)帶來(lái)無(wú)限的商機(jī)。最近一段時(shí)間,智能信息服務(wù)已經(jīng)成為國(guó)際IT業(yè)的最新潮流,獲得了億萬(wàn)網(wǎng)民的青睞。對(duì)于使用漢語(yǔ),熱衷于短信、網(wǎng)上聊天的中國(guó)用戶(hù)而言,智能信息服務(wù)的實(shí)用性以及蘊(yùn)含的商機(jī)更是顯而易見(jiàn)。
采用自然語(yǔ)言理解技術(shù)的智能信息服務(wù)創(chuàng)造了電子服務(wù)新概念,其最大的特點(diǎn)是具有中文自然語(yǔ)言理解功能。它首先對(duì)提出的問(wèn)題進(jìn)行斷詞、斷句,然后根據(jù)系統(tǒng)預(yù)先設(shè)置的語(yǔ)義規(guī)則理解整句話(huà)的意思,形成相應(yīng)的查詢(xún)條件,在現(xiàn)有數(shù)據(jù)庫(kù)進(jìn)行快速而準(zhǔn)確查詢(xún),給出用戶(hù)需要的答案或者提示用戶(hù)進(jìn)一步輸入有關(guān)的信息。由于自然語(yǔ)言理解技術(shù)發(fā)展的階段性,目前還做不到象人一樣具有足夠智能的、通用的智能理解,但是只要?jiǎng)澏ň唧w的領(lǐng)域(領(lǐng)域范圍可大可小,如天氣、體育等簡(jiǎn)單信息查詢(xún),也可以是交友、購(gòu)物、保健等寬泛的智能聊天/咨詢(xún)等等),性能先進(jìn)的自然語(yǔ)言理解技術(shù)都能量身定做出具足夠?qū)嵱眯缘闹悄苄畔⒎⻊?wù)系統(tǒng),自動(dòng)理解客戶(hù)用自然語(yǔ)言發(fā)出的相關(guān)領(lǐng)域的問(wèn)題,使網(wǎng)絡(luò)交流變得更人性化,信息查詢(xún)變得更方便、快速和準(zhǔn)確,從而獲得高質(zhì)量的電子服務(wù)。以下是現(xiàn)階段自然語(yǔ)言理解主要的應(yīng)用。
智能短信服務(wù)。短信服務(wù)商可根據(jù)具體應(yīng)用領(lǐng)域定制一系列的智能短信業(yè)務(wù),如旅游交通、吃喝玩樂(lè)、金融證券、交友網(wǎng)聚、智力競(jìng)猜等受歡迎的服務(wù),讓服務(wù)商和用戶(hù)都拋開(kāi)厚重的手冊(cè)和復(fù)雜的編碼,代之以口語(yǔ)化的自然語(yǔ)言通過(guò)短信輸入,短信系統(tǒng)能迅速理解用戶(hù)的意思,提供準(zhǔn)確、周到的信息和服務(wù)。這樣的服務(wù)將直接刺激用戶(hù)使用短信服務(wù)的興趣和頻率,并為短信服務(wù)商和電信運(yùn)營(yíng)商開(kāi)發(fā)更新的、更具吸引力的業(yè)務(wù)創(chuàng)造了很好的條件。
智能聊天機(jī)器人。目前流行于各大網(wǎng)站、各類(lèi)即時(shí)通訊軟件的聊天機(jī)器人還沒(méi)有應(yīng)用成熟的智能語(yǔ)言理解技術(shù),僅僅實(shí)現(xiàn)了基本的、簡(jiǎn)單的對(duì)話(huà)交流、信息查詢(xún)等功能。引入自然語(yǔ)言理解技術(shù),能建立新型智能聊天機(jī)器人,通過(guò)與用戶(hù)對(duì)話(huà)、聊天等生動(dòng)、靈活的形式,了解用戶(hù)的需求,利用智能搜索技術(shù)采集和分析互聯(lián)網(wǎng)和知識(shí)庫(kù)的信息內(nèi)容,進(jìn)行自動(dòng)過(guò)濾、篩選、獲取有效內(nèi)容,對(duì)相關(guān)信息內(nèi)容進(jìn)行智能化編輯整理,并返回給用戶(hù);這樣,聊天機(jī)器人的服務(wù)將會(huì)更易用、更實(shí)用,能實(shí)現(xiàn)功能強(qiáng)大而實(shí)用的智能聊天、智能游戲、個(gè)性化的新聞定制、智能網(wǎng)絡(luò)搜索、智能電子商務(wù)等業(yè)務(wù),給用戶(hù)以極大的方便、無(wú)限的樂(lè)趣。
智能搜索引擎。普通的搜索引擎引入中文自然語(yǔ)言理解和知識(shí)管理技術(shù),構(gòu)造成新的智能搜索引擎,就能提供全新的信息查詢(xún)服務(wù),創(chuàng)造更綜合的增值服務(wù)。目前的搜索引擎由于只使用關(guān)鍵詞技術(shù),沒(méi)有引入自然語(yǔ)言理解,每次搜索時(shí)只是按照關(guān)鍵詞進(jìn)行匹配,返回的大量信息和鏈接,其中很大部分是垃圾信息或者不是用戶(hù)需要的信息,往往導(dǎo)致用戶(hù)無(wú)所適從。而門(mén)戶(hù)網(wǎng)站或者專(zhuān)業(yè)網(wǎng)站雖然對(duì)信息進(jìn)行很好的分類(lèi),但是首先要用戶(hù)記住網(wǎng)址,還要懂得分類(lèi)的標(biāo)準(zhǔn),然后逐層點(diǎn)擊相應(yīng)的分類(lèi)鏈接,才能獲得所需的信息。這樣的信息分類(lèi)查詢(xún)給信息服務(wù)商產(chǎn)生很大的工作量,服務(wù)成本和進(jìn)入門(mén)檻顯著提高,而用戶(hù)使用起來(lái)也不方便,導(dǎo)致用戶(hù)的流失;趦(nèi)容的智能搜索引擎是依靠語(yǔ)義網(wǎng)絡(luò)、漢語(yǔ)分詞、句法分析、處理同義詞等語(yǔ)言理解技術(shù)最大程度地了解用戶(hù)的信息需求,獲得更高的易用性、更準(zhǔn)確的范圍定位、更智能的搜索結(jié)果。
運(yùn)用了先進(jìn)的自然語(yǔ)言理解技術(shù),智能搜索引擎可以識(shí)別并回答用戶(hù)的問(wèn)題,使用戶(hù)擺脫了傳統(tǒng)搜索引擎基于關(guān)鍵字的束縛,指引用戶(hù)更有效、更快捷地尋找到所需的資料,同時(shí)為用戶(hù)提供相關(guān)的、有參考價(jià)值的其他內(nèi)容。由于這些特點(diǎn),使得智能搜索技術(shù)能夠在互聯(lián)網(wǎng)信息檢索的各個(gè)方面得到廣泛的應(yīng)有。它可以為大型綜合搜索引擎提供后臺(tái)支持,使之具有人性化、交互性的特點(diǎn)。它能夠方便地實(shí)現(xiàn)垂直搜索引擎的專(zhuān)業(yè)類(lèi)別內(nèi)搜索;當(dāng)然也可以為信息門(mén)戶(hù)網(wǎng)站提供方便快捷的站內(nèi)信息搜索服務(wù)。
智能搜索引擎除了在互聯(lián)網(wǎng)上使用外,也可以支持WAP協(xié)議而應(yīng)用在手機(jī)上。其實(shí)用戶(hù)往往在逛街、旅游、交通等室外環(huán)境、移動(dòng)狀態(tài)時(shí)更需要隨時(shí)查詢(xún)信息。手機(jī)是很好的查詢(xún)工具,但是手機(jī)的屏幕小、內(nèi)存少、帶寬窄,不適合接收和保存大量的信息,更不可能翻看數(shù)以百計(jì)、千計(jì)的信息。傳統(tǒng)的基于關(guān)鍵詞搜索或者分類(lèi)信息查詢(xún)模式都存在一定的缺陷,特別不適合在手機(jī)上使用;而基于自然語(yǔ)言理解技術(shù)的智能搜索引擎,就能很好地為手機(jī)用戶(hù)提供隨時(shí)、隨地、隨心的信息服務(wù)。
舉一個(gè)典型的應(yīng)用:精品購(gòu)物指南報(bào)與得意音通公司合作提供的智能生活資訊信息服務(wù)系統(tǒng),采用中文自然語(yǔ)言理解技術(shù),在吃喝玩樂(lè)、影視娛樂(lè)、消費(fèi)購(gòu)物、戶(hù)外運(yùn)動(dòng)、美食餐飲、醫(yī)療保健等領(lǐng)域通過(guò)互聯(lián)網(wǎng)、短信、WAP等多種通訊手段,為商家和用戶(hù)提供更方便、直接的信息交流和互動(dòng)手段,成為在北京生活、工作、學(xué)習(xí)和旅游的廣大消費(fèi)者重要的信息查詢(xún)工具。
三、未來(lái)應(yīng)用展望
用戶(hù)們呼喚自然語(yǔ)言,因?yàn)樗侨藱C(jī)交互的最高境界,是人機(jī)交互最自然的方式。有理由相信,在不遠(yuǎn)的將來(lái),任何人、在任何時(shí)刻、在任何場(chǎng)所、在任何設(shè)備上,都可以通過(guò)自然語(yǔ)言方便瀏覽網(wǎng)頁(yè)、互相傳遞信息,實(shí)現(xiàn)隨時(shí)隨地溝通交流的目標(biāo)。
不久的將來(lái),我們可能會(huì)經(jīng)常遇到這樣的應(yīng)用場(chǎng)景。一個(gè)人到一個(gè)新的城市,如北京,他想盡快了解有關(guān)北京的生活服務(wù)信息,就可以用手機(jī)或者電話(huà)打到一個(gè)提供智能信息服務(wù)的系統(tǒng)。他可以直接用口語(yǔ)去問(wèn)一個(gè)擁有海量信息的服務(wù)器:北京有哪些好玩的地方,哪些地方能夠提供很好的餐飲服務(wù),哪些地方可以購(gòu)物,那些地方可以享受文化娛樂(lè);還可以與系統(tǒng)進(jìn)行人機(jī)對(duì)話(huà),輕松地買(mǎi)機(jī)票、訂房間等等。他通過(guò)自然語(yǔ)言與智能信息服務(wù)系統(tǒng)進(jìn)行人機(jī)交互,就能享受周到的服務(wù)。在這樣的例子中,需要用到很多的技術(shù)和服務(wù),其中最關(guān)鍵的就是交談式語(yǔ)音識(shí)別和理解系統(tǒng)。
北京2008年奧運(yùn)的舉辦,將是自然語(yǔ)言理解技術(shù)迅猛發(fā)展的大好契機(jī),北京奧運(yùn)會(huì)同時(shí)也將是智能信息服務(wù)的巨大舞臺(tái)。奧運(yùn)會(huì)最大困難之一是"語(yǔ)言障礙"。國(guó)內(nèi)外產(chǎn)業(yè)界緊密合作,要利用現(xiàn)代信息技術(shù),特別是自然語(yǔ)言理解的最新科學(xué)技術(shù)成就,研制"面向奧運(yùn)的多語(yǔ)言智能信息服務(wù)網(wǎng)絡(luò)系統(tǒng)",力爭(zhēng)在2008年北京奧運(yùn)會(huì)期間為各國(guó)運(yùn)動(dòng)員、記者、觀眾和來(lái)自全世界數(shù)以百萬(wàn)計(jì)的旅游者提供綜合、全面、多語(yǔ)種、可定制的信息服務(wù),以實(shí)現(xiàn)申奧報(bào)告提出的"任何人、在任何時(shí)間、任何場(chǎng)所都能夠安全、方便、快捷、高效地獲取可支付得起的、豐富的、無(wú)語(yǔ)言障礙的、個(gè)性化的信息服務(wù)"的承諾。
北京奧運(yùn)的多語(yǔ)言信息服務(wù)將包括多語(yǔ)言信息同步發(fā)布、信息查詢(xún)和語(yǔ)音交互式的電子商務(wù),并重點(diǎn)提供基于位置的信息服務(wù)。另外還提供人際交流的輔助工具,如口語(yǔ)翻譯機(jī)和自動(dòng)翻譯電話(huà)。系統(tǒng)將在賽事安排、比賽成績(jī)等奧運(yùn)相關(guān)信息查詢(xún),住宿、天氣、交通、旅游、餐飲、娛樂(lè)和購(gòu)物等公共服務(wù)信息查詢(xún),比賽、演出門(mén)票、機(jī)票、火車(chē)票訂購(gòu),以及社交活動(dòng)等場(chǎng)合提供充滿(mǎn)人性化的多語(yǔ)言智能信息服務(wù),相當(dāng)于建立了一支虛擬志愿者信息服務(wù)大軍。智能信息服務(wù)網(wǎng)絡(luò)系統(tǒng)不僅將成為北京奧運(yùn)會(huì)的閃光點(diǎn),有關(guān)成果也必將應(yīng)用和推廣到國(guó)內(nèi)以及世界不同的地區(qū)和領(lǐng)域,從而推動(dòng)信息服務(wù)、IT產(chǎn)業(yè)以及相關(guān)領(lǐng)域的發(fā)展,形成新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)。
和人類(lèi)進(jìn)步過(guò)程中其他任何一種技術(shù)的發(fā)展歷程一樣,自然語(yǔ)言理解技術(shù)在任何一個(gè)不同的成熟階段都有一個(gè)不同的應(yīng)用形式和不同的市場(chǎng)定位。在這種技術(shù)到市場(chǎng)再到技術(shù)的螺旋式上升的過(guò)程中,技術(shù)越來(lái)越成熟,市場(chǎng)也越來(lái)越成熟,從而讓技術(shù)更好地為人類(lèi)服務(wù)。自然語(yǔ)言理解技術(shù)給智能信息服務(wù)提供了威力巨大的核動(dòng)力,智能信息服務(wù)給人類(lèi)更自然、自主的信息交流手段,將創(chuàng)造出全新的產(chǎn)業(yè)空間。人們渴望發(fā)展自然語(yǔ)言理解技術(shù)以加速信息、知識(shí)與文化的交流,促進(jìn)社會(huì)、經(jīng)濟(jì)、科學(xué)的進(jìn)步,這是自然語(yǔ)言理解技術(shù)新的強(qiáng)大的推動(dòng)力量,也是每一個(gè)國(guó)家都面臨的新的挑戰(zhàn)。
得意音通公司供稿 CTI論壇編輯
相關(guān)鏈接:
感谢您访问我们的网站,您可能还对以下资源感兴趣:
中文字幕无码久久精品,13—14同岁无码A片,99热门精品一区二区三区无码,菠萝菠萝蜜在线观看视频高清1
欧美日本不卡,99热亚洲,久久天天躁夜夜躁狠狠躁2019,一级毛片免费观看不收费
国产精品情侣自拍,天天操夜夜摸,国内自拍青青草,亚洲午夜精品久久久久
日韩电影一区,思思久久99,国产成人经典三级在线观看,欧美中文字幕无线码视频
欧美成人免费高清视频,欧美久久网,91精品视品在线播放,精品在线中文字幕
久久春色,色天天综合,伊人看片,狠狠干网站