2009年，在某個競技場中，瑞士研究人員放置了數(shù)百臺機器人，機器人身上的程序讓其在競技場中尋找一個淺色的圓環(huán)（實驗中的食物）。這些機器人相互可以溝通，通過向同伴發(fā)送藍光告訴其它機器人食物的位置。但是隨著實驗進行研究人員發(fā)現(xiàn)，某些找到食物的機器人停止閃光、獨占資源——而源程序根本沒有指示它們這么做。這到底是機械故障，還是機器人學(xué)會了撒謊？
“超級智能”風(fēng)險何在？
今天的計算機可以完成越來越復(fù)雜的任務(wù)，已經(jīng)具備了接近人類的智能。超級并行計算機“深藍”在“人機大戰(zhàn)”中戰(zhàn)勝國際象棋世界冠軍卡斯帕羅夫；IBM的超級計算機“沃森”贏得了智力競賽節(jié)目“危險邊緣”的勝利；微軟的Xbox游戲機甚至可以通過分析玩家的面部表情評估玩家當(dāng)前的情緒……一旦出現(xiàn)“超級智能”，即計算機能夠自己思考而非僅僅對命令進行反應(yīng)，并且計算機不僅僅在數(shù)學(xué)和科學(xué)能力、還在藝術(shù)創(chuàng)造性甚至是社會技能領(lǐng)域也大大超過人類，人類在享受空前便利的同時又會遭遇什么風(fēng)險呢？
《超級智能》對此進行了饒有趣味的思索與探討。人類大腦擁有一些其它動物大腦沒有的功能，正是這些獨特的功能使我們的種族得以擁有主導(dǎo)地位。如果機器大腦在一般智能方面超越了人類，那么這種新興的超級智能可能會極其強大，并且有可能無法控制。超級智能對人類而言將是一個巨大的威脅。
作者尼克?波斯特洛姆根據(jù)海量信息資料分析認為，與人類智能水平并駕齊驅(qū)的機器智能有相當(dāng)大的可能在21世紀(jì)中葉實現(xiàn)，可能會更早，也可能會更晚；但是只要這種機器智能出現(xiàn)，就會很快出現(xiàn)超越人類智能水平的高級智能；這會對人類生存產(chǎn)生極其重大的影響——或是產(chǎn)生極好的影響，或是造成人類滅絕。不管怎樣，這都說明我們很有必要去認真研究人工智能這個議題。
如何控制“超級智能”？
對于如何控制超級智能，作者提出了兩大路徑。一為能力控制，分為4類：盒子方法（系統(tǒng)受到限制，只能夠通過有限制的、提前批準(zhǔn)的渠道對外界產(chǎn)生影響，包括物理遏制和信息遏制兩種方法）；激勵方法（系統(tǒng)被放置在提供適當(dāng)激勵的環(huán)境中）；阻礙發(fā)展（對系統(tǒng)的認知能力或影響關(guān)鍵內(nèi)部過程的能力進行限制）；絆網(wǎng)（對系統(tǒng)進行診斷測試，如果探測到系統(tǒng)有危險行為，就將其關(guān)閉）。
二為動機選擇，也分為4類：直接規(guī)定（系統(tǒng)裝載直接規(guī)定的動機系統(tǒng)）；馴化（設(shè)計一套動機系統(tǒng)，嚴(yán)格限制超級智能的目標(biāo)和行為范圍）；間接規(guī)范（依靠間接手段來確定需要被遵守的規(guī)則和需要被追求的價值）；擴增（選擇一個已經(jīng)具有類似人類的、友好的動機系統(tǒng)，對其認知能力進行提升，使其成為超級智能）。作者所說的控制超級智能的方法聽起來或許因為太過專業(yè)而不夠通俗易懂，然而我們只要明白一點就可以了，那就是在超級智能出現(xiàn)之前，人類需要做好應(yīng)對準(zhǔn)備，而當(dāng)超級智能出現(xiàn)，人類應(yīng)該可以找到控制辦法。
擔(dān)憂超級智能的出現(xiàn)會給人類帶來毀滅性災(zāi)難，并非是作者杞人憂天。盡管微軟研究院科學(xué)家表示：“很多人擔(dān)憂某一天我們會失去對人工智能機器的控制，但我完全不擔(dān)心這種情況發(fā)生。”但是，也有很多專家表達出了與作者同樣的憂慮。英國物理學(xué)家史蒂文?霍金稱，人工智能的完美就意味著人類的滅亡；特斯拉埃隆?馬斯克則聲稱，人工智能的出現(xiàn)是在“召喚魔鬼”；比爾?蓋茨也憂心忡忡：“我站在警惕人工智能的陣營一方??我很不理解，為什么會有人完全不擔(dān)憂人工智能”……
既然這么多權(quán)威人士表示出擔(dān)憂，我們有必要未雨綢繆、提前應(yīng)對，要思考超級智能一旦出現(xiàn)，人類該如何控制，既充分享受其帶來的便利，又能免除其給人類帶來的潛在威脅，這或許也是該書的警世意義所在。
筆者對超級智能持樂觀態(tài)度。首先，很多計算機科學(xué)家認為，我們不會迎來注定的毀滅，相反他們質(zhì)疑人類是否能夠真正實現(xiàn)人工智能。他們認為光是理解人腦，人類已經(jīng)走過了漫長的研究道路——包括意識本身是什么這個問題——更別提將這些知識用來打造一臺有感情和自我意識的機器。雖然今天最強大的計算機可以用算法贏得國際象棋大賽，可以贏得競猜電視節(jié)目，可我們還無法創(chuàng)作出能夠?qū)懗龈腥说脑娮鳌⒛軌蚺袛嗍欠堑臋C器人——要制造出完全掌握人類技能的機器人還很遙遠。其次，超級智能終歸屬于程序系統(tǒng)，而不是像人一樣的自由思維系統(tǒng)，超級智能的能量始終受人控制，其并不具備自我主動開拓能力。再次，超級智能的生命取決于人的控制，假如把超級智能比作翱翔藍天的風(fēng)箏，那么人的控制就是系在風(fēng)箏身上的那根線繩。風(fēng)箏一旦脫離線繩，結(jié)果可想而知。
