陳雷：香港科技大學(xué)計算機科學(xué)與工程系教授，大數(shù)據(jù)研究所主任，IEEE Fellow和ACM杰出科學(xué)家。研究方向包括數(shù)據(jù)驅(qū)動AI、人力機器學(xué)習(xí)、知識圖譜、社交媒體上的數(shù)據(jù)挖掘等。在國際著名期刊和會議上發(fā)表300余篇論文，曾獲得2015年SIGMOD時間測試獎�，F(xiàn)任VLDB 2019程序委員會聯(lián)合主席、VLDB期刊主編、IEEE TKDE期刊副總編輯、VLDB Endowment執(zhí)行成員。

　　本書系統(tǒng)地介紹了深度學(xué)習(xí)理論，并基于MindSpore AI計算框架進行實踐。全書共分14章，內(nèi)容涵蓋深度學(xué)習(xí)概況、深度學(xué)習(xí)基礎(chǔ)知識、深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、無監(jiān)督學(xué)習(xí)、深度強化學(xué)習(xí)、自動化機器學(xué)習(xí)、端云協(xié)同、深度學(xué)習(xí)可視化及深度學(xué)習(xí)的數(shù)據(jù)準備等。為便于讀者學(xué)習(xí)，書中還給出了基于MindSpore實現(xiàn)的關(guān)于深度學(xué)習(xí)的開發(fā)實例及線上資源。本書可作為普通高等學(xué)校人工智能、智能科學(xué)與技術(shù)、計算機科學(xué)與技術(shù)、電子信息工程、自動化等專業(yè)的本科生及研究生教材，也可作為從事深度學(xué)習(xí)相關(guān)工作的軟件開發(fā)工程師與科研人員的學(xué)習(xí)、參考用書。

　　第1章引言

　　1.1人工智能的歷史變遷

　　1.2什么是深度學(xué)習(xí)

　　1.3深度學(xué)習(xí)的現(xiàn)實應(yīng)用

　　1.3.1自動語音識別

　　1.3.2圖像識別

　　1.3.3自然語言處理

　　1.3.4其他領(lǐng)域

　　1.4本書的組織架構(gòu)

　　1.5MindSpore簡介

　　1.5.1編程簡單

　　1.5.2端云協(xié)同

　　1.5.3調(diào)試輕松

　　1.5.4性能卓越

　　1.5.5開源開放

　　第2章深度學(xué)習(xí)基礎(chǔ)知識

　　2.1回歸問題算法

　　2.2梯度下降算法

　　2.3分類問題算法

　　2.4過擬合與欠擬合

　　第3章深度神經(jīng)網(wǎng)絡(luò)

　　3.1前向網(wǎng)絡(luò)

　　3.2反向傳播

　　3.3泛化能力

　　3.4用MindSpore實現(xiàn)簡單神經(jīng)網(wǎng)絡(luò)

　　3.4.1各層參數(shù)說明

　　3.4.2詳細步驟

　　第4章深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

　　4.1深度學(xué)習(xí)系統(tǒng)面臨的主要挑戰(zhàn)

　　4.1.1大數(shù)據(jù)集需求

　　4.1.2硬件需求

　　4.1.3過擬合

　　4.1.4超參數(shù)優(yōu)化

　　4.1.5不透明性

　　4.1.6缺少靈活性

　　4.2正則化

　　4.2.1L2范數(shù)正則化

　　4.2.2L1范數(shù)正則化

　　4.3Dropout

　　4.4自適應(yīng)學(xué)習(xí)率

　　4.4.1AdaGrad

　　4.4.2RMSProp

　　4.4.3Adam

　　4.5批標準化

　　4.6用MindSpore 實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)

　　4.6.1各層參數(shù)說明

　　4.6.2詳細步驟

　　第5章卷積神經(jīng)網(wǎng)絡(luò)

　　5.1卷積操作

　　5.2池化

　　5.3殘差網(wǎng)絡(luò)

　　5.4應(yīng)用：圖片分類

　　5.5用MindSpore實現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)圖片分類

　　5.5.1加載MindSpore模塊

　　5.5.2定義ResNet網(wǎng)絡(luò)結(jié)構(gòu)

　　5.5.3設(shè)置超參數(shù)

　　5.5.4導(dǎo)入數(shù)據(jù)集

　　5.5.5訓(xùn)練模型

　　第6章循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述

　　6.2深度循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.3長期依賴的挑戰(zhàn)

　　6.4長短期記憶網(wǎng)絡(luò)和門控循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.4.1長短期記憶網(wǎng)絡(luò)

　　6.4.2門控循環(huán)神經(jīng)網(wǎng)絡(luò)

　　6.5應(yīng)用：文本預(yù)測

　　6.6用MindSpore實現(xiàn)基于長短期記憶網(wǎng)絡(luò)的文本預(yù)測

　　6.6.1加載MindSpore模塊

　　6.6.2數(shù)據(jù)準備

　　6.6.3定義網(wǎng)絡(luò)

　　6.6.4參數(shù)介紹

　　6.6.5訓(xùn)練模型

　　參考文獻

　　第7章無監(jiān)督學(xué)習(xí)：詞向量

　　7.1Word2Vec

　　7.1.1提出背景

　　7.1.2發(fā)展現(xiàn)狀

　　7.1.3技術(shù)原理

　　7.1.4技術(shù)難點

　　7.1.5應(yīng)用場景

　　7.1.6框架模塊

　　7.2GloVe

　　7.2.1提出背景

　　7.2.2發(fā)展現(xiàn)狀

　　7.2.3技術(shù)原理

　　7.2.4技術(shù)難點

　　7.2.5應(yīng)用場景

　　7.2.6框架模塊

　　7.3Transformer

　　7.3.1提出背景

　　7.3.2發(fā)展現(xiàn)狀

　　7.3.3技術(shù)原理

　　7.3.4技術(shù)難點

　　7.3.5應(yīng)用場景

　　7.3.6框架模塊

　　7.4BERT

　　7.4.1提出背景

　　7.4.2發(fā)展現(xiàn)狀

　　7.4.3技術(shù)原理

　　7.4.4技術(shù)難點

　　7.4.5應(yīng)用場景

　　7.4.6框架模塊

　　7.5詞向量典型生成算法對比

　　7.6應(yīng)用：自動問答

　　7.6.1自動問答的相關(guān)概念

　　7.6.2傳統(tǒng)的自動問答方法

　　7.6.3基于深度學(xué)習(xí)的自動問答方法

　　7.7用MindSpore 實現(xiàn)基于BERT的自動問答

　　7.7.1數(shù)據(jù)集準備

　　7.7.2訓(xùn)練BERT網(wǎng)絡(luò)

　　參考文獻

　　第8章無監(jiān)督學(xué)習(xí)：圖向量

　　8.1圖向量簡介

　　8.2DeepWalk算法

　　8.2.1DeepWalk算法原理

　　8.2.2DeepWalk算法實現(xiàn)

　　8.3LINE算法

　　8.3.1LINE算法原理

　　8.3.2LINE算法實現(xiàn)

　　8.4Node2Vec算法

　　8.4.1Node2Vec算法原理

　　8.4.2Node2Vec算法實現(xiàn)

　　8.5GCN算法

　　8.5.1GCN算法原理

　　8.5.2GCN算法實現(xiàn)

　　8.6GAT算法

　　8.6.1GAT算法原理

　　8.6.2GAT算法實現(xiàn)

　　8.7應(yīng)用：推薦系統(tǒng)

　　8.7.1工業(yè)界中的推薦系統(tǒng)

　　8.7.2推薦系統(tǒng)中的圖神經(jīng)網(wǎng)絡(luò)模型

　　參考文獻

　　第9章無監(jiān)督學(xué)習(xí)：深度生成模型

　　9.1變分自編碼器

　　9.1.1提出背景

　　9.1.2發(fā)展現(xiàn)狀

　　9.1.3技術(shù)原理

　　9.1.4技術(shù)難點

　　9.1.5應(yīng)用場景

　　9.2生成對抗網(wǎng)絡(luò)

　　9.2.1提出背景

　　9.2.2發(fā)展現(xiàn)狀

　　9.2.3技術(shù)原理

　　9.2.4技術(shù)難點

　　9.2.5應(yīng)用場景

　　9.2.6框架模塊

　　9.3應(yīng)用：數(shù)據(jù)增強

　　9.3.1數(shù)據(jù)增強的定義

　　9.3.2數(shù)據(jù)增強的目的

　　9.3.3傳統(tǒng)數(shù)據(jù)增強的方法

　　9.3.4基于深度學(xué)習(xí)的數(shù)據(jù)增強方法

　　9.4用MindSpore實現(xiàn)基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)增強

　　參考文獻

　　第10章深度強化學(xué)習(xí)

　　10.1強化學(xué)習(xí)基本概念

　　10.1.1基礎(chǔ)概念與理論

　　10.1.2馬爾可夫決策過程

　　10.1.3貝爾曼方程

　　10.2基本求解方法

　　10.2.1動態(tài)規(guī)劃法

　　10.2.2蒙特卡羅法

　　10.2.3時間差分法

　　10.3深度強化學(xué)習(xí)算法

　　10.3.1DQN算法

　　10.3.2DDPG算法

　　10.3.3A3C算法

　　10.4最新應(yīng)用

　　10.4.1推薦系統(tǒng)

　　10.4.2博弈游戲

　　10.5用MindSpore實現(xiàn)基于DQN的博弈游戲

　　參考文獻

　　第11章自動化機器學(xué)習(xí)

　　11.1AutoML框架

　　11.1.1NAS算法

　　11.1.2超參調(diào)優(yōu)

　　11.2現(xiàn)有AutoML系統(tǒng)介紹

　　11.2.1AutoWeka/Auto�睸klearn/HyperOpt

　　11.2.2Microsoft NNI

　　11.3元學(xué)習(xí)

　　11.3.1學(xué)習(xí)優(yōu)化器

　　11.3.2學(xué)習(xí)參數(shù)初始化

　　11.3.3學(xué)習(xí)損失函數(shù)

　　11.3.4學(xué)習(xí)度量

　　11.4用MindSpore實現(xiàn)AutoML

　　參考文獻

　　第12章端云協(xié)同

　　12.1端側(cè)推理

　　12.2端云遷移學(xué)習(xí)

　　12.3端云聯(lián)邦學(xué)習(xí)

　　12.3.1聯(lián)邦平均

　　12.3.2梯度壓縮

　　12.4端云協(xié)同框架

　　參考文獻

　　第13章深度學(xué)習(xí)可視化

　　13.1深度學(xué)習(xí)可視化概述

　　13.1.1數(shù)據(jù)分析

　　13.1.2模型建立與理解

　　13.1.3訓(xùn)練

　　13.1.4評估

　　13.2MindSpore可視化實踐

　　13.2.1可視化流程

　　13.2.2數(shù)據(jù)集可視化

　　13.2.3模型與訓(xùn)練可視化

　　13.2.4Summary匯總數(shù)據(jù)格式

　　參考文獻

　　第14章深度學(xué)習(xí)的數(shù)據(jù)準備

　　14.1數(shù)據(jù)格式概述

　　14.2深度學(xué)習(xí)中的數(shù)據(jù)格式

　　14.2.1原始輸入

　　14.2.2標注信息

　　14.3常用的深度學(xué)習(xí)數(shù)據(jù)格式

　　14.3.1TFRecord格式

　　14.3.2LMDB存儲

　　14.3.3Rec格式

　　14.3.4MindSpore數(shù)據(jù)格式

　　14.3.5MindSpore數(shù)據(jù)集

　　14.4使用MindSpore數(shù)據(jù)格式進行訓(xùn)練數(shù)據(jù)準備

　　14.4.1MindSpore數(shù)據(jù)格式生成

　　14.4.2MindSpore數(shù)據(jù)格式統(tǒng)計與檢索

　　14.4.3MindSpore數(shù)據(jù)格式訓(xùn)練數(shù)據(jù)讀取

　　附錄A中、英文對照詞匯表

　　附錄BMindSpore白皮書

　　參考文獻

　　MindSpore是華為公司開發(fā)的深度學(xué)習(xí)框架，兼容目前主流的深度學(xué)習(xí)框架，支持端/邊/云全場景全棧協(xié)同開發(fā)。本書由陳雷教授傾力編著，陳雷教授是香港科技大學(xué)計算機科學(xué)與工程系教授，大數(shù)據(jù)研究所主任，IEEE Fellow和ACM杰出科學(xué)家�！渡疃葘W(xué)習(xí)與MindSpore實踐》系統(tǒng)介紹了深度學(xué)習(xí)的基礎(chǔ)理論、常用的深度神經(jīng)算法設(shè)計，并以大量基于MindSpore的實例幫助讀者掌握深度學(xué)習(xí)算法的實現(xiàn)。此外，本書還對深度學(xué)習(xí)中的樣本數(shù)據(jù)處理、可視化及端云協(xié)同進行了深入的探討，因此我相信本書適合廣大讀者作為深度學(xué)習(xí)技術(shù)的入門讀物。

　　深度學(xué)習(xí)在最近十年得到了巨大發(fā)展，它使人工智能產(chǎn)生了革命性的突破，讓我們切實地領(lǐng)略到人工智能給生活帶來改變的潛力�！渡疃葘W(xué)習(xí)與MindSpore實踐》對深度學(xué)習(xí)的基礎(chǔ)技術(shù)進行了深入淺出的闡述，既給出了富于啟發(fā)性和思想性的見解，又強調(diào)通過深度學(xué)習(xí)框架MindSpore的操作和實踐，特別適合從事深度學(xué)習(xí)的研發(fā)人員參考閱讀！

　　人工智能已成為我國發(fā)展的戰(zhàn)略性方向，而人工智能的發(fā)展離不開計算框架的合理應(yīng)用。MindSpore是開源的深度學(xué)習(xí)計算框架，支持端/邊/云全場景全棧協(xié)同開發(fā)，適配所有的AI 應(yīng)用場景。很高興看到《深度學(xué)習(xí)與MindSpore實踐》系統(tǒng)介紹了深度學(xué)習(xí)的基礎(chǔ)知識和各種網(wǎng)絡(luò)模型，并通過MindSpore給出不同領(lǐng)域的應(yīng)用，對深度學(xué)習(xí)的推廣具有重大意義。

　　MindSpore是華為公司開發(fā)的深度學(xué)習(xí)框架，兼容目前主流的深度學(xué)習(xí)框架，支持端/邊/云全場景全棧協(xié)同開發(fā)。《深度學(xué)習(xí)與MindSpore實踐》在總結(jié)深度學(xué)習(xí)的理論基礎(chǔ)上，系統(tǒng)地介紹了MindSpore框架，適合作為以MindSpore為工具開發(fā)人工智能系統(tǒng)的研發(fā)人員的參考讀物。本書理論聯(lián)系實踐，不僅講解深度學(xué)習(xí)的模型、概念和算法，還給出了在MindSpore上實現(xiàn)的具體程序及步驟，強烈推薦閱讀。

　　我從事人工智能教學(xué)已經(jīng)十三年了，深刻感受到人工智能尤其是深度學(xué)習(xí)的教學(xué)效果很大程度上要依賴于實踐環(huán)節(jié)。特別是未來一段時間，深度學(xué)習(xí)仍然依賴于大數(shù)據(jù)和強大的算力，缺乏解釋性。華為公司硬件與軟件齊頭并進，不僅構(gòu)造了令人驕傲的強大算力平臺，還推出了MindSpore全場景AI計算框架，為人工智能人才的培養(yǎng)提供了優(yōu)秀的實踐平臺。相信《深度學(xué)習(xí)與MindSpore實踐》會很快進入全國各大高校的課堂，并建議華為公司能把整個教學(xué)生態(tài)建好，打造人工智能人才培養(yǎng)的高地。

　　深度學(xué)習(xí)在人工智能領(lǐng)域有著廣泛的應(yīng)用�！渡疃葘W(xué)習(xí)與MindSpore實踐》系統(tǒng)介紹了深度學(xué)習(xí)的基礎(chǔ)理論、常用的深度神經(jīng)算法設(shè)計，并以大量基于MindSpore的實例幫助讀者掌握深度學(xué)習(xí)算法的實現(xiàn)。此外，本書還對深度學(xué)習(xí)中的樣本數(shù)據(jù)處理、可視化及端云協(xié)同進行了深入的探討，因此我相信本書適合廣大讀者作為深度學(xué)習(xí)技術(shù)的入門讀物。

　　本書提供部分配套教學(xué)資源，可以關(guān)注「人工智能科學(xué)與技術(shù)」公眾號，在對話框界面輸入“教學(xué)資源”即可獲得本書的部分“教材樣章”。

　　一、您若是教師，可按以下方式申請圖書

　�。�1）關(guān)注「人工智能科學(xué)與技術(shù)」公眾號，將本篇文章分享至朋友圈；

　�。�2）打開「人工智能科學(xué)與技術(shù)」公眾號對話框界面，輸入文字“圖書申請”，系統(tǒng)會彈出申請樣書二維碼；

　�。�3）申請人須是普通高校教師并擔(dān)任所申請樣書對應(yīng)課程，申請表中需要上傳相近課程的教學(xué)大綱證明身份。

　　注：申請圖書長期有效，五個工作日內(nèi)寄出圖書。

　　二、您若不是教師，可按以下方式圖書抽獎

　�。�1）關(guān)注「人工智能科學(xué)與技術(shù)」公眾號，將本篇文章分享至朋友圈；

　　（2）打開「人工智能科學(xué)與技術(shù)」公眾號對話框界面，輸入文字“深度學(xué)習(xí)抽獎”，系統(tǒng)會彈出抽獎二維碼；

　�。�3）長按二維碼參與抽獎即可，2020年06月07日晚9:00開獎，請在開獎后24小時內(nèi)填寫郵寄地址。

　　注：抽獎有效期截至2020年06月07日9:00，五個工作日內(nèi)寄出。