深信服創(chuàng)新研究院AI專家孟賓賓
觀點(diǎn)一越來越多的AI應(yīng)用下沉到邊緣端
孟賓賓首先對(duì)AI產(chǎn)業(yè)的發(fā)展進(jìn)行了分析，他認(rèn)為當(dāng)下的AI應(yīng)用正在逐漸下沉到邊緣端和設(shè)備端，而這個(gè)趨勢(shì)主要有四個(gè)驅(qū)動(dòng)因素。
首先，邊緣計(jì)算場(chǎng)景的興起會(huì)使得AI應(yīng)用的體驗(yàn)變得更好。在無人駕駛、語音識(shí)別這樣的實(shí)時(shí)計(jì)算場(chǎng)景里，要求AI應(yīng)用需要達(dá)到毫秒級(jí)的實(shí)時(shí)響應(yīng)，如果不能達(dá)到這個(gè)要求，則應(yīng)用就不能落地。采用云端的方案，延遲可能達(dá)到數(shù)百毫秒，而下沉到邊緣端則可以做到幾毫秒延遲。
其次，隨著AI場(chǎng)景的數(shù)據(jù)量不斷增加，邊緣到云端的數(shù)據(jù)通信以及對(duì)帶寬的要求逐漸加大，有一些任務(wù)下沉到本地，會(huì)使帶寬的壓力大大減小。
第三，可以解決鏈接問題，通過邊緣將現(xiàn)實(shí)生產(chǎn)環(huán)境與數(shù)字化云環(huán)境（私有云）鏈接打通，通過邊緣采集實(shí)際生產(chǎn)數(shù)據(jù)做數(shù)據(jù)價(jià)值挖掘、數(shù)據(jù)智能模型沉淀，再通過云邊管道注入到邊緣賦能生產(chǎn)，真正形成數(shù)智化落地閉環(huán)，幫助組織加速數(shù)智化落地速度，解決實(shí)際問題。
第四，邊緣端的系統(tǒng)部署和維護(hù)更簡(jiǎn)單，同時(shí)邊緣設(shè)備的AI能力可以進(jìn)行動(dòng)態(tài)擴(kuò)展。在實(shí)際部署環(huán)境中，設(shè)備部署完之后可以添加不同AI推理的模型和能力，還可以通過云邊協(xié)同系統(tǒng)，讓它能夠像安裝手機(jī)APP一樣，能夠動(dòng)態(tài)地更新和下載。
第五，下沉到邊緣端后，AI應(yīng)用的數(shù)據(jù)隱私保護(hù)能力可以得到提升。在邊緣端，AI應(yīng)用的數(shù)據(jù)可以本地采集、本地處理，有效的減少了數(shù)據(jù)暴露在公共網(wǎng)絡(luò)的機(jī)會(huì)，因此大大降低了發(fā)生數(shù)據(jù)安全問題的風(fēng)險(xiǎn)。
觀點(diǎn)二邊緣AI的趨勢(shì)與挑戰(zhàn)
在AI技術(shù)的發(fā)展和落地方面，孟賓賓也分享了自己的看法。他提出了四個(gè)技術(shù)發(fā)展趨勢(shì)：
- AI框架和AI芯片硬件方案多樣性增加，而且國(guó)內(nèi)的服務(wù)商在快速崛起；
- AI模型復(fù)雜度和業(yè)務(wù)數(shù)據(jù)量越來越大，對(duì)計(jì)算優(yōu)化需求越來越明顯；
- 邊緣AI需求呈碎片化，需要場(chǎng)景化來解決用戶實(shí)際問題，單一通用算法難以實(shí)現(xiàn)，這就對(duì)算法跨場(chǎng)景遷移，多算法的升級(jí)部署，算法本身的持續(xù)迭代維護(hù)的需求會(huì)越來越明顯。
- 場(chǎng)景化的AI+業(yè)務(wù)能力也是必須要考慮的一個(gè)維度，深入+AI的場(chǎng)景都需要對(duì)現(xiàn)場(chǎng)業(yè)務(wù)邏輯很好的理解，支撐甚至融合，所以多元數(shù)據(jù)分析及業(yè)務(wù)融合也是一個(gè)現(xiàn)實(shí)需求。
與此同時(shí)，要讓邊緣AI遍地開花，需要解決四個(gè)方面的挑戰(zhàn)。
首先，軟、硬件異構(gòu)導(dǎo)致兼容適配難度高。由于底層AI芯片和框架的方案很多，AI應(yīng)用的開發(fā)者在做軟硬協(xié)同及適配開發(fā)時(shí)難度會(huì)非常高，場(chǎng)景化多算法注入及協(xié)同則更困難。
其次，邊緣設(shè)備資源受限，對(duì)性能要求高。相較于中心云服務(wù)器，邊緣節(jié)點(diǎn)的資源配置有限，難以運(yùn)行大而全的復(fù)雜模型。將云端訓(xùn)練好的AI算法模型遷移至資源、算力相對(duì)有限的邊緣節(jié)點(diǎn)，算法開發(fā)人員需要做大量模型量化、優(yōu)化以及算子層面的調(diào)整工作，過程繁雜，優(yōu)化效果高度依賴開發(fā)者經(jīng)驗(yàn)。
第三，邊緣環(huán)境變化導(dǎo)致邊緣AI模型漂移。隨著環(huán)境變化，數(shù)據(jù)分布存在差異，這導(dǎo)致在實(shí)驗(yàn)室采集樣本訓(xùn)練出的模型在邊緣場(chǎng)景下識(shí)別率降低。
第四，邊緣端雖然在數(shù)據(jù)隱私上有較大幫助，但環(huán)境不確定因素導(dǎo)致的安全問題及邊緣設(shè)備本體安全也是一個(gè)必須要考慮的問題。
這些問題無法解決，邊緣端的AI應(yīng)用就難以落地。
觀點(diǎn)三云邊協(xié)同的解決之道
孟賓賓在活動(dòng)現(xiàn)場(chǎng)分享了信服云針對(duì)以上挑戰(zhàn)的解決之道——信服云邊緣智能計(jì)算平臺(tái)。
信服云邊緣智能計(jì)算平臺(tái)
孟賓賓介紹，目前信服云邊緣智能計(jì)算平臺(tái)可以接入、管理各種異構(gòu)的邊緣傳感器設(shè)備，并通過邊緣計(jì)算一體機(jī)結(jié)合AI算法在本地進(jìn)行智能處理，把初步處理的結(jié)果數(shù)據(jù)上傳到云端進(jìn)行應(yīng)用層面的管理。在這個(gè)過程中，邊緣計(jì)算應(yīng)用ISV開發(fā)人員可以通過深信服自研的容器云管平臺(tái)對(duì)邊緣計(jì)算一體機(jī)和云端上的任務(wù)進(jìn)行統(tǒng)一編排和調(diào)度。
對(duì)于邊緣計(jì)算應(yīng)用ISV開發(fā)人員而言，信服云邊緣智能計(jì)算平臺(tái)最為核心的能力是，為智能化場(chǎng)景業(yè)務(wù)開發(fā)工作提供了一個(gè)云邊協(xié)同的智能計(jì)算平臺(tái)。在這個(gè)平臺(tái)上，AI數(shù)據(jù)、訓(xùn)練、邊緣推理計(jì)算優(yōu)化和服務(wù)部署工具可以形成一個(gè)高效地運(yùn)作的閉環(huán)，AI模型可以被部署到設(shè)備上運(yùn)行，運(yùn)行過程中又可以指導(dǎo)模型的調(diào)優(yōu)，甚至收集新的增量數(shù)據(jù)。這樣的開發(fā)模式可以大幅提升開發(fā)者的開發(fā)速度，降低開發(fā)門檻，保證開發(fā)質(zhì)量，同時(shí)能夠讓開發(fā)的業(yè)務(wù)快速的就緒部署到實(shí)際業(yè)務(wù)環(huán)境中，形成一個(gè)良性閉環(huán)。
“信服云想要打造下一代簡(jiǎn)單易用、靈活高性能、結(jié)果可信的云邊協(xié)同的算法開發(fā)訓(xùn)練交付平臺(tái)。”孟賓賓在演講最后透露，信服云邊緣智能計(jì)算平臺(tái)已經(jīng)在一些智慧園區(qū)和智慧交通的場(chǎng)景中進(jìn)行了應(yīng)用，并幫助不少AI應(yīng)用開發(fā)者減少了開發(fā)成本，節(jié)省了邊緣AI應(yīng)用落地的開發(fā)時(shí)間。“未來，信服云邊緣智能計(jì)算平臺(tái)會(huì)面向更多的智慧場(chǎng)景，如：智慧電網(wǎng)、智慧能源、智慧工廠、智慧水利、智慧礦山等場(chǎng)景，面向更廣泛的行業(yè)的AI生態(tài)伙伴以及邊緣計(jì)算應(yīng)用ISV開放。我們希望擁抱整個(gè)生態(tài)，和大家一起在人工智能領(lǐng)域，在邊緣計(jì)算領(lǐng)域做一些有意義的事情，為更多用戶創(chuàng)造一個(gè)簡(jiǎn)單、安全、可閉環(huán)、有價(jià)值的智能化業(yè)務(wù)落地體驗(yàn)，幫助用戶實(shí)現(xiàn)更簡(jiǎn)單、更安全的數(shù)字化轉(zhuǎn)型及智能化升級(jí)。”
信服云：助力數(shù)據(jù)中心云化演進(jìn) 在云計(jì)算業(yè)務(wù)上，深信服作為成長(zhǎng)迅猛的創(chuàng)新云計(jì)算廠商，致力于為全球用戶交付省時(shí)省事、平滑彈性、安全可靠、業(yè)務(wù)承載豐富的數(shù)據(jù)中心云化的優(yōu)選方案及服務(wù)，解決用戶數(shù)字化轉(zhuǎn)型各階段核心問題，解放生產(chǎn)力，專注業(yè)務(wù)創(chuàng)新。
