深信服創(chuàng)新研究院AI專家孟賓賓
觀點一越來越多的AI應(yīng)用下沉到邊緣端
孟賓賓首先對AI產(chǎn)業(yè)的發(fā)展進(jìn)行了分析,他認(rèn)為當(dāng)下的AI應(yīng)用正在逐漸下沉到邊緣端和設(shè)備端,而這個趨勢主要有四個驅(qū)動因素。
首先,邊緣計算場景的興起會使得AI應(yīng)用的體驗變得更好。在無人駕駛、語音識別這樣的實時計算場景里,要求AI應(yīng)用需要達(dá)到毫秒級的實時響應(yīng),如果不能達(dá)到這個要求,則應(yīng)用就不能落地。采用云端的方案,延遲可能達(dá)到數(shù)百毫秒,而下沉到邊緣端則可以做到幾毫秒延遲。
其次,隨著AI場景的數(shù)據(jù)量不斷增加,邊緣到云端的數(shù)據(jù)通信以及對帶寬的要求逐漸加大,有一些任務(wù)下沉到本地,會使帶寬的壓力大大減小。
第三,可以解決鏈接問題,通過邊緣將現(xiàn)實生產(chǎn)環(huán)境與數(shù)字化云環(huán)境(私有云)鏈接打通,通過邊緣采集實際生產(chǎn)數(shù)據(jù)做數(shù)據(jù)價值挖掘、數(shù)據(jù)智能模型沉淀,再通過云邊管道注入到邊緣賦能生產(chǎn),真正形成數(shù)智化落地閉環(huán),幫助組織加速數(shù)智化落地速度,解決實際問題。
第四,邊緣端的系統(tǒng)部署和維護(hù)更簡單,同時邊緣設(shè)備的AI能力可以進(jìn)行動態(tài)擴展。在實際部署環(huán)境中,設(shè)備部署完之后可以添加不同AI推理的模型和能力,還可以通過云邊協(xié)同系統(tǒng),讓它能夠像安裝手機APP一樣,能夠動態(tài)地更新和下載。
第五,下沉到邊緣端后,AI應(yīng)用的數(shù)據(jù)隱私保護(hù)能力可以得到提升。在邊緣端,AI應(yīng)用的數(shù)據(jù)可以本地采集、本地處理,有效的減少了數(shù)據(jù)暴露在公共網(wǎng)絡(luò)的機會,因此大大降低了發(fā)生數(shù)據(jù)安全問題的風(fēng)險。
觀點二邊緣AI的趨勢與挑戰(zhàn)
在AI技術(shù)的發(fā)展和落地方面,孟賓賓也分享了自己的看法。他提出了四個技術(shù)發(fā)展趨勢:
- AI框架和AI芯片硬件方案多樣性增加,而且國內(nèi)的服務(wù)商在快速崛起;
- AI模型復(fù)雜度和業(yè)務(wù)數(shù)據(jù)量越來越大,對計算優(yōu)化需求越來越明顯;
- 邊緣AI需求呈碎片化,需要場景化來解決用戶實際問題,單一通用算法難以實現(xiàn),這就對算法跨場景遷移,多算法的升級部署,算法本身的持續(xù)迭代維護(hù)的需求會越來越明顯。
- 場景化的AI+業(yè)務(wù)能力也是必須要考慮的一個維度,深入+AI的場景都需要對現(xiàn)場業(yè)務(wù)邏輯很好的理解,支撐甚至融合,所以多元數(shù)據(jù)分析及業(yè)務(wù)融合也是一個現(xiàn)實需求。
與此同時,要讓邊緣AI遍地開花,需要解決四個方面的挑戰(zhàn)。
首先,軟、硬件異構(gòu)導(dǎo)致兼容適配難度高。由于底層AI芯片和框架的方案很多,AI應(yīng)用的開發(fā)者在做軟硬協(xié)同及適配開發(fā)時難度會非常高,場景化多算法注入及協(xié)同則更困難。
其次,邊緣設(shè)備資源受限,對性能要求高。相較于中心云服務(wù)器,邊緣節(jié)點的資源配置有限,難以運行大而全的復(fù)雜模型。將云端訓(xùn)練好的AI算法模型遷移至資源、算力相對有限的邊緣節(jié)點,算法開發(fā)人員需要做大量模型量化、優(yōu)化以及算子層面的調(diào)整工作,過程繁雜,優(yōu)化效果高度依賴開發(fā)者經(jīng)驗。
第三,邊緣環(huán)境變化導(dǎo)致邊緣AI模型漂移。隨著環(huán)境變化,數(shù)據(jù)分布存在差異,這導(dǎo)致在實驗室采集樣本訓(xùn)練出的模型在邊緣場景下識別率降低。
第四,邊緣端雖然在數(shù)據(jù)隱私上有較大幫助,但環(huán)境不確定因素導(dǎo)致的安全問題及邊緣設(shè)備本體安全也是一個必須要考慮的問題。
這些問題無法解決,邊緣端的AI應(yīng)用就難以落地。
觀點三云邊協(xié)同的解決之道
孟賓賓在活動現(xiàn)場分享了信服云針對以上挑戰(zhàn)的解決之道——信服云邊緣智能計算平臺。
信服云邊緣智能計算平臺
孟賓賓介紹,目前信服云邊緣智能計算平臺可以接入、管理各種異構(gòu)的邊緣傳感器設(shè)備,并通過邊緣計算一體機結(jié)合AI算法在本地進(jìn)行智能處理,把初步處理的結(jié)果數(shù)據(jù)上傳到云端進(jìn)行應(yīng)用層面的管理。在這個過程中,邊緣計算應(yīng)用ISV開發(fā)人員可以通過深信服自研的容器云管平臺對邊緣計算一體機和云端上的任務(wù)進(jìn)行統(tǒng)一編排和調(diào)度。
對于邊緣計算應(yīng)用ISV開發(fā)人員而言,信服云邊緣智能計算平臺最為核心的能力是,為智能化場景業(yè)務(wù)開發(fā)工作提供了一個云邊協(xié)同的智能計算平臺。在這個平臺上,AI數(shù)據(jù)、訓(xùn)練、邊緣推理計算優(yōu)化和服務(wù)部署工具可以形成一個高效地運作的閉環(huán),AI模型可以被部署到設(shè)備上運行,運行過程中又可以指導(dǎo)模型的調(diào)優(yōu),甚至收集新的增量數(shù)據(jù)。這樣的開發(fā)模式可以大幅提升開發(fā)者的開發(fā)速度,降低開發(fā)門檻,保證開發(fā)質(zhì)量,同時能夠讓開發(fā)的業(yè)務(wù)快速的就緒部署到實際業(yè)務(wù)環(huán)境中,形成一個良性閉環(huán)。
“信服云想要打造下一代簡單易用、靈活高性能、結(jié)果可信的云邊協(xié)同的算法開發(fā)訓(xùn)練交付平臺。”孟賓賓在演講最后透露,信服云邊緣智能計算平臺已經(jīng)在一些智慧園區(qū)和智慧交通的場景中進(jìn)行了應(yīng)用,并幫助不少AI應(yīng)用開發(fā)者減少了開發(fā)成本,節(jié)省了邊緣AI應(yīng)用落地的開發(fā)時間。“未來,信服云邊緣智能計算平臺會面向更多的智慧場景,如:智慧電網(wǎng)、智慧能源、智慧工廠、智慧水利、智慧礦山等場景,面向更廣泛的行業(yè)的AI生態(tài)伙伴以及邊緣計算應(yīng)用ISV開放。我們希望擁抱整個生態(tài),和大家一起在人工智能領(lǐng)域,在邊緣計算領(lǐng)域做一些有意義的事情,為更多用戶創(chuàng)造一個簡單、安全、可閉環(huán)、有價值的智能化業(yè)務(wù)落地體驗,幫助用戶實現(xiàn)更簡單、更安全的數(shù)字化轉(zhuǎn)型及智能化升級。”
信服云:助力數(shù)據(jù)中心云化演進(jìn) 在云計算業(yè)務(wù)上,深信服作為成長迅猛的創(chuàng)新云計算廠商,致力于為全球用戶交付省時省事、平滑彈性、安全可靠、業(yè)務(wù)承載豐富的數(shù)據(jù)中心云化的優(yōu)選方案及服務(wù),解決用戶數(shù)字化轉(zhuǎn)型各階段核心問題,解放生產(chǎn)力,專注業(yè)務(wù)創(chuàng)新。