人工智能與 5G 的飛速發(fā)展，讓各行各業(yè)對(duì)視頻的應(yīng)用、體驗(yàn)提出了更高的要求。

• “云”的部分以云邊端一體、異構(gòu)融合的基礎(chǔ)架構(gòu)提供先進(jìn)的云計(jì)算能力；
• “智”則以業(yè)界領(lǐng)先且全面的 AI 能力實(shí)現(xiàn)了對(duì)視頻語音、圖像、文字等多種信息的多模態(tài)智能分析、理解、生成等處理。
• 依托“云智一體”推出了視頻創(chuàng)作分發(fā)平臺(tái)和視聯(lián)網(wǎng)感知平臺(tái)。
• 在消費(fèi)類視頻方面，將采集到的各種結(jié)構(gòu)化信息、知識(shí)信息通過智能視頻云的手段，轉(zhuǎn)化成多媒體的信息進(jìn)行高效分發(fā)和傳播；
• 在產(chǎn)業(yè)類視頻方面，將采集到的視頻轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化信息，通過提取獲得的信息，來幫助業(yè)務(wù)進(jìn)行高效的感知和決策。

• 智能編碼：基于百度 AI 深度學(xué)習(xí)技術(shù)，通過深度學(xué)習(xí)網(wǎng)絡(luò)來提取視頻的特征，結(jié)合 BD265 生成智能編碼技術(shù)。
• 算法方面，依靠百度多年積累的技術(shù)優(yōu)勢(shì)，通過60+算法的優(yōu)化，在質(zhì)量和效率、速度上取得最優(yōu)解。
• 效率方面，相比業(yè)界開源的 X265 編碼器，在編碼速度有2-4倍的提升，同時(shí)節(jié)省30%的編碼碼率。

• 智感超清：視頻體驗(yàn)的優(yōu)化是一項(xiàng)精益求精、永無止境的工作。百度智能視頻云3.0通過智能超分、智能畫質(zhì)增強(qiáng)、智能插幀、智能修復(fù)、智能 HDR 生成等技術(shù)，在老片修復(fù)、真 4K 生成等典型應(yīng)用場(chǎng)景上大幅提升畫質(zhì)體驗(yàn)、彌補(bǔ)超高清內(nèi)容缺失，加速了超高清產(chǎn)業(yè)發(fā)展，相關(guān)技術(shù)在國(guó)際權(quán)威比賽中屢次奪冠，具體優(yōu)勢(shì)體現(xiàn)在：
• 超分辨率：通過多層級(jí)聯(lián)的 U 型神經(jīng)網(wǎng)絡(luò)架構(gòu)，對(duì)視頻空間的分辨率進(jìn)行從粗到細(xì)的提升。
• 畫面去噪：基于無監(jiān)督去噪聲算法，擺脫了有監(jiān)督神經(jīng)網(wǎng)絡(luò)訓(xùn)練對(duì)于成對(duì)的噪聲與干凈圖像的依賴；設(shè)計(jì)了可交互控制參數(shù)，支持用戶調(diào)節(jié)，增加了系統(tǒng)靈活性。
• 畫質(zhì)增強(qiáng)：通過深度殘差神經(jīng)網(wǎng)絡(luò)，將內(nèi)容特征提取與重建，不僅可以優(yōu)化畫質(zhì)飽和度、還原壓縮視頻導(dǎo)致的失真，還能對(duì) ROI 區(qū)域進(jìn)行區(qū)域增強(qiáng)和碼率分配優(yōu)化。
• 高幀率重制：依靠 MEMC 高幀率提升技術(shù)能力，通過對(duì)運(yùn)動(dòng)方向預(yù)判，據(jù)此進(jìn)行插幀，提升畫面流暢度與觀屏舒適度。
• 超高清編碼：采用 CPU+GPU+ASIC 的異構(gòu)加速計(jì)算框架，支持國(guó)產(chǎn)昆侖 K200 AI 加速卡，提升 AI 推理效率和超高清編碼效率，降低用戶成本，提升總體的生成效率。

　　智感超清

• 實(shí)時(shí)音視頻通訊：依靠核心自研的多個(gè)算法，實(shí)現(xiàn)通訊順暢的超低延時(shí)互動(dòng)體驗(yàn)，并分為如下幾個(gè)方面：
• 抗弱網(wǎng)支持方面：基于上/下行鏈路智能探測(cè)器，根據(jù)上下行網(wǎng)絡(luò)鏈路惡化程度因子，調(diào)整 FEC、NACK、碼控、超清權(quán)重，選擇因子進(jìn)行抗弱網(wǎng)抖動(dòng)算法，使視頻抗弱網(wǎng)可達(dá)到60%，音頻80%。
• AI 能力方面：通過百度多年的 AI 技術(shù)積累，支持實(shí)時(shí)美顏、濾鏡、貼紙、AR 特效，更多娛樂場(chǎng)景玩法，并提供人臉識(shí)別、語音識(shí)別等能力，適用于用于身份核驗(yàn)、學(xué)生狀態(tài)監(jiān)測(cè)等更多場(chǎng)景。
• 高質(zhì)量音視頻通話方面：通過大量音視頻場(chǎng)景數(shù)據(jù) AI 模型訓(xùn)練，對(duì)音頻進(jìn)行 3A 優(yōu)化的同時(shí)，并能通過智感超清支撐超高清畫質(zhì)，自動(dòng)適配多分辨率，實(shí)現(xiàn)高質(zhì)量音視頻消息聊天。
• 性能指標(biāo)方面：為針對(duì)通信節(jié)點(diǎn)路由的選擇，優(yōu)化混沌神經(jīng)網(wǎng)絡(luò)算法規(guī)劃最短路徑、實(shí)現(xiàn)動(dòng)態(tài)平衡路由選擇，可使端到端延時(shí)穩(wěn)定收斂到 200ms 左右，并在單個(gè)節(jié)點(diǎn)故障時(shí)，能自動(dòng)重建路由，保障 server 的可用性。依靠 WHIP 協(xié)議轉(zhuǎn)換裝置解決了傳統(tǒng) RTC 通信 server 由于信令交互復(fù)雜、房間管理業(yè)務(wù)量大、數(shù)據(jù)庫(kù)操作頻繁等影響性能及大規(guī)模搞并發(fā)問題，可支撐每個(gè)房間在線人數(shù)達(dá)百萬級(jí)別。
• 端到端性能監(jiān)控方面：通過各端大量數(shù)據(jù)收集，依托百度智能云大數(shù)據(jù)分析，能精準(zhǔn)的定位問題，對(duì)潛在的不可靠服務(wù)提前預(yù)警，讓潛在風(fēng)險(xiǎn)在萌芽狀態(tài)被解決，保障音視頻實(shí)時(shí)通信服務(wù)的高可用。

• 低延時(shí)直播：采用了全鏈路 SRT 協(xié)議，可穩(wěn)定支撐千萬級(jí)直播并發(fā)。關(guān)鍵特性包括：
• 卓越抗弱網(wǎng)：自研 mpegts 數(shù)據(jù)格式封裝、支持 SRT 協(xié)議推拉流，將網(wǎng)絡(luò)丟包的可能性降到最低，有效改善弱網(wǎng)環(huán)境下的推流及觀看體驗(yàn)。
• 首屏秒開：CDN 邊緣先將編碼參數(shù)信息發(fā)給播放器，播放器解析到編碼信息，待下個(gè)關(guān)鍵幀到達(dá)后即可快速播放。
• 協(xié)議兼容：實(shí)現(xiàn)多種視頻流協(xié)議的輸入與輸出， 基于 SRT 低延遲直播協(xié)議的上下行，能無縫接入 LSS 低延遲直播系統(tǒng)，與主流直播分發(fā)協(xié)議 HTTP-FLV/RTMP/HLS 結(jié)合，視頻轉(zhuǎn)發(fā)場(chǎng)景更加靈活。
• 規(guī)模并發(fā)：與 HTTP-FLV 支持的并發(fā)規(guī)模一致，支持千萬級(jí)規(guī)模并發(fā)。

• 視頻分發(fā)基礎(chǔ)設(shè)施CDN：擁有遍布全球1000+節(jié)點(diǎn)、100T 帶寬儲(chǔ)備，以強(qiáng)大網(wǎng)絡(luò)基礎(chǔ)設(shè)施帶來極致視頻分發(fā)體驗(yàn)和效率。其中具有這幾大能力：
• 資源儲(chǔ)備的擴(kuò)展能力：通過云邊端一體，將資源的使用能力持續(xù)下沉，與邊緣計(jì)算的資源深度結(jié)合，做到流量加速的同時(shí)，也能做到算力的加速。
• 近似實(shí)時(shí)的智能調(diào)度能力：具備全網(wǎng)流量與質(zhì)量的感知系統(tǒng)，能實(shí)現(xiàn)近似實(shí)時(shí)的智能調(diào)度。
• 分場(chǎng)景的協(xié)議調(diào)優(yōu)能力：通過質(zhì)量感知系統(tǒng) Bcats、節(jié)點(diǎn)多級(jí)緩存優(yōu)化、分場(chǎng)景協(xié)議棧優(yōu)化滿足客戶多場(chǎng)景的質(zhì)量要求，節(jié)點(diǎn)間使用私有協(xié)議加速，提升加速體驗(yàn)并保證數(shù)據(jù)安全。
• 快速便捷的可編程能力：通過易用的可編程邊緣運(yùn)行環(huán)境 EJS，用戶可自主實(shí)現(xiàn)個(gè)性化業(yè)務(wù)控制邏輯，應(yīng)對(duì)業(yè)務(wù)變化的敏捷效率挑戰(zhàn)。

• 視覺模態(tài)理解框架的升級(jí)：提出了一個(gè)“預(yù)訓(xùn)練+小型化+定制化”新的框架。該框架基于飛槳提供的大規(guī)模分類框架、PaddleSlim 等組件，有效應(yīng)對(duì)理解任務(wù)的復(fù)雜性，解決場(chǎng)景數(shù)據(jù)的稀缺性。在人臉任務(wù)上，全場(chǎng)景下識(shí)別相對(duì)錯(cuò)誤率下降40%。在其他一些垂類任務(wù)上，訓(xùn)練的標(biāo)注量可以減少40%以上。
• 知識(shí)增強(qiáng)的視頻理解：基于知識(shí)的視頻語義理解技術(shù)，充分利用豐富而全面的知識(shí)圖譜提升視頻理解效果。該技術(shù)通過對(duì)視覺、語音、文本的多模態(tài)內(nèi)容進(jìn)行解析與融合，再利用知識(shí)關(guān)聯(lián)技術(shù)建立與視頻理解知識(shí)圖譜的連接，并根據(jù)背景知識(shí)以及知識(shí)計(jì)算與推理技術(shù)，實(shí)現(xiàn)對(duì)視頻的深度語義理解。這項(xiàng)技術(shù)打破了在傳統(tǒng)技術(shù)中，視頻內(nèi)容分析基于感知的局限性，實(shí)現(xiàn)對(duì)視頻的深度結(jié)構(gòu)化語義理解，大幅提升視頻理解的效果。

• 視覺模態(tài)創(chuàng)新豐富的能力：可將多種內(nèi)容載體向視頻形式進(jìn)行自動(dòng)轉(zhuǎn)換，提升傳播效率。目前百度智能云支持多種視頻生產(chǎn)方式，包括圖文，數(shù)據(jù)，圖集等轉(zhuǎn)視頻，長(zhǎng)視頻拆短視頻及 Video-in 等生產(chǎn)形式。
• 知識(shí)增強(qiáng)的視頻生產(chǎn)：基于知識(shí)圖譜的視頻生產(chǎn)技術(shù)是百度智能云視頻生產(chǎn)的亮點(diǎn)技術(shù)。其中，借助知識(shí)圖譜的海量事實(shí)，可生產(chǎn)關(guān)于實(shí)體屬性、關(guān)系的各種知識(shí)類、趣味性的盤點(diǎn)視頻；通過對(duì)影視劇的多模語義理解，可將某一類場(chǎng)景鏡頭進(jìn)行聚合，呈現(xiàn)作品的精彩片段。

• 視覺模態(tài)的任意風(fēng)格化：基于元學(xué)習(xí)、多風(fēng)格 Adaptation 技術(shù)、Few-shot Learning 等技術(shù)，可根據(jù)需求快速定制不同風(fēng)格的高質(zhì)量視頻。
• 多模態(tài)生成的數(shù)字人：通過多模態(tài)技術(shù)，結(jié)合虛擬數(shù)字人形象與語音合成、唇動(dòng)等生成技術(shù)，可低成本制作形象豐富靈動(dòng)、線上線下多端覆蓋的的數(shù)字人，不僅交互自然、聲音動(dòng)聽，還能夠適配多種業(yè)務(wù)場(chǎng)景需求。

　　目前數(shù)字人的應(yīng)用載體較為廣泛，除了 PC 端以及手持移動(dòng)設(shè)備以外，百度智能云自研了智能云屏、智能云席等數(shù)字人的新載體。為了更好的模擬真人交互，在云屏、云席等數(shù)字人載體上集成定制攝像頭以檢測(cè)面部動(dòng)態(tài)，設(shè)置了的扇形拾音區(qū)域采集實(shí)音，這樣可以更好的識(shí)別主說話人，從而解決“雞尾酒會(huì)問題”。

• 雙平臺(tái)：便捷、高效、面向全場(chǎng)景的應(yīng)用平臺(tái)

• 泛媒體場(chǎng)景：百度智能視頻技術(shù)通過媒體大腦平臺(tái)，賦能產(chǎn)業(yè)三大升級(jí)，打造智媒產(chǎn)業(yè)互聯(lián)網(wǎng)生態(tài)圈。智能視頻云將云智一體的視頻技術(shù)和媒介中臺(tái)里的媒體 AI 中臺(tái)、媒體知識(shí)中臺(tái)、媒體經(jīng)營(yíng)中臺(tái)相結(jié)合，從智能媒資管理、智能內(nèi)容生產(chǎn)、智慧媒體經(jīng)營(yíng)三個(gè)層面解決智能視頻云技術(shù)在多種場(chǎng)景下的需求。
• 媒體 AI 中臺(tái)：通過智能內(nèi)容匯聚、智能內(nèi)容生產(chǎn)、智能媒資一體，全面覆蓋媒體內(nèi)容產(chǎn)出的測(cè)、采、編、審、發(fā)全流程。
• 媒體知識(shí)中臺(tái)：通過多元知識(shí)圖譜，把內(nèi)容資產(chǎn)知識(shí)化、資產(chǎn)化。將媒體自研和采購(gòu)產(chǎn)生大量媒體資源，做標(biāo)簽索引，形成一種資源。
• 媒體經(jīng)營(yíng)中臺(tái)：所有內(nèi)容生產(chǎn)都是為了消費(fèi)，都是為了觸達(dá)用戶，實(shí)現(xiàn)傳播的效果，或者商業(yè)的變現(xiàn)，百度有多元的媒體內(nèi)容經(jīng)營(yíng)分發(fā)這樣的經(jīng)驗(yàn)，我們也形成媒體的智能經(jīng)營(yíng)的一套中臺(tái)體系。

• 泛產(chǎn)業(yè)場(chǎng)景：百度智能視頻云以云邊端一體為基礎(chǔ)架構(gòu)，平臺(tái)+數(shù)據(jù)主導(dǎo)，解決業(yè)務(wù)對(duì)接系統(tǒng)和數(shù)據(jù)平臺(tái)化的需求。
• 智能技術(shù)：通過百度全棧式自主人工智能平臺(tái)，提供多場(chǎng)景的智能視覺應(yīng)用，核心為識(shí)別常見的人臉、人體、車輛等具有豐富的特征值信息，同時(shí)提供豐富的庫(kù)內(nèi)的查詢能力。在各類業(yè)務(wù)場(chǎng)景中，覆蓋比如交通、政府、能源、城市治理和農(nóng)林等場(chǎng)景，此外還具有視頻修復(fù)能力，對(duì)提升整個(gè)視頻的理解能力有著極大的幫助。
• 云邊端架構(gòu)：在端側(cè)，為快捷獲取數(shù)據(jù)，部署了主要的算力和算子。邊側(cè)，通過閉環(huán)的能力，可以實(shí)現(xiàn)快速的邊緣的業(yè)務(wù)場(chǎng)景的整個(gè)閉環(huán)。云側(cè)，通過關(guān)鍵信息、關(guān)鍵數(shù)據(jù)傳送到云端，通過數(shù)據(jù)匯集，加強(qiáng)云計(jì)算和平臺(tái)的能力，為業(yè)務(wù)提供服務(wù)，實(shí)現(xiàn)更多的業(yè)務(wù)場(chǎng)景的應(yīng)用。
• 開放能力：在端側(cè)，開放端云協(xié)同的 SDK 和 AI 的 SDK，實(shí)現(xiàn)統(tǒng)一管理，同時(shí)在公網(wǎng)環(huán)境下，實(shí)現(xiàn)低延時(shí)效果；平臺(tái)側(cè)，開放所有模塊，實(shí)現(xiàn) SaaS 和 PaaS 的結(jié)構(gòu)，用戶可以更快捷的利用業(yè)務(wù)需求，利用 PaaS 能力快速迭代，提升整個(gè) SaaS 的開發(fā)效率。應(yīng)用方面，推出智能全感知系統(tǒng)，利用云邊端一體的技術(shù)架構(gòu)，可以快速實(shí)現(xiàn)業(yè)務(wù)層的開發(fā)。