人工智能與 5G 的飛速發(fā)展，讓各行各業(yè)對視頻的應用、體驗提出了更高的要求。

• “云”的部分以云邊端一體、異構融合的基礎架構提供先進的云計算能力；
• “智”則以業(yè)界領先且全面的 AI 能力實現了對視頻語音、圖像、文字等多種信息的多模態(tài)智能分析、理解、生成等處理。
• 依托“云智一體”推出了視頻創(chuàng)作分發(fā)平臺和視聯網感知平臺。
• 在消費類視頻方面，將采集到的各種結構化信息、知識信息通過智能視頻云的手段，轉化成多媒體的信息進行高效分發(fā)和傳播；
• 在產業(yè)類視頻方面，將采集到的視頻轉變?yōu)榻Y構化信息，通過提取獲得的信息，來幫助業(yè)務進行高效的感知和決策。

• 智能編碼：基于百度 AI 深度學習技術，通過深度學習網絡來提取視頻的特征，結合 BD265 生成智能編碼技術。
• 算法方面，依靠百度多年積累的技術優(yōu)勢，通過60+算法的優(yōu)化，在質量和效率、速度上取得最優(yōu)解。
• 效率方面，相比業(yè)界開源的 X265 編碼器，在編碼速度有2-4倍的提升，同時節(jié)省30%的編碼碼率。

• 智感超清：視頻體驗的優(yōu)化是一項精益求精、永無止境的工作。百度智能視頻云3.0通過智能超分、智能畫質增強、智能插幀、智能修復、智能 HDR 生成等技術，在老片修復、真 4K 生成等典型應用場景上大幅提升畫質體驗、彌補超高清內容缺失，加速了超高清產業(yè)發(fā)展，相關技術在國際權威比賽中屢次奪冠，具體優(yōu)勢體現在：
• 超分辨率：通過多層級聯的 U 型神經網絡架構，對視頻空間的分辨率進行從粗到細的提升。
• 畫面去噪：基于無監(jiān)督去噪聲算法，擺脫了有監(jiān)督神經網絡訓練對于成對的噪聲與干凈圖像的依賴；設計了可交互控制參數，支持用戶調節(jié)，增加了系統靈活性。
• 畫質增強：通過深度殘差神經網絡，將內容特征提取與重建，不僅可以優(yōu)化畫質飽和度、還原壓縮視頻導致的失真，還能對 ROI 區(qū)域進行區(qū)域增強和碼率分配優(yōu)化。
• 高幀率重制：依靠 MEMC 高幀率提升技術能力，通過對運動方向預判，據此進行插幀，提升畫面流暢度與觀屏舒適度。
• 超高清編碼：采用 CPU+GPU+ASIC 的異構加速計算框架，支持國產昆侖 K200 AI 加速卡，提升 AI 推理效率和超高清編碼效率，降低用戶成本，提升總體的生成效率。

　　智感超清

• 實時音視頻通訊：依靠核心自研的多個算法，實現通訊順暢的超低延時互動體驗，并分為如下幾個方面：
• 抗弱網支持方面：基于上/下行鏈路智能探測器，根據上下行網絡鏈路惡化程度因子，調整 FEC、NACK、碼控、超清權重，選擇因子進行抗弱網抖動算法，使視頻抗弱網可達到60%，音頻80%。
• AI 能力方面：通過百度多年的 AI 技術積累，支持實時美顏、濾鏡、貼紙、AR 特效，更多娛樂場景玩法，并提供人臉識別、語音識別等能力，適用于用于身份核驗、學生狀態(tài)監(jiān)測等更多場景。
• 高質量音視頻通話方面：通過大量音視頻場景數據 AI 模型訓練，對音頻進行 3A 優(yōu)化的同時，并能通過智感超清支撐超高清畫質，自動適配多分辨率，實現高質量音視頻消息聊天。
• 性能指標方面：為針對通信節(jié)點路由的選擇，優(yōu)化混沌神經網絡算法規(guī)劃最短路徑、實現動態(tài)平衡路由選擇，可使端到端延時穩(wěn)定收斂到 200ms 左右，并在單個節(jié)點故障時，能自動重建路由，保障 server 的可用性。依靠 WHIP 協議轉換裝置解決了傳統 RTC 通信 server 由于信令交互復雜、房間管理業(yè)務量大、數據庫操作頻繁等影響性能及大規(guī)模搞并發(fā)問題，可支撐每個房間在線人數達百萬級別。
• 端到端性能監(jiān)控方面：通過各端大量數據收集，依托百度智能云大數據分析，能精準的定位問題，對潛在的不可靠服務提前預警，讓潛在風險在萌芽狀態(tài)被解決，保障音視頻實時通信服務的高可用。

• 低延時直播：采用了全鏈路 SRT 協議，可穩(wěn)定支撐千萬級直播并發(fā)。關鍵特性包括：
• 卓越抗弱網：自研 mpegts 數據格式封裝、支持 SRT 協議推拉流，將網絡丟包的可能性降到最低，有效改善弱網環(huán)境下的推流及觀看體驗。
• 首屏秒開：CDN 邊緣先將編碼參數信息發(fā)給播放器，播放器解析到編碼信息，待下個關鍵幀到達后即可快速播放。
• 協議兼容：實現多種視頻流協議的輸入與輸出， 基于 SRT 低延遲直播協議的上下行，能無縫接入 LSS 低延遲直播系統，與主流直播分發(fā)協議 HTTP-FLV/RTMP/HLS 結合，視頻轉發(fā)場景更加靈活。
• 規(guī)模并發(fā)：與 HTTP-FLV 支持的并發(fā)規(guī)模一致，支持千萬級規(guī)模并發(fā)。

• 視頻分發(fā)基礎設施CDN：擁有遍布全球1000+節(jié)點、100T 帶寬儲備，以強大網絡基礎設施帶來極致視頻分發(fā)體驗和效率。其中具有這幾大能力：
• 資源儲備的擴展能力：通過云邊端一體，將資源的使用能力持續(xù)下沉，與邊緣計算的資源深度結合，做到流量加速的同時，也能做到算力的加速。
• 近似實時的智能調度能力：具備全網流量與質量的感知系統，能實現近似實時的智能調度。
• 分場景的協議調優(yōu)能力：通過質量感知系統 Bcats、節(jié)點多級緩存優(yōu)化、分場景協議棧優(yōu)化滿足客戶多場景的質量要求，節(jié)點間使用私有協議加速，提升加速體驗并保證數據安全。
• 快速便捷的可編程能力：通過易用的可編程邊緣運行環(huán)境 EJS，用戶可自主實現個性化業(yè)務控制邏輯，應對業(yè)務變化的敏捷效率挑戰(zhàn)。

• 視覺模態(tài)理解框架的升級：提出了一個“預訓練+小型化+定制化”新的框架。該框架基于飛槳提供的大規(guī)模分類框架、PaddleSlim 等組件，有效應對理解任務的復雜性，解決場景數據的稀缺性。在人臉任務上，全場景下識別相對錯誤率下降40%。在其他一些垂類任務上，訓練的標注量可以減少40%以上。
• 知識增強的視頻理解：基于知識的視頻語義理解技術，充分利用豐富而全面的知識圖譜提升視頻理解效果。該技術通過對視覺、語音、文本的多模態(tài)內容進行解析與融合，再利用知識關聯技術建立與視頻理解知識圖譜的連接，并根據背景知識以及知識計算與推理技術，實現對視頻的深度語義理解。這項技術打破了在傳統技術中，視頻內容分析基于感知的局限性，實現對視頻的深度結構化語義理解，大幅提升視頻理解的效果。

• 視覺模態(tài)創(chuàng)新豐富的能力：可將多種內容載體向視頻形式進行自動轉換，提升傳播效率。目前百度智能云支持多種視頻生產方式，包括圖文，數據，圖集等轉視頻，長視頻拆短視頻及 Video-in 等生產形式。
• 知識增強的視頻生產：基于知識圖譜的視頻生產技術是百度智能云視頻生產的亮點技術。其中，借助知識圖譜的海量事實，可生產關于實體屬性、關系的各種知識類、趣味性的盤點視頻；通過對影視劇的多模語義理解，可將某一類場景鏡頭進行聚合，呈現作品的精彩片段。

• 視覺模態(tài)的任意風格化：基于元學習、多風格 Adaptation 技術、Few-shot Learning 等技術，可根據需求快速定制不同風格的高質量視頻。
• 多模態(tài)生成的數字人：通過多模態(tài)技術，結合虛擬數字人形象與語音合成、唇動等生成技術，可低成本制作形象豐富靈動、線上線下多端覆蓋的的數字人，不僅交互自然、聲音動聽，還能夠適配多種業(yè)務場景需求。

　　目前數字人的應用載體較為廣泛，除了 PC 端以及手持移動設備以外，百度智能云自研了智能云屏、智能云席等數字人的新載體。為了更好的模擬真人交互，在云屏、云席等數字人載體上集成定制攝像頭以檢測面部動態(tài)，設置了的扇形拾音區(qū)域采集實音，這樣可以更好的識別主說話人，從而解決“雞尾酒會問題”。

• 雙平臺：便捷、高效、面向全場景的應用平臺

• 泛媒體場景：百度智能視頻技術通過媒體大腦平臺，賦能產業(yè)三大升級，打造智媒產業(yè)互聯網生態(tài)圈。智能視頻云將云智一體的視頻技術和媒介中臺里的媒體 AI 中臺、媒體知識中臺、媒體經營中臺相結合，從智能媒資管理、智能內容生產、智慧媒體經營三個層面解決智能視頻云技術在多種場景下的需求。
• 媒體 AI 中臺：通過智能內容匯聚、智能內容生產、智能媒資一體，全面覆蓋媒體內容產出的測、采、編、審、發(fā)全流程。
• 媒體知識中臺：通過多元知識圖譜，把內容資產知識化、資產化。將媒體自研和采購產生大量媒體資源，做標簽索引，形成一種資源。
• 媒體經營中臺：所有內容生產都是為了消費，都是為了觸達用戶，實現傳播的效果，或者商業(yè)的變現，百度有多元的媒體內容經營分發(fā)這樣的經驗，我們也形成媒體的智能經營的一套中臺體系。

• 泛產業(yè)場景：百度智能視頻云以云邊端一體為基礎架構，平臺+數據主導，解決業(yè)務對接系統和數據平臺化的需求。
• 智能技術：通過百度全棧式自主人工智能平臺，提供多場景的智能視覺應用，核心為識別常見的人臉、人體、車輛等具有豐富的特征值信息，同時提供豐富的庫內的查詢能力。在各類業(yè)務場景中，覆蓋比如交通、政府、能源、城市治理和農林等場景，此外還具有視頻修復能力，對提升整個視頻的理解能力有著極大的幫助。
• 云邊端架構：在端側，為快捷獲取數據，部署了主要的算力和算子。邊側，通過閉環(huán)的能力，可以實現快速的邊緣的業(yè)務場景的整個閉環(huán)。云側，通過關鍵信息、關鍵數據傳送到云端，通過數據匯集，加強云計算和平臺的能力，為業(yè)務提供服務，實現更多的業(yè)務場景的應用。
• 開放能力：在端側，開放端云協同的 SDK 和 AI 的 SDK，實現統一管理，同時在公網環(huán)境下，實現低延時效果；平臺側，開放所有模塊，實現 SaaS 和 PaaS 的結構，用戶可以更快捷的利用業(yè)務需求，利用 PaaS 能力快速迭代，提升整個 SaaS 的開發(fā)效率。應用方面，推出智能全感知系統，利用云邊端一體的技術架構，可以快速實現業(yè)務層的開發(fā)。