LiveVideoStack:魏偉你好,非常榮幸代表LiveVideoStack采訪您,可能還有一些讀者對(duì)您不太熟悉,能否簡(jiǎn)單介紹下自己?
魏偉:我是京東云視頻云產(chǎn)品研發(fā)部的負(fù)責(zé)人,有十多年視頻行業(yè)研發(fā)經(jīng)驗(yàn),先后從事于AVS標(biāo)準(zhǔn)制定、廣電音視頻系統(tǒng)、互聯(lián)網(wǎng)視頻平臺(tái)、視頻云服務(wù)平臺(tái)的架構(gòu)設(shè)計(jì)和研發(fā)工作,具有豐富的廣電、互聯(lián)網(wǎng)視頻、視頻云等行業(yè)的研發(fā)和管理經(jīng)驗(yàn)。2018年加入京東云,現(xiàn)在主要關(guān)注媒體處理、RTC、直播、點(diǎn)播、CDN、P2P等視頻云服務(wù)相關(guān)技術(shù)和產(chǎn)品。
LiveVideoStack:加入京東云一年了,回顧這一年,主要做了哪些工作?有哪些充滿挑戰(zhàn)、欣喜與興奮的瞬間?
魏偉:這一年多時(shí)間里,建立起了包括產(chǎn)品、研發(fā)、測(cè)試、運(yùn)維等職能的完整團(tuán)隊(duì),具備了底層算法、產(chǎn)品開(kāi)發(fā)、終端開(kāi)發(fā)、網(wǎng)絡(luò)傳輸?shù)韧暾亩说蕉艘曨l技術(shù)研發(fā)能力,推出了直播、點(diǎn)播、媒體處理、推流和播放SDK等等產(chǎn)品,這些產(chǎn)品都已具備了成熟的主流功能,并在核心功能的關(guān)鍵性能指標(biāo)上領(lǐng)先于競(jìng)品廠商;這些都是充滿挑戰(zhàn)、讓團(tuán)隊(duì)欣喜和興奮的。過(guò)去一年中,我們將京東集團(tuán)內(nèi)的全部視頻相關(guān)業(yè)務(wù)搬遷到京東云上,今年618期間,支持商城所有視頻類項(xiàng)目。應(yīng)對(duì)618期間商家大并發(fā)發(fā)起直播為店鋪帶貨引流、大流量觀眾觀看直播下單,保障用戶穩(wěn)定流暢的訪問(wèn)直播內(nèi)容,并可將有需要的直播流實(shí)時(shí)轉(zhuǎn)成點(diǎn)播文件供點(diǎn)播訪問(wèn),保障業(yè)務(wù)平穩(wěn)。此外,也服務(wù)了游戲直播、娛樂(lè)直播、體育直播、點(diǎn)播、短視頻、教育等等領(lǐng)域的客戶,這些也都充滿挑戰(zhàn)和讓人興奮。
LiveVideoStack:視頻云服務(wù)是一個(gè)涉及大量技術(shù)棧、基礎(chǔ)學(xué)科與工程經(jīng)驗(yàn)的領(lǐng)域。京東云選擇哪些關(guān)鍵技術(shù)突破?
魏偉:視頻云服務(wù)涉及音視頻、流媒體、網(wǎng)絡(luò)、平臺(tái)、客戶端等大量技術(shù)棧,也涉及從匯編、C\C++、Go、Python、Java、OC等大量編程語(yǔ)言。京東云視頻云提供了從生產(chǎn)、處理、傳輸、消費(fèi)等多個(gè)環(huán)節(jié)的完整端到端服務(wù),為用戶提供全鏈路的音視頻極致體驗(yàn),除了全鏈條的功能豐富度之外,圍繞視頻服務(wù)體驗(yàn)提升,重點(diǎn)在視頻編解碼、音頻編解碼、質(zhì)量檢測(cè)和修復(fù)、視頻內(nèi)容安全、弱網(wǎng)傳輸優(yōu)化等方向深入優(yōu)化,已經(jīng)推出了京享超清、極速轉(zhuǎn)碼、舒適音頻、質(zhì)量檢測(cè)和修復(fù)、視頻動(dòng)態(tài)加密、多碼率自適應(yīng)等功能。
LiveVideoStack:如果用一句話連描述京東云視頻云,您會(huì)怎么說(shuō)?
魏偉:京東云視頻云是最懂視頻的視頻云!
LiveVideoStack:編碼技術(shù)是多媒體服務(wù)中的重中之重,你們做了哪些工作?
魏偉:在H.264、H.265兩個(gè)主要視頻標(biāo)準(zhǔn)、AAC音頻標(biāo)準(zhǔn)的編碼技術(shù)方面,近一年我們?cè)谝纛l、視頻,轉(zhuǎn)碼等方面深耕,開(kāi)發(fā)了京享超清、舒適音頻、極速轉(zhuǎn)碼等功能。京享超清,通過(guò)京東云特有的視頻編碼能力和優(yōu)化算法,對(duì)視頻中的內(nèi)容、場(chǎng)景、畫面進(jìn)行智能分析和處理,讓視頻擁有高畫質(zhì)的同時(shí)降低視頻碼率,有效地提升視頻質(zhì)量并為客戶節(jié)約帶寬成本;舒適音頻,基于京東云獨(dú)特的“智享Audio”音頻分析處理技術(shù),對(duì)音頻音量水平進(jìn)行分析,自動(dòng)實(shí)現(xiàn)音頻的自動(dòng)增益和動(dòng)態(tài)范圍調(diào)整,讓不同場(chǎng)景的節(jié)目音量過(guò)度更加平滑,給客戶帶來(lái)更加舒適的視聽(tīng)享受;極速轉(zhuǎn)碼,基于京東云自研的“粒子轉(zhuǎn)碼”技術(shù),支持倍數(shù)轉(zhuǎn)碼加速,極大的降低轉(zhuǎn)碼需要的時(shí)間,1080P可以超過(guò)10倍的處理速度,滿足客戶視頻內(nèi)容快速生產(chǎn)快速發(fā)布的需求。
LiveVideoStack:網(wǎng)絡(luò)是另一個(gè)直接關(guān)系到用戶體驗(yàn)的關(guān)鍵技術(shù),比如實(shí)現(xiàn)碼率自適應(yīng)與移動(dòng)網(wǎng)絡(luò)與WiFi平滑切換,網(wǎng)絡(luò)協(xié)議優(yōu)化等等。能否介紹下這方面的研發(fā)進(jìn)展?
魏偉:不同類型網(wǎng)絡(luò)切換、即使相同網(wǎng)絡(luò)下穩(wěn)定性的變化,都是對(duì)視頻流暢播放體驗(yàn)的挑戰(zhàn)。為提升用戶復(fù)雜網(wǎng)絡(luò)下平滑、流暢的極致觀看體驗(yàn),以DASH標(biāo)準(zhǔn)為參考,京東云自研多碼率平滑切換的全鏈路解決方案,在視頻編碼、音頻編碼、客戶端播放SDK等模塊做技術(shù)改進(jìn),實(shí)現(xiàn)了點(diǎn)播、直播在網(wǎng)絡(luò)切換、網(wǎng)絡(luò)帶寬變化情況下仍保持流暢播放的體驗(yàn)。相關(guān)的技術(shù),首先要解決同一內(nèi)容不同檔次之間的幀級(jí)精確對(duì)齊,然后是客戶端依據(jù)自身網(wǎng)絡(luò)帶寬、機(jī)型等實(shí)際情況自適應(yīng)選擇視頻流并無(wú)縫切換,切換過(guò)程畫面無(wú)黑屏、無(wú)回退、無(wú)跳躍。我們?cè)谶@方面已經(jīng)推出成熟方案,點(diǎn)播、直播產(chǎn)品中都已實(shí)現(xiàn)。
LiveVideoStack:用戶體驗(yàn)與成本永遠(yuǎn)是一對(duì)矛盾,一方面,如何在保證用戶體驗(yàn)的前提下,降低運(yùn)營(yíng)成本?另一方面,為用戶降低成本,讓利與用戶?
魏偉:首先使用公有云服務(wù),就是相比自建視頻服務(wù)平臺(tái)降低成本的最根本辦法。公有視頻云服務(wù)范圍內(nèi),我理解體驗(yàn)和成本并不是矛盾、而是平衡,技術(shù)的改進(jìn)和提升則是為了達(dá)到更好的平衡點(diǎn)。我們綜合考慮體驗(yàn)和成本兩方面,有些技術(shù)提升體驗(yàn)、有些技術(shù)降低成本,整體上在不增加成本的情況下提升體驗(yàn)。一方面是云服務(wù)的體驗(yàn)提升和客戶成本降低,我們推出的京享超清、舒適音頻、極速轉(zhuǎn)碼等功能都沒(méi)有增加成本,產(chǎn)品體驗(yàn)大幅提升;另一方面是幫助客戶提升用戶體驗(yàn)和降低成本,我們?cè)诟偷膸挸杀厩闆r下,提供高畫質(zhì)、低卡頓的播放體驗(yàn)。
LiveVideoStack:AI與多媒體技術(shù)結(jié)合是大勢(shì)所趨,已經(jīng)應(yīng)用于內(nèi)容理解,自動(dòng)生成海報(bào)等。京東云做了哪些探索?
魏偉:AI與多媒體的結(jié)合也是京東云探索的重點(diǎn)方向,這方面我們集中在圖像理解、視頻分析、人臉/臉識(shí)別等方面。
圖像理解包含智能鑒黃、拍照購(gòu)、特定物品識(shí)別等,基于業(yè)界領(lǐng)先的深度學(xué)習(xí)圖像識(shí)別技術(shù),對(duì)圖片影像的膚色、姿態(tài)和場(chǎng)景等進(jìn)行智能識(shí)別,準(zhǔn)確快速的輸出每張圖片“色情”、"低俗”、“性感”、“正常”的概率,有效的規(guī)避涉黃風(fēng)險(xiǎn);視頻分析包括視頻摘要和視頻內(nèi)容分析,基于客戶提供的視頻,通過(guò)對(duì)視頻片段和視頻幀的深度理解,提取視頻中的精彩片段或多張具有代表性的視頻幀作為視頻摘要,對(duì)視頻進(jìn)行文字、人臉、物體、場(chǎng)景多維度分析,輸出視頻中的人或物,泛標(biāo)簽,關(guān)鍵幀及精彩片段。
LiveVideoStack:未來(lái),從4K、8K到16K,VR與沉浸式體驗(yàn),5G等新技術(shù)將逐步成熟,您和您的團(tuán)隊(duì)做了哪些準(zhǔn)備?
魏偉:5G到來(lái)以后,延時(shí)更低、帶寬更大,比4G多了更多可能性,比如超高清視頻、5G+8K的視頻傳輸和實(shí)現(xiàn),更多包括視頻監(jiān)控和AR/VR技術(shù)將更為受益;可明確預(yù)見(jiàn)的是超高清視頻甚至超過(guò)8K的視頻處理都將很快變成可能。5G大帶寬和低延時(shí)屬性,正好是4K/8K/VR落地的最佳載體,視頻超高清、5G、云和AI融合是未來(lái)大趨勢(shì),京東云已開(kāi)始在5G+4K/8K直播方面技術(shù)積累,積極構(gòu)建端到端超高清解決方案,一起迎接萬(wàn)物萬(wàn)聯(lián)的時(shí)代。
采訪后記
2018年,我邀請(qǐng)了魏偉來(lái)LiveVideoStackCon分享。今年,來(lái)自京東云的講師從一個(gè)人變成了四個(gè)人,話題也從單一的Codec拓展到視頻前后處理、網(wǎng)絡(luò)優(yōu)化、海量視頻存儲(chǔ)架構(gòu)、高性能直播架構(gòu)。來(lái)源:LiveVideoStack