直播回放:
https://www.baijiayun.com/web/playback/index?classid=18072579438145&session_id=201807260&token=PsTmsjVpbRht681rrJ0J_Xl0fbNahfHFmF1doYNdca5XBFzghyiw19mnJwk0S3tXOBORUT217bsKp0fXMnVKLQ
大家做視頻技術的都知道,視頻跟其他的數(shù)據(jù)不太一樣,因為它需要一個生態(tài)。由于視頻的數(shù)據(jù)量特別大,它無法通過原始格式在網(wǎng)上傳輸,因此在這里就涉及到壓縮,壓縮就涉及到壓縮算法的問題。壓縮算法需要滿足大家可以互聯(lián)互通,這里涉及到要有一個共同的標準或者規(guī)范。在過去的差不多30多年,視頻技術的發(fā)展一直都是靠視頻編碼標準推動的。
今天的內(nèi)容主要圍繞下面幾個方面:
行業(yè)背景
1、超高清視頻發(fā)展趨勢
在行業(yè)背景方面,視頻的技術發(fā)展是朝著超高清方向來發(fā)展的,就是不斷的向現(xiàn)實逼近,我們過去都是標清,后來又到高清3D,最近的是4K,包括還有VR,如上面所列的一些大的事件,這些大的事件都是推動了4K或者超高清視頻技術的使用或應用,這里面比較有代表性的就是世界杯采用了4K的直播技術,而8K和VR也是近幾年馬上就要推行的事情。
2、視頻編碼挑戰(zhàn)依舊
對視頻壓縮技術的挑戰(zhàn)還是依舊的,這里面列了從高清到4K的壓縮碼率的情況。現(xiàn)在以4K為例,如果要保證一個非常高的質(zhì)量,像廣播電視領域,它用的這個帶寬還是非常高的。差不多傳4K的視頻要40M左右的碼率,到后面8K,VR所需的帶寬就會更高,對視頻壓縮技術的需求依然是存在的。
3、國際視頻編碼標準演進
我們看一下國際視頻編碼標準演進的情況,一般認為第一代標準是MPEG2,MPEG2的典型應用就是標清視頻,比如說DVD,傳統(tǒng)的廣播電視都是MPEG2,到第二代標準就是以H264為代表的,那它的應用是高清視頻的傳輸,到現(xiàn)在是第三代標準,那就是以H.265為代表的,它的目標是傳輸超高清的視頻。在后面我會講,H.265面臨一個授權成本過高或者風險過高的問題,由于這樣的背景,現(xiàn)在出現(xiàn)了幾個新的挑戰(zhàn)者,包括Google主導的AV1,也包括我們國家制訂的AVS2的標準,這個是第三代標準。現(xiàn)在國際上MPEG和ITO正在聯(lián)合制訂第四代,叫H.266/VVC,實際上國內(nèi)的AVS工作組也在制訂下一代的標準AVS3。
4、HEVC/H.265標準專利收費亂局
現(xiàn)在的視頻大部分的壓縮格式采用的還是H.264標準,H.265或者其他格式所占的流量還是很少的,這里面有個主要的原因就是H.265的知識產(chǎn)權的政策跟H.264有很大的不同,這張圖給出了目前已經(jīng)知道的H.265的專利權所有者:
這個里面有三個圈,這三個圈代表三個不同的專利池,所謂的專利池就是說大家組團收專利費的意思。在MPEG2和H.264時代沒有這么多專利池,只有一個MPEG LA的專利池,專利池的好處就是對一個標準的使用者來說,它交這個專利費,只要符合專利池的政策,按照專利池的政策收費標準來繳費就可以了,他不用去跟每個專利權人單獨去談。但是到了H.265這個標準以后就有一個很大的變化,有一些專利權人不再對MPEG LA制訂的收費政策感到那么滿意了,他們想再搞一套自己的收費政策,所以就出現(xiàn)了HEVC Advance,Velos Media兩個新的專利池。除了這兩個專利池以外,還有大概15家公司不在這三個專利池里,他們試圖單獨的來授權,但是在這么多專利擁有者中,只有MPEG LA,和HEVC Advance目前公開了他們的收費政策,Velos Media和另外15家公司始終是沒有公開他們的收費政策的。從MPEG LA和HEVC Advance公開的收費政策看,他們的收費價格已經(jīng)比H264基本上高一倍了,剩下的還沒有公布如何收費的,不知道應該交多少錢,也就造成了H.265專利收費的亂局,這在國際上引起了廣泛的憂慮。
AVS2標準
1、AVS工作組
AVS工作組是數(shù)字音視頻編解碼技術標準工作組的簡稱,由國家工信部于2002年6月批準成立。工作組的任務是向我國的信息產(chǎn)業(yè)需求,聯(lián)合國內(nèi)企業(yè)和科研機構,制(修)訂數(shù)字音視頻的壓縮、解壓縮、處理和表示等共性技術標準。目前有近100家會員單位。這里面包括華為,中興,騰訊,還有一些學校,北大、清華,浙大和上海交大等等,工作組除了制訂視頻標準以外,還制訂音頻標準,系統(tǒng)層的標準。最近,這個工作組還在往人工智能方向擴展,新成立了一個基于AI的工作組,這個AI工作組里面,也會做一些人工智能方面的一些基礎共性的標準。
2、AVS標準授權政策
AVS標準的一大創(chuàng)新是在標準制定之前先確立許可模式,有效避免類似HEVC收費亂局,凡是向AVS工作組提交技術和提案的單位都需要對其專利許可意向做出承諾,允許“免費使用”或者“加入AVS專利池”。 AVS專利池管理委員會出臺《關于AVS2專利池許可的建議性規(guī)定》,在規(guī)定中指出,AVS2的專利授權采用一站式許可模式,只對設備象征性收費,不對內(nèi)容服務收費,對互聯(lián)網(wǎng)上的軟件服務免收專利費。
3、AVS視頻標準演進過程及技術框架
AVS標準的演進過程,實際上主要是有兩代標準:第一代叫AVS1標準,于2006年發(fā)布成了國標,它的主要應用場景是地面電視,到了2012年,AVS1做了一些小的改進,發(fā)布成了一個新的廣電的行標叫AVS+,這個主要在高清衛(wèi)星上面應用,現(xiàn)在大家看到的央視上帶星的高清節(jié)目,都是用的AVS+標準,第二代叫AVS2標準,是面向超高清的視頻應用的,于2016年12月份發(fā)布成了國標。
AVS2技術的基本框架和MPEG2及H.264是類似的,依舊是變換加預測的混合架構,這里面在每一個模塊上都做了一些技術上的革新,大概在性能上就比上一代H.264,或者AVS1,AVS+提升了一倍以上。
4、AVS2編碼效率優(yōu)于HEVC
與HEVC做對比,在PSNR相同的情況下,碼率相對低就是負值,碼率高就是正值,在這個表里負值就表示AVS2好,正值就表示HEVC好。從不同的應用場景來綜合評估下來,AVS2總體上的編碼效率優(yōu)于HEVC。
國家廣播電影電視總局廣播電視計量檢測中心做了一個主觀測試,這個主觀測試是針對了8個4K、10bit的視頻序列,目標平均碼率為36Mbps,在這個碼率條件下,AVS2和HEVC用的都是參考軟件來壓縮的,參考軟件基本上可以達到的最優(yōu)的性能。
從這個主觀測試的結果來看,AVS2略優(yōu)。
5、國際化:AVS2被UHD Forum采納
2018.年3月,UHD Forum經(jīng)過長時間的調(diào)研和分析論證,最終一致認為AVS2性能優(yōu)異、產(chǎn)業(yè)鏈成熟、專利授權政策優(yōu)惠,最終決定把AVS2列為和H.265并列的超高清編碼標準,推薦給全球的TV和視頻業(yè)務運營商使用。
AVS2實現(xiàn)
1、AVS2解碼芯片
1)AVS2 4K量產(chǎn)芯片廠商:華為海思,Hi3796MV200,AVS2 全4K解碼芯片
MStar, MSO9385,AVS2 全4K解碼芯片
2)年內(nèi)將推出AVS2芯片的廠商:中興微、Amlogic、全志、瑞芯微
2、AVS2廣播級全4K編碼器
AVS2 4K/50P/10bit 實時編碼器廠商:目前至少有柯維新(東華廣信),數(shù)碼視訊,算通,當虹科技,上海國貿(mào)等, 現(xiàn)在有一些質(zhì)量比較好的編碼器主觀質(zhì)量損失低于8%的,廣播級要求是平均低于12%,低于8%是一個不錯的質(zhì)量。
3、AVS2開源編碼器——xAVS2
2018 年 1 月 31 日,北京大學數(shù)字視頻編解碼技術國家工程實驗室開源了 AVS2 高清實時編碼器 xAVS2。
這兩張圖是xAVS2和X265性能的對比,這里面橫坐標代表的是編碼效率的損失,縱坐標是編碼速度,橫坐標就是橫軸值越小越好,縱軸是值越大越好,針對UHD來說二者是相當?shù),針對HD來說,xAVS2在相同的編碼效率條件下比x265速度快,或者反過來說相同速度條件下比它的編碼效率高。
4、AVS2全平臺商用編解碼內(nèi)核-uAVS2
2017 年 10 月,北京大學深圳研究生院數(shù)字媒體研究中心推出多平臺AVS2編解碼內(nèi)核-uAVS2,它的特點如下:
- 編碼速度是x265的3~10倍
- 解碼速度是openHEVC的3倍
- 支持Linux/Windows/Android/iOS多平臺
- 支持4K/50P/10bit 實時編碼
1)uAVS2編碼器
下面的兩張圖給的就是uAVS2和x265的一個對比情況,這里面的紅的實線和藍的實線是uAVS2,虛線是x265,上面是單線程的,下面是多線程的,同樣這個橫軸是編碼效率的損失,縱軸是編碼速度,橫軸的值越小越好,縱軸的值越大越好。編碼效率損失是說這個編碼器跟參考軟件相比來說,編碼效率的損失,因為參考軟件是代表了最優(yōu)的客觀性能。但是由于參考軟件的最大的問題是速度特別慢,沒有辦法做實時應用,做實時編碼器的時候必然會犧牲一些編碼效率來提升編碼速度。在這兩張圖,很明顯可以看出來,當編碼速度類似時,uAVS2大概比X265的編碼效率高10%到30%,如果編碼效率類似, uAVS2比x265會快3到10倍。
2)uAVS2移動編解碼器
在移動平臺解碼速度比openHEVC快2倍,華為P20手機可以實現(xiàn)4K/30P視頻實時解碼,720P實時編碼。對于1080P/3Mbps實時解碼, CPU使用率不足10%。
上面表格就是我們做的解碼器跟OpenHEVC解碼器的速度的對比,值得一提的是在手機上面做軟件的解碼跟硬解碼的功耗水平實際上都開始接近了,下面這兩張表是我們最近測的一個結果,我們在手機端去測試視頻播放的時候,比較軟解和硬解功耗的差異,第一張表是給的是一組720P的視頻,各種典型的場景都有的,對比了這個四種不同的手機的機器,分別是三星的S3,iPhone6,iPhone6S,iPhone8,三星S3和 iPhone 6比較老的手機了,iPhone8是目前比較新的,我們可以看出在線播放720P視頻的時候功耗的水平以及H.264的硬解和軟解,在三星S3上是差異是比較大的,但是在iPhone6,iPhone6S,iPhone8差異并沒有那么大,只有百分之十幾。那我們看下面第二張表,就是AVS2的軟解和H.264硬解之間的功耗的差別,這個我們對比了三組不同的分辨率的視頻,分別是480P,720P和1080P,我們看在480P,AVS2的軟解和H.264的硬解基本上沒有太大差異,只有1%的功耗差,在720P上面二者差異也很小,只有8%的功耗差,當峰值到了1080P,二者也只差了11%,當然這個是在iPhone8上測的,現(xiàn)在大家都知道手機上面能夠支持的視頻的服務最高的分辨率也就是1080P,這張表已經(jīng)說明,在手機上面,軟解就夠用了。就是對大多數(shù)的應用場景來說,即使AVS2在手機上沒有芯片硬解的支持,軟解也是完全可以上線了。
3)全4K視頻編碼器:uAVS2-4K
基于uAVS2的全4K視頻編碼器有兩個配置,一個配置用來做離線轉碼,它的編碼速度達不到實時,但是編碼性能調(diào)的比較優(yōu),我們把這個最優(yōu)的配置和HEVC的參考軟件做了一個對比,針對全4K的視頻系列平均比這個HEVC的參考軟件編碼效率高7.4%,速度大概是HEVC編碼器的參考軟件的幾百倍。
另外一個配置就是快速配置,這個快速配置就是可以來做全4K視頻實時編碼的配置,與X265類似的配置去對比,比它的編碼效率高30%,同時編碼速度還比它快40%,這個目前是可用的。目前uAVS2-4K已經(jīng)被集成到多款商用AVS2 4K編碼器中。
4)監(jiān)控視頻編解碼內(nèi)核:uAVS2-S
監(jiān)控視頻編解碼內(nèi)核uAVS2-S比HEVC/H.265編碼效率高30%以上,能大幅節(jié)約監(jiān)控視頻傳輸帶寬和存儲成本。
5)圖像編解碼內(nèi)核: uAVS2-I
與騰訊合作,基于uAVS2-I推出新一代圖像壓縮格式TPG,比JPG高 47%, 比PNG高60%,比GIF高85%,比WebP高25%。
6)AVS2云轉碼服務
AVS2云轉碼服務支持H.264、H.265和AVS2標準互轉,支持JPEG、PNG、GIF等格式和TPG互轉,支持AI去噪、超分辨率、超幀率等畫質(zhì)增強功能,并且是和華為云合作推廣,計算資源彈性可調(diào)、可在私有云和公有云等平臺部署。
AVS2應用
1、4K電視廣播
2017年11月,國家廣電總局發(fā)文規(guī)范4K超高清電視發(fā)展,明確要求統(tǒng)一采用AVS2 標準;2018年初,廣東省正式上線AVS2 4K直播頻道和IPTV點播專區(qū),要求在10月以后新上線4K節(jié)目支持AVS2標準;2018年5月,央視聯(lián)通端到端AVS2 4K系統(tǒng),計劃10月1日開通AVS2 4K頻道。
2、IPTV/OTT
2018年3月30日,由中關村視聽產(chǎn)業(yè)技術創(chuàng)新聯(lián)盟會同中國智慧家庭產(chǎn)業(yè)聯(lián)盟、中國視頻體驗聯(lián)盟、廣東4K生態(tài)產(chǎn)業(yè)聯(lián)盟及眾多相關企業(yè)等編寫的《IPTV 業(yè)務系統(tǒng)AVS2實施指南(2018年)》正式發(fā)布。
3、互聯(lián)網(wǎng)視頻
支持互聯(lián)網(wǎng)和移動平臺視頻/游戲直播、點播、實時通信等應用,與華為云合作推廣,近期上線。
4、AI畫質(zhì)增強
基于AI技術實現(xiàn)老電影/電視劇/動畫修復,壓縮噪聲去除,超分辨率/超幀率/色域提升/SD轉HDR。
5、互聯(lián)網(wǎng)圖像
在互聯(lián)網(wǎng)圖像方面,我們與騰訊合作一起推行一個叫TPG的標準,目前這個TPG 標準,已經(jīng)在騰訊的九大產(chǎn)品線部署了,包括手機QQ,QQ空間,手機管家,QQ瀏覽器,騰訊視頻的客戶端,新聞,騰訊體育動漫等等,另外也在騰訊云上面部署了TPG,而且騰訊瀏覽器的內(nèi)核,X5內(nèi)核也完成了TPG的支持,現(xiàn)在還有游戲的引擎的廠商接入了TPG的格式,這個TPG它的優(yōu)勢在于:一呢,省流量、省存儲,二是讓頁面或者圖片的加載速度大幅度提升,大概提升到30%以上。
6、監(jiān)控視頻
在參與雪亮工程和平安城市建設的過程中,發(fā)現(xiàn)監(jiān)控視頻有對轉碼的需求,就是前端攝像頭產(chǎn)生的視頻流碼率依然很高(H.264 4Mbps/H.265 2Mbps),要做一次二次的壓縮,然后在一些這個帶寬受限的網(wǎng)絡上進行傳輸,再傳到后臺,這個是前端轉碼;還有一個應用是后端轉碼,就是監(jiān)控攝像頭下面的數(shù)據(jù)在后臺通過服務器來轉碼,這樣是為了節(jié)省存儲空間。AVS2由于采用了背景幀技術可以大幅度提升二次壓縮效率。
總結
- AVS2標準性能優(yōu)異、授權政策優(yōu)惠可控
- AVS2產(chǎn)業(yè)鏈已經(jīng)成熟,開始在4K、監(jiān)控、移動互聯(lián)網(wǎng)視頻/圖像等領域應用
- 期待與產(chǎn)業(yè)界密切合作共建中國自主視頻技術生態(tài)
Q&A
Q1: TPG網(wǎng)頁加載的優(yōu)化什么原理?
A: 這個原理很簡單,就是因為TPG同樣的圖片的質(zhì)量,它壓縮以后的圖片尺寸比原來減少了50%,網(wǎng)頁加載的速度自然就會變快了。
Q2: AVS的學習資料去哪里找?
A: 大家可以上AVS工作組的網(wǎng)站,有一個AVS2的專欄(http://www.avs.org.cn/avs2/index.asp)上面有一些AVS2的大概的介紹。另外就是關注我們的公眾號【智媒之音】,上面有關于AVS2標準的每一項編碼工具的一些比較詳細的介紹。
Q3: 解釋一下AVS標準國際化,以及和MPEG合作推廣?
A: 現(xiàn)在也有一些公司希望在國際,國外來推廣AVS2的標準,那比如其實我剛才PPT也在講, UHD Forum實際上它就是一個國際的組織,跟超高清這個產(chǎn)業(yè)有關的國際上最主流的公司都在里面,F(xiàn)在它實際上把AVS2作為一個推薦性的國際標準已經(jīng)納入進去了,是跟HEVC并列的一個標準。至于說AVS標準和MPEG合作的問題呢,其實這個比較難操作,就是因為兩邊的商業(yè)模式是不一樣的,MPEG那邊成員更多,難協(xié)調(diào),它要改它的商業(yè)模式,這是基本上不可能實現(xiàn)的任務。在技術上MPEG和AVS有很方便的溝通渠道,很多AVS標準的參與者同時參與MPEG標準制定,MPEG視頻組的組長虞露老師就是AVS工作組視頻組的前任組長。
Q4: TPG和HEIF的對比?
A:HEIF的編碼內(nèi)核是HEVC的幀內(nèi)編碼,所以理論上來說它的性能和TPG在圖像編碼上是類似的。但是因為具體不同公司編解碼器優(yōu)化的水平不一樣,所以這個就在產(chǎn)品級很難比。這方面實際上在騰訊內(nèi)部做過一些對比,他們對比原來他們嘗試用HEVC實現(xiàn)的內(nèi)核,至少和那個內(nèi)核對比,TPG無論是編碼質(zhì)量和速度都是有優(yōu)勢的。