推薦閱讀：北京論道嘉賓演講大集合！
2023年6月15~16日，由流媒體網(wǎng)主辦，北京新媒體（集團）有限公司、北京聯(lián)通、北京電信、北京移動共同協(xié)辦的「北京論道暨第25屆中國智能視聽與科技創(chuàng)新高峰論壇」在北京隆重舉行。
本屆論道以“電視的未來與未來的電視”為主題，邀請到了智慧大屏產(chǎn)業(yè)的行業(yè)專家、企業(yè)翹楚蒞臨齊聚，多維角度透視當(dāng)下大屏市場，共謀電視新未來。
【資料圖】
在15日召開的“IPTV價值高峰論壇”上，中國移動咪咕公司高級系統(tǒng)分析總監(jiān)沈昕做了主題為《注入嶄新動能，釋放倍增效應(yīng)——音視頻AI編碼助力大屏超高清業(yè)務(wù)創(chuàng)新》的演講。
以下為演講全文：
我主要想分享一下大屏超高清相關(guān)的業(yè)務(wù)和技術(shù)的進展，以及中國移動包括咪咕公司的未來規(guī)劃。
IPTV接下來是進一步向外延伸，還是回歸TV業(yè)務(wù)本身，這是大家在思考的問題。今天先從回歸的角度來展開，具體就是AI技術(shù)對大屏超高清業(yè)務(wù)的影響。
產(chǎn)業(yè)創(chuàng)新需要“新變量”
以家庭市場為主的大屏業(yè)務(wù)已經(jīng)進入下半場，新變量可以是向外延伸，也可以是內(nèi)化價值提升。2022年底，有線電視用戶跌至1.99億，OTT超10億，IPTV達3.8億戶，但部分省已出現(xiàn)IPTV用戶負(fù)增長的情況。從2007年到現(xiàn)在，大屏業(yè)務(wù)有三個階段的發(fā)展，接下來，能否進入二次業(yè)務(wù)創(chuàng)新階段？新技術(shù)對于IPTV能否產(chǎn)生新的量變？新變量又到底在什么地方？
根據(jù)第一性原理，回歸事物最基本的條件，是將其拆分成各要素進行解構(gòu)分析，從而找到實現(xiàn)目標(biāo)最優(yōu)路徑的方法。電視是用來看的，需要精彩豐富的內(nèi)容、清晰流暢的畫質(zhì)、沉浸式觀看體驗，2022年國內(nèi)支持4K和HDR的智能電視滲透率超過80%，但超高清真4K內(nèi)容占比僅約5%。如何在源頭高效生產(chǎn)既適合傳輸、又適合播出的高質(zhì)量內(nèi)容？
五年前，我們就已經(jīng)開始考慮怎樣能夠大量生產(chǎn)4K內(nèi)容，因為技術(shù)條件的限制，以及生產(chǎn)能力等原因，高質(zhì)量內(nèi)容非常少，在播出覆蓋上也很難。但感謝AI技術(shù)在這兩年的應(yīng)用，尤其是ChatGPT在圖象領(lǐng)域、文字領(lǐng)域讓我們看到引入機器學(xué)習(xí)是能夠加速整個高質(zhì)量內(nèi)容生產(chǎn)的。AI技術(shù)可對視頻畫質(zhì)進行明顯提升，加速超高清內(nèi)容生產(chǎn)進程，賦能超高清規(guī)模應(yīng)用。
對咪咕來說，我們考慮的問題是如何能夠驅(qū)動雙千兆業(yè)務(wù)。從目標(biāo)上來說，希望形成咪咕元宇宙的家庭場景，這需要有引擎化、數(shù)智化的生產(chǎn)能力，基于前幾年投入的超高清領(lǐng)域研究，我們能夠從清晰度、色彩、流暢度、自由視角等形成的超高清技術(shù)能力底座，最終通過超高清+元宇宙的方式驅(qū)動雙千兆業(yè)務(wù)的發(fā)展。
注入嶄新動能
回歸到超高清編碼本身，既然是作為后續(xù)元宇宙發(fā)展的基礎(chǔ)，以更逼真、更自由、更沉浸化的方式進行音視頻內(nèi)容展現(xiàn)的話，要分很多維度。比如空間分辨率、時間分辨率、色彩分辨率、空間自由度、聲音分辨率、數(shù)據(jù)表示等。
清晰度增強——AI在“空間分辨率”中的應(yīng)用方面，針對清晰度層面的增強，咪咕已經(jīng)在做并且已經(jīng)批量在用的，包括從標(biāo)清到4K，我們基于生成對抗網(wǎng)絡(luò)（GAN）深度超分模型，進行海量高分辨率視頻、圖像素材訓(xùn)練，在已訓(xùn)練高頻細節(jié)部分獲得高精度復(fù)原效果。
我們首先輸入一個圖片信息，然后生成視頻結(jié)果，這個結(jié)果有很多分辨率不是那么清晰，同時再引入一個更高清的分辨率，由判別器來判斷哪一個圖片是更加合適的，并且把反饋的結(jié)果重新給到生成器。通過這樣一種方式，實際上形成了生成和判斷的博弈，訓(xùn)練的場景越來越多的話，在生成結(jié)果上面也會越來越好。基于這樣的原理，也需要采用周邊算法做進一步的提升，包括文字、人臉等進行優(yōu)化。
流暢度增強——AI在“時間分辨率”中的應(yīng)用方面，原理是基于視頻序列相鄰幀之間具有相似的空間和時間特征，經(jīng)過CNN內(nèi)多個卷積和反卷積層后生成新的中間幀，并通過海量素材訓(xùn)練模型以達到穩(wěn)定效果。算法周邊：結(jié)合以人眼主觀感受作為計算標(biāo)準(zhǔn)。
色彩增強——AI在“色彩分辨率”中的應(yīng)用方面，原理是使用CNN和GAN對大量的SDR和HDR視頻數(shù)據(jù)進行訓(xùn)練來學(xué)習(xí)轉(zhuǎn)換的映射關(guān)系，使用不同的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略，以滿足不同的應(yīng)用場景和性能要求，提高轉(zhuǎn)換的精度和效果。算法周邊：以人眼主觀感受調(diào)整色彩平衡、去噪等，提高視頻的質(zhì)量和視覺效果。
老片修復(fù)方面，主要是AI數(shù)智化編碼能力的綜合應(yīng)用，可以賦予經(jīng)典影片、紀(jì)錄片、電視劇、文化專題片等新的?命，對文化傳承起到關(guān)鍵推進作用。傳統(tǒng)修復(fù)流程較復(fù)雜，耗費?量??物?和時間，基于AI的自動化修復(fù)技術(shù)，可極大加速翻新修復(fù)的進程。
360°視場自由——超高清FOV自由視角及自由縮放方面，原理上來說，人眼本身是有觀察范圍的，拍攝過程當(dāng)中我們采用多機位的方式覆蓋360度環(huán)繞視頻內(nèi)容。最終，用戶能夠自由地在全場景當(dāng)中選擇自己感興趣的內(nèi)容，進行更加清晰的觀看。
沉浸式三維聲——基于對象的“聲音分辨率”方面，在平面聲場的基礎(chǔ)上，增加了高度感，將每個聲音精準(zhǔn)定位，使聲場還原為三維空間，能適應(yīng)不同回放環(huán)境，為聽眾提供極致的沉浸式聽覺體驗。
關(guān)于未來
未來，下一代編碼技術(shù)朝著哪個方向發(fā)展？編碼技術(shù)本身也是希望能夠通過最小數(shù)據(jù)量盡量還原我們的物理世界，所以說通過引入AI技術(shù)，在壓縮方法上引入AI壓縮編碼，基于AI區(qū)域分隔，進一步降低碼率，同時能夠更加清晰地還原我們真實的世界。目前，智能編碼壓縮方法在逐步商用，從傳統(tǒng)基于塊的預(yù)測、補償、變換的混合編碼框架轉(zhuǎn)向端到端的AI壓縮編碼，以大幅提升壓縮效率。
體積編碼壓縮對象則處于實驗室階段，流程是二維視頻→三維體積視頻→光場全息視覺信號→光學(xué)高維度信號。視覺信號采集成像則未成熟，機器視覺編碼壓縮用途也沒有成熟。
另外，除了在視頻畫面增強領(lǐng)域的應(yīng)用以外，AIGC也正在帶動內(nèi)容供給側(cè)革命。信號源已經(jīng)突破傳統(tǒng)現(xiàn)實世界的描述方法，開始走向AI強化和數(shù)字生成的新階段。
不過，AI看起來很美好，最主要的還是需要有大量的算力，所以后續(xù)來說，從運營商的角度，構(gòu)建完整的算力網(wǎng)絡(luò)，才能夠支撐我們從內(nèi)容到增強到生成的跨越。基于這樣的算力網(wǎng)絡(luò)，包括AI編碼、AI識別、AI渲染，當(dāng)某一天我們能夠完成整個算力網(wǎng)絡(luò)大規(guī)模部署的時候，有可能完全顛覆對生產(chǎn)的過程。
此外還存在一個疑問，未來的內(nèi)容生產(chǎn)方向上，是從現(xiàn)實轉(zhuǎn)向數(shù)字，還是由數(shù)字表達現(xiàn)實，或者說是兩者的相互結(jié)合？但不管怎么說，面向高帶寬的用戶提供都是必不可少的。所以，至少當(dāng)前階段我們能夠看到的是超高清內(nèi)容的不足，而AI技術(shù)能夠?qū)崿F(xiàn)整個視頻內(nèi)容體驗的提升。
所以，面向未來，我們可以看到，AI編碼+云算力將推動業(yè)務(wù)“泛屏化”，同時，用戶的交互模式以及內(nèi)容的展現(xiàn)形式都會有極大的豐富。謝謝大家。
責(zé)任編輯：房家輝
分享到：版權(quán)聲明：凡注明來源“流媒體網(wǎng)”的文章，版權(quán)均屬流媒體網(wǎng)所有，轉(zhuǎn)載需注明出處。非本站出處的文章為轉(zhuǎn)載，觀點供業(yè)內(nèi)參考，不代表本站觀點。文中圖片均來源于網(wǎng)絡(luò)收集整理，僅供學(xué)習(xí)交流，版權(quán)歸原作者所有。如涉及侵權(quán)，請及時聯(lián)系我們刪除!關(guān)鍵詞：
