環(huán)球觀熱點：北京論道丨網仕科技曹潔:AI助力視頻內容生產

推薦閱讀：北京論道嘉賓演講大集合！

(資料圖片)

2023年6月15~16日，由流媒體網主辦，北京新媒體（集團）有限公司、北京聯(lián)通、北京電信、北京移動共同協(xié)辦的「北京論道暨第25屆中國智能視聽與科技創(chuàng)新高峰論壇」在北京隆重舉行。

本屆論道以“電視的未來與未來的電視”為主題，邀請到了智慧大屏產業(yè)的行業(yè)專家、企業(yè)翹楚蒞臨齊聚，多維角度透視當下大屏市場，共謀電視新未來。

在15日召開的“IPTV價值高峰論壇”上，上海網仕科技有限公司總經理曹潔做了主題為《AI助力視頻內容生產》的演講。

以下為演講全文：

今年是“AI年”，我們作為視頻生產工具的提供商，今天分享的主題是：AI助力視頻內容生產降本增效。

網仕科技成立10年了，我們最開始提供手機電視直播解決方案，從2015年提供視頻能力平臺整體解決方案，2017年起提供視頻云運營平臺，2019年打造了融媒體+融合AI的視頻云生產平臺，2022年，我們推出了基于AI感知編碼解決方案。

我們的主營業(yè)務包括4個方向：

1. 硬件設備：在線編碼器、4G背包、便攜式導播臺、數字解碼器、IPTV多畫面監(jiān)看、HDR工廠等設備，

2. 視頻云：云直播、云會議等視頻云業(yè)務

3. 應用軟件：流媒體服務器、協(xié)議轉換網關、直播APP、UGC直播互動系統(tǒng)、虛擬直播室、數字人等應用軟件

4. 平臺解決方案：云轉碼、云導播、云收錄、云快編、云拆條、云輪播、云接收等平臺解決方案。

我們主要聚焦于四個方向：

1. 智能化AI：將AI能力融入視頻生產平臺；

2. 互動+會議：將廣電級別的技術和服務，注入互聯(lián)網式的設計和市場思維；

3. 云化+全協(xié)議棧：基于微服務架構的視頻云解決方案，模糊設備、技術和服務的界限；

4. 移動化+4K+5G背包：基于5G技術設計超高清便攜式直播產品。

我們將專業(yè)級AI引擎應用于視頻內容生產，提供一站式視頻內容生產可視化解決方案，目前已經大規(guī)模商用于東方明珠、百視通、?？低暋⑺拇◤V信天下傳媒、CNTV、天翼視訊、北京國際云轉播公司等。

AI賦能視頻拆條/編輯/編碼

云拆條是基于BS的拆條工具，對直播節(jié)目實施快速打點、剪輯、拼接等操作，生成點播文件，可實時快速預覽，支持時間軸、EPG等快速定位；并對視頻文件實施非編操作，包括剪切、合并，添加字幕、Logo、圖片及畫面特效，依托于強大的云端后臺處理能力實現視頻快速碎片化處理，提高內容生產效率進而實現內容快速發(fā)布。

云拆條支持實時預覽拆條內容，支持時間軸、EPG等快速定位，支持多段合并，添加logo等，支持幀精確編輯，支持廣告識別+EPG自動拆條。

AI拆條支持智能廣告識別+EPG實現精準拆條：上傳頻道的廣告素材，訓練模型；在創(chuàng)建任務中選擇要拆條的頻道設置拆條的起始結束時間，創(chuàng)建成功后進入拆條任務列表等待運行，拆條運行成功后會生成一個去除廣告的成品視頻。

AI智能拆條支持智能廣告識別+EPG實現精準拆條：利用網仕科技累積的廣告視頻片段，經過訓練學習得到的序列區(qū)分性深度廣告分類模型，能夠自動識別視頻中的廣告節(jié)目，并通過多特征融合拆分模型，結合EPG信息實現對廣告節(jié)目的精準自動拆分，大大提高節(jié)目制作效率。

AI標簽是對視音頻內容進行多維分析的工具，實現拆條體系通過標簽精準定位打點，方便融媒體資產的統(tǒng)一檢索和共享交換。AI標簽系統(tǒng)基于人臉識別、OCR文字識別技術、ASR語音識別、NLP自然語言處理等技術，智能提取視頻中的結構化信息，再通過知識圖譜進行一階推理和一階聯(lián)系提取出視頻標簽。AI標簽可為用戶視音頻內容分析、視音頻檢索、智能推薦等業(yè)務場景提供支持。

云編輯模塊采有B/S構架具有快速制作、高效合成、幀精確、全格式兼容、易上手、一體化部署、本地編輯云端合成等特點，可完成視頻快速制作、圖文疊加、加遮擋、配音等應用，為新媒體、教育、醫(yī)療、等用戶提供快速的視頻制作生產服務。

云編輯功能區(qū)包括：1、多軌道操作：根據媒體類型，分為音頻、視頻和圖像軌道，使視頻編輯操作一目了然。2、便捷導入素材：模塊頁面提供實時導入功能，在編輯過程中可隨時從本地導入所需的新素材。3、字幕和貼圖：自定義添加字幕和貼圖，可根據需要調整字幕和貼圖的大小、位置、字體、顏色等，在時間軸上拖動即可改變字幕和貼圖的時間點和時長。4、高級視頻編輯：云智編輯模塊除了具備視頻疊加等簡單功能，還提供了視頻旋轉、視頻翻轉、畫面大小調整和不透明度調整等功能。5、快速發(fā)布：視頻編輯完成后可在云編輯頁面快速進行發(fā)布，可定義節(jié)目名稱、類型、標簽、發(fā)行地區(qū)等。

AI審核基于敏感信息知識圖譜，敏感人物分類及樣本庫，成熟的審核標準，圖像要素AI識別、全屏文字OCR提取、語音識別等先進技術，對政治敏感、涉暴、涉黃、廣告等風險內容進行審核，支持文字、圖像、音頻、視頻等各種內容形式，滿足用戶多種業(yè)務場景的需求。

AI感知編碼引擎集感知編碼、AI輔助編碼、智能碼控于一體，兼容點播、直播、RTC等應用，節(jié)省帶寬，為企業(yè)降本增效。

AI感知編碼可以對內容進行感知，對圖像畫質進行加強；在畫質加強的根底上，進行碼率調配的優(yōu)化；聯(lián)合外圍編碼器的優(yōu)化，壓縮帶寬，提升用戶體驗。AI提供了對內容進行剖析和了解的能力，并在此基礎上實現疾速、最優(yōu)的參數編碼的預測。

基于ROI的編碼：所謂ROI就是人眼感興趣的區(qū)域，人眼有注意力機制，人眼在看一幅圖像或者看視頻的時候有更敏感的區(qū)域。整個視頻輸出之后，人眼最感興趣的區(qū)域，首先是人體，而后是人臉，還有一個是字幕。檢測到感興趣區(qū)域之后，就能夠對這些ROI的區(qū)域進行預處理，做一些邊緣增強銳化。

AI+超分增強修復引擎，則融合了HDR增強、智能超分辨率、光流插幀、畫質增強修復，提升視頻觀看品質。具體能力方面，比如SDR-HDR：提高動態(tài)范圍、提升色深、色域轉換；自適應判斷噪聲偽影、根據噪聲強度智能調節(jié)、智能上色提升質感、邊緣輪廓清晰；畫面清晰流暢、精準性動態(tài)補償、動態(tài)場景更穩(wěn)定；智能遮標、去馬賽克、水印、二維碼等。

應用場景方面，覆蓋廣電及新媒體部門、視頻內容提供商、通信運營商、短視頻APP等。比如我們?yōu)榘僖曂ㄌ峁╊l道拆條和視頻素材剪輯服務，月均生產上萬條節(jié)目內容；比如為橙視傳媒提供智慧內容生產平臺，為政企部門提供視頻內容剪輯服務；再比如為天翼視訊搭建原子能力平臺，提供視頻素材剪輯能力等。

責任編輯：房家輝

關鍵詞：