視頻太多找不到？這家公司讓海量視頻為人所用

矽谷Live /實地探訪/ 熱點探秘 / 深度探討

一個人，一天到晚忙忙碌碌，走過無數的路，見過無數的人，但是留下印象、留下回憶的寥寥。

如今，每人手中的手機、無處不在的攝影頭在幫助我們記錄著每時每刻發生的事情，但是，海量的視頻信息，如若不能及時發掘出其中的有用信息，也只能留在角落裡被刷新、被覆蓋。如何能把有用的信息及時挖掘出來，如何讓海量的信息及時為人所用？這是矽谷洞察近期採訪的一家加拿大初創公司 Aupera 想要解決視頻時代的一大難題。

讓海量視頻真正為人所用

海量的視頻裡包含海量的信息，要讓視頻真正為人所用，真正能信手拈來，真正與人互動，就要做到視頻內容的搜索，即時定位索引視頻裡某個片段，某個場景，某個動作。“這是Aupera團隊創立的初衷”，Aupera 創始人廖博士表示。

想一想，如果各位讀者已經是爹媽的話，手機中難免一大堆拍娃的視頻吧，如果你某一天正好想找出孩子吹生日蠟燭的那一瞬間，又或者是帶娃去海灘玩沙時把沙拋在空中的那一瞬間，你能不能迅速從手機已有的幾十個上百個視頻中搜出來呢？又或者在女兒的成人禮上，想迅速做一個精美的成長記錄，用一段視頻記錄其成長的精彩瞬間，歡笑與淚水呢？

（圖自網絡）

“要做到視頻內容搜索，首先要解決的是海量視頻的編解碼算力，需要提供高密度的計算力，可負擔得起的計算力，我們 Aupera 就是從這方面入手的”， 廖博士說到。

如今，Aupera 的技術已經落地，並且已經在頭部客戶做到了商用。同時，Aupera 嵌入了實時 AI 的加速引擎，同樣的硬體、同樣的軟體框架。這樣的架構，特別高效，“特別適用於那些有海量視頻的有需要實時對內容進行處理的場景。”據廖博士介紹。

Aupera 的工程師團隊成員，曾服務於 NASA、華為、思科、貝爾實驗室等，專注於視頻時代的痛點，創新地提出了分布式微節點的異構計算架構，開發了融合視頻與AI的軟體框架。早期，他們曾獲得 Arm 加速器的投資，最近，他們又獲得了 FPGA 巨頭賽靈思的戰略投資。

解決視頻領域算力問題的兩大創新

大家都知道，英特爾的 X86 計算架構帶領信息社會從 PC 機走到了移動互聯網時代。當今的數據中心，這種架構仍然維持著統治地位。

但是，隨著摩爾定律的終結，通用計算將逐步走向衰落並將被專屬計算架構（Domain Specific Architecture）——這種為特殊場景而做專用設計的計算架構取代。“粗放的發展模式，簡單地提高主頻、增加晶體管密度已經走到了盡頭，今後的計算架構，將會是靈巧性的專屬計算架構，所以我們選擇了Arm+FPGA 的框架。”廖博士表示。

針對視頻應用場景，分布式、微任務、易擴展性這些視頻流處理的特點，Aupera 在計算架構方面做了一大創新——分布式微節點架構，這是基於 ARM 的靈巧及 FPGA 的高吞吐、低延時、AI友好等優勢，該架構達到了非常高的性價比及易擴展性。

（圖片由Aupera提供，版權屬於Aupera）

FPGA 跟傳統的 X86 相比，有什麽優勢呢？

廖博士表示，FPGA 的優勢在於實現高吞吐量高性能的同時，也能滿足低延時的應用、實時的響應。

同時，FPGA 不僅能夠自定義 AI 加速，還可以進行多維度、立體式的整體優化，對視頻數據的前處理、後處理，甚至包括網絡，存儲。FPGA 作為 AI 加速的另一大亮點，在於快速算法迭代，快速模型設計，到加快產品商用、加快市場投放，這在人工智能算法日益更新快速迭代的情形下，顯得尤為重要。

相信這也是 FPGA 巨頭賽靈思選擇戰略投資 Aupera 的一大理由：能更快促進產品商用、市場投放。

硬體架構是載體，Aupera 的軟體解決方案 AupxStream Video+AI SDK 則真正體現了能夠承載高密度算力、面向視頻+人工智能應用的超融合能力，將芯片的視頻加速、軟體底層、AI算法、作業系統以及場景應用有機融為一體，極大地提高場景應用的開發及實現效率。

（圖片由Aupera提供，版權屬於Aupera）

這套軟體體系有什麽特點呢？

廖博士告訴矽谷洞察，首先，整個軟體面向視頻的處理，集成了 FFMpeg 和 GStreamer，這兩個工具是視頻領域開發者的必備工具。特別是將 FFMPEG 成功移植到 Arm 處理器上，使得視頻工程師無需改變任何操作習慣，同樣的命令行，同樣的操作，更高的性能獲得更好效果。（廣大碼農們是不是應該喝彩下！）

其次，針對場景化 AI 的計算以及與視頻編解碼、視頻數據處理的超級融合能力。將視頻編解碼、視頻內容分析有機地結合起來，最大限度地降低與外部設備的讀寫操作，從而得到整體性能的大幅提升。

以及，雲—邊—端的線性拓展以及平台資源的智能管理，為硬體層、產品運營、以及雲服務，打造了一整套平台資源管理體系，從機箱的狀態管理、溫度預警、風扇控制、到系統的任務調配、負載均衡，以及物聯網的雲管理、雲端運維。實現了雲—邊—端服務的線性配置，算力可以隨著邊緣節點資源得以延伸，實現計算的去中心化和無邊界化。

（圖片由Aupera提供，版權屬於Aupera）

那從目前來看，AupxStream Video+AI SDK 這套軟體解決方案支持什麽功能呢？

廖博士舉例，像對 H.264、H.265 硬體視頻編解碼，Jpeg 硬體編碼；通用音視頻媒體框架，包括視頻合成、混流，格式轉換；高效的視頻圖像加速引擎，包括圖像前處理、縮放、旋轉、圖層疊加、動態水印；完善的深度學習開發環境，支持Caffe、Tensorflow 及 PyTorch 等主流開發環境；通用深度學習推理引擎，支持 Resnet、inception、MobileNet、YOLO、SSD 等各種主流深度神經網絡；支持上百種預訓練模型及應用模板，快速搭建窄帶高清、多方會議電話、安防、物流、新零售等AI+視頻應用。

快速應用，快速為場景化服務，是這套軟體體系的最大亮點。讓千千萬萬的開發應用者，享受 FPGA 芯片的高效、實時應用，而不用為底層的複雜操心。

對於消費者而言，又能實現怎樣的功能呢？廖博士表示，對消費者用戶而言，沒有繁瑣的安裝，許多視頻 AI 的應用通過雲端下載即可實現，將普通攝影頭即時變成智能攝影頭，同時，Aupera 雲端的算法將實時更新，不斷豐富，每一個家庭每一個用戶都可以實現根據自身的使用場景來選擇最佳應用。

攻克視頻難題外，應用於物聯網安防等領域

今天，新媒體的紅利正快速被視頻領域的流量所取代，快手、抖音、Vlog 已經愈發佔據用戶的手機桌面。中國短視頻用戶規模達 6.48 億，其中“中老年”用戶數量增長明顯。

用戶數增長迅速背後是一整個產業收入的明顯增長。隨著短視頻平台成為巨大流量入口，據艾瑞谘詢報告透露，僅 2017 年中國網絡視頻行業收入就創紀錄地達到了 952.3 億元，相較於 2013 年的 100 多億元，5年來的增速都保持在 50% 左右。

物聯網的時代已經來臨，大家都說，攝影頭是物聯網的眼睛，一張圖片勝過千言萬語，一段視頻又是成百上千張圖片組成。Aupera 的解決方案，包括了雲、邊緣、端，提供了一整套的解決方案。

“視覺給人類帶來的信息佔到人獲取信息量的80%以上，視頻將是人類溝通的主流”，這個觀點，是廖博士早在從事移動通訊開發時就堅信的，“針對視頻，針對視頻內容的理解，開發一款極致高效的產品，讓視頻真正為人所用，這是 Aupera 的一群頂級工程師的初心。”

你覺得視頻時代使用最大的障礙在哪？你對視頻時代還有什麽期待？歡迎留言討論！