今天我們來聊一聊產業互聯網時代下海量數據處理問題

作者 |歐爭光，華為雲智能邊緣平台IEF生態經理

馮飛，華為Cloud Openlabs 5G NFVI架構師

策劃 | 關賀宇

產業互聯網作為移動互聯網的未來， 在 5G+ 雲 +AI 互融的時代，行業應用如何有效利用 5G、AI 和雲計算技術的優勢，雲原生邊緣計算提供了一條可行的途徑。

雲原生邊緣計算發展現狀

萬物互聯時代，終端設備產生的數據將爆炸性增長，據 IDC 研究顯示，到 2020 年將產生 500 億的終端與設備聯網，其中 50% 的數據將會在靠近數據源的邊緣側進行分析、處理，以滿足業務的低時延訴求。

按照用戶 / 終端到中心雲的距離，大體上可以劃分 3 個“時延圈”，如下圖所示：

第一個“圈”是現場邊緣，覆蓋 1~5ms 時延範圍，算力以推理為主，主要面向自動駕駛，工業互聯網等實時性業務，典型的現場邊緣站點包括邊緣伺服器，華為智能邊緣小站 Atlas 500 等。

第二個“圈”近場邊緣，覆蓋 5~20ms 時延範圍，算力以渲染為主，同時還有一部分推理，主要面向視頻場景，典型的近場邊緣站點包括 CDN 節點、5G MEC 等。

第三個“圈”則是傳統的公有雲覆蓋範圍，用於承載未下沉部分的業務，主要面向大規模場景，例如海量的數據存儲、挖掘、AI 深度神經網絡模型的訓練等。

然而，邊緣計算還仍然存在著諸多挑戰，例如：

邊緣節點 CPU、MEM 等資源受限、硬體資源異構等；

如何與雲上業務、AI 平台協同；

海量邊緣設備管理和運維，邊緣應用的生命周期管理等；

當網絡或節點出現故障時，邊緣應用需要離線自治能力，確保仍然能夠正常運行。

雲原生以輕量化的容器技術作為基礎平台，資源佔用少、快速擴容、高效的應用生命周期管理，基於微服務架構，可擴展性、故障可恢復性，持續交付等特性，非常適合邊緣計算場景。

Kubernetes 因通用的應用抽象定義、松耦合的架構、易擴展的 API 框架，已經成為雲原生的事實標準，但是還不能完全解決上述邊緣計算的諸多挑戰，面對邊緣計算的輕量化訴求，仍顯厚重，因此華為雲原生團隊針對邊緣計算場景對 Kubernetes 進行了增強，最終打造了 CNCF 基金會第一個邊緣計算項目——KubeEdge，其優勢在於：

雲邊協同：雲邊一致的應用使用體驗，設備的接入和管理，端邊雲統一管理和運維界面；

高速雲邊通信：WebSocket + 消息封裝，大幅減少通信壓力，網絡受限情況下仍能正常工作；

邊緣離線自治：邊緣節點元數據持久化，實現節點級離線自治，邊緣節點故障恢復無需與管理面通信，快速恢復；

極致輕量：重寫 Kubelet 模塊，極致輕量化（~70mb 記憶體佔用），支持 CRI 集成 Docker、Containerd、CRI-O，優化 runtime 資源消耗。

5G+ 雲 +AI 如何互融？

5G 解決的是產業互聯網時代的海量數據傳輸問題，雲計算解決的是大規模計算問題，5G 和雲是indivisible的一對。人工智能、大數據、區塊鏈等為代表的雲計算技術與 5G 為代表的通信技術如何互相融合、相互促進？雲原生邊緣計算技術是一個可行的途徑。

5G 的特點可以總結為“一高兩低三大”：高可靠性，低功耗、低時延，大連接、大覆蓋、大容量，這些特點將催生大量創新業務模式，主要包括以下三大應用場景：

eMBB，增強型移動寬頻，應用於對帶寬有極高需求的業務，如 4K/8K 高清視頻、AR/VR/ 雲遊戲等。

mMTC，大規模機器類通信，應用於連接密度要求較高的業務，如智慧城市、環境監測、智能家居等。

uRLLC，超可靠低時延類通信，應用於對時延極其敏感的業務，如無人駕駛、工業自動化控制、遠程醫療等。

基於雲原生的邊緣計算，是支撐創新業務模式的最佳選擇。例如中心雲提供海量算力、存儲和統一管控平台，5G MEC 邊緣雲提供 5G 流量的接入和推理渲染算力，將上述新型業務作為邊緣應用，利用雲原生的技術快速靈活下發到 MEC 中，數據本地快速閉環，快速推理或渲染，處理結果上傳中心雲進行全局的分析、處理和優化，以此實現 5G+ 雲 +AI 智能互融。具體方案如下圖所示。

MEC 是網絡部署位置和協議棧方面的第一跳入口，部署到 MEC 的邊緣應用可享有數據本地化、流量卸載本地分流快速閉環等優勢，可有效降低業務處理時延、減少轉發設備跳數 / 性能，從而有效降低業務成本等。通過雲原生邊緣計算技術，將雲和 5G 進行有機的結合，5G 邊緣雲還可以具有如下優勢：

邊雲協同，中心雲對地理離散的邊緣應用進行集中化的統一管控和協同，應用可以雲邊、邊邊無縫遷移和彈性伸縮，雲邊、邊邊網絡自動打通等。

邊緣智能，可以將 AI 算法下沉到邊緣，實現雲端訓練、邊緣推理可極大提升邊緣設備的業務處理和智能分析的能力，有效地解決傳統端 - 雲模式下數據傳輸效率低、帶寬需求量大、分析效率低下、業務處理時延高等諸多問題，讓帶寬和時延不再成為 AI 使能業務的瓶頸。

完善的雲生態，中心雲上現有的生態，如智慧園區、智能交通、工業製造、水務水利、智慧商超等多個行業和場景的算法和應用，可以方便的通過雲原生邊緣計算的方式部署到邊緣。

5G+AI+ 雲 +IEF 最佳實踐

華為雲智能邊緣平台 IEF ，作為 KubeEdge 的商業版，同樣是基於容器和 Kubernetes 生態構建，提供具備極致輕量、邊雲協同的邊緣計算服務，除上文中所述的雲原生能力外，還具有如下增加特性：

高速消息通道：保證雲邊之間高速、可靠、有序、安全的進行通信。

離線自治：邊緣節點和應用故障快速感知，應用在邊緣集群中自動調度，快速遷移，秒級恢復。

邊雲協同：雲邊一致的使用體驗，應用一次構建到處運行，應用根據負載在雲邊自適應調度和彈性部署，還可將 AI 算法類、IoT 類、時序數據庫、流計算等多種應用從華為雲延伸到邊緣。

邊緣鯤鵬 + 昇騰深度整合：與邊緣專用 AI 推理芯片昇騰 310，華為自研 ARM 處理器深度結合，為 AI 容器提供高性能、低成本的邊緣算力，性價比提高 3 倍。

開放的邊緣生態：基於智能邊緣市場，提供邊緣應用和硬體的認證、發布，第三方用戶快速訂閱和推送。

在某智慧園區中，基於華為雲 IEF 和 5G MEC，人員識別和機器人的自動巡檢相結合，可動態的識別陌生人。AI 人員識別應用利用中心雲的算力，在 ModelArts 中快速進行迭代訓練，然後將人員識別算法和應用程序通過 Docker 打包成一個容器鏡像，通過 IEF 一鍵下發到 MEC 邊緣雲，視頻流通過 5G 大帶寬、低時延網絡上傳到 MEC 中，直接進行視頻智能分析，完成識別。該方案具有如下優勢：

雲邊協同，中心雲集中管控，統一運維，中心雲訓練，邊緣雲推理；

針對移動和布線不便的場景，5G 具有天然的優勢，無需為布線投入資金；

按需使用，容器在 MEC 上可以動態伸縮，平滑擴容，更加高效的利用資源。

基於 5G 的人員識別效果如下圖所示。

總 結

雲原生邊緣計算技術，因其天然的輕量化和可移植性，可以將應用下發到多種具有一定計算能力的設備上，包括 5G MEC；同時憑借強大的邊雲協同的能力，必將成為 5G + 雲 + AI 相互融合時代的重要加速引擎。