引用格式:許政,阮西玥,陳祥浩. 基于云-邊-端的多源異構大數據治理架構研究[J].網絡安全與數據治理,2024,43(12):47-53.
引言
隨著航空制造業數字化轉型進程的高速推進,制造產線數字化程度不斷提升以及傳感技術廣泛應用,海量類別多樣、復雜度高、質量參差的實時數據、非實時數據,以及結構化數據和非結構化數據呈幾何式增長,數據中心的網絡資源、計算資源和存儲資源都面臨巨大的壓力,通信網絡和服務器資源的建設進程已難以滿足當前航空制造數字化業務的信息聯通和算力需求。
云計算嚴重依賴網絡,計算資源過于集中,靈活性不足,面對系統實時性和可靠性要求較高的應用場景時,服務能力不足[1];邊緣計算作為云計算的補充,能夠在數據源頭完成一定規模的數據分析處理,具有網絡時延小、實時性好的特點[2];因此,云–邊–端作為一種新型的數據治理架構被提出[3],它結合了云計算和邊緣計算的優點,運用云-邊資源同步[4]技術,以最低的成本滿足用戶低延遲服務的需求。
目前,云-邊-端數據治理架構已廣泛應用于電力系統[5]、車聯網[6]、物聯網[7]、智能交通[8]等領域,相關研究主要聚焦于系統架構優化[9]、傳輸時延及帶寬降低[10]、數據質量提升[11]等方面,主要目標是減少資源同步時延、降低系統能耗以及提高用戶體驗。
基于此,本文面向航空機載產品制造場景,提出一種基于云-邊-端的多源異構數據治理架構,從數據傳輸、邊緣數據治理、云端數據治理等維度給出解決方案,提升數據傳輸效率和數據存儲質量,并通過實驗驗證了架構的可行性和可用性。
1基于云-邊-端的多源異構數據治理架構設計
本文以數據為核心,構建基于工業互聯網云平臺的遠程分布式云-邊-端一體化多源異構數據治理架構,如圖1所示,數據自底向上逐層傳輸處理,涵蓋數據采集、數據存儲、數據處理和數據應用全過程,形成多源異構數據采集、邊緣數據預處理傳輸、云數據中心工業大數據存儲以及云端業務應用系統等各環節技術與業務架構解決方案。
(1)工廠端:解決制造現場端多類型設備、多類業務系統以及多種監測方案產生的多源異構數據采集問題,采集數據包括設備實時運行數據、工藝數據以及計劃、質量等業務數據;
(2)邊緣端:采集工廠端設備和本地網絡中的數據,通過數據協議解析完成采集,經清洗處理在本地數據庫形成備份,實現設備告警、狀態監控、數據處理、歷史數據查詢等功能,同時將設備采集信息傳送給數據中心;
(3)云端:采集邊緣端上報數據和工廠端本地數據,根據數據特性選擇實時數據庫、關系數據庫或者分布式存儲,經數據處理,形成數據資產,實現制造過程數據云端的統一匯聚,支撐制造業務服務、數字孿生、大數據服務、人工智能算法服務等云端應用。
本文詳細內容請下載:
http://www.rjjo.cn/resource/share/2000006266
作者信息:
許政,阮西玥,陳祥浩
(中航機載系統共性技術有限公司,江蘇揚州225000)