|
百萬獵人兵臨城下，向魔法護盾發起猛烈沖擊，卻無法將擁有99級神力的護盾撼動分毫。
這是科幻電影《頭號玩家》里的一幕。電影里，不僅“綠洲”被視為元宇宙未來理想形態，“魔法護盾”也迅速跨界出圈，在企業數據管理領域引發關注。這是因為隨著數字經濟快速發展，數據要素在受到企業重視的同時，全球超80%的IT決策者認為現有數據保護方案無法滿足未來業務挑戰，保護好數據資產成為企業的當務之急。
日前，在由存儲產業技術創新聯盟主辦的“元宇宙存儲研究與實踐”開放計算技術沙龍上，來自中科大、華中大、鄭州大學、建信金科以及浪潮存儲的“產學研用”各界專家匯聚一堂，在關注元宇宙存儲發展的同時，還共同就糾刪碼優化、細粒度感知等數據保護話題展開討論。本次沙龍是場景共同體戰略的承襲和實踐，浪潮信息存儲產品線總經理李輝曾提出，面向層出不窮的新應用、新場景，攜手產業鏈伙伴推進“平臺+生態”戰略，以六種模式加速企業數字轉型。
內容概要：
元宇宙為代表的新應用帶來數據規模十倍、百倍激增，全球超80%IT決策者認為現有數據保護方案無法滿足未來業務挑戰。多副本、糾刪碼是業界數據容錯的兩種主流技術。多副本存儲開銷大，糾刪碼開銷小，糾刪碼在數據爆炸式增長的新時代更受企業青睞。糾刪碼優化，在同一數據中心內，可以通過負載均衡技術提升數據恢復效率；在跨數據中心場景，可以基于LRC分組編碼技術提升跨數據中心糾刪效率。
數據保護 懸在頭頂的達摩克里斯之劍
數字虛擬人需要收集的高達百倍甚至千倍的數據、VR頭顯從4K升級到視網膜級需提升10倍數據傳輸量、飛行模擬器采集的數據量超2PB。
以元宇宙為代表的新應用帶來數據規模十倍、百倍激增，快速增長的多模態數據增加了企業數據保護的難度。數據顯示，企業現在管理的數據量是五年前的十倍以上，全球82%、中國88%的IT決策者擔心現有數據保護方案無法滿足未來業務挑戰。
這些擔憂源自企業的現實困境，根據對全球1000名決策者的調研，全球30%的受訪者在過去一年中經歷過數據丟失，45%遭遇過計劃外的系統停機。另據IDC統計，在過去12個月，全球超過三分之一的組織遭遇過勒索軟件攻擊或入侵，導致系統或數據無法訪問。數據保護，已然成為擺在企業數字化轉型面前的一大挑戰。本次沙龍，中國科學技術大學許胤龍教授以及浪潮存儲技術專家共同給出了答案。
數據容錯 業界兩種技術流派之爭
“數據容錯，業界通常有兩種辦法，一種是多副本，另一種是糾刪碼”，許胤龍教授表示。多副本訪問性能高、故障修復快，但存儲開銷比較大（燒錢、占地），令企業直呼吃不消；糾刪碼開銷小（花小錢、辦大事），一般存儲空間比RAID 1鏡像小，在數據爆炸式增長的趨勢下更受市場歡迎，企業用腳投票紛紛選擇了糾刪碼。
三副本和糾刪碼對比
時下人氣攀升的糾刪碼，究竟是什么呢？ 所謂糾刪碼（Erasure Coding），是一種數據保護方法，它將數據分割成片段，把冗余數據塊擴展、編碼，并將其存儲在不同位置，比如硬盤、存儲節點或其他物理位置。
“糾刪碼，可以簡單理解成對原始數據做線性組合”，許胤龍教授表示。比如 (2+2)糾刪碼，就是A、B兩個數據可以做A+B和A+2B的線性組合，能容任意兩個節點錯，當恢復數據的時候直接解方程就行。一般情況下，業界常用的是（k，m）-MDS碼，把k個數據編碼成m個校驗數據，k+m個數據塊形成一個條帶，最多可以容許m個塊同時故障。工業界常見的m一般是2或3，數據規模較大的話，可以把m設為4~6。
糾刪碼 跑得如絲般順滑并非易事
糾刪碼“花小錢、辦大事”的優勢雖然非常明顯，但要在超大規模數據中心內或者是跨數據中心使用糾刪碼做數據保護，卻需要過五關闖六將，絕非易事。
第一關：同一數據中心內，數據恢復的網絡傳輸時間占比超90%，糾刪碼“龜速”難題如何破。
糾刪碼能夠降低存儲成本、提高容錯能力，但糾刪碼最大的問題是在數據丟失之后，數據恢復過程需要從其他地方讀取大量數據，故障修復堪稱龜速。通過對糾刪碼“從存活節點讀取數據、傳輸、在備份節點解碼、傳輸、在替代節點寫入”的整個流程做分析，發現網絡傳輸占整個數據恢復時間的比例超90%，如何優化數據恢復時間呢？
首先，數據分批恢復。在實際系統里面，數據塊是隨機的分布到不同的節點里，隨機數據分布從統計概率的角度來說，是能達到負載均衡的。但一般來說，在系統實現的時候，一般來說因為系統IO、內存、CPU資源也有限，同時系統還要支撐前臺的應用綜合各方面，所以修復一般都會是分批進行。“我們做過實驗，分批比不分批大概要快15%左右”，許教授表示。
清華、港中大、普渡、中科大紛紛開展糾刪碼優化研究
其次，可以利用二部圖和網絡流圖的辦法，使得從不同的節點上進行恢復的時候，不同節點上讀數據量是均衡的，寫數據量也是均衡的，并且每一個節點承擔的恢復任務也是均衡的。清華、港中大、普渡、中科大等頂級高校均對糾刪碼技術進行了研究，經過優化中科大SelectiveEC技術能夠在90%以上的情況下都實現負載均衡，相比HDFS大約50%的負載均衡水平，中科大的負載均衡水平能高出70%以上，恢復速度提升30%以上。同時Selective EC比HDFS有更少的毛刺、更短的長尾、更短的任務生命周期。
糾刪碼優化結果
“我們很認同許教授的觀點，為了實現數據糾刪的負載均衡，浪潮存儲一直在技術上不斷打磨和創新”，浪潮信息分布式存儲架構師張立強表示。浪潮分布式存儲AS13000突破軟硬件協同寬條帶糾刪技術，融合多元算力，解決數據高冗余比糾刪的計算性能、資源消耗、容量、可靠性等指標難以兼顧的問題。舉個例子，浪潮存儲創新研制了糾刪碼FPGA加速卡，設計可重構最小硬件邏輯單元，實現編解碼復用、全糾刪比支持，實現寬條帶糾刪的CPU計算卸載。在32+6糾刪比配置下，浪潮存儲能夠將處理器平臺的CPU占用率降低90%，性能提升390%，這就如同將汽車行駛的速度提升到了復興號的水平。其實浪潮分布式存儲在高校領域應用廣泛，目前已經在中科大、清華、北大、復旦、浙大、中山大學等國內頂級高校實現規模化部署，支撐科研智慧應用平臺穩定運行，以數據之力助力科研取得豐碩成果。
第二關：跨數據中心場景，數據中心帶寬極其有限，如何“跨越萬水千山”做糾刪。
考慮到地震、山洪、火災等災害因素影響，大型企業往往會跨數據中心做數據保護。所謂跨數據中心，是指多個數據中心可能建在距離城區比較遠的地方或者是不同的城區的地方，這時候跨數據中心的帶寬就會很寶貴，通常跟數據中心內部的帶寬相比，跨數據中心帶寬只有1/20。
跨數據中心帶寬約為數據中心內帶寬的1/20
RS碼部署方式在同一數據中心內做糾刪是有優勢的，但在跨數據中心環境下卻面臨挑戰。這是因為RS碼是把一個條帶的數據均勻分布到不同數據中心去。假如現在有15個數據塊，把它編碼成12個校驗塊，分散在三個數據中心，這時候只能容單個數據中心故障，存儲開銷大概是180%，如果出現單塊故障，需要跨數據中心訪問7個數據塊，需要的帶寬開銷比較多。
新型LRC（Locally Repairable Code）分組編碼方式，可以在存儲開銷和恢復性能之間做一個權衡。LRC（k，l，g）分組編碼有三個值，k表示數據塊，l代表局部校驗塊，g是全局校驗塊。LRC分組編碼通過讀取局部數據塊，減少重構所需的數據量，從而提升數據修復性能。這就好比618購物，北京小伙買一箱牛奶，如何用最快的速度把貨物送到顧客手里呢，電商平臺會找到距離顧客比較近的天津或河北倉庫（類似l局部校驗塊）進行配送，盡量減少從西安或廣州（類似g全局校驗塊）調貨的概率。
LRC分組編碼技術優化結果
按照新型部署方式，“在實際集群里面，我們實現了數據傳輸、數據解碼的優化，大概能把速度提升30%”，許胤龍教授表示。
“浪潮一直將可靠性視為存儲的生命線，在異地數據保護方面做了諸多創新”，浪潮信息存儲研發部何營表示。浪潮存儲不僅基于一套存儲架構承載塊、文件、對象、大數據等多種數據服務，在WAN加速、快速重構、透明故障切換等高級功能方面持續創新。以WAN廣域網加速技術為例，浪潮存儲通過數據流壓縮、固定塊切割和多數據流并發，將遠程傳輸性能提升高達10倍、延時降低10倍，幫助海量數據異地遷徙和災備。
小結
伴隨元宇宙、AI、大數據新技術、新應用不斷涌現，數字經濟正在成為中國經濟發展的關鍵因素。數據顯示，從2020年到2025年數字經濟核心產業增加值將從7.9萬億提升至13萬億，是驅動GDP增長的引擎。
“浪潮存儲是整體市場全球前四、分布式存儲銷量中國第一的存儲廠商，糾刪碼技術在浪潮大部分分布式存儲客戶中得到應用，為產業轉型升級構筑了數據護盾”，浪潮信息首席架構師葉毓睿表示。未來浪潮存儲將攜手產學研用各方力量，共建場景共同體驅動社會高質量發展。
| 
