在日前由中國計算機學會(CCF)主辦的CCF中國存儲大會上,中國電子技術標準化研究院、存儲產業技術創新戰略聯盟等數十家產學研機構聯合發布了《AIGC數據存儲研究報告》(以下簡稱報告),這是業界首個對AIGC(生成式人工智能)場景下的存儲底座做出精準畫像的研究報告。
報告認為,人工智能從“以模型為中心”加速向“以數據為中心”轉變,大模型技術步入相對“穩態”,人工智能進入以數據驅動模型優化階段,數據的要素價值被進一步放大,高質量數據的全生命周期管理成為人工智能發展的核心動力之一。報告提出,AIGC場景下,存儲面臨性能、效率和韌性方面的挑戰,存儲底座需要“六維”協同并進,“六位一體”畫像,即需要具備數據流動、處理、共享、容納、安全、管理六種能力,從產品和方案上滿足AIGC對存儲的需求。
浪潮信息相關負責人在會上表示,數據是人工智能時代的核心引擎,數據中心逐漸由以計算為中心向以數據為中心轉變。AIGC時代,人工智能和數據要素是數據中心兩大核心工作場景,存儲面臨效率、性能等挑戰,需要先進存力支撐,先進存力需要先進架構,即新型存儲架構。
浪潮信息存儲首席架構師孫斌分析,算力需要存力和運力共同支撐、平衡設計,現在算力在迅速增長,存力、運力與算力要互相協同。存儲甚至已成為智算的瓶頸,亟待提升存儲性能,才能以存強算。
我國算力、算網規模及能力持續攀升。工業和信息化部數據顯示,截至2024年6月,我國在用算力中心機架總規模超過830萬標準機架,算力總規模達246EFLOPS(每秒百億億次浮點運算),位于世界前列;互聯互通縱深推進,城域算力節點間1ms(毫秒)時延保障能力逐漸形成,區域集群到周邊主要城市間5ms時延保障能力廣泛覆蓋,國家樞紐節點間20ms時延保障能力全面實現;全國算力中心平均電能利用效率(PUE)降至1.47,創建國家綠色數據中心246個,超140個算力中心綠色低碳等級達到4A級以上標準。
工信部發布的《算力基礎設施高質量發展行動計劃》中提出,到2025年計算力規模超過300EFLOPS,智能算力占比達到35%;提升算力高效運載質量,強化算力接入網絡能力;推動以云服務方式整合算力資源,促進多方算力互聯互通。
以生成式人工智能為代表的人工智能應用、大模型訓練等新需求、新業務的崛起,推動智算規模呈現高速增長態勢。據測算,截至2023年底,全球智能算力規模為335EFLOPS,同比增長達136%,增速遠超算力整體規模增速。我國智能算力占比也顯著增加,智算中心集聚分布。截至2023年底,智能算力規模占整體算力規模的增例近30%,增效明顯。
“生成式人工智能時代,隨著十萬卡算力集群的規劃落地,模型參數也將達到萬億、10萬億,數據處理的復雜度和數據膨脹率也呈數量級激增,數據中心加速向數據型中心演進。人工智能和數據要素是數據型中心兩類主要新型負載,存儲面臨性能、效率、容量等多重挑戰,需要數據近計算存儲和數據全生命周期存儲兩大能力,可組合分布式融合存儲是未來數據中心建設的最佳選擇。”孫斌說。
據了解,面向AIGC時代數據中心存儲要求,浪潮信息存儲提出基于新型存儲架構的機柜級存儲底座和數據中心級存儲底座,以存儲架構創新打造先進存力,滿足集約高效、一體化數據中心的建設要求。
2023年5月,浪潮信息發布為大模型專門優化的分布式全閃存儲系列,為AI大模型數據歸集、訓練、數據歸檔與管理等階段提供強大存儲支撐能力,助力用戶加速大模型系統的創新及應用落地。6月,浪潮信息重磅推出基于新一代分布式存儲平臺的AIGC存儲解決方案,應對大模型應用對存儲性能、容量以及數據管理等方面的苛刻要求。同時,嘗試性提出GPU計算集群算力與存儲集群聚合帶寬的推薦配比,實現檢測點數據60秒內寫入和讀取恢復,提高大模型訓練效率。未來,浪潮信息存儲將持續聚焦新型存儲架構、新型存儲介質加速技術等前沿研究,牽引共建AI存儲場景共同體,推動前沿存儲技術創新發展。(經濟日報記者 黃鑫)