东数西算拉动千亿产业,敢啃“硬骨头”的存储厂商才更有机会

全球存储观察

共 2869字,需浏览 6分钟

 ·

2022-07-06 14:41




随着东数西算工程的推出,带来了业界广泛长期的讨论,特别是在数据已经成为企业资产的情况下,针对数据存储领域在东数西算工程中涌现出来的发展机会,也备受业内厂商关注。


01

夯实东数西算的基石,数据存储首当其冲


来自全球分析机构IDC的预测显示,到2024年中国分布式存储市场规模将达到24.6亿美元,成为企业级存储市场增长的主要驱动力之一,并为云计算、大数据、人工智能等新兴应用提供主流存储形态。


一方面,东数西算对海量数据的需求和运用更广泛。来自中商产业研究院发布的数据显示,中国83.7%的数据集中在“胡焕庸线”以东,为此需要通过“东数西算”工程来改善数字基建不平衡的布局,对海量数据进行合理、优化的调度、存储与处理,发挥数据资产对行业数字化的更大价值。既然“东数西算”工程的重点就是针对海量数据,那么针对海量数据存储的创新与应用也必然会更多。


另一方面,在东数西算建设中,对基础软件的投入会更大。据北京计算机学会数字经济专委会秘书长王娟分析指出,“东数西算”工程共布局了8个国家算力枢纽节点和10个国家数据中心集群。其中,国家枢纽节点重点建设任务就包括服务器、操作系统、数据库、中间件、分布式计算与存储等基础设施的规模化创新应用。


因此,相关核心基础软件在性能、稳定性、可靠性、可用性、安全性方面也需要实现更多的创新,才能更好地支持东数西算工程的未来发展。特别是海量存储,作为“东数西算”数据承载与处理的基石,需要数据存储厂商具备深厚的技术自研能力,才能应对诸多高要求。对此,中科曙光存储事业部副总经理张新凤分析指出,虽然针对海量数据的存储处理大家都熟悉,但是海量存储并不是简简单单的存储设备堆积,特别面向东数西算这样的工程,相关存储技术难度呈现出指数级的增长。


02

四大高要求考验存储厂商,敢啃硬骨头才更有机会


那么,东数西算给数据存储到底带来了哪些具体的高要求呢?


一是,安全性要求更高。如前文提到的,东数西算要实现东西之间的海量数据大规模、跨地域流动,对于数据安全性的要求自然更高,毕竟这些数据关系到行业、企业发展的命运。要保障海量数据的安全流动,作为数据基石的海量存储系统,安全性自然要放在首位。对于国家级数据中心,相关基础设施软硬件的自主研发程度,核心技术及底层代码的掌握程度,对数据安全的影响至关重要。


曙光存储从一开始就选择了海量存储的发展方向,基于分布式存储的技术路线,成为国内首批坚持自研分布式存储的厂商之一,是国内为数不多掌握底层技术、实现代码级开发与优化的分布式存储系统的厂商。其可根据用户实际需求,进行定制化的设计开发,从部件、网络、节点、数据冗余等各层面保证数据的安全性及系统的稳健性,满足东数西算工程对海量存储的更高安全级别的要求。


二是,海量存储的落地规模更大。全球分析机构IDC预测,到2025年,中国数据总量将达到48.6ZB。随着东数西算工程的推进,海量存储系统规模化部署的需求更大,PB级将会常态化,技术难度将会越来越高。


针对海量存储系统伴随的大量客户端的并发访问需求,曙光ParaStor的分布式锁,能保障所有客户端数据访问的强一致性,避免对同一文件的并发读写对彼此数据的破坏,有效保障高并发共享访问场景的顺序、秩序与效率;此外,曙光ParaStor通过智能化的技术来识别硬件的健康状态,通过高效无感知的自愈技术和智能化故障预处理来保证硬件的可靠性;采用多副本、纠删码等技术显著缩短故障数据的重建时间,保障系统真正可靠、高效、稳定的运行。


正是跨过了一个又一个的技术门槛,曙光存储实现了从最初16PB,到今天的300PB,单一存储系统规模已经可以满足“东数西算”海量存储的更高要求了。


三是,多种应用支持要求更强。东数西算涉及的海量数据,包括结构化数据、非结构化数据和半结构化数据,需要文件存储、块存储、对象存储、HDFS等多种存储接口类型。曙光存储从底层实现协议互通和融合,满足对多种应用的支持。


2009年,曙光存储基于POSIX协议,推出了第一代全自主研发的分布式存储系统ParaStor,实现数据处理的高性能体验。2013年,完成了对NAS共享的协议支持,助力数据中心的规模化部署。2019年,开启了分布式块协议支持,助力企业用户的业务上云。


而今,曙光ParaStor单一存储节点同时支持文件、块、对象、HDFS四种存储服务,3节点存储集群即可承载非结构化与结构化数据业务,消除存储设备多样性及管理复杂性,实现海量异构数据统一纳管。为了满足对象应用,曙光存储对IO协议栈进行极简优化,实现了单桶千亿KB级小对象的存储能力,存储集群百万级TPS吞吐性能可达到业内领先水平,满足云生态的应用需求。同时,提供原生HDFS接口,无任何协议损耗,无缝接入大数据平台,实现高性价比的大数据存算分离解决方案。


四是,节能低碳要求更绿色。在绿色节能策略方面,已经成为行业发展的共识,促进东数西算发展的同时,数据存储系统需要在技术创新上聚焦绿色节能的双碳发展趋势。张新凤透露,在2022年,曙光存储会推出一套液冷的分布式存储,采用冷板的设计,再加上前端曙光液冷的计算节点,从而形成一体化的液冷方案,PUE可达1.04。


由此可见,唯有长期的自研技术积累,真正啃过存储技术硬骨头,才能真正应对东数西算带来海量存储四大高要求的挑战。


03

加速存储产业升级,迎接自研存储发展新机遇

当然,东数西算对产业发展的影响与意义都是巨大的。


一方面,通过优化东西部之间的整体资源配比,加速信息建设结构的优化与调整,改善数据中心的存储、计算和网络的资源配比,更重视数据和存储系统在数字化转型中的创新作用。


另一方面,加速存储产业不断升级。之前,国内IT行业以发展业务为核心,“重应用、轻基础设施”。在东数西算的高质量要求和发展下,IT行业需要构建新的数字基建体系,必然要求应用与基础设施“两手抓两手都要硬”。为此,基础软件产业、存储产业、计算产业、网络产业都将迎来快速发展。尤其是有核心技术的存储厂商,在新一轮的存储产业升级过程中,将发挥出前所未有的产业生态作用,助力东数西算工程,推进数字经济高质量发展。


一个不争的事实已经表明,自研存储“马太效应”日益凸显,越是有技术积累,坚持长期自研的存储厂商,将获得越来越多的行业资源。大家也可以看到,在国内存储厂商中,坚持自研“敢啃硬骨头”的越来越多了。随着他们掌握的存储核心技术越来越成熟,带动服务支持能力也将越来越强,实现行业应用也将越来越广泛。这些勇立潮头且坚持长期自研的存储企业,必将脱颖而出,对存储产业结构优化与升级带来积极的影响与推动作用。借助东数西算的发展东风,基于自研存储创新动力,牢牢把握海量新数据时代的发展大趋势,以曙光存储为代表的自研存储厂商必将有一番新的大作为。

(by Aming)


- END-


  ?
欢迎文末评论补充
欢迎行业投稿
欢迎技术投稿
欢迎各种爆料
Aming全天候在线
全球存储观察为你开启新视野

欢迎分享、点赞,在看,一键三连👇


浏览 25
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报