数据存储，下一代技术方向在哪？
共 5943字，需浏览 12分钟
·
2021-07-27 16:10
进入移动互联网时代，存储应用场景急剧变化，下一代数据存储技术应运而生。下一代数据存储技术主要指在存储介质、存储架构、存储协议、应用模式及运维模式等方面迭代创新的一系列技术的集合，总体呈现出高性能、易于扩展、服务化和智能化等特点。
本文参考自中国通信院“下一代数据存储技术研究报告”，文章将从这五个方面对下一代数据存储技术的演进进行梳理与分析。
来源：全栈云技术架构
下载链接：下一代数据存储技术研究报告
全闪存储指全部由固态存储介质构成的独立存储阵列或设备。全闪存储的高速发展，既是新应用对性能需求驱动的结果，也是闪存技术不断创新的成果。在需求侧，当前数据爆炸式增长，云计算、物联网、大数据、人 工智能、区块链等新技术快速发展，驱动人 脸识别、 自动驾驶等新智能应用不断涌现，业界已进入智能驱动的新数据时代。这一时代，数据存储具有三大需求，分别是EB 级容量、亿级IOPS（每秒进行读写操作的次数）和智能管理，亿级 IOPS 需求使得存储介质的变革势在必行。
在技术侧，全闪存储普遍被认为是存储行业的发展方向，其具备远高于传统磁盘存储的数据吞吐能力及更低的时延。数据显示，固态硬盘对比机械硬盘，拥有更快的读取速度、更低的功耗以及更低的故障几率，实现了对机械硬盘性能的全面超越，为底层存储介质的替换提供了客观条件。
在产品侧，各大存储厂商均推出了全闪存储产品。如华为的OceanStor Dorado 及浪潮的 HF 系列产品。以 OceanStor Dorado 为例，相较传统机械存储，在存储性能委员会（SPC）的 SPC-1 基准下，业务性能提升了5倍;在数据库场景下，业务性能提升了10 倍；在虚拟桌面场景下，在Word/PowerPoint/Excel应用测试中，启动响应时间缩短 80%。充分体现了全闪存储产品优异的性能。
非易失性内存（Non-Volatile Memory，NVM）是指断电后，存存的数据不会消失的存储器，是存储技术领域近十余年来最具革命性创新。依据技术原理，非易失性内存介质可分以下几类。
为开发出比传统非易失性存储介质更高速、更低功耗、更高密度、更可靠的新型非易失性存储介质，研究者们把目光聚焦到一些特殊材料上，提出了一些存储介质模型。下表对这五种存储介质的存储原理、优缺点及发展状况进行了简要介绍。
随着存储技术的发展和人们对存储性能的不懈追求，高性能存储的探索开始向内存通道迁移。非易失性双列直插式内存模块(Non-Volatile Dual In-Line Memory Module，NVDIMM）便在这中趋势下应运而生。根据电子器件工程联合委员会标准化组织的定义，有三种NVDIMM 的实现方式∶
（1）NVDIMM-N 指在一个模块上同时放入动态随机存取存储器（DRAM）和闪存。通过使用一个小的后备电源，为掉电时数据从 DRAM 拷贝到闪存中提供足够的电能，当电力恢复时，再重新加载到DRAM 中。
（2）NVDIMM-F指使用了DRAM的 DDR（双倍速率，DoubleData Rate）总线 Flash 闪存，一定程度上减少协议带来的延迟和开销，但只支持块寻址。
（3）NVDIMM-P是真正 DRAM和 Flash闪存的混合。它既支持块寻址，也支持类似传统 DRAM 的按字节寻址。容量可以达到类似 NAND 闪存的 TB 级，又能把延迟保持在102方纳秒级。Intel 发布的基于 3D XPoint 技术的英特尔傲腾持久化内存，可认为是 NVDIMM-P 的一种实现。
非易失性内存的出现填补了从硬盘到DRAM之间，存储在性能、延迟、容量成本的鸿沟，为多样化的解决方案奠定了坚实的基础。非易失性内存技术能够存储不适用于DRAM 的庞大数据集，进行快速计算，同时与其他存储介质共同组成多级存储池，让数据更加靠近处理器，提升存储系统的整体性能表现。
大数据、云计算和虚拟化等技术的出现，使得传统的IT 架构难以满足企业日益增长的数据存储需求。为应对这一挑战，软件定义存储（SDS，Software Defined Storage）和超融合基础架构（HCI，Hyper-Converged Infrastructure）应运而生，打破了传统 IT 系统复杂和繁冗的现状，优化了网络的可扩展性和管理方式。
企业对数据服务的需求变得更加复杂、精细和个性化，对数据存储的高可靠性、高性能、高扩展以及面向云架构的延伸能力等层面提出了更高的要求。虚拟化和云技术的发展和成熟转变了数据中心的设计、建造、管理和运维方式，这种变革使软件定义存储越来越有吸引力。
软硬解耦、易于扩展、自动化、基于策略或者应用的驱动是软件定义存储的特征。就业务应用来说，即不限制上层应用，不绑定下层硬件;除了提供块存储，也可以在同一平台提供文件、对象、HDFS 等存储服务，实现非结构化数据的协议互通;同时应具备完善的监控能力，实现应用感知。
软件定义存储产品在提供高可靠和高可用服务能力的同时，集成了数据智能处理和分析能力， 简化了海量数据处理所需的基础设施，帮助客户实现数据互通、资源共享、弹性扩展、多云协作，有效降低用户的使用成本。Gartner 报告指出，通过使用 XSKY的 XEDP数据存储平台，企业用户实现整体使用成本降低 54%。
构超融合基础架构是一种软件定义的 IT 基础架构，它可虚拟化常见"硬件定义"系统的所有元素。超融合基础架构包含的最小集合是∶ 虚拟化计算、虚拟存储和虚拟网络; 超融合系统通常运行在标准商用服务器上。
超融合基础架构除对计算、存储、网络等基础元素进行虚拟化外，通常还会包含诸多 IT 架构管理功能，多个单元设备可以通过网络聚合起来，实现模块的无缝横向扩展，形成统一资源池。
超融合基础架构通过为企业客户提供一种基于通用硬件平台的计算存储融合解决方案，为用户实现可扩展的 IT 基础架构，提供高效、灵活、可靠的存储服务。
超融合由于其融合部署架构，可有效协调虚拟化和存储高可用联动的问题，从而以非常简洁的架构提供不同级别的高可用方案。
存储系统整体性能的大幅提升。分布式架构提升了系统整体的聚合性能，可以在不改变硬件配置下进一步降低访问延迟。
在存储系统中，HDD 磁盘和早期 SSD 磁盘的传输协议一般采用AHCI（高级主机控制器接口，Advanced Host Controller Interface）。AHCI为单队列模式，主机和 HDD/SSD 之间通过单队列进行数据交互。对于HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI协议。不同于 HDD的顺序读写特点，SSD可以同时从多个不同位置读取数据， 具有高并发性。AHCI 的单队列模式成为限制 SSD并发性的瓶颈。随着存储介质的演进，SSD盘的 IO 带宽越来越大，访问延时越来越低。AHCI 协议已经不能满足高性能和低延时 SSD的需求，因此，存储系统迫切需要更快、更高效的协议和接口，NVMe（NVM Express）协议应运而生。
NVMe协议旨在提高吞吐量和IOPS，同时降低延迟。基于NVMe的驱动器可实现高达 16Gbps 的吞吐量，且当前供应商正在推动 32Gbps 或更高的吞吐量产品的应用。在 IO 方面，许多基于NVMe 的驱动器，其 IOPS可以超过 50 万，部分可提供 150 万、200万甚至1000 万 IOPS。与此同时，延迟持续下降，许多驱动器的延迟低于20 微秒，部分低于10微秒。
凭借卓越的性能，NVMe SSD在 2018-2023 年间以 38%的复合年增长率持续增长，2020 年占据企业级 SSD出货量的 55%以上，云客户、OEM 厂商和企业均将NVMe SSD 作为存储设备的首选。
在网络协议层，30年来，存储网络都是以 SCSI（小型计算机系统接口，Small Computer System Interface）协议为基础框架，前端传输网络层一直以 FC（光纤通道，Fiber Channel）网络为主，后端则以 SAS（串行 SCSI技术，Serial Attached SCSI）网络为主，这构成了服务器间以IP 为主要互联手段的 IP 存储网络。
2010年后，随着闪存介质的普及，SCSI协议框架对性能的限制也越来越突显出来。NVMe 和 NVMe Over Fabric（NVMe-oF）技术的出现打破了这些限制，面向高性能介质设计的多队列模型更能发挥闪存介质的性能。NVMe-oF 推动IP 化、低时延化，基于 IP 网络的 NVMe-oF 技术不但使得前端存储网络可以基于 IP直接与本地局域网连接，甚至可以直连广域网;同时，利用 NVMe-oF 技术小于10us 的超低附加时延，使得替换后端 SAS 网络也成为了可能，整个数据中心可以基于统一的以太网来构建; 一方面降低整个数据中心的建设成本，一方面降低独立存储网络的运维成本，同时有利于云及大数据应用环境下的数据共享。
华为 NoF+存储网络是 NVMe-oF 技术一个典型应用，在OLTP/OLAP（联机事务/分析处理过程）场景，IOPS 最高提升 85%，拥塞时延最大降低 46%，端到端故障切换时间<1s，充分体现新协议对网络性能的巨大提升。
云存储是基于云计算相关技术延伸和发展而来的全新应用模式。云存储的内核是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。本质上，云存储是一种服务，是由多个存储设备和服务器所构成的集合体。
通过解耦，计算与存储可以在云数据中心独立扩展，提供调度和资源共享的灵活性，提高资源使用效率，降低成本。其次，计算和存储可以更加灵活的针对不同负载进行优化。网络技术的高速发展，个位数微秒的延时、百 G 级别的带宽，使得计算和存储分离、分布式存储等架构在稳定性和性能等领域变得更加高效。对于行业用户而言，云存储的价值主要体现在以下三个方面∶
提供诸如块存储和文件存储等标准化的存储方式。云存储提供标准化接口，使客户能够直接迁移数据，避免应用的大量修改。 存储系统的服务化。在云计算时代，云存储将存储系统演化成一种云服务，用户只需要关心自己的业务逻辑即可。 存储系统的开放化。云存储服务提供众多管理与控制的API，通过开放接口，使得用户可以通过编程调用 API 管理与监控存储资源，实现跨平台的管理。
云存储在发展的过程中也面临着诸多挑战，为满足云时代发展的需求，新一代存储需要不断演进。
未来云存储技术主要呈现出集成设计能力不断加强，云上大规模运维能力的不断提升、云存储产品形态不断丰富三点趋势。
随着数字化转型的加速，企业用户需要更加敏捷地响应快速变化的市场需求。不仅是业务模式，IT基础架构的革新在其数字化转型中也是非常关键的一部分。现代化的应用、多数据中心、多云及边缘等趋势在加速业务的同时，也对运营管理带来了巨大的压力，靠人力投入完全管控存储系统变得不可维系。运维团队急需新技术协助，智能运维平台应运而生。
智能运维指利用大数据和机器学习等方法提高运维的自动化、效率及故障自愈的技术，同时利用机器智能从运维数据中持续挖掘深层信息，是一种结合工程能力与算法能力的综合性科学。智能运维常用于集群自动扩缩容、服务变更、库存管理等日常管理事务以及异常定位、根因分析、系统自愈等异常处理事务。
智能运维架构主要由两部分组成，集成了众多传感器的服务器、存储设备和基于云端的智能运维平台。通过数据收集、转换及训练对基础架构中可能出现的问题做出预测并提供建议。智能运维技术的主要特点有∶
主动式问题处理∶ 智能运维平台能够对简单问题自动进行处理；对于复杂的问题，能够自动开具工单，通过支持中心分派工程师主动联系用户，帮助用户发现和解决问题。
智能需求预测∶ 通过人工智能、机器学习等技术，实现对存储未来容量、性能的提前预测，便于客户提前规划。
智能风险预防∶ 除了预测分析外，领先的智能运维平台还能做到对风险的预防，主动优化 IT基础架构，通过黑、白名单等功能特性预防已经发现的问题，并给予可行的建议。
云上管理∶ 基于云创建的智能运维平台，可以让 IT 运营团队随时随地以任意终端访问智能运维平台，查看运行状态；云端自动升级，在新特性上线时，不会影响用户的日常使用。
随着下一代数据存储技术的发展和成熟，性能不再是困扰用户的首要难题，各存储供应商也逐渐将注意力放到智能运维上，希望能够提供更丰富的功能、更好的使用体验。未来智能运维平台的发展呈现出以下两点趋势。
一站式分析。存储的智能运维平台将逐步成为整个 IT 基础架构运维平台的核心。通过将服务器、网络、虚拟化应用逐步接入智能运维平台，能够提供更丰富的 IT 运行状态数据，帮助智能运维平台判断故障和瓶颈。
离线智能。由于监管因素的限制，部分企事业单位无法使用基于云的智能运维平台。存储厂商开始考虑提供离线智能运维平台，通过集成智能运维平台知识库，提供基于本地的性能瓶颈分析、容量和性能的预测、硬盘故障预警等功能。
现今，智能运维已成为热 门存储技术，并在实践中逐步应用，提供更好的用户体验。如新华三的InfoSight 智能运维系统，企业用户通过使用智能运维系统，86%的问题得到自动解决;平均给出解决方案的时间小于 1 分钟；93%的问题能够自动提交 工单; 用户满意度高达到 98.2%。
来源：全栈云技术架构
推荐阅读：
转载申明：转载本号文章请注明作者和来源，本号发布文章若存在版权等问题，请留言联系处理，谢谢。
推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包”相关电子书(37本技术资料打包汇总详情可通过“阅读原文”获取)。
全店内容持续更新，现下单“全店铺技术资料打包(全)”，后续可享全店内容更新“免费”赠阅，价格仅收198元(原总价350元)。
温馨提示：
扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
