2021年下一代数据存储技术研究报告.pdf

下 一 代 数 据 存 储 技 术 研 究 报 告 （2021 年） 中国信息通信研究院云计算与大数据研究所 2021 年 7 月版 权 声 明 本报告版权属于 中 国 信 息 通 信 研究 院 ，并 受 法 律保 护 。 转 载 、 摘 编 或 利 用 其 它 方 式 使 用 本 报 告 文 字 或 者 观 点 的 ， 应 注明 “ 来 源 ： 中 国 信 息 通 信 研 究 院 ” 。 违 反 上 述 声 明 者 ， 本 院 将 追 究 其 相关 法 律 责 任 。编制说明 本报告的撰写得到 了行业内许多专家 的支持和帮助，他 们分别 来自： 华 为技 术 有限 公 司 、 阿里 云 计算 有 限 公 司、 北 京百 度 网 讯 科 技 有 限 公 司、 星 辰天 合 （ 北 京） 数 据科 技 有 限 公司 、 新华 三 技 术 有 限 公 司 、 北京 志 凌海 纳 科 技 有限 公 司、 北 京 金 山云 网 络技 术 有 限 公 司、 深圳市杉 岩数据 技术有限 公司、 西安 奥卡云数 据技术 有 限公司、 浪 潮 电 子 信息 产 业股 份 有 限 公司 、 英特 尔 （ 中 国） 有 限公 司 。 对这 些专家的 大力支 持 表示由衷 的感谢 ！前 言 伴随着信息技术 的迅 猛 发 展 ， 以 寄 存器 、 缓 存 、 主 存 、外 存 等 构 成 的 多级 数 据 存储 系统 已成 为 现 代信 息 系统 不 可 或 缺的 底 层 基座。 近 年 来 ， 随着 移 动互 联 网 和 物联 网 的飞 速 发 展 ，数据存储 系 统 面 临 的业务环 境呈现 出 两大特点 ： 一是 数 据量爆发 式增长 ， 规模到达EB 级 、 访 问 频率 到 达 亿级每秒；二 是 现代 业 务 负 载 动态变化 ， 需 要 极 强 的弹性 伸缩和 智 能资源管 理能力。 传 统数据存 储系统 受 限于介质 、 架 构 、 协 议等 因 素， 其 能 力 逐渐 出 现瓶 颈 ， 无 法满 足 业务 需 求 ， 这 催生了下 一代数 据 存储技术 。 下一代数据存储技 术指在存储介质、 存储架构、存储协 议、应 用 模 式 及 运维 模 式 等 方 面 迭 代创 新 的一 系 列 技 术的 集 合， 总 体 呈 现 高 性 能 、 易于 扩 展、 服 务 化 和智 能 化等 特 点 。 数据 存 储技 术 革新从 根本上改 变 着数 据 存储产品 的形态。 如 何围绕下 一代数 据 存储技术 ， 构 建 一 套 稳定 、 高效 、 满 足 未来 业 务发 展 需 求 的数据存储 系 统 ， 是 企业和组 织 夯实 数 据底座 、 挖掘数 据 价值 、 释 放数据 潜 能的关键 。 本报告聚 焦 于 企 业级 存 储 系 统 ， 从 数据 存 储 技 术 面 临 的挑 战 切 入 ， 详 细 梳理 了 下一 代 数据存储 技 术， 跟 踪 重 点行 业 的应 用 动 态 ， 并 展望了 存储 产 业发 展 趋 势 。 力图展现 下 一 代 数据 存 储技 术 路径 及 其发展前 景。 由 于时 间仓促， 水平所 限， 错误和不 足之处 在 所难免， 欢迎各位 读者批 评 指正，意 见建议 请 发送至 目 录 一、存储产业与技术概述 . 1 (一) 存储技术发展史 . 1 (二) 存储技术分类 . 3 (三) 存储产业市场简析 . 7 (四) 存储产业痛点分析 . 11 二、下一代数据存储技术详解 . 13 (一) 存储介质演进 . 13 (二) 存储架构演进 . 17 (三) 存储协议演进 . 21 (四) 应用模式演进 . 24 (五) 运维模式演进 . 25 三、下一代数据存储技术赋能数字化转型 . 27 (一) 异构数据统一管理能力推动数据湖产品演进 . 28 (二) 多级存储介质助力实时分析能力构建 . 29 (三) 云存储备份简化数据安全实践路径 . 30 四、下一代数据存储技术实施建议 . 31 (一) 指导原则 . 31 (二) 实施策略 . 34 五、总结与展望 . 36 参考文献 . 39图 目 录 图 1 存储介质发展简史 . 1 图 2 存储技术架构 . 4 图 3 存储市场全景图 . 8 图 4 中国企业级存储市场空间 . 8 图 5 中国存储市场总览 . 9 图 6 中国存储市场介质使用情况 . 10 图 7 闪存及机械介质成本预测图 . 10 图 8 非易失性存储介质 . 15 图 9 软件定义存储逻辑架构示意图 . 18 图 10 超融合基础架构图 . 20 图 11 超融合基础架构特征 . 20 图 12 基于 FC 和 SAS 协议的经典存储网络 . 22 图 13 基于 NVMe 协议 的 IP 存储网络 . 24 表 目 录 表 1 下一代数据存储 技术 革新方向 . 13 表 2 机械硬盘与固态 硬盘性能对比 . 14 表 3 新型非易失性存 储简介 . 15 表 4 不同类型软件定 义存储简介 . 18下一代数据存储技术研究报告（2021 年） 1 一、存储 产业与 技术 （一）存 储 技 术发 展 史 数据的 存储从 古 至今 都 是 人 类 活 动 的重 要 环 节 。 早在语言 文 字 还没有形成 时 ， 人类 就 已 经 开始 探 索使 用 树 枝 和石 头 来记 录 信 息 。 从 结 绳 记 事到 刻 画在 岩 石 上 的象 形 文字 ， 再 到 甲骨 文 的出 现 ， 从竹 简 、 纸 张 的发 明 ，到 活 字 印 刷、 打 孔卡 等 科 技 进步 ， 人类 探 索 世 界 得到的信息 和 数 据不 断 积 累 ，代 代 传承 ， 提 升 了人 类 认识 、 改造世 界的 能力。 对 信息沟 通量 与质的 不懈 追 求 ， 促使人类 探寻 更 大容量、 更高性能 的存储 模 式， 推动开 发和应 用 更多更先 进的数 据 存储 技术 ， 使数据更 好地储 存 和交互， 提高数 据 使用的便 捷性与 持 久性。 20 世纪20 年代以来 ， 伴随着 电 子 技 术的 发 展 ， 存 储 技 术进 入 了 崭新 的时 代。 来源： 中国 信息 通信 研究 院 图 1 存储介质发展简史 1928 年 ， 可存储 模拟 信 号 的 录 音 磁 带问 世 ， 每 段 磁 带 随着 音 频 信 号 电 流 的强 弱 不同 而 被 不 同程 度 的磁 化 ， 从 而使 得 声音 被 记录到下一代数据存储技术研究报告（2021 年） 2 磁带上。1951 年， 磁带开始应 用于 计算 机 中 ， 最 早的 磁带 机 可 以 每 秒钟传输7200 个 字符 。20 世纪70年 代后 期 出 现 的 小型 磁带 盒 ， 可 记 录约660KB 的数 据 。 1956 年 ， 世 界 上 第 一 个 硬 盘 驱 动 器 出 现 ， 应 用 在 IBM 的 RAMAC305 计 算机 中 ， 该驱 动器能 存储5M 的 数据， 传输速 度 为10K/S ， 标 志 着 磁 盘 存 储 时 代 的开始 。1962 年，IBM 发 布 了 第 一 个 可 移 动 硬 盘驱动器 ， 它有 六个14 英寸的 盘片， 可存 储2.6MB 数 据。 1973 年， IBM 发明了温 氏硬盘， 其 特点是工 作时磁 头 悬浮在高 速转动 的 盘片上方 ， 而不与盘 片直接 接 触，这便 是现代 硬 盘的原型 。 1967 年，IBM 公 司 推 出 世 界 上 第 一 张 软 盘 。 随 后 三 十 年 ， 软 盘 盛极一时 ， 成 为个 人计算机 中最早 使 用的可移 介质 。 这 个最初有8 英 寸的大家伙，可 以 保存80K 的只读数据 。四年后，可读 写 软盘诞生 。 至上世纪 九十年代 ，软盘尺 寸逐渐精 简至3.5 英寸 ，存储 容量也逐步 增长到250M 。 截止1996 年 ， 全 球 有 多 达50 亿 只 软 盘 被 使 用 。 直 到 CD-ROM （只 读光 盘，Compact Disc Read-Only Memory ） 、USB 存储 设备出现 后，软 盘 销量 才开 始 下滑 。 进入21 世 纪 ， 信 息爆 炸 导 致 数 据 量 成倍 增 长 ， 硬 盘 容 量也 在 飙 升， 单盘 容量 已 可 达到TB 级别。 即便 如此， 单 块磁盘 所 能提供的 存 储容量和 速度已 经 远远无法 满足 实 际 业务 需求， 磁盘阵 列 应运而生 。 磁盘阵列 使用 独 立 磁盘冗余 阵列技术 （RAID ） 把相 同的 数据存储 在 多 个 硬 盘 ，输 入 输出 操 作 能 以平 衡 的方 式 交 叠 进行 ， 改善 了 磁盘 性下一代数据存储技术研究报告（2021 年） 3 能 ， 增 加了平 均故 障间隔时 间 和容错能力 。RAID 作为高 性能、 高可 靠的存储 技术， 已 经得到非 常广泛 的 应用。 21 世纪 以 来 ， 计 算机 存 储 技 术 飞 速 发展 ， 如 何 快速高 效的 为 计 算机提供 数据以 辅 助其完成 运算成 为 存储技术 新的突 破 口。 在RAID 技 术 实 现 高速 大 容量 存储 的 基础 上 ，网 络 存 储 技术 的 出现 弱 化 了 空 间 限 制 ， 使得 数 据的 使 用 更 加自 由 。网 络 存 储 将存 储 系统 扩 展 到 网 络 上 ， 存 储设 备 作为 整 个 网 络的 一 个节 点 存 在 ，为 其 他节 点 提 供 数 据 访 问 服 务。 即 使计 算 主 机 本身 没 有硬 盘 ， 仍 可通 过 网络 来 存 取 其 他 存 储 设 备上 的 数据 。 基 于 网络 存 储技 术 ， 分 布式 云 存储 、 容 灾 备 份、虚拟 化和云 计 算等技术 得以广 泛 应用。 数据存储， 是 现 代信 息 产 业 架 构 中 不可 或 缺 的 底 层 基 座。 经 过 百 余 年 的 发展 ， 存储 技 术 已 经呈 现 出非 常 多 的 形态 ， 且仍在不断完 善和创新 ，以适 应 日益增长 和不断 变 化的数据 存储需 求 。 （ 二 ） 存储技术 架构 现有存储系统 从 底层 到上层 由 存 储 介质 、 组 网 方 式 、 存储 协 议 和 类型、 存储架 构 、连接方 式 五个 部 分组成 ， 整体架构如下 图。下一代数据存储技术研究报告（2021 年） 4 来源： 中国 信息 通信 研究 院 图 2 存储技术 架构 1. 存储介质 企 业 级 存 储 中 的 存 储 介 质 包 括 机 械 磁 盘 （HDD ） 、 固 态 硬 盘 （SSD ） 、 磁 带 （TAPE ） 、 光盘 （Optical Disk ） 等， 其中 最 常见的是 以HDD 和SSD 为介质的存储系统。 依据 存储介质不同 ，存储系统 可 分为磁盘 存储、 全 闪存储、 混闪存 储 、 磁带库 、光盘 库 等。 磁盘存储 ： 指 全部 以磁盘为 永久存 储 介质的存 储 ； 磁盘 性能 一般，但 价格便 宜 。 全闪存储 ： 指 全部 以固态硬 盘为永 久 存储介质 的存储 ； 全闪 存储性能 优异， 但 价格 也较 高。 混闪存储：指永久 存储介质同时含有 磁盘和闪存盘的 存储 ； 与全闪存 储相比， 混 闪存储在 性能和 价 格上进行 了一定 折 中。下一代数据存储技术研究报告（2021 年） 5 磁带库和 光盘库 ： 指以磁带 或光盘 为 存储介质 ， 由 驱动 器及 其控制器 组成的 存 储设备 ； 单位 存储 空间价格 较低 ， 支 持 冷 数据的长 期保存 ， 但读写性 能 不高 。 2. 组网类型 按组网方 式， 存 储系 统可分为IP （互联 网 协议， Internet Protocol ） 组网存储、FC （ 光 纤通道，Fiber Channel ）组网存储、IB （ 无线带 宽 ，InfiniBand ） 组 网存储等 。 IP 组网 存储： 指 采 用以太网 技术进 行 组网的存 储设备 ， 常见 速率包括 1Gb 、10Gb 、25Gb 、100bG 等；IP 组网的 兼容性 较 好， 建设 成本较 低 。 FC 组网存储 ： 指采 用 FC 光纤技术进 行 组网 的存储 设备 ， 常 见速率包 括 8Gb 、16Gb 、32Gb 等 ；FC 组网的效 率较高 ， 但 采购成本 和 维护 难 度也 相对 较高 。 IB 组网存 储：指 采用 InfiniBand 技术 进行组网 的存储 设 备， 常见速率 包括 40Gb 、56Gb 、100Gb 、200Gb 等；IB 组 网的 延 迟 较 低、 速率 较高， 但 采购 成本 相对较 高 ，组 网的 扩展性 也 较弱。 3. 存储类型 按 存 储 类 型 ， 存 储系 统 可 分 为 文 件 存储 、 块 存 储 、 对 象存 储 、 其它存储 等。下一代数据存储技术研究报告（2021 年） 6 文 件 存储 ： 指 自身构 建 文件 系统 后，通 过 互通 的网 络提供 给 服 务 器或 应用 软件使 用 ，支 持 数 据文件 读 写 和 文件 共享服务 的存储设 备。文 件 存储的常 用协议 包 括NFS 、CIFS 、FTP等。 块 存 储： 指将 物理存 储 介质 上的 物理 空 间 按照 固定 大小的 块 组 成 逻辑 盘， 并直接 映 射空 间给 服务器 使 用的 存储 设备 。 块 存储的常 用协议 包 括SCSI 、iSCSI 、NVMe 等。 对象存储： 指采用 扁 平化结构， 将文件 和 元数据包 装成对 象 ， 并 抽象成网络URL （ 统 一 资 源 定 位 器 ，Uniform Resource Locator ） ，通过HTTP （ 超 文 本 传 输 协 议 ，Hypertext Transfer Protocol ） 协 议直接 访问的 存 储设备 。 对象存储 的常用 协 议包 括S3 、SWIFT 等。 其它 存储协 议：包括 在大数据 存储中广 泛使用的HDFS 协议 ， 以及表存 储协议 等 。 4. 存储架构 按存储系 统架构 ， 存储系统 可分为 集 中式存储 和分布 式 存储。 集中式存储：指基 于双控制器或多控 制器架构的企业级 存储 系统， 具有 较强的 纵向扩展 （Scale-up） 能力和一 定的横 向扩 展（ Scale-out ） 能力 。 集中 式存储的 特 点有高可 靠、 高 可 用、 高性能等 。 分布式存储：指将 商用服务器上的存 储介质虚拟化成统 一的 存储资源 池来提 供 存储服务 。 分布 式存 储的特点 有高扩 展 性、 低成本、 易运维 、 和云紧密 结合等 。下一代数据存储技术研究报告（2021 年） 7 5. 连接方式 按连接方 式， 存 储系 统可分为SAN 存 储、 NAS 存储、 DAS 存储 。 SAN ：Storage Area Network （ 存 储 区 域 网 络）， 指 通 过 光 纤 通 道 交换 机、 以太网 交 换机 等连 接设备 将 磁盘 阵列 与相关 服 务器连接 起来的 高 速专用存 储网络 。 NAS ：Network Attached Storage （ 网络 附加存储 ） ， 是一种 专 业 的 网络 文件 存储及 文 件备 份设 备，对 不 同主 机和 应用服 务 器提供文 件访问 服 务。 DAS ：Direct Attached Storage （ 直接附 加 存储 ） ，将 存储设 备 通过 SCSI （ 小 型 计 算 机 系 统 接 口 ，Small Computer System Interface ） 接口或 光 纤通道直 接连接 到 一台主机 上， 主机 管理 它本身的 文件系 统 ，不能实 现与其 他 主机的资 源共享 。 各类型数据存 储 技术 仍 在 不 断 的 完 善和 创 新 ， 以 适 应 日益 增 长 和 不 断 变 化的 数 据存 储 需 求 ，形 成 了多 层 级 、 广泛 覆 盖的 产 品 体 系 结构，为 用户提 供 了各应用 场景下 的 存储解决 方案。 （ 三 ） 存 储 产 业市 场 纵览 根据统计 机构 国 际 数据公司 （IDC ） 的 定义， 一般意义 上 的企业 存储市场 特指的 是 企业级存 储 系统 （ESS ， Enterprise Storage System ） 市场 ，它 在存储 整体 市场中 的位置 如 下：下一代数据存储技术研究报告（2021 年） 8 来源 ：IDC 图 3 存储市场全景图 据IDC 的 预 测 ，2021 年 中 国 企 业 级 存 储 市 场 空 间55 亿 美 元 ， 2020-2024 年 中 国企业 级 存储 市场 将保持7.16% 的 年复 合增长 率 ，到 2024 年中 国企业 级 存储市场 空间将 达 到65.9 亿 美元。 数据来源 1 ：IDC ，2020 图 4 中国企业级存储市场空间 1 数据来源： 2020Q3 IDC Enterprise Storage System Market Overview 。下一代数据存储技术研究报告（2021 年） 9 存 储 市 场 按 照 存 储 架 构 可 以 分 为 传统企业级存 储 （TESS ） 、 软 件定义存 储 （SDS ） 、 超融合 基 础架构 （HCI）。 据IDC 统 计，2020 年 Q1-Q3 中 国存储 市 场中传统 企业级 存 储占比59.2% ， 仍是 最主流的 存 储架构， SDS 软件 定 义分布式 存储占 比22.2% ， HCI 超 融合占 比18.6% 。 SDS 和HCI 的 增 速 远 远 超 过TESS ， 其 中SDS 未 来 四 年 复 合 增 长 率 12.8% ，HCI 未 来 四 年 复 合 增 长 率13.0% 。 分 布 式 存 储 在 政 府 、 运 营 商、 金 融、 企业 、 教 育、 医 疗、 能源等 众 多行业 被 广泛接受和采用。 以 中国移动为 代 表的 运 营 商 更是 在2021 年 的 集 采中 大 量 采购 分 布 式 存储，构 建存储 资 源池，全 面替代 以前 的中低 端存储 。 数据来源 2 ：IDC ，2020 图 5 中国存储市场 总览 存 储 市 场 按 照 存 储 介 质 可 以 分 为 全 闪 存 储 （AFA ） 、 混 闪 存 储 （HFA ） 、 全 机 械 盘 存 储 （HDD ） 。2020 年Q1-Q3 中 国 存 储 市 场 中 全 闪 存储占比18.2% ，混 闪 存 储 占 比28.6%，两者之和接近50% ，且全 闪存 存储 的增速 较 快， 较2019 年Q1-Q3 同比 增长20% 。 2 数据来源：2020Q3 IDC PRC Software-defined Storage and Hyperconverged System Market Overview 。下一代数据存储技术研究报告（2021 年） 10 数据来源 3 ：IDC ，2020 图 6 中国存储市场介质使用情况 在全球存储市场中 ，由于闪存成本 不断 下 降 ， 全闪存储 份额 快 速增加 ， 市场 占比 超过20% 。 根据 第 三方机构Wikibon 的 预测，2026 年SSD 单TB 成本将低于HDD ， 达到15 美元/TB 。2025 年 后，HDD 的 出货量将 每年下 降27% ，只应 用 于扩 容 和归档等 少数场 景 。 数据来 源：Wikibon ，2021 图 7 闪存及机械介质成本预测图 3 数据来源：2020Q3 IDC Enterprise Storage System Market Overview 。下一代数据存储技术研究报告（2021 年） 11 随着国 内 存 储 厂 商的 技 术 进 步 及 国家 自主创新的政策激 励， 国 产 存 储 厂 商份 额 不断 提 升 ， 国产 化 存储 产 品 也 逐渐 被 用户 接 受 。 在 传统存储 阵列 领 域， 当前 市 场份 额 较大 的 厂 商 包括 华 为、 新华三 、 浪潮、曙光等；在分布式存储领域，华为、曙光、新华三、XSKY 等 厂 商 占 有较 大 市场 份 额 。 而在 云 存储 领 域 ， 阿里 云 国内 领 先 的 云 存储厂商 。 （ 四 ） 存 储 产 业痛 点 分 析 “数据” 是数据 中 心乃至企 业最重 要 的资产。 在数字 社 会， 数据 具 有 基 础 战略 资 源和 关 键 生 产要 素 的双 重 角 色 。 作 为 信息 化 系 统 中 的 核 心 部 分和 底 层基 座 ， 存 储系 统 的构 建 和 使 用直 接 关系 到 数 据 这 一 企 业 核 心资 产 的存 储 、 使 用和 挖 掘。 当 前 ， 存储 系 统面 临 的 业 务 环境呈现 出以下 两 个特点。 一是数据量 爆 发 式增 长 。 随 着 移 动 互联 网 不 断 发 展 ， 企业 的 数 据规模呈 现爆发 式 增长。 IDC ：2025 年中国将 拥有全 球 最大的数 据 圈 研究 表明，2018 年中国 新增数 据 量为 7.6ZB ，成为 世界第一 数 据生产国 ； 2025 年 中国新增 数据量 将 达到 48.6ZB ， 年平 均增长率 为 30% 。 二是业务 负载呈 现 动态变化。 现代业 务 平台的负 载是非 线 性的、 动 态 变 化 的， 尤 其是 互 联 网 类的 业 务， 随 时 可 能出 现 业务 负 载 的 突 发性变化 。 以 2020 年双十一 为例， 0 点至 0 点 30 分 ，天 猫实时成 交额突破 3723 亿 。 订单创建 峰值 为 58.3 万笔/ 秒，是 2009 年第一次 双 十一的 1457 倍 。下一代数据存储技术研究报告（2021 年） 12 当前存储 技术存 在 以下四个 问题， 导 致 难以满足 上述业 务 需求： 一是主要 采用集 中 式架构， 横向可 扩 展性差。 传统存 储 由于紧 耦合架构 和 单一 的 协议，导 致性能 和 空间无法 独立扩 容 ，支撑业 务 快速部署 上线 。 相 较 于计算虚 拟化环 境 下秒级的 虚拟机 部 署和回收 ， 存储的扩 容和资 源 分配往往 需要 几 个 小时 甚至 几天以 上 的时间， 难 以满足客 户 快速 扩 展的需求 。如何 提 高存储系 统的横 向 扩展能力 ， 实现对资 源的即 时 使用和释 放，是 未 来存储技 术亟待 解 决的问题 。 二是无法 统一调 度 ，存储容 量浪费 。 受限于架 构设计 ， 不同存 储之间的 资源无 法 进行统一 调度和 管 理 ，时常 出现个 别 节点资源 存 在剩余， 但其他 节 点却出现 空间不 足 的情况。 存储整 体 利用率 低 ， 造成存储 、计算 资 源浪费。 大数据 时 代 ，这一 问题被 进 一步放大 ， 如何减少 资源浪 费、 降低使用 成本将 是 未来各行 业用户 关 注的重点 。 三是产品 兼容交 互 能力差， 业务复 杂 性变高。 据IDC FutuerScapes 2019 分析指 出，未 来 企业 49% 的应 用将 与其他应 用 有紧密关 联， 每个企 业级应用 都将与 其他 4-8 个应 用有频 繁 的交互。 不同供应 商或型 号 存储产品 往往难 以 互通 ， 当需要 替换 存 储设备时， 数据迁移 问题无 论 对运维还 是业务 平 台本身都 是一项 极 大的挑战 。 四是多种 存储产 品 混合使用 ，运维 难 度大。 目 前我国 各 行业用 户采购的 存储产 品 往往由多 家厂商 供 应，由于 接口、 协 议、工具 的 差异，造 成了诸 如 业务复杂 性变高 、 运维成本 上升等 问 题。如何 打 破 “数 据孤岛 ” ， 避 免重复式 存储规 划 和数据丢 失带来 的 损失成为 企 业 数字化 转型过 程 中面临的 一大挑 战 。下一代数据存储技术研究报告（2021 年） 13 为了解决 上述问 题 ，满足各 行业在 使 用存储系 统过程 中 出现的 新场景、 新需求 ， 下一代数 据存储 技 术 应运而 生。 二、下一 代数据 存储技术 进入移动 互联网 时 代 ，存储 应用场 景 急剧 变化 ， 下一 代 数据存 储技术 应 运而生 。 下一代数 据存储 技 术 主要指 在 存储 介 质、存储 架 构、存储 协议、 应 用模式及 运维模 式 等方面迭 代创新 的 一系列技 术 的集合 ， 总体呈 现 出高性能 、易于 扩 展、服务 化和智 能 化 等特 点 。 表 1 下一代数据存储技术 革新方向 技术分类 传统存储 下一代存储 存储介质 机械硬 盘存 储、 易失 型内 存 全闪 存储 、 非易失 性内 存 存储架构 集 中式 存储 软件 定义 存储 、超融 合基础 架构 存储协议 AHCI 、SCSI 协议 NVMe 协议 应用模式 本地部 署 云服 务化 运维模式 人工 运维 智能 化运维 来源： 中国 信息 通信 研究 院 本章将从这五个方 面 对 下 一 代 数 据 存储 技 术 的演进进行 梳理 与 分析。 （ 一 ） 存 储 介 质演 进 1. 全闪存储 全闪存储指全部 由固 态 存 储 介 质 构 成的 独 立 存 储 阵 列 或设 备 。 全闪存储的 高 速 发展 ， 既 是 新应 用 对性 能 需 求 驱动 的 结果 ， 也 是 闪 存技术不 断创新 的 成果。 在需求侧，当前数 据爆炸式增长，云 计算、物联网、 大数 据下一代数据存储技术研究报告（2021 年） 14 人 工 智 能 、区 块 链等 新 技 术 快速 发 展， 驱 动 人 脸识 别 、自 动 驾 驶 等 新 智 能 应 用不 断 涌现 ， 业 界 已进 入 智能 驱 动 的 新数 据 时代 。 这 一 时 代，数据 存储具 有 三大 需求 ，分别是 EB 级容量、亿级 IOPS （ 每秒 进行读写 操作的 次 数 ， Input/Output Operations Per Second ） 和 智能 管 理，亿级 IOPS 需求 使得存储 介质的 变 革势在必 行。 在技术侧，全闪 存储 普 遍 被 认 为 是 存储 行 业 的 发 展 方 向 ， 其具 备 远 高 于 传统 磁 盘存 储 的 数 据吞 吐 能力 及 更 低 的时 延 。数 据 显 示 ， 固态硬盘 对比 机械 硬盘，拥 有更 快 的读 取 速 度 、更 低 的功 耗 以 及 更 低 的 故 障 几率 ， 实现 了 对 机 械硬 盘 性能 的 全 面 超越 ， 为底 层 存 储 介 质的替换 提供了 客 观条件。 表 2 机械硬盘与固态硬盘性能对比 机 械硬 盘 固 态硬 盘 时延 2ms 0.02ms 5 年返还率 13.4% 0.8% 功耗 10w 3w 数据来 源： 华为 技术 有限 公司 在 产 品 侧 ， 各 大 存 储 厂 商 均 推 出 了 全 闪 存 储 产 品 。 如 华 为 的 OceanStor Dorado 及浪潮的 HF 系列 产品。以 OceanStor Dorado 为 例 ，相较 传统机 械 存储， 在 存储性 能 委员会（SPC ）的 SPC-1 基准 下 ， 业 务性能 提升 了 5 倍 ； 在数 据库场 景下， 业务性 能提升 了 10 倍 ； 在 虚拟桌 面 场景 下， 在 Word/PowerPoint/Excel 应用 测试 中， 启动 响 应 时间缩短 80% 。 充分 体现 了全闪 存 储产品优 异的性 能 。 2. 非易失性 内存下一代数据存储技术研究报告（2021 年） 15 非易失性 内存 （Non-V olatile Memory, NVM ） 是指 断电 后， 存储 的 数据不 会消 失 的存储器， 是存 储 技术 领 域 近 十余 年 来 最 具 革命性 的创新。 依据技 术 原理，非 易失性 内 存介质可 分以下 几 类。 来源： 西安 奥卡 云数 据 科 技有限 公司 图 8 非易失性存储介质 为开发出比传统非 易失性存储介质更 高速、更低功耗、 更高密 度 、 更 可 靠的 新 型非 易 失 性 存储 介 质， 研 究 者 们把 目 光 聚焦到一些 特 殊 材 料 上， 提 出了 一 些 存 储介 质 模型 。 下 表 对这 五 种存 储 介 质 的 存储原理 、优缺 点 及发展状 况进行 了 简要介绍 。 表 3 新型非易失性存储简介 存储介质 存储原理 优点 缺点 铁电随 机存 储器 通过铁 电材 料的 不同 极化 方向来 存 储数据 读写速度, 低功 耗和 擦 写循环 性能 好 数据保 持 能力较 差 磁性随 机存 储器 通化磁 化方 向的 改变 来存 储数据, 并通过 磁效 应来 实现 数据 读 可反复 擦写 次数 高等 优 点 难以小 型 化 阻变存 储器 利用材 料的 电阻 在电 压作 用下发 生 变化的 现象 来存 储数 据 擦写速 度快 、存 储密 度 高、具 备多 值存 储和 三 维存储 潜力 材料耐 久 性较差下一代数据存储技术研究报告（2021 年） 16 相变存 储器 以硫属 化合 物为 基础 的相 变材料 在 电流的 焦耳 热作 用下 ，通 过晶态 和 非晶态 之间 的转 变来 存储 数据 重复擦 写次 数高 、存 储 密度高 、多 值存 储潜 力 大 功耗较 高 3D-XPoint 通过特 定的 电压 差， 改 变 存储单 元 中特殊 材科 的 电 阻， 实现 写操作 来源： 中国 信息 通信 研究 院 随着存储技术的发 展和人们对存储性 能的不懈追求，高 性能存 储 的 探 索 开 始 向 内 存 通 道 迁 移 。 非 易 失 性 双 列 直 插 式 内 存 模 块 （Non-V olatile Dual In-Line Memory Module ，NVDIMM ） 便在这种 趋势下应 运而生。 根 据电子器 件工程 联 合委员会 标准化 组 织的定义 ， 有三种 NVDIMM 的实现方 式： （1 ） NVDIMM-N 指在一 个模块上 同时放 入 动态随机 存取存 储 器（DRAM ）和 闪 存。通过 使用一 个 小的后备 电源, 为掉 电时数据从 DRAM 拷贝到闪 存 中提 供 足够的电 能 ，当电 力恢复时, 再重 新 加载到 DRAM 中。 （2 ） NVDIMM-F 指使用 了 DRAM 的 DDR （双倍速率， Double Data Rate ） 总线 Flash 闪存, 一定 程度上 减少协议 带来的 延 迟和开销 ，但只 支 持块寻址 。 （3 ） NVDIMM-P 是真正 DRAM 和 Flash 闪存 的混合 。它既 支 持块寻址, 也支 持 类似传统 DRAM 的 按字节寻 址。容 量 可以达到 类似 NAND 闪存的 TB 级, 又 能把延迟 保持在 10 2 方 纳秒级 。Intel 发布 的基于 3D XPoint 技术 的 英特 尔 傲腾持久 化内存 ， 可认为是 NVDIMM-P 的一种 实现。下一代数据存储技术研究报告（2021 年） 17 非易失性 内存的 出 现填补了 从硬盘 到 DRAM 之间， 存储在 性能、 延迟、容 量成本 的 鸿沟，为 多样化 的 解决方案 奠定了 坚 实的基础 。 非易失性 内存技 术 能够存储 不适用于 DRAM 的庞大数据 集 ， 进行快 速计算， 同时与 其 他存储介 质共同 组 成多级存 储池， 让 数据更加 靠 近处理器 ，提升 存 储系统的 整体性 能 表现。 （ 二 ） 存 储 架 构演 进 大数据、 云计算 和 虚拟化等 技术的 出 现， 使得 传统的 IT 架构难 以 满 足 企 业日 益 增长 的 数 据 存储 需 求。 为 应 对 这一 挑 战， 软 件 定 义 存储（SDS ，Software Defined Storage ） 和 超 融 合 基 础 架 构 （HCI ， Hyper-Converged Infrastructure ） 应运而 生， 打破了 传统 IT 系统复杂 和繁冗的 现状， 优 化了网络 的可扩 展 性和管理 方式。 1. 软件定义 存储 企业对数据服务的 需求变得更加复杂 、精细和个性化， 对数据 存 储 的 高 可靠 性 、高 性 能 、 高扩 展 以及 面 向 云 架构 的 延伸 能 力 等 层 面 提 出 了 更高 的 要求 。 虚 拟 化和 云 技术 的 发 展 和成 熟 转变 了 数 据 中 心 的 设 计 、建 造 、管 理 和 运 维方 式 ，这 种 变 革 使软 件 定义 存 储 越 来 越有吸引 力。 软硬解耦、易 于 扩展 、 自 动 化 、 基 于策 略 或 者 应 用 的 驱动 是软 件定义存储 的 特 征。 就 业 务 应用 来 说， 即 不 限 制上 层 应用 ， 不 绑 定 下 层 硬 件 ；除 了 提供 块 存 储 ，也 可 以在 同 一 平 台提 供 文件 、 对 象 、 HDFS 等 存 储 服务， 实 现非 结构 化数据 的 协议 互通 ；同时 应 具备 完 善的监控 能力， 实 现应用感 知。下一代数据存储技术研究报告（2021 年） 18 来源： 星辰 天合 （北 京） 数据科 技有 限公 司 图 9 软件定义存储逻辑架构示意图 软件定义存储对 全行 业 业务都具备 适用 性 ， 可 根 据 当 前业 务 场 景需要进行 规划 设 计。 表 4 不同类型软件定义存储简介 类型 功能 应用场景 块存储 提供块 存储 服务 ， 常 见多 用于提 供虚 拟 化、私 有云 、数 据库 等使 用块存 储资 源 的结构 化数 据业 务， 业务 应用直 接对 磁 盘块进 行访 问操 作。 虚 拟 化 环 境 ：VMware 、KVM 、 OpenStack 、容 器 等 云 环 境 ： CloudStack 、 ZStack 、 WinCloud 等 数据库 ：Oracle 、MySQL 等 对象存 储 提供 S3 协议 接口 服务 ， 支 持通过 Restful 的访问 方式 进行 数据 的 上 传、下 载、 删 除。 常 用于 互联 网、 移动 终端应 用业 务 云存储 ，以 海量 非结 构化 类型数 据为 特 征。 流媒体 文件 、 非结 构化 数 据、内 容 管理 、数 据备 份归 档 、 网盘 、 电子 单据 文件存 储 提供文 件存 储功 能， 支持 NFS/CIFS 等 访问协 议， 常用 于传 统局 域网共 享型 的 业务应 用， 以支 持多 个用 户对同 一文 件 协同操 作为 特征 。 高性能 计算 、 非结 构化 数 据 、 内容 管理、 数据 归档 统一数 据 平台 同时提 供块 、文 件、 对象 等多种 协议 全业务 场景 的适 配 ，支 撑 企业的 各 种各样 的应 用负 载 来源： 星辰 天合 （北 京） 数据科 技有 限公 司下一代数据存储技术研究报告（2021 年） 19 开放化和 水平扩 展 是软件定 义存储 的 两大 特点。 开放化 意 味着接 口标准化 、服务 原 子化 ，保 证客户 的 应用系统 能够以 最 顺畅的方 式 对接基础 存储设 施 ，可微调 解决方 案 细节，达 成高质 量 的服务。 水 平扩展则 是云计 算 弹性环境 的必然 要 求 ，在移 动互联 网 环境下， 业 务 应用的 负载量 是 突发 式、 潮汐式 、 难以精确 预测的 ， 应用要求 存 储的容量 和性能 都 必须 能够 线性扩 展 以满足上 层应用 需 求 。 软件定义存储产品 在提供高可靠和高 可用服务能力的同 时，集 成 了 数 据 智能 处 理和 分 析 能 力， 简 化了