CONTENTS目录一、数字经济时代需要新的数据基础设施二、数据基础设施全景扫描三、以云服务为核心的数据业务创新四、总结0103222504040507081213151518202.1 数据存储需求及其面临挑战2.2 数据计算需求及其面临挑战数据创新和云计算技术发展相辅相成，私有云掌控性和公有云成本优势，是目前阶段传统行业用户重点考虑的问题，而混合云应用则成为有效沟通二者的桥梁，让数据流动，服务业务创新发展的需要。2.3 数据传输需求及其面临挑战2.4 数据智能分析需求及其面临挑战2.1.1 数据存储基础设施选型2.4.1 数据分析的主要方法2.1.2 分布式存储2.1.3 超融合2.1.4 存储器2.4.2 以数据为核心的智能 AI 应用2.5 数据安全需求及其面临挑战一、数字经济时代需要新的数据基础设施党的十八大以来，以习近平同志为核心的党中央高度重视发展数字经济，2019 年 10 月 ,国家主席习近平在 2019 中国国际数字经济博览会的贺信中明确指出数字经济对各国经济社会发展、全球治理体系、人类文明进程的深远影响，呼吁深化交流合作，探讨共享数字经济发展之道，更好造福世界各国人民，点燃助推世界经济高质量发展的“数字引擎”。基于数据的业务创新如今已成为行业企业的主要目标，从而带动了新一轮数据应用创新的高潮。有数据显示：2020 年，全球将有至少 55% 的企业或机构会成为 “数字化的坚定者”，所部署数字平台的数量将增加一倍，达到 60%。到 2022 年，由数字拉动的经济产值将占全球GDP 的 60%，而中国数字经济产值占将超过全球平均平，达到 65%。因此，2019 年被很多机构和专业媒体称为新数据时代的元年。新数据的时代已经到来！您的行业企业是否做好了足够的准备？对于数字化企业来说，需要什么样的数字基础设施与之相适应？数据创新所需要的数据从哪里获取？怎么组织管理？如何服务业务创新？这些都离不开数据基础设施的支撑。新数据时代，需要新一代数据基础设施支撑，要求支撑来自互联网海量用户的访问需求，并将其与企业现有数据基础设施进行无缝整合，在满足访问需要的同时，借助数据创新的手段，获取需求信息，分析并预测用户行为来实现业务增长目标，创新行业企业的研发、生产、物流和营销体系，这都是现有数据基础设施力所不及的地方。相 互联网企业，传统企业多采用IT服务外包的方式，这种方式已经不能够满足新数据时代技术发展的需求，以开源技术为代表，新的技术和应用日新月异，围绕数据创新应用，原有以冯诺依曼架构计算为核心的体系已经难以满足需要，以GPU、APU（Accelerated Processing Unit）、CIM（Computing In Memory）、PIM（Processing In Memory）等新的计算技术为代表，对数据计算、数据存储和数据传输都提出的新的需求。为了提升社会数字化平，百易传媒（DOIT）特组织编纂了2019 数据基础设施全景白皮书，从数据创新需求的角度出发，针对新一代数据基础设施，为了提升社会数字化平，百易传媒（DOIT）特组织编纂了2019 数据基础设施全景白皮书，从数据创新需求的角度出发，针对新一代数据基础设施，从数据计算、存储、传输、智能分析和安全的角度，对市场现状进行了全景分析，提供可供参考技术产品供应商线索，帮助企业实现数字化转型的目标。作为一家中国数字产业生态服务企业，十五年来，百易传媒始终聚焦于存储和数据基础设施产业，通过媒体平台和创新服务，增进产学研互动与交流合作。希望我们的白皮书能够为您提供帮助！02二、 数据基础设施全景扫描04传统企业存储主要集中在块存储和文件存储方面，存储架构以纵向扩展（Scale-up）为主，市场相对成熟，市场内不乏知名供应商。传统企业存储针对的存储应用场景，在保障性能需求的同时，还要求有较高的数据可靠性和可用性，要求有丰富的存储功能。传统存储处理数据规模相对较小，单位容量存储的成本相对会很高，类似数据精简配置、压缩和重复数据删除技术对于提升实际可用存储容量颇为有效，但使用这些功能又不影响存储性能非常考验技术能力。对于存储性能的更高追求，也得益于闪存技术的飞速发展，市场上出现了以全闪存为主体的存储系统，给存储市场带来了巨大变化。传统以磁盘为主的存储阵列厂商纷纷推出了面向全闪存设计的存储系统。与此同时，市场也涌现出了许多新锐创新的闪存存储厂商。闪存性能上的优势尤为引人注目，面向闪存设计的 NVMe 存储协议带来了千万级 IOPS 的全闪存阵列产品，性能令磁盘存储系统难望其项背，IOPS/$ 较之磁盘系统不可同日而语。此外，在重量、空间占用、总耗电方面，全闪存较于磁盘存储系统优势明显，可以有效节省企业的运维成本。除了闪存之外，2019 年前后新推出的许多存储方案中，都强调了智能存储的特性。通过内嵌 AI/ML 模块和算法提升存储智能化运维的能力，帮助运维人员从复杂多变的存储系统参数中解救出来，智能化预警和智能化运维。此外，磁带市场也值得关注。许多互联网公司都在使用磁带存储，许多企业的归档冷数据也在用磁带存储，出于安全和合规性的要求，许多企业会要求将数据长期保留下来，结合技术维度和经济性方面考虑，磁带存储是最稳妥的选择。技术演进方面来看，由于磁带技术非常成熟，磁带的接口演进也较慢，演进的主要方向是不断提升磁带的密度，提升磁带的性价 。在应用上，磁带归档存储面临的挑战是如何确保归档的数据在需要的时候能正常恢复，企业用户也对长期归档的数据能否恢复存疑。大多数时候，知名厂商的磁带技术相对更有保障一些。磁带存储在一些极端场景下相机械硬盘和固态硬盘也有明显优质，更为安全可靠。除了磁带，我们也需要关注光盘存储方式，光盘冷数据归档产品的主要演进趋势也是不断提升容量。归档存储的市场空间巨大，在同类需求中，人们也在不断探索新的介质来以更经济的方式存储更多数据。2.1 数据存储需求及其面临挑战2.1.1 传统存储系统市场现状 > > 05传统存储主要挑战来自纵向扩展（Scale-up），存在性能处理的天花板。针对数据创新带来的海量数据处理的需求，传统存储如何扬长避短将是一个课题。为了降低数据存储和处理的成本，混合存储、分层存储，以及重复数据删除、数据压缩、精简配置等都是经常采用的技术。需要用户注意的是第二存储的兴起，第二存储概念与分层存储不同，后者是为了降低成本，混合使用 SSD、HDD 等存储设备，而第二存储集中解决数据分析、脱敏、测试、研发和容灾的需求，通过第二存储平台对数据集中管理。第二存储是一个针对数据分析等应用的集中管理平台，后端可以对接传统存储，也可以对接分布式存储系统。分布式架构存储的出现带来了新的活力，其数据存储容量和性能在每次添加新的节点和服务后得到提升，分布式存储是存储架构上的重大创新，设计上采用 Scale out 架构，针对海量数据需求，集中式存储扩展能力有限，或者说扩展成本过高，出于成本上的考虑，用户开始转向分布式存储。机遇和挑战 > > 市场现状 > > 2.1.2 分布式存储06分布式存储的发展其实得益于摩尔定律带来硬件性能的提升和软件发展的双重因素，软件定义存储时代开始出现了软硬件分离的存储系统，分布式存储需要软件方面有很大的创造性突破，一些开源的分布式系统在经过多年的迭代和演进之后，在近年来释放了更多落地实用价值。随着时间的推移，包括非结构化数据在内的数据爆炸式增长，各种创新的技术方案的落地实施，企业内部数据治理成了非常紧要的问题，如何避免数据孤岛，如何高效管理数据，如何实现数据的自由流动，数据创新越来越重要。企业在数据治理方面最行之有效的方式是通过支持多种协议融合存储兼容原有和未来各种数据存储系统，对接各种数据源。随着互联网的快速发展，互联网技术向企业内部渗透，非结构化数据在企业也越来越多，企业所需的影音文件，视频监控资料，图像资料，影音资料，越来越多。以对象存储为主的新存储形态作为非架构化数据的主要存储方式，对象存储可以处理大容量的非结构化数据，在非机构化数据的存储，检索上更有优势，而且有成本上的优势。分布式存储系统由于硬件大都基于 x86 服务器构建，故障概率会较高，当磁盘或者服务器出现故障时，特别是服务器节点故障会引发大量数据重建，重建过程会对性能带来影响。但对于分布式存储有利的是，集群内所有节点都可以参与数据重建，从而降低数据重建的压力。相传统存储，采用高冗余度的设计，控制器（机头）故障并不会带来数据的重建，其数据恢复是磁盘级别的。但是孰优孰劣，这个还需要结合具体的应用场景，不可一概而论。分布式存储方案的设计核心点在于分布式存储系统本身，分布式存储系统的构建非常复杂，非常考验设计的功底和产品方案的工程实践能力。开源的分布式存储方案有生态上的优势，但也要企业在开源上有长期深入投入，企业需要按照自身发展路线规划清晰的 Roadmap 以保障产品代际间的兼容性。机遇与挑战 > > 市场现状 > > 机遇与挑战 > > 2.1.3 超融合超融合的架构和理念非常具有吸引力，国内外涌现出了许多提供超融合方案的厂商，也组建了超融合产业联盟。在众多厂商中，既有传统私有云厂商，也有公有云企业，总体而言是以私有云企业为主，在经过几轮并购之后，超融合市场走入巨头时代。从概念上看，超融合以 x86 服务器为基础，融合了存储和网络交换的各种部件，主要的优势落地在部署简单，开箱即用，横向扩展，从而降低了应用门槛。得益于摩尔定律的不断演进，给了软件越来越大的施展空间，超融合的功能和特性不断丰富完善，人们普遍认可超融合像智能手机一样小巧而强大的说法。不仅如此，超融合已经在越来越多的核心系统中得到了部署和应用，在性能和可靠性上接受了关键应用的考验。对于超融合需要关注的是概念的发展和演变，从最初计算 / 存储 / 网络一体，横向扩展的数字化基础设施，到 HCI 2.0（超融合 2.0）到多云管理，超融合的改变不断发展和延伸，概念不同，着眼点和侧重点不同。这些概念，及其背后提供支撑的产品技术解决方案，都需要用户认真加以关注，有针对性的加以选用。从市场趋势来看，软硬件一体的方案开始成为主流，一些提供硬件方案，拥有硬件技术积累的厂商将获得更为明显的优势，熟悉硬件的厂商可以很快做出多种不同侧重点的方案，如有的侧重存储，那么要有强化存储能力的机型，有的需要并行计算或者图形计算能力，那就需要支持 GPU 的机型。超融合的市场不断扩大，从横向扩展的特性来看，与云计算趋势完全吻合，但是从最初的计算 / 存储 / 网络融合，到云计算数字基础设施，其中的分别和联系，特别是计算、存储资源池的分离，超融合不断经历变化。从开箱即用的基础设施，到元计算数字基础设施，再到多云管理，超融合怎样保持延续性和灵活性，防止新的数据孤岛的出现，这将是超融合专业厂商面临的主要挑战。07