2018年超融合技术研究报告.doc

1 2018 年 超融合技术 研究报告 2018 年 7 月 2 目录 第一章：传统 IT 发展困境与面临的痛点 . 1 1.1 主流传统 IT 特点 . 1 1.2 传统 IT 数据中心架构的弊端也逐渐显现 . 2 第二章：超融合产生背景和历史 . 5 第三章：超融合的定义 . 10 第四章：超融合技术架构及价值优势 . 13 4.1 超融合技术架构 . 13 4.2 超融合架构特点 . 17 4.3 超融合的客户价值 . 18 第五章超融合典型应用场景 . 23 5.1 虚拟桌面基础设施 . 23 5.2 数据迁移 . 24 5.3 私有云 . 25 5.4 远程办公室 /分支机构和微型数据中心 . 26 5.5 关系数据库 . 28 5.6Hadoop . 29 5.7 专用应用程序基础结构 . 31 5.8MetroHA . 32 第六章超融合实践指南 . 34 6.1 如何选择超融合 . 34 6.2 超融合的行业应用 . 36 3 6.3 选择超融合的关键点 . 37 6.4 技术服务方案成为主要评估因素 . 38 第七章、超融合未来发展趋势展望 . 40 7.1 超融合设备实现全面的软件定义数据中心 . 40 7.2 超融合将会成为云计算的主流交付形态 . 41 7.3 超融合会成为 IT 主战场，吸引越来越多厂商加入 . 42 附录 . 44 一、 业内主流的超融合厂商及产品简介 . 44 1 第一章：传统 IT发展困境与面临的痛点 自上世纪 90 年代中后期开始，以大型机、小型机、大型数据库、集中式存储与业务高可用软件组成的 IT 架构适应了当时的数据大集中趋势，传统 IT 设备制造商在这一阶段得到了迅猛的发展 ，集中式的部署模式带来了对硬件性能、高可靠性及扩展性的需求增加。 2003 年左右，服务器虚拟化技术开始普及，以 Mware 为代表的虚拟化软件厂商引领数据中心由物理硬件数据中心向虚拟化数据中心转变。服务器虚拟化技术有效控制了数据中心内服务器数量规模的膨胀，提高了服务器的利用效率，并且，利用虚拟机迀移等技术大大降低了数据中心对服务器 RAS 特征的依赖。服务器虚拟化技术的大规模应用使得业务系统的部署呈现由 Unix小型机平台迀移到 x86+虚拟化 +集中存储架构的趋势， x86 刀片服务器 +虚拟化 +集中式存储阵列成为这一时期数 据中心的主宰。主流传统 IT 架构如下图： 1.1主流传统 IT特点 2 X86 服务器虚拟化已经得到普遍应用和认可。小机用户集中在部分金融、医疗、和制造业等客户，而且因为成本高昂、架构封闭、不易运维等痛点，也正在逐步切换至 X86 服务器平台。同时客户普遍使用虚拟化技术来提高可靠性和可用性，提升了服务器的资源利用率。 使用集中式外部存储。服务器本地没有存储能力，通过 FC交换机连接至集中式存储，集中式存储的特点是通过双控机头或者多控机头连接磁盘柜，所有 IO 路径通过机头来控制。以方案集成的形式交付。 IT 架构通常涉及众多厂 商和品牌，设备种类多。通常由集成商做系统集成来交付完整解决方案，后续运维无法实现一个管理软件实现全部配置、管理、监控功能。 随着企业业务规模的不断扩张，尤其是云计算大潮来临， IT平台的规模和复杂程度出现大幅度的提升，业务对 IT 基础架构的灵活性、可扩展性以及快速上线的能力提出了更高的要求 . 1.2传统 IT数据中心架构的弊端也逐渐显现 1.2.1 架构复杂，管理困难，策略分散 存储、服务器、网络安全设备三层堆栈部署存在明显的复杂性，需要对多层软硬件结构进行组装和调试，才能使其正常工作。 首先，需要从网络设备厂商采 购 ToR(TopofRack，架顶式）交换机，然后从服务器硬件厂商采购服务器，再从存储厂商采购昂贵的存储设备，如果是 FC 存储，还需要在服务器上部署专门的 HBA(HostBusAdapter,主机总线适配器）卡来提升访问性能，最后，使用 Hyperisor 软件管理平台实现虚拟机与业务系统的部署。 3 上述 IT 建设模式导致设备供应商和设备种类繁多，用户需要花费大量的时间和精力准备大量复杂的基础设施，各种设备的配置相互独立，管理割裂，缺少统一的集中化 IT 构建策略，无法对数据中心内的基础设施进行统一的监控、管理、报告和远 程访问，后期维护技术门槛高。 1.2.2 集中式存储扩展性差，造成了存储割裂及竖井化 传统存储根据机头控制器的能力分为高中低三档存储，低端存储通常支持 200 块硬盘左右的扩展能力，中端存储通常支持1000 块硬盘左右扩展能力，高端存储通常支持 5000 块硬盘左右扩展能力。集中式存储扩展性受限，低端存储无法升级为中高端存储，不能实现随着计算资源扩展而自由地横向扩展。当客户业务量较小时，初期购买中低端存储，后续遇到业务量增加或者新上业务，存储性能和容量则无法满足客户需求，通常选择是再增加一台新的中低端存储，这样就造成了 多存储平台之间的割裂，资源利用率底，管理复杂，无法满足上层业务对易用性和敏捷性的需求。如果客户初次购买高端存储，则又会遇到初次投入成本过高，设备利用率不足等问题。 随着数据集中化及云计算成为主流建设模式，存储资源集中化，业务大规模部署及运维逐步成为刚需，传统存储在扩展性上受限，无法适应虚拟化数据中心弹性可扩展的未来要求，这是目前客户遇到的主要痛点之一。 1.2.3 高昂的成本支出投资成本高 传统的存储与计算分离架构，需要配置独立的网络、存储和计算节点。为了提高系统整体高可用性，需要通过资源冗余的方4 式达到设计目 标，包括存储网络设备的冗余、存储控制器的冗余、存储链路的冗余等，增加了数据中心的建设投资成本。 运维成本高：随着 IT 规模的不断膨胀，数据中心内的服务器数量、网络复杂程度以及存储容量急剧增长，随之带来的是高昂的硬件成本支出以及运营成本支出（电力、制冷、占地空间、管理人员等），同时，应用系统的高可靠性严重依赖于硬件提供的 RAS(ReliabilityAailabilityandSericeability，可靠性、可用性和可服务性）特性，导致硬件产品规格不断提高，硬件采购成本极为 1.2.4 业务部署速度缓慢 新 的服务器、存储设备和网络设备的部署周期较长，整个过程包括方案设计、硬件选型、多厂商采购、分批到货、上架安装、系统集成、网络配置、综合调试、业务部署等环节。一般情况下，这个过程需要的工作量约 2040 小时，交付周期约 25 个月， IT系统从提交业务变更请求到进行运营变更之间存在较长的延迟，初期部署效率低。 5 第二章：超融合产生背景和历史 超融合基础架构（ HCI)是一种软件定义的 IT 基础架构，可虚拟化传统“硬件定义”系统的所有元素。 HCI 至少包括虚拟化计算（ hyperisor)，虚拟化存储（软件定义存储，一般为分 布式存储）和虚拟化网络（软件定义网络） HCI 通常在商用 x86 服务器上运行。 毫无疑问，超融合在近年来已经成为 IT 基础架构领域最具颠覆性的架构之一，它不仅深刻改变着用户 IT 基础设施的采购和使用模式，更影响着整个 IT 基础架构市场的格局。而任何一项变革性的架构无不来自于两个方面的驱动力： 1.用户强烈的痛点和需求 2.相关核心技术的演进和成熟 从需求的角度，随着企业对信息系统建设越来越重视，以及IT 业务系统持续为企业带来巨大效益，企业对 IT 基础架构投入也越来越大，如何以更低的成本获得稳定、高性能、易于维护、易于 扩展的 IT 基础架构成为企业的持续需求。 与此同时， IT 基础架构的核心技术和产品也在快速的演进，对超融合架构产生影响的技术包含了 CPU、分布式存储、 SSD、服务器虚拟化和万兆网络在内几乎所有核心元素： 虽然 x86 虚拟化技术早在 1998 年就已出现，但在 2005 年CPU 支持虚拟化技术之前，并不算十分流行； CPU 虚拟化技术大力推动服务器虚拟化软件的发展； 2007 年 Mware 发布 ESX3.5 真正开始步向成熟。市场也看到服务器虚拟化具有颠覆性的优势，6 逐渐开始普及服务器虚拟化技术。到今天服务器虚拟化可以说成为企业数据中心 必选技术之一，已经被广泛应用。服务器虚拟化技术解决了计算能力的密度提升与降低成本的问题。 随着业务规模扩大，越来越多的虚拟机、越来越多的数据，对集中式存储带来了非常大的压力。由于传统集中式存储性能受限于存储控制器，而存储控制器难以线性扩展，虚拟化程度高导致 IO 压力剧增，集中式存储难以负荷；此外传统存储的专有硬件架构，导致其维护成本高昂、 升级困难、管理复杂，与此对应的分布式存储则避免了这些缺点。但分布式存储真正具备长足发展的原因是硬件技术的成熟。从 2012 年左右开始，企业级 SSD 逐渐成熟，使得不再需要大量堆 砌 HDD 磁盘来获得性能提升。 10Gb 以太网普及成本下降，使分布式存储访问远程节点的性能与访问本地节点的性能差距大大缩小 8 核甚至 10 核以上的 CPU 也开始普及，让服务器除了运行服务器虚拟化计算外，还有能力同时运行分布式存储软件。 在此背景下，超融合架构应运而生，并不断演进，逐渐成为被越来越多人接受的主流基础架构建设方案。 以下是根据年份整理的大事记： (1)分布式存储发展 1998 年 旧 M 发布第一个基于 AIX 操作系统的共享文件系统， GeneralParellelFileSystem，简称 GPFS。 2003 年 Google 公布 GFS(GoogleFileSystem)技术细节。 2004 年 Ceph 项目开始，提交了第一行代码。 7 2006 年 Hadoop 发布 HDFS 分布式存储。 2010 年 Google 宣布 GFS 下一代产品在 2010 发布，命名为 Colossus。 2011 年 Nutanix 发布 NDFS 分布式文件系统； Inktank公司成立，专门硏发基于 Ceph 的分布式存储。 2014 年一一 Ceph 社区受到各大厂商青睐，同时 Inktank 公司被 RedHat 公司 1.75 亿美元收购。 (2)服务器虚拟化发 展 1998 年 Mware 成立。 1999 年 MwareWorkstation1.0 发布。 2001 年一一 ESX1.0 发布。 2003 年 MwareCenter1.0 发布； Xen 正式发布。 2007 年 MwareIPO,发布 ESX3.5;Qumranet 硏发和发布KM。 2008 年 Redhat 收购 Qumranet，之后 KM 开源。 2013 年 Xen 宣布开源。 2015 年 Mware 全球服务器虚拟化份额达到 37.7 %。 2005 年 Intel 发布 T 技术，支持 CPU 虚拟化功能。 2008 年 Intel 发布 6 核 CPU。 2009 年 OCZTechnology 发布第一款 1TB 的 SATA 接口SSD， NANDFlash 成本出现大幅度降低。 2010 年 Intel 发布 8 核 CPU。 2012 年 Intel 发布企业级 SSD3700,真正在性能和使用寿命上达到企业级要求。