版权所有 null 华为技术有限公司2020。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址： 深圳市龙岗区坂田华为总部办公楼 邮编：518129网址： huawei/(#Dý9R s ¹ Õã±+ª+Û5G时代运营商数据和存储架构白皮书 目录目录CATALOGUE5G时代运营商的机会和IT基础设施的挑战 1.1 5G 进入规模部署阶段，带来无限可能1.2 5G 时代运营商 IT 基础设施的挑战1 030303-035G时代，运营商IT系统数据量将激增，数据存储效率要求更高2.1 生产域数据增量和访问模式变化2.1.1 计费系统话单数据量增长 7.5 倍，计费时延要求更低2.1.2 2C 业务视频高清化带来数据 10 倍增长，数据读写带宽要求更大2.1.3 OSS运维高密度网元和自动化运维使数据量暴增8倍， 运维效率要求更高2.2 分析域数据增量情况大数据分析带来5倍数据增长，分析效率要求更高2.3 运营商总数据量增长2 0404-0504040505055G时代数据海量增加，需要重定义数据基础设施3.1 5G 数据洪流对基础设施带来的挑战3.1.1 存不下海量数据存储3.1.2 流不动数据孤岛难题3.1.3 用不好价值获取低效3.2 挑战应对方法3.2.1 改变 Silo 模式，重定义数据架构3.2.2 借力闪存升级，重定义数据性能和可靠性3.2.3 软硬双管齐下，重定义数据密度3.2.4 打破数据壁垒，重定义数据价值3 06-090606070708080809091 5G时代运营商数据和存储架构白皮书2目录总结5 22-225G时代运营商数据基础设施4.1 5G 时代运营商的数据基础设施目标架构4.1.1 华为数据基础设施特性4.1.2 华为数据基础设施应对 5G 时代运营商挑战4.2 重定义数据架构一池一湖解决方案4.2.1 一池：面向生产域的融合资源池4.2.2 一湖：面向分析域的智能数据湖4.3 重定义性能和可靠性全闪存存储 OceanStor Dorado4.3.1 重定义性能：业界领先的性能，2,000 万 IOPS；0.1ms 时延4.3.2 重定义可靠性：高端存储可靠性新标杆4.4 重定义数据密度业界超高密分布式存储标杆4.4.1 超高密度存储节点4.4.2 超高存储利用率 4.4.3 智能散热，单 TB 功耗最优4.5 重定义数据价值FusionData 解决方案，打破数据孤岛，释放数据价值4.5.1 存算分离实现计算存储资源按需灵活配置，整体 TCO 下降 30%4.5.2 融合分析提升分析效率提升 50 倍4.5.3 数据虚拟化提升开发效率 3.5 倍4.6 智能数据，面向未来4 1313131515151718181818191919202010-2010115G时代运营商数据和存储架构白皮书35G时代运营商的机会和IT基础设施的挑战5G 时代运营商的机会和 IT 基础设施的挑战2019年，全球5G建设已经如火如荼。全球几十家Top国家和国际化电信运营商纷纷宣布5G商用，其中包括Vodafone，T-Mobile，TIM，OOredoo 等，在国内，2019 年 10 月 31 日，中国移动，中国电信和中国联通三大运营商公布 5G 商用套餐，并于 11 月 1 日正式商用，运营商用实际行动向世人宣告 5G 时代的到来。5G应用的主体不仅仅在消费市场，同时更在行业市场，其发展潜力是运营商投资未来的信心。5G可以给运营商带来： 5G给消费者带来更多的业务和更好的体验。5G的高带宽使消费者更好地使用视频通信，使VR、AR等新业务成为可能，同时5G的低时延也给消费者带来了更好地的业务体验。5G也激发了更多的业务创新，给消费者带来更多更好的业务。 5G 可以使能垂直行业。5G 的到来正让万物互联变得可能，5G 可以使能更多的垂直行业，如行业视频监控，车联网，智能制造，远程医疗等，更多的行业使能给运营商带来了新的业务增长点。 5G可以带来新的商务模式转变。运营商可以通过5G带来新的业务和使能垂直行业的方式，通过创新的商业模式，有效改变运营商当前收入结构单一的问题。由于5G技术的发展和5G带来新业务的发展，运营商的数据量将爆发增长，运营商的传统IT基础设施将面临诸多挑战。 5G 的“高带宽”和“低时延”特性使得单位时间内产生的数据量急剧增长，海量原始数据将被采集。 5G 的“低时延”特性要求 IT 基础设施具有更好性能，更低的访问时延，从而满足客户极致体验的需求。 5G 的“全连接覆盖”特性使得万物互联成为可能。相比 4G 时代主要用于人与人之间的互联，5G 时代物联网将得到较大程度的发展，人与物、物与物之间的连接将急剧增多，数据采集渠道讲更加丰富，如联网汽车、可穿戴设备、机器人等，这也对数据存储与采集技术提出更高要求。 5G 时代下运营商的超高清业务、VR/AR 业务相比传统的高清业务需要更多的存储空间和更高的并发读写能力。 在 5G 时代下，运营商需要对现有的的 IT 基础设施进行升级来满足日益增长的业务诉求。1 1.1 5G 进入规模部署阶段，带来无限可能1.2 5G 时代运营商IT基础设施的挑战5G时代运营商数据和存储架构白皮书42 5G时代，运营商IT系统数据量将激增，数据存储效率要求更高5G 时代，运营商 IT 系统数据量将激增，数据存储效率要求更高运营商的IT系统和其他的行业相比更加的复杂。运营商的IT系统可以分为生产域和分析域。生产域包括BSS（含CRM，计费，2C 和 2B 的增值业务等）、OSS 和 MSS，分析域主要是面对生产域的大数据分析。下面以典型 IT 系统的情况来说明 5G 时代下数据的增量以及数据访问模式的变化。2.1 生产域数据增量和访问模式变化2.1.1 计费系统话单数据量增长 7.5倍，计费时延要求更低5G 网络，带宽增加，时延更低，给计费系统带来的变化是每用户的 DoU 增加，导致用户的话单数增加，计费库数据量增加，同时计费时延相比 4G 网络要求更低。对应到数据存储系统，要求 IOPS 更大，访问时延更低。以百万用户为例，4G百万用户到5G百万用户带来7.5倍的数据量增加，同时时延变为原来的1/8，时延是业务SLA 的保障关键。比较项 4G百万用户 5G百万用户 改变DoU 变化 9.8 G 55.9 G 增加 5.7 倍话单数 1.2 亿 7.5 亿 增加 6.3 倍每条记录大小 1 K 1.2 K* 增加 1.2 倍计费库数据量 10.8 TB 81 TB 增加 7.5 倍时延要求 4 ms 0.5 ms 减少 7/8* 增加切片信息、QoS 信息导致每条记录大小变大2.1.2 2C 业务视频高清化带来数据10倍增长，数据读写带宽要求更大5G时代视频业务将成为主流，其收入也将成为运营商收入的重要来源之一。视频从高清1080p向超高清4K和VR演进。一个小时 1080p 视频需要约 5 GB 存储容量，4K 则需要 15GB 存储容量，而 VR 则需要 180 GB 存储容量。以某视频业务规划为例，视频容量从 15 PB 增长到 152 PB，总数据量增长 10 倍以上。对应到数据存储系统，需要支持线性的存储扩展，需要支持更多的并发访问，需要支持更大的读写带宽。项目 2018 2019 2020 2021 2022 2023超高清比例 0 1% 5% 15% 25% 35%视频数(万个)1700 3450 5200 6950 8700 10450视频时长 ( 万小时 )314 612 936 1251 1566 1881容量 (PB) 15 30 49 78 112 1525G时代运营商数据和存储架构白皮书52.1.3 OSS 运维高密度网元和自动化运维使数据量暴增8倍，运维效率要求更高部署5G网络时需要对热点区域补站，网元密度为原来的1.25倍，每网元KPI数量是原来的1.2倍，因此OSS基础数据量是原来的 1.5 倍。网元数增多，自动化运维成为必然，自动化网规网优需要更多数据。CHR数据采样频率提高，每套网管数据流量从原来的 100 GB/ 小时提升到 275 GB/ 小时，同时分析从事后分析走向事前分析，保存时间从 7 天增加到 90 天。CHR 的数据量增加 35 倍（2.75 倍数据流量 *12.8 倍保存时间）。以中国某省的 OSS 系统部署计算，OSS 的数据量将增加 8 倍。自动化运维提升了运维效率，运维效率提升需要数据存储系统提供更好的数据处理效率以支持运维任务的计算处理。比较项 4G 5G 增加基站数（万） 20 25 1.25 倍OSS 基础数据量（PB） 11 16.5 6.3 倍自动化网规网优 CHR 数据 2.7 95 35 倍合计 （PB） 13.7 111.5 8倍2.2 分析域数据增量情况大数据分析带来5倍数据增长，分析效率要求更高随着运营商 BSS域、OSS域、各业务系统以及外部第三方数据源的数据量的增多，参与大数据分析的数据量也随之增加。同时为了更多的挖掘数据潜在的价值，数据保存周期也会增长，比如说从分析的数据从原来的 1 个月增加到 36 个月，大数据分析需要保存的数据量会进一步增加。以某运营商的大数据分析业务预计，2019年大数据分析的数据量为35 PB，预计到2021年，大数据分析的数据量将增加到 160 PB，数据增加近 5 倍数据量的增长。传统的大数据分析一般采用通用服务器的方式，计算和存储耦合在一起，导致计算和存储不能独立扩展，存在计算资源或存储资源浪费的情况，分析效率不高。大数据分析需要采用计算和存储分离的方式以提高分析效率。2.3 运营商总数据量增长根据IDC数字化世界-从边缘到核心的报告，全球运营商数据量预计从2018年的3 ZB扩展到2025年的15.75 ZB，预计数据量增长超 5 倍。巨大的数据量增量对运营商的数据基础设施提出了巨大的挑战。全球运营商数据量3 ZB201815.75 ZB2025source:IDC数字化世界-从边缘到核心5G 时代，运营商 IT 系统数据量将激增，数据存储效率要求更高5G时代运营商数据和存储架构白皮书65G 时代数据从管理走向运营，需要重定义数据基础设施5G时代数据从管理走向运营，需要重定义数据基础设施3.1 5G 数据洪流对基础设施带来的挑战海量数据蕴含巨大的价值，也给基础设施带来了前所未有的挑战。目前大多数运营商仍然采用 Silo 式建设，针对不同的业务域，甚至不同域的不同子业务采购不同的数据和存储，以满足不同应用不同客户对数据的各类存算取用需求。如下为运营商的典型数据架构，经多代历史遗存后，设备多、版本多、垃圾数据多、功能复杂等问题不断放大,数据存不下、流不动、用不好成为了运营商数据应用最普遍的难题。3.1.1 存不下海量数据存储传统架构已无法适应 5G 数据爆发性增长，体现在以下三点： 扩展性不足：传统集中式存储本身并不是为海量数据而设计，其扩展性有限，scale-out能力尤其不足，即使高端存储也很难达到 PB 量级。运营商不得不采购多套存储满足日益增长的需求。 协议类型单一：随着视频、物联网等业务扩张，80% 的新增数据由各类音视频、日志等非结构化数据构成，非结构化数据逐步成运营商数据的主体。然而传统存储协议类型单一，无法同时满足块、对象、文件、大数据等多样性数据的存取需求，企业不得不为每一种新的数据类型新增一种存储设备，数据之间也难以互通共享。 成本高昂：出于合规等原因，运营商的日志类或大数据分析类数据必须长期保存，因为其存储量很大，也会导致存储成本极高。如2017年起，某中国的移动运营商因合规性要求，将日志文件的保存周期从2个月增加至6个月，这意味着其存储设备规模将增加至少 2 倍。因为该运营商采用 Hadoop 架构，也就意味着必须为此增加 2 倍的服务器。服务器因存储需求不断扩容，CPU 的使用率却始终处于较低的状态，资源得不到合理利用，无疑会对采购成本和维护成本造成更大的压力。企业往往因为存储成本原因而放弃大量宝贵数据。3 GÎ*5Á*U ÕBSS ¬ I Øc «l ´ « / Û ¬/ Û3 ¬ y Za u®y Z íx©®1 > í /Û ¬/Û í Ûò ¬ÛòíÛò$3.y Z· ̶· Ìy ZaK· Ì|®1 ®1¹Ñ ë ¹ÑÛòëÛò©ÛòwÛòC¹l bCl)BEPPQ )BEPPQ öl b öl bOSS MSSª ®1ªOVÑÄ3ªV·>Ô7 l b ½ªÆ ·>o¶0“ &31 ¬ª(¡H)3 ö Ûò= ÛòVAS· ¦kHQ· Q#(¯ñ0 ö Ûò¡HÛò ö ö ö ö ö ö ö ö ö ö ö ö ö ö ö ö ö ö ö ö 5G时代运营商数据和存储架构白皮书7海量的数据孕育了前所未有的机遇，也带来了巨大的挑战。很多客户都反映，从来不缺数据，数据多了反而成为一种负担。也有客户说，数据只是资源，而不是资产，很难产生价值。其根本原因是没有用好数据，数据没有释放价值。而影响数据价值释放的主要原因是数据供应不足，无法反馈业务本质，无法支持业务决策： 大量数据未存储：运营商每天会产生大量数据，但传统的数据录入需要预先的人工规划，这导致大量非结构化数据以及一些新型数据无法进入系统（例如IoT数据、视频数据、图片数据等）。数据的缺失会削弱对业务的感知，无法真实及时地反映出业务本质。 性能不足，可靠性低：传统的IT设施一般3-5年一换，但由于各种原因，很多运营商机房里8年甚至10年以上的设备仍然在使用。另外，部分项目采购时出于预算原因，仅考虑了当年的短期需求，没有对未来的业务增长做准备。因此部分设备存在性能差，可靠性低的问题，拉低了整个 IT 系统的运行效率，无法满足 5G 对生产系统的高性能低时延高可靠性的需求。 找不到数据：运营商通常通过数据表来管理和分析数据，但是数据表甚至可以达到数百万张，而且分散在各个业务系统中。如果没有统一数据目录和全局数据视图，要在上百万张报表中找到特定的数据，好比大海捞针，无法应对灵活多变的业务需求。 谁对数据负责：在大数据时代，一个典型的分析业务通常需要跨平台的数据协同。如果已经接入的数据无法满足分析需求，需要从前端多个业务系统获取新的数据，再加上缺乏统一的隐私与安全共享机制，数据就需要经过多部门间协调、拉通、核实才能获得。数据分析的链路冗长，一旦出现问题，往往需要“六方会谈”才能定位，无法保证数据供应的稳定和高可用，更无法实现高效的数据融合分析。产生上述问题的根本原因：运营商在建设数据基础设施时，从满足客户的诉求出发并考虑投资成本问题，会选择不同的计算资源、网络资源和存储资源来分别满足客户的不同诉求。 算力墙：各个存储系统的CPU能力，仅供本系统使用，无法将算力资源共享使用，形成各存储系统之间的“算力墙”； 网络墙：各个网络都有各自的协议，彼此之间无法互连互通，即各个网络之间形成“网络墙”； 介质墙：存储介质的性能、容量和成本各不相同，客户会选择合适的介质存储数据，这使得数据分别存储在不同系统的不同介质中，而且这些数据很难共享访问，即各个存储介质之间形成“介质墙”。3.1.3 用不好价值获取低效3.1.2 流不动数据孤岛难题孤立的数据价值并不显著，只有当数据像水一样流动起来，才能打破“数据壁垒”，最大化释放其价值。然而当前运营商保存下来的数据，由于技术与流动性问题，只有10%的数据能得到分析，数据孤岛、多样性设备、业务难迁移成为数据“流不动”的主要瓶颈。海量数据形成的“三类孤岛” 应用孤岛：不同应用产生的数据分别存放在不同的存储系统中，而且这些数据由于各自的特征，彼此之间是无法共享使用的，形成“应用孤岛”问题； 管理孤岛：为对生产数据加以保护和使用，会将生产数据的一个副本，拷贝到各个系统（如备份、容灾、归档、开发测试和分析系统）中进行管理和使用。即便是同一份数据，为实现不同目的，还需分别存储、管理和使用，即形成“管理孤岛”问题； 地理孤岛：由于企业的更新换代，将存在多套存储设备，比如生产环境、非生产环境、云环境和边缘环境，企业的数据将存放在不同的地方，形成“地理孤岛”问题。5G 时代数据从管理走向运营，需要重定义数据基础设施5G时代运营商数据和存储架构白皮书8面对数据海量增长所带来的问题，华为认为，应对挑战的方法应该从重定义数据基础设施入手，使数据存得下，流得动，用得好，以实现每比特成本最优、每比特价值最大，每比特管理效率最高。重定义数据基础设施包含 4 个方面：重定义数据架构、重定义数据性能和可靠性、重定义数据密度、重定义数据价值。 融合：由原来Silo式的IT系统融合成为资源池式的系统，资源池中的资源按照性能和可靠性进行不同的等级定义，根据不同的业务按需发放相关资源。 智能：统一建设智能的数据管理系统，充分利用机器学习/人工智能等技术，运维管理模式由人工操作向数据全生命周期自动化演进，以机器智能的方式控制数据的产生、使用、流动和终结； 开放：一是易集成，数据和存储系统需要具备多样性的生态接口，具备集成到多个系统的能力；二是易使用，需要从方便开发者的视角出发，数据分析系统基于开放的引擎，屏蔽多数据源、多数据接口差异，以一个目录，一个接口，一份数据，实现数据应用开发极简。需要对现有的IT系统Silo架构进行重新梳理，对数据架构进行重新定义。建立高效高扩展架构，解决数据存不下问题；从数据生命周期视角融合企业数据，解决流不动问题；提升架构开放性，解决用不好问题。因此，重新定义的数据架构需要具备如下特性：3.2.1 改变 Silo 模式，重定义数据架构3.2 挑战应对方法3.2.2 借力闪存升级，重定义数据性能和可靠性5G 时代，运营商用户话单量和计费频次增加，需要更快的存储来应对。用户对体验提升的需求是无止境的。更高的IOPS意味着单位时间内完成更高的任务数，更低的时延意味着单任务的更快处理时间。根据我们对全球上百个TOP客户的性能需求长期分析，客户的最高性能层要求，已经从三年前的平均3000 IOPS/TB 提升到 7500 IOPS/TB 以上；生产域的平均性能要求，从 400 IOPS/TB 提升到 1000 IOPS/TB 以上。随着5G以及AI、IOV等新兴应用的发展，超低时延应用已经进入市场应用阶段。我们看到很多客户已经不满足于1m 的时延保障，在快速地向 0.5ms 以下进发。随着闪存的大量普及和闪存生命周期管理、重删压缩等闪存应用技术的成熟，全闪存的价格已经快速下降，单块 SSD具备较SAS盘高百倍的性能，高10倍的价格/性能比。即使在400 IOPS/TB这样较低性能要求下，单从成本看，也已经具备直接替换 10K SAS 盘的能力。计费业务系统要求 7/24 小时不间断运行，需要极致的存储可靠性保证。数据量的暴增，意味着相同业务中断时间内，5G 时代的业务损失比 4G 时代大了 10 倍。这势必要求数据基础设施的可靠性提升10倍来抵消业务损失的代价，要求单设备可用性从4G时代的99.999%提升到99.9999%（年业务中断时间32秒），方案级可用性从99.9999%提升到99.99999%（年业务中断时间3秒）。要求即使在迁移、升级、维护时QoS 也能得到完全的保障，做到业务不中断、性能不下降。SSD 的年故障率较机械盘低 5070%，但全闪存的可靠性提升并不仅仅依赖于 SSD。领先厂商已经抓住闪存化契机进行彻底的 Flash Native 改造，采用极高可靠架构满足客户的需求，这往往已经超过传统高端存储的要求。而且由于采用了全闪存，其整台阵列的价格反而更低，往往仅相当于传统高端存储的维保费用。因此，借助闪存升级，既可以进行存储成本结构的优化，又可以解决运营商面向未来的性能和可靠性问题。5G 时代数据从管理走向运营，需要重定义数据基础设施