面向5G的边缘数据中心基础设施数据中心能源白皮书 801号编写专家： （按姓氏拼音排序）曹国水陈邦稳董宏顾 明韩冬贺晓贾继伟姜 鎏赖世能李国强李 洁李孟珏李玉昇刘宝昌刘 洪卢泽模罗海亮石生玺孙丽玫滕 达肖艺杨 威叶明哲殷飞平张春阳张帆张广河张彦遒郑 维中国移动通信集团浙江有限公司中国联合网络通信有限公司浙江省分公司中国电信股份有限公司广东研究院中国电信股份有限公司上海分公司华为技术有限公司中讯邮电咨询设计院有限公司中国电信股份有限公司浙江分公司中国电信股份有限公司上海分公司中国电信股份有限公司广东研究院华为技术有限公司中国信息通信研究院华为技术有限公司中国移动通信集团设计院有限公司中国移动通信集团设计院有限公司中国移动通信集团设计院有限公司广东华章数据技术有限公司中国移动通信集团设计院有限公司国网信通产业集团北京分公司中国移动通信集团设计院有限公司中讯邮电咨询设计院有限公司华为技术有限公司北京电信规划设计院有限公司中国电信股份有限公司杭州分公司浪潮电子信息产业股份有限公司北京创意银河电子科技有限公司华为技术有限公司华为技术有限公司中国移动通信集团设计院有限公司华为技术有限公司审稿人：方良周何波何涛华为技术有限公司华为技术有限公司华为技术有限公司面向5G的边缘数据中心基础设施衷心感谢以上编写专家对该白皮书的贡献。本白皮书仅适用于中国地区面向5G的边缘数据中心基础设施场景。目 录1. 摘要 12. 5G 商业应用场景及对数据中心基础设施架构的影响 13. 5G 通讯网络架构演进及全网数据中心基础设施的建设需求变化3.1 云3.2 核心网3.3 承载网23447. 总结 138. 缩略语 146. 边缘数据中心基础设施建设场景6.1 利旧场景6.2 新建场景1313134. 边缘数据中心基础设施建设面临的挑战4.1 规划阶段4.2 设计阶段4.3 建设阶段4.4 运营管理阶段455575. 面向 5G 的边缘数据中心基础设施演进方向及技术趋势5.1 全栈极简5.1.1 全栈融合5.1.2 全栈模块化5.2 全栈高效5.2.1 全生命周期高效 5.2.2 全栈协同78891111 12面向 5G 的边缘数据中心基础设施数据中心能源白皮书 801 号 版本 01面向5G的边缘数据中心基础设施1伴随 5G、大数据、 AI 及云计算技术的发展，大量的新商业应用将催生出对边缘数据中心的海量需求。而边缘数据中心建设场景复杂，面临数据中心站址与原有通信机房融合、电耗剧增、电费高昂、选址困难、海量站址的分散运维困难、业务上线具有不可预测性等诸多挑战。基于对新商业应用、网络演进和边缘数据中心基础设施建设诉求的深刻理解，分析5G 时代算力需求带来的挑战和技术发展新趋势，并以全栈极简、全栈高效定义未来边缘数据中心基础设施发展和建设趋势，支撑 5G 新商业应用的快速上线。本白皮书分析了 5G 时代全网数据中心基础设施的建设需求变化，并聚焦对中国地区边缘数据中心基础设施建设趋势的预判。主要围绕以下几个主要方面，展开全面描述和深入分析：1. 5G 时代为什么需要边缘数据中心；2. 边缘数据中心建设有哪些新挑战；3. 为适配 5G 新商业应用全面上线，解决方案应该具备什么样的形态；4. 不同细分场景有哪些新的部署趋势。1. 摘要5G 移动通信技术的飞速发展开启了万物互联时代，其“超高带宽”、“超低时延”、“全连接覆盖”的网络能力，促使商业应用的不断丰富，由满足人的基本连接需求加速向垂直行业扩展。2015 年 6 月 ITU 定义的 5G 未来移动应用包括以下三大场景：增强型移动宽带 (eMBB)： 通过更高的带宽和更短的时延提升商业应用带来的极致体验。主要应用：超高清视频、大型在线游戏、增强现实等。关键性能指标为：用户体验速率、峰值速率、流量密度等；大规模机器类通信 (mMTC)： 海量的移动通信传感器网络，结合大数据、 AI、云计算等技术，实现物与物之间、人与物之间的全面的信息交互。主要应用：智慧城市、智能家居等。关键性能指标为：接入数量、能效、个体及系统智能化与自动化； 高可靠低时延通信 (uRLLC)： 通过 5G 无线技术实现高可靠、低时延、极高的可用性，提升商业应用带来的极致体验。主要应用：工业自动化、远程医疗、智能电网、自动驾驶等。关键性能指标为：空口时延、可靠性、可用性、丢包率。2. 5G 商业应用场景及对数据中心基础设施架构的影响面向 5G 的边缘数据中心基础设施白皮书收录于“ 智领 DC 计划 ” 25G 时代数据中心从原来的集中式架构逐步转变为分布式架构（海量的边缘数据中心要求下沉到距用户数十公里范围，甚至数公里内），根本上源于对 5G 低时延、超带宽、以及成本等因素的考虑，同时也有对隐私安全的考虑。数据中心会从原来的“云 + 端”架构向“云 + 边 + 端”演变。“边缘”的增强主要解决三类问题： 1）边缘数据中心更靠近接入网，下沉位置更深，时延进一步降低； 2）更容易开放 API 及本地计算能力，从而实现智能调配计算能力。如：大量的内容及视频流量从核心走向小区，需要大量的 CDN/ 边缘计算能力； 3）物联网与 5G 智能化场景如车联网、无人工厂等诉求需要边缘数据中心作为“支点”更好的实现广覆盖。大量的 2B 场景下，高交互类应用（如大型公共场所人员出入精准态势分析等）、大带宽消耗类应用（如机器视觉、视频智能分析质量检测等）、低时延类应用（如远程医疗，无线 AGV 等）、数据安全和园区自治类应用（如智慧电力差动保护和配电自动化、智能制造等）也对算力下沉到边缘和企业园区产生大量的需求。在新的三层架构中，需要实现云网协同，云边协同和全栈协同。运营商目前的通信网络机房，按照部署设备不同分为云数据中心（部署 IT 设备和承载内容）、核心网机房（部署 CT 设备）和承载网机房（部署传输和交换设备）三种类型。3. 5G 通信网络架构演进及全网数据中心基础设施的建设需求变化云网协同.边云协同端侧广泛感知边侧智能一体云侧能力中心边缘云全栈协同各类应用+UPF IaaS/PaaS/SaaS硬件基础设施中心云图 1：数据中心云 - 边 - 端架构数据中心能源白皮书 801 号 版本 01面向5G的边缘数据中心基础设施35G 时代数据种类、数据规模和数据形式的爆炸式增长进一步加速运营商 ICT 网络架构转型。全网朝着核心网云化、承载简化和无线基站小型化方向加速演进，其中核心网云化是关键。核心网和承载网机房基础设施建设将逐步 “ DC 化”，同时呈现与云数据中心共站址，融合部署的趋势。图 2：全网数据中心和机房全景图DRANBBU基站接入机房或企业自有机房云核心网汇聚机房或企业自有机房电信机房汇聚机房 骨干机房接入机房IDC本地DC 中心DC城域网 骨干网接入网承载网边缘UPF边缘云 边缘云 中心云BBUCRAN3.1 云云数据中心从原来的集中式架构逐步转变为云 -边 -端分布式数据中心架构，边缘云与中心云能力长短互补，实现数据、应用、AI 算法、管理的协同，同时边缘云能敏捷快速接入中心云。中心云数据中心集约化程度更高： 由于带宽、时延等数据传输瓶颈的突破，智能终端和物联网设备将不再受限于设备本身的计算能力，而是可以借力于云端，以获得更为强大的数据处理能力。中心云集约化程度越来越高，算力越来越集中，有利于基础设施利用资源共享优势，提升能源和资源使用效率，提高运维效率。海量轻量化边缘云节点需求： 超低时延的大量 5G应用需要具备近端构建算力、本地化处理业务和可定制化等特定能力，促使海量 轻量化 边缘数据中心的需求涌现。在面对不同场景的应用时，能够构建轻量灵活的边缘云节点。同时不同的业务对边缘云数据中心的下沉程度要求不同，端到端时延要求 50ms 的业务对机房位置敏感度大幅降低，站址的规划可以在较大地理范围内综合考虑成本等因素来选择。面向 5G 的边缘数据中心基础设施白皮书收录于“ 智领 DC 计划 ” 4边缘数据中心大部分部署在运营商的接入机房、汇聚机房、电信机房以及第三方专业边缘数据中心提供商自有机房，部分 2B 场景部署在企业园区内。从全生命周期维度来看，边缘数据中心基础设施面临以下四大挑战。4. 边缘数据中心基础设施面临的挑战3.2 核心网2016年底， 3GPP 确定了 5G网络架构。云化是 5G核心网演进必由趋势。核心网总体上分成两个部分：控制面（Core-CP）和用户面（ Core-UP）。5G 业务的低时延促使控制面和用户面分离，实现用户面下沉及分布式部署，加速形成了核心网数据中心的分层分级架构。用户面的下沉将与边缘云共站址融合部署，满足业务极致的体验要求。3.3 承载网接入侧：5G 无线接入标准分为两个阶段，第一阶段标准在 2018 年 6 月冻结，第二阶段标准在 2019 年 12 月冻结。 5G 的频谱频率更高，单基站覆盖范围更小，基站数需求更多，是 4G 基站的 2 倍以上。 5G 天线射频单元和基带控制单元的功率更高，是 4G 的 23 倍以上。为实现全面覆盖，中国 5G 基站部署将超过 500 万站。大量基站对应的基带处理单元 BBU 的分散布局带来了管理运维效率低下，基础设施资源不能共享，这促使全球运营商积极规划 CRAN 集中部署 BBU，并基于接入机房广泛的站址资源，将 CRAN 大量部署在就近的现有接入机房内。同时，接入层设备也有升级需求，接入层带宽从 10GE 扩展到 50GE。汇聚侧：随着大带宽业务 VR、4K 高清视频爆发，带宽需求将增长 10 倍以上。以 8K 全景 VR 为例，平均 100Mbps 码率，1000 个在线用户要求 100G 能力。12K 全景要支持 1000 用户在线，则至少要求 400G 能力。汇聚、城域、骨干层的网络带宽受大量内容下沉引起的南北向流量减少和大带宽需求业务增多的综合影响，最终促使带宽需求稳步上行。这将带来网络设备的不断升级，在骨干层， Tbps 级别流量的路由器、传输等设备将成为主流，高功率密度设备机柜（功率密度 >5kW/ 机柜）成为常态，部分设备机柜功率密度达 15kW/ 机柜，这给供电带来巨大挑战。而传统的传输设备风道设计非前进后出，给制冷带来巨大挑战。数据中心能源白皮书 801 号 版本 01面向5G的边缘数据中心基础设施54.1 规划阶段 海量边缘数据中心站址获取困难为满足业务时延需求，边缘数据中心需下沉到离最终用户数十公里，甚至数公里内。以浙江省为例，每个运营商的边缘数据中心站址规划 1000 个以上。在利旧现有通信机房中的接入机房和汇聚机房基础上，还有大量新建需求。现有通信机房中老旧通讯设备腾退、升级后存在空间有限、电力余量不足、制冷不足等问题； 机房工勘工作量大通信机房现场条件复杂，为能满足业务需求，需平衡电力、制冷、承重、安全、环保等多重因素，并且多重因素交叉影响，工勘、选址难度加大。同时，机房站型千差万别，站址分散，需要专业人员多次上站工勘，机房工勘工作量大； 无法按需规划、精准投资边缘计算 的需求不可预测，无法精准规划，按传统的一次性面向终期需求规划，业务全部上线前较长时间面临高空置率、ROI 周期长。按业务新增需求时再规划并建设，原有初期架构无法满足新业务上线需求、改造困难、重置成本高； 重资产投资规划，经营压力大IT 设备、BB U、接入和传输设备不能同时部署在同一机柜或同一模块内， UPS、-48V 直流电源、 HVDC 以及电池不能部署在同一配电柜内。 CT 和 IT 设备共存、多种电源制式并存，降低了供电的安全性，给建设和维护管理带来不便。多种硬件的天然差异，导致各自分散部署在多个机柜，占用更多机房面积，空间使用率低。现有通信机房空间资源日趋紧张，为满足业务，必须规划重资产购置或租赁物业，经营压力大。4.2 设计阶段 海量站址的批量设计难海量机房站址站型千差万别，每个机房设计都需要根据可用空间定制，尤其是利旧改造机房和大量的租用机房，无法做到标准化设计。配电电缆布线、空调管路布线、光纤布线为匹配现场空间常常出现绕行、改道等情况，导致建设成本估算不精准，实际工程造价比设计预算超出 20% 以上； 多专业协同难，设计变更多边缘数据中 心规模小，但设计专业性强，仍然要投入超过 3 个专业设计人员，同时以 CAD 平面设计为主，多专业设计协同难、各专业的信息不对称等问题到工程交付阶段暴露，如制冷铜管和配电线槽冲撞，导致返工和工程物料重新采购，延误交付周期。同时，由于现场条件复杂，工程量难以统计精准，导致现场施工变更多等问题，无法满足业务快速上线需求。4.3 建设阶段 机房在线改造困难通信机房设备柜多为 600mm 和 800mm 深柜型，设备之间的通道宽度较窄， 800mm 到 1000mm 宽。存储、服务器机柜与通讯设备融合部署时，会出现布局不齐整、冷热气流进气和排气气流方向不一致、 1100mm 深 IT 机柜堵塞原有消防通道等问题。同时，机房需在线改造以保障原有通讯业务不中断，改造难度进一步加大；面向 5G 的边缘数据中心基础设施白皮书收录于“ 智领 DC 计划 ” 6 供配电架构适配融合业务难原有通信机房供配电架构无法匹配现有国家标准 GB50174-2017数据中心设计规范的评级标准。海量机房站址供电资源差异大，大多数站址只有一路市电，少量站址有两路市电，大多数站址无法放置油机（空间受限、承重受限或噪音扰民限制等），部分站址出现异常断电时，备电时长小于移动油机到达机房时长（如备电两小时，移动油机到达机房的的车程是 4小时）；设备供电需求七国八制。接入、传输、交换、核心网用户面和算力等多种设备需要一体化供配电架构。多种业务对备电时长要求差异较大，多种时长备电方案复杂； 制冷架构适配融合业务难现有通信机 房制冷形式无法满足高功率密度机柜部署需求，传统房间级空调送风距离远，沿气流路径冷风温度上升超过 10。导致高功率密度机柜进风温度高、出现热点、设备性能下降、寿命缩短、甚至宕机。同时，空调制冷量无法实现精准给予，也无法支撑不同功率密度机柜分区部署。而服务器、存储、 BBU 设备容量和功率密度出现同时攀升趋势， IT 机柜和 BBU 柜功率密度 48kW/ 机柜与原有功率密度 12kW/ 机柜的传输、交换设备共部署在同一站址；同时设备 气流有前进后出，左进右出，右进左出，中部进风上下方向同时出风多种形式。混合部署时，气流组织复杂； 改造周期不可控现场条件复 杂、空间零散、改造周期不可控。以如下接入机房新增机柜进场为例：三台新增机柜，老旧腾退的位置分散在两处，机柜进场时出现多重阻力：电梯老旧、窄、小， 1100mm 深机柜进出电梯困难；机房内腾挪空间小，必须事先制定进场顺序；通道窄， 1100/1200mm 深机柜部署至单机柜柜位挑战大；层高低，机房上空已部署大量管线，新增电缆、空调铜管走管困难；ITCRACPDF新进场机柜空调空调AC 电池5 00Ah*2组 电池5 00Ah*2组ODF动环柜 交换机 ODF OLTOLT交换机空调波分 PTNPTNPTN600A电源600A电源电池ODFOLT原有机柜P D F图 3：接入机房新增机柜进场示意图数据中心能源白皮书 801 号 版本 01面向5G的边缘数据中心基础设施7 扩容难通信机房的腾退节奏慢，每年腾出一两个到十个柜位不等。每次扩容，基础设施各子系统必须齐备，工程量等同于完全重新改造一个小规模的机房。各类子系统供应商超过 30 个，进场次数超过 50 次； 新建边缘数据中心站址获取周期长，成本高新建场景需投入专人征地和选址谈判，站址获取周期长，成本高。5G 时代的边缘数据中心是承载新商业应用、运营商基础网络及业务系统全面云化的“底座”，为应对边缘数据中心基础设施在规划、设计、建设以及营维阶段的挑战， 全栈极简、全栈高效 是边缘数据中心基础设施解决方案发展的演进方向及技术趋势。一方面全栈极简，未来通过“全栈融合”实现一个柜或一个模块高度集成不同 ICT 设备以支撑不同业务，同时厂家配合用户完成“全栈模块化”从站址到系统方案、到架构、到部件提供一系列模块化方案，才能实现方案颗粒度可大可小，灵活适配各种场景的模块化。通过“全栈融合”+“全栈模块化”带给最终用户极简的基础设施。另一方面全栈高效，需要“全生命周期高效”和“全栈协同”实现时间维度和垂直软硬件维度的效率提升、 OPEX节省、CAPEX 节省，构筑面向 5G 新业务的全面高效的基础设施体系。5. 面向 5G 的边缘数据中心基础设施演进方向及技术趋势4.4 营维阶段 电费高机柜数量、功 率密度双增长带来用电量增大， PUE 居高不下。 ICT 设备进出风方式多样化，气流组织紊乱，制冷效率低下。OPEX 中电费骤升； 建筑资源投资或租用成本高不同设备 不能融合部署，或高密部署，导致机柜多，占用更多机房面积，空间使用率低 ； 风险不可控运 维管理 不可视，日常维护管理无法远程可视，资产维保工单管理无法精准可视，运维成本无法精准预测 ； 运营团队庞大，人工成本高海量边缘数据 中心节点需要大量运维运营人员值守，人工成本高。无多机房统一管理平台； 智能化程度不足电源、电池、 空调等基础设施自身无法实现智能化以及自适应组网。通信机房原有动环监控系统与新智能管理系统无法融合 。