智能数据中心互联 技术白皮书 2019年9月 目录 10 11 13 15 2.1 降低光纤租用成本的技术 2.2 降低设备成本、降低能源和空间租用成本的技术 2.3 加快网络部署速度，简化光层、免调测、免配置的技术 2.4 智能化运维，去专业化，降低运维投入的技术 2.数据中心互联的主流技术 18 18 3.1 智能化网络调度技术 3.2 光缆质量预测和光缆同路由提前预测技术 3.数据中心互联技术未来展望 04 05 06 07 05 05 1.1 数据中心业务蓬勃发展引导DCI需求快速增长 1.2 DCI传输的挑战1：数据中心空间不足、能源不足，数据中心园区间光纤资源不足 1.2.1 数据中心园区之间互联流量的瓶颈，光纤资源不足 1.2.2 数据中心内机房空间和能源有限，设备需要提升集成度和降低功耗 1.3 DCI传输的挑战2：业务推动快速扩容扩点，DCI现有网络和设备难以满足网络快速部署的需求 1.4 DCI传输的挑战3：运维人员少，传输维护经验少，传输设备和光缆运维过于专业化 1.云和智能时代， 数据中心互联（DCI）的发展及面临的挑战 智能数据中心互联技术白皮书 | 云和智能时代，数据中心互联（DCI）的发展及面临的挑战 03 | 04 在过去的十多年中，数据中心业务已从以WEB服务为中心 走向以云服务为中心。今天，数据中心正从云计算时代走 向智能时代。 随着数据中心业务的不断增长，DCI解决方案持续演进， 未来可期。根据分析师机构GlobalData对市场规模和市 场预测的分析，2018年全球云生态系统已扩大24%，达 到2900亿美元；在预测期间内它将以25.3%的年均复合 增长率（CAGR）持续增长，预计在2022年将达到7200 亿美元。DCI主要是AZ（可用区域）之间的互联、 Region（云区域）之间的互联、POP（接入点）之间的 互联、AZ-POP之间的互联，随着边缘计算等进一步延伸 至网络边缘，对大带宽且高性能的DCI光解决方案的需求 也在不断增长。 小结：云服务和智能时代，数据中心的蓬勃发展，对 DCI网络的需求不断增长，但是DCI网络实际上仍面临 着诸多挑战。 云和智能时代， 数据中心互联（DCI）的发展及面临的挑战 1.1 数据中心业务蓬勃发展引导DCI需求快速增长 随着云计算和智能化的发展，要求服务器之间的时延越来越 短，城域内的双向时延都要求在ms级以内。要求能快速访 问的异地服务器越来越多，例如某搜索引擎，平均做一次搜 索需要访问多达700多个服务器，涉及不同数据中心，数据 中心互联的业务需求量大，极限状态就是把多个不同地点的 数据中心能作为一个超大的数据中心园区处理，此时访问的 时间和访问的数量才能得到保障。 为了实现更高效的实现目标，业界发展的其中一个趋势就是 逐渐缩小DCN内各级的收敛比。 当数据中心内的阻塞越来越小后，网络的主要瓶颈就变成了 DCI。因此DCI需要超大带宽，越大越好。 但是面临的实际问题是，一般拥有数据中心的公司并没有光 纤资源，光纤资源极其匮乏，即使获得，光纤租用价格也十 分昂贵，比如在亚太某城域内每公里光纤月租金7090美 金，一旦跨城租金高达85-150美金。且随着业务增长，部 分核心AZ之间流量远超20T，一对光纤带宽已经不够支撑。 小结：数据中心互连的光纤资源十分宝贵，需要提升单纤容 量降低每bit占用的光纤成本，降低CAPEX。 数据中心业务快速发展，特别是云计算、游戏、视频、人 工智能发展，服务器资源会很快不足，面临着扩容原有的 数据中心或新增节点数据中心，此时DCN/DCI也要做相应 的拓展，服务器和交换机都可以在数据中心园区内堆叠式 批量部署，但是一旦跨越数据中心，就需要传输进行广域/ 城域数据中心互联，这时距离远、光路调测复杂等原因， 耗时长，设备供应+安装调测时间约数周到2个月。 从上站安装、连纤、配置、调测、业务上线等一系列操 作，耗时长，据典型客户统计数据站点安装往往需要数 周，繁琐而专业。云业务快速发展和上线，改造扩容甚至 天天有，这对运维人员而言简直是个噩梦。比如尾纤部 署，一根根连接耗时长，最可怕的是人工连纤出错概率 高，据统计甚至高达5%，如果一不小心连错，将导致业务 不通需从上至下逐段排查原因，重新检查校验就更加耗时 费力。完成物理连纤后，还需要对应在网管上也要一根根 创建逻辑连纤，重复物理连纤的动作。 因为光是复杂而精密的系统，业务上线需要十几步复杂专 业的配置和调测。配置网元管理通信的基本参数，配置波 长，调测光功率平坦度等，波分端到端系统各个站点、各 个模块、各个参数又互相影响，牵一发而动全身，这种调 测都是需要专业的知识和非常丰富的经验，人工调测要非 常精细而耗时。对于数据中心工程师而言，常常是不可能 的任务，他们的心声就是简单、简单、再简单。 另外一方面，数据中心的扩容需求往往是从上而下的，先 确定服务器需求，再确定DCN需求，最后才确定DCI需 求，换而言之，用于数据中心互联的传输设备的需求是不 得不最后一个环节才能确定。要实现端到端调通，传输设 备又必须先调好，然后才能调上层的交换机/路由器，再进 随着城市人口的增多，对数据中心的需求量越来越大，只有 贴近客户的数据中心才能及时响应客户的需求，才能在竞争 处于优势地位。但是另一方面，城市内的大片面积土地获取 困难，成本也越来越高。数据中心设备整体能耗高，例如亚 洲某ISP，2/3的电力消耗来自近几年新建设的数据中心， 一般的数据中心园区难以满足数据中心供电的要求，需要进 行市区供电改造，超大型数据中心甚至需要供电站的改造。 因此数据中心的空间和供电非常宝贵，采用机柜租赁的数据 中心一般都和机柜供电能力绑定销售。例如亚洲某数据中心 的每个4KW的机柜月租金也高达8501150美金不等(含电 费、空调费)，8KW的机柜翻倍。 如果数据中心互联距离较远时，还需要光放大站或电中继 站，此时机房条件较难获得标准数据中心常规1.2m/1.0m 深度的机柜，可能可以租用的普通机房配套的是600mm深 或800mm机柜，空间节省的重要性进一步上升。 小结：DCI传输设备需要节省空间和降低功耗，同时需要适 配少部分600mm/800mm机柜安装场景应用，降低 CAPEX。 1.2 DCI传输的挑战1： 数据中心空间不足、能源不足，数据中心园区间光纤资源不足 1.3 DCI传输的挑战2： 业务推动快速扩容扩点，DCI现有网络和设备难以满足网络快速部署的需求 一步才能调好服务器。因此给传输建设的时间是最短的， 极具挑战。 小结：DCI波分是整个DC业务扩容扩点的最关键时间路 径，要求时间最短，但是目前实际上难度最大、专业化要 求最强。 智能数据中心互联技术白皮书 | 云和智能时代，数据中心互联（DCI）的发展及面临的挑战 05 | 06 1.2.1 数据中心园区之间互联流量的瓶颈， 光纤资源不足 1.2.2 数据中心内机房空间和能源有限， 设备需要提升集成度和降低功耗 智能数据中心互联技术白皮书 | 云和智能时代，数据中心互联（DCI）的发展及面临的挑战 07 | 08 设备交付后，维护往往成为重点工作，业务上线后的运 维，也变得越来越焦虑。越来越多的应用运行在云上，云 服务商上线成百上千个服务，DCI故障后业务影响越来越 严重。据报道某跨国云服务商出现全球性故障，全球多个 节点出现故障，多家SaaS服务商因此无法提供服务。在客 户整个IT系统架构中，DCI做为支撑性的基础，上面有 DCN交换机、存储服务器、IT应用等，上层业务往往更先 感知业务中断，一旦故障各个部门的投诉如雪片般飞来。 DCI运维部门通常是后知后觉，非常被动。 传输设备不同于数据通信设备，模拟信号调制和管理传统 上需要更专业的管理。 传输的运维不限于设备的运维，还有更重要的光缆管理和 运维，光缆故障多于设备故障，需要传输运维人员来来监 控、定位、推动处理。 同时由于DC网络中数据通信设备数量占比高，因此运维人 员不一定具备专业的传输维护经验。 小结：DCI运维需要对设备和光缆进行去专业化的智 能运维，同时需要对故障实时监控和快速响应，最好是 主动运维。 1.4 DCI传输的挑战3： 运维人员少，传输维护经验少，传输设备和光缆运维过于专业化 09 | 10 智能数据中心互联的主流技术 单波高速方面目前业界DCI应用已经从之前的 100G/200G开始往400G/600G发展，已经少量应用案 例，2020年/2021年开始往800G演进，未来往 800G/1T/1.2T演进。 另一方面，需要极致利用光纤频谱资源，从现有的C波 段，到扩展C，进一步扩展到Super C波段，实现从C80 = C96 = C120的升级，未来实现C120+L的进一步扩 展，需要在硬件设计，算法，芯片，激光器，接收器，放 大器等系统组件上实现技术突破，例如华为在 MuxPonder单板上实现了游标波长锁定算法和光放上实 现了C120高性能光放。 小结：可以通过C120等频谱扩展技术有效提高单纤容量， 提升光纤利用率，降低CAPEX。 2.1 降低光纤租用成本的技术 C120 - 超宽C波段 120波50GHz 190.65 191.275 196.075 196.675 超宽C 扩展C 传统C波波段 超宽C C波段 + L波段 C波段：120波，L波段：96+波 190.65 196.675 更高阶的调制格式 更宽频谱/更多子载波 更高波特率 1C 10G BPSK 2x 2x QPSK 8QAM 16QAM 32QAM 64QAM 2xG 3xG 6xG 9xG 2C 5C 光纤租赁成本是CAPEX的主要组成部分，距离越长比例 越高，且光纤资源匮乏，可以通过三种方式提升利用率： 更宽频谱/更多子载波，更高调制格式，更高波特率，是 提升单纤容量的3种途径； 高调制格式受到技术制约，当前商用最大能力为 64QAM； 无论是波特率提升，还是多子载波，都会带来信道带宽 的提升； 智能数据中心互联技术白皮书 | 智能数据中心互联的主流技术 11 | 12 数据中心互联的设备一般采用线路侧和支路侧合一的 MuxPonder形态，为了易部署，业界主流MuxPonder 设备已经演进到1-2RU的盒式形态，可以像pizza box一 样层层堆叠，实现扩容，MuxPonder单板的主要成本来 自线路侧光模块+客户侧光模块+单板基础框架成本，其中 线路侧光模块成本是整个单板的主要组成部分，占比往往 等于或大于总成本的80%。 要降低线路侧模块成本，本质上就是要提高单波速率和性 能降低每bit成本，需要采用最先进的工艺、最佳的调制技 术和最高效的FEC算法来实现。例如华为的oDSP CMS （Channel-Matched Shaping）调制技术，CMS技 术首先通过检测真实信道的传输效果，获取信道损伤模型 信息，然后一方面在发送端对光信号进行压缩、整形以匹 配传输信道模型，另一方面在收端对接收的光信号采取补 偿、纠错进行数据恢复。其中所采用的整形、压缩、补 偿、纠错算法均依据真实信道损伤模型，由内置算法实现 自动优化设置，达到传输链路实时动态自我优化的效果。 同时，CMS通过快速迭代信道模型参数，能够提升信道模 型的精确程度，实现更好的信道匹配效果。整个优化过程 完全由oDSP芯片自动完成，无需人工干预。其中的编码 整形应对噪声代价方法如下： 另一方面，提升硬件集成度已成为主流方向。比如通过高 密设计，在单个盒式DCI设备上支持电层单板，如华为等 业界领先供应商已经能做到9.6T/2RU，节省机柜空间。 同时，通过对光层单板进行多功能集成，也是集成度提升 的一个重要方向。比如，华为已将原来需要由多个单板如 光放大、分合波、光信号监测、衰减器、OTDR等完成的 功能集成在一个单板上，实现了一个方向一个盒子，8波小 容量场景实现一块单板一个方向，显著提升集成度降低空 间占用。 为了节省空间，一个设备同时支持光层和电层单板，充分 利用设备槽位空间也是提升集成度降低空间占用的有效方 法。以华为DCI为例，下图8波600G场景，传统设备需要 4RU或以上，现在仅需要2RU。 DCI波分盒子满足600mm深机柜安装，支持在光放站点和 电中继站点的普通机柜内放置也是节省空间的有效方法。 小结：通过先进的相干算法（例如CMS技术）可以降低 波分设备的主要成本和功耗，同时电层 光纤故障检测和定位 告警收敛，不产生衍生告警，一故障一告警，支持故障联 动处理 设备故障快速上报和提前预测 网管简化，去专业化，所见即所得 华为通过业务单板oDSP内部参数和光层单板监控数据结 合，技术上已经实现以上大部分功能，并将在简化网管和 WebGUI上推出智能化简单易用的管控界面，将来还不断 完善和增强这些功能。 小结：通过光缆故障快速定位技术、告警收敛技术、网管 简化计划可有效降低运维难度，加快故障定位速度，降低 OPEX。 智能数据中心互联技术白皮书 | 智能数据中心互联的主流技术 17 | 18 智能数据中心互联技术未来展望 3.1 智能化MESH网络调度技术 光缆质量会在网络运行性逐步劣化，运维需要提前预测和 感知，以便提前倒换到备选业务路径和新建网络，未来 DCI网络需要具备这样的技术。 光缆主备路由可能存在同缆、同井的情况，特别是租用光 缆的情况经常会发生，或者前期建设时没有，但是故障熔 纤后有可能形成，需要提前预测和在线监测，以便规避主 3.2 光缆质量预测和光缆同路由提前预测技术 备路由倒换后同时失效造成严重网络事故，对于租用光纤 的数据中心运营商来说对此未来技术更迫切。 总结：智能化准MESH化可灵活交叉调度、保护、扩容 是未来DCI网络的必然趋势，结合光缆质量和路由预测技 术后，将来DCI网络将成为一个可快速部署，质量可预测 的可靠网络。 另外，点对点网络经常采用的1+1平面保护，需要双倍的设 备资源和光纤资源。如果是每段都用1+1光路保护，则整网 需要2倍的光纤资源，端到端成本比较昂贵，可以利用光交 叉的特点构建准MESH的网络，进行多路径MESH化保 护，同时也将整网所用的光纤资源从2倍降低到1.21.6 倍，从而实现提高网络可靠性的同时降低DCI网络的综合成 本。 由此可判断DCI网络发展的主流趋势将往准MESH化光交 叉网络发展，准MESH化光交叉网络可以及时响应业务快 速发展需要的快速扩容扩点需求，同时能降低网络成本、实 现灵活的网络保护。 成本、部署速度和运维简化仍然是DCI网络的未来重要挑战 之一，除了上面单方面的技术革新来应对挑战以外，能否从 网络架构上来想办法？ 目前DCI网络以点对点无保护、双平面的点对点网络保护、 点对点+OLP光层保护、简单环网穿通保护等为主。 这些网络架构应对未来还有些问题，例如，扩容增加节点时 需要连接到已经大部分节点，需要光纤路径多，获取新路径 光纤时间很慢，可能需要几周到3个月，但是如果已经采用 了光交叉的网络可以任意找2个节点扩容2段光纤即可快速 满足网络扩容需求，可大幅节省时间。 新建节点 光交叉节省扩容 光纤和时间 新建节点