面向边缘智简运维技术白皮书.pdf

第 1页第 2页目录概述发展趋势运维管理特性运维管理业界进展中兴运维管理方案中兴运维管理系统设备开箱即用应用敏捷上线应用资源自动编排应用策略敏捷配置应用能力按需调用智能维护全方位监控故障自动定位业务质量保障第 3页策略智能自愈自维护门户运维模式探讨运维场景运维分工界面运维系统运维组织结束语附录缩略语第 4页图目录图全生命周期运维管理图管理域系统架构图管理域系统架构图中兴运维管理域架构图开箱即用部署流程图应用自动化上线图应用策略敏捷配置图能力按需调用图告警根因分析流程图分层可视化监控图告警根因分析流程图网络故障自动诊断图日志异常检测图业务日志分析图自维护门户图运维场景和模式第 5页图运维组织模式第 6页概述随着的规模部署，越来越多的运营商将边缘作为战略重点。作为网络的延伸，将网络能力下沉到边缘，不仅可以满足垂直行业高带宽、低时延、大连接差异化的业务需求，还可通过网络能力和资源能力的开放，构建云网一体化的业务生态圈，给千行百业带来全新的业务体验和数字化服务。在项目的实践中，我们发现部署和运维也显得日益重要，有利于促进在各个垂直行业成熟商用。发展趋势图系统架构系统包括云基础设施、虚拟化层、网络业务层、应用层以及管理层，是一个网云能力端到端系统，基于网络、算力下沉的部署架构，形成边缘算力、网络的汇聚点；基于业务能力层，开放网络、资源、平台等分层次服务能力。商用部署和业务发展呈现如下趋势：第 7页海量分布式部署当前行业应用需求相对明确和固化，一般部署在地市、园区等相对固定的位置。将来千行百业的应用对网络存在差异化、不确定性的需求，部署将从相对固定区域向全国海量分布的形态演进。以车联网等行业为例，站点半径往往小于，以满足低时延、业务连续的要求；而、云游戏等互联网的业务对需求往往相对不确定，需要运营商依据动态变化的业务量，按需提供覆盖全国的边缘计算资源。多种异构资源形态资源层承载着类网元以及不同行业的类应用，所以的基础设施既要满足类网元高转发的要求，还要支持类以及视频类应用的等加速及异构计算处理要求。分层分级服务模式平台具备丰富的能力，实现行业应用快速迭代开发，满足行业业务快速上线的需求。云网一体化，除了提供基础的分流服务，还提供更有核心价值的边缘云能力，包括资源、网络能力、平台等，引领运营商从提供传统的管道服务向分层分级的服务模式转型。多场景资产归属区别于传统的网络形态，作为网络的一部分，存在共享和专用等组网方式，资产可划分为如下三种场景：第 8页设备部署在运营商机房，资产归属运营商，仅为客户提供一体化云网能力。设备部署在企业机房，资产归属运营商，确保数据的安全可靠。设备部署在企业机房，资产归属企业。以上三种资产归属场景对于管理系统建设、运维模式等带来了新的问题。运维管理特性图全生命周期运维管理运维管理聚焦资源、网络平台能力、应用三个层次，覆盖站点开通、业务上线、运维管理、自维护等全生命周期管理。结合分布式部署、异构资源等特点，如何在运维各个阶段引入自动化、智能化的手段，支撑为行业提供敏捷的应用部署、可靠的业务保障，最终实现边缘自治管理，是运营商和行业共同关心的问题。第 9页设备自动化部署海量设备在边缘的快速部署将是大规模商用面临的首要问题，部署涉及计算、存储、网络基础设施、虚机容器等虚拟化资源、多个层次，需多个专业协同。采用传统人工设计数据、工程师站点部署的模式一般需要个星期左右，远远不能满足千行百业数字化业务发展的需求。应用敏捷上线面向行业应用打造一个开放、敏捷边缘生态系统，是面向行业提供数字化服务的关键。首先，需要针对差异化的应用提供敏捷的部署方式，以降低不同应用的上云门槛。其次，生态系统需提供灵活的业务策略配置，快速匹配不同应用需求，按需为各种应用提供丰富的边缘能力。自动化维护工业控制、车联网等行业对系统的可靠性、维护等提出了非常严苛的要求。另外，维护面临节点分散、位置偏远等问题，需引入自动化、智能化手段，实现边缘的自感知和自管理，避免运维人员频繁上站，降低运维成本。自维护门户对于技术能力较强的行业，对边缘有自维护和资管理的需求。行业参与应用部署、监控、操作等维护，一方面可提升维护效率，另一方面有利于保障端到端数字化业务感知，这种运维管理模式下，管理域需开放相应运维管理接口，为行业客户提供简单、易操作的的维护门户。第 10页运维管理业界进展运维管理主要遵循业界、的规范，当前已定义管理系统架构以及应用生命周期管理流程。图管理域系统架构在最新发布管理系统的技术规范，重点关注平台、网络能力开放以及应用运营部署等方面。如上图，在原来的架构基础上新引入、等模块，其中客户服务门户（）是运营商面向行业订阅并监控边缘应用的入口，协同、统一实现应用资源编排、能力开放的灵活配置。中国通信标准化协会，基于标准的进展，结合国内行业需求，提出边缘计算运营管理平台，和管理层、对接，实现面向统一的业务、运营、运维第 11 页管理三方面功能，以支撑系统的统一运维、统一经营。图管理域系统架构中兴运维管理方案中兴运维管理系统核心区域网络重点关注电信网元的全生命周期管理，而边缘节点的网络侧重于向行业的应用开放网络、业务、运维等能力，两者的管理系统通常分开建设。第 12页图中兴运维管理域架构边缘管理层包括、、、、用户日志分析、运维工具等系统，面向的管理主要提供如下功能。开箱即用：边缘管理域协同、提供边缘云自动纳管、一点配置功能，实现边缘开箱即用的部署方式，缩短站点的部署周期。敏捷上线：协同边缘云提供模型驱动的编排部署方式，同时对齐公有云的应用上线流程，提供资源按需发放等部署模式，简化应用部署的难度。并且作为云网一体化生态系统，依据典型场景，提供相应的网络分流、业务策略等原子能力，实现业务策略按需、一键下发，支撑行业应用端到端快速上线。自治管理：面对分布式、虚拟化、行业差异化大等难点，引入电信领域成熟的自动化、等技术，提供全局监控、主动维护、及时预防，实现边缘自治管理手段，有效提升边缘的维护效率和提升行业应用端到端的业务质量。第 13页自维护门户：行业基于维护门户与运营商共同负责边缘系统的维护，行业可实时监控行业应用以及关联的资源、网络、能力的服务质量，灵活下发资源、等调整策略实现边缘应用自维护，提升边缘运维效率。设备开箱即用图开箱即用部署流程站点开通流程遵循通用数据标准化预配置，个性化数据远程一键配置，支撑设备即插即用、快速部署，缩短站点上线周期。标准化预安装：设备在出厂前，自动化完成标准化运行环境、软件的自动化安装，标准化预配置通用数据。一键配置：预装设备支持在边缘节点自动接入运维管理域，边缘运维域依据现场的具体环境自动化设计设备的配置脚本，并通过、一点配置个性化局数据。自动化测试：边缘管理域提供自动化测试工具，封装的测试用例、测试工具，第 14页运维人员依据不同场景选用测试用例，系统自动化实现业务端到端测试。应用敏捷上线图应用自动化上线管理系统实现、、等系统拉通，面向行业应用提供资源编排、业务策略激活、能力订阅等功能，面向各种边缘应用业务场景，步轻松实现业务上线。 5.3.1 应用资源自动编排管理域编排功能基于不同场景，主要提供三种部署模式：遵循标准架构，通过模型驱动的自动部署；对齐公有云，直接发放资源的极简部署；第 15页面向需求不确定的互联网业务，提供智能编排部署。标准部署模式遵循成熟的上云经验，不同行业的应用可通过标准的模型来抽象应用虚拟、容器的资源资源模型。管理域编排功能内置丰富的标准组件库，提供向导式图形化设计界面快速设计标准的模板，基于模型驱动编排的理念，依据规定的流程和接口快速部署行业的应用。极简部署模式满足各行各业的灵活的部署需求，管理域编排功能提供类公有云的部署方式，更加符合应用的部署习惯行业客户通过门户选购或者自定义边缘应用的资源、系统、环境等要求，为行业客户便捷提供安全、可靠的基础设施服务。智能部署模式、游戏等互联网公司业务是覆盖全国的，的业务量和节点位置会根据具体业务不断变化。提供智能部署模式，全面采集资源、业务使用等数据，综合分析和深度挖掘业务变化进行动态建模，在海量的边缘节点中，选择最佳的边缘节点部署服务和应用，帮助运营商这种不确定性中实现应用高效编排，提升的业务利用率，并确保的商业收益。第 16页 5.3.2 应用策略敏捷配置图应用策略敏捷配置作为网络、业务的汇聚平台，为行业应用提供网络分流、带宽管理、等能力，解决网络时延、拥塞、安全等云网协同带来的问题。边缘网络基于、服务区、业务流等特性触发、等不同的策略为应用提供本地分流功能。另一方面，边缘平台通过为应用提供、负载均衡、带宽调整、加速等网络能力，为应用上下行数据传输提供加速和可靠性保障。管理域提供丰富的边缘能力原子库，包括上述涉及的网络策略配置，上级边缘运营系统可灵活调用这些原子能力，并组合商品化的产品提供给各行各业的应用，支撑行业数字化业务的快速上线，同时确保向应用提供极致的业务体验。第 17页 5.3.3 应用能力按需调用图能力按需调用基于平台为行业客户主要提供网络、通用、专用等平台能力，管理域基于前店后厂能力开放的原则，实现能力按需使用，为行业应用提供更大的边缘核心价值。在后端，的各种能力完成服务注册后，基于能力提供简单、实时生效调用接口，并提供能力调用认证、统计、流控等功能。在前端，能力商店基于后端开放的，向行业客户展示系统中有哪些开放的服务和配置说明，提供一站式能力订阅入口。第 18页智能维护图告警根因分析流程管理域在监控、故障处理、业务保障、故障恢复四个阶段，引入自动化、智能化手段，实现边缘自治维护，提升海量节点的维护效率，并高效保障应用业务体验。 5.4.1 全方位监控管理域按资源层、网络业务层、应用层三个层次分层监控，提供所有站点多种维度可视化监控视图，帮助不同维护团队的运维人员掌握全局资源运行健康状态。第 19页图分层可视化监控资源层监控面向海量、异构的节点，管理域系统提供异构资源集中监控、精细化容量管理、风险资源识别等监控手段：基于标准或企标预先和主流的云资源适配，并兼容等异构计算框架，实现对分散、融合边缘节点实现统一纳管、集中监控；采集全局容量、资源分配、资源负荷等基线数据，通过峰值、预测分析等手段，对如何处理应用弹缩做出更好、更明智的决策，以确保应用性能和资源消耗的平衡；重点监控负荷资源，并关联分析其运行状态和日志，及时识别存在风险的资源。网络业务层监控第 20页网络业务层的运行情况直接影响应用的业务感知，管理域面向网络管道、能力开放提供全方位的监控，便于提升故障定界的效率。在网络管道方面，通过数据监控终端、位置、网元、业务等多个维度应用的流量、速率等指标，并综合历史数据分析，及时识别异常指标，直观呈现哪些维度是影响异常指标的主要因素。在能力开放方面，基于的类型统计调用次数、调用的成功次数、失败次数、时延次数统计等指标，更好的掌握能力开放的使用负荷和业务质量，确保提供业务体验更优能力开放服务。应用层监控应对虚拟化资源弹性、迁移等动态变化的特性，边缘云提供可视化应用拓扑视图，支持自上而下钻取显示应用、虚拟资源、物理资源拓扑关系，可视化展示应用的物理位置，并在拓扑上渲染各层资源的告警、关键性能数据，实时呈现应用的运行健康状态，帮助运维人员可视化、高效维护各种行业应用。 5.4.2 故障自动定位针对边缘位置分散、维护能力弱等维护难点，管理域提供告警根因分析、网络诊断、日志分析等自动化手段，实现故障自感知、自治管理，最大化提升维护效率。告警根因自动定位系统采用虚拟化、分层的组网架构，故障处理涉及大量跨域、跨层的告警关联分第 21页析，人工定位告警根因难度大。告警功能，实时分析网元海量告警的逻辑关系，自动追溯到根因告警，告警功主要包括规则挖掘、规则应用。图告警根因分析流程规则建立基于训练挖掘规则分为以下步骤：数据提取，涉及告警，统计，配置数据搜集。数据清洗，去除无效数据。格式规整，数据分割，基于时间和资源承载关系，将告警切分为不同事务，形成事务数据集用于关联挖掘。算法运行，采用关联分析找出满足最小支持度的所有的频繁项集，然后基于频繁项集并根据置信度产生强关联规则。产生规则后进行一定的处理，第 22页转换为规则发布到规则库并部署到生产系统。如一个底层的硬件拔出会导致虚机层面服务不可用和连接中断，进而导致虚机失效，进而影响上层的业务不可用。系统可以基于资源关系、告警码以及时间窗口，通过算法进行综合判断建立起告警主次关系的知识。结果分析，将获取的知识按照一定的内部规则建立一条规则存储到规则库中。规则应用管理域实时监控资源数据，配置数据等，利用规则对现网的告警数据，资源数据，业务承载关系和时序进行综合判断，找出网络中真正的根因，自动修复或者展示给运维人员进行修复。网络故障自动诊断图网络故障自动诊断第 23页引入虚拟化、容器化技术后，网络故障面临拓扑复杂、动态变化、转发路径长等难点，管理域引入网络自动分析工具，基于实时采集各个计算节点的拓扑、运行状态等数据，统一汇聚给分析节点，提供网络拓扑、自动排障、远程抓包等功能。可视化拓扑：提供站点内主机内、虚机间、物理拓扑视图，并渲染故障节点信息，实现网络可视化、故障可视化。自动排障通过路径分析、运行状态、流表统计等手段，自动定界故障区域和故障原因。远程抓包通过主机的代理进行远程抓包并进行流解析自动定位故障故障原因。日志分析提前预防故障图日志异常检测设备日志的内容往往比告警更详细，更全面，日志系统通过内置的专家库或者智能手第 24页段挖掘出的规则实现日志异常的触发，依据实际的业务场景，提供疑似操作识别、时序异常检测等手段，提前发现系统异常行为，防患风险于未然。 5.4.3 业务质量保障图业务日志分析业务体验至关重要，也是运营商行业创新和行业协同的基础，管理域业务分析系统依据业务场景按照建立关键指标体系，并依托的流程建立业务质量智能保障的方案。首先面向云游戏、高清视频、工业控制等典型场景建立时延、丢包率、速率等关键指标体系，通过软采、硬采等方式采集信令、转发的数据。其次分析系统基于等技术对这些海量的数据进行灵活的挖掘和分析，基于小区、终端、业务类型等维度进行统计、分析业务的异常情况，直观定位出影响业务指标的问题所在，定位过程中可以对各结果进行下钻，自动找出业务指标裂化的根因。第 25页 5.4.4 策略智能自愈站点一般位于位置偏远的机房，维护能力比较弱，运维管理域通过策略系统分层次恢复资源层、应用层故障，保障最优的业务体验。网络策略架构以下几个功能模块：数据引擎：引入了大数据分析和机器学习的模型训练与应用，为网络提供了智能分析和策略决策的能力。主要功能包括分别收集网络数据和业务数据，执行分析，向策略决策模块、业务平台等推送数据分析结果，。策略决策模块：用于从引擎接收数据分析结果，然后基于数据分析结果，生成执行策略，并发送给策略执行模块和业务平台。策略执行模块：分为资源层运管系统和网络业务层网管支撑两个部分，既作为网络数据的来源，提供海量数据给引擎，用于大数据分析；也作为策略执行者，从策略决策模块获取策略信息并本地执行。基于策略系统智能实现故障智能闭环主要包括带宽自动调整和弹性扩容等场景。带宽自动更新：视频监控业务场景，策略中心检测到视频业务带宽门限达到条件上限，则策略中心下达平台更新该业务带宽门限，调整应用带宽能力。弹性扩容：策略中心检测到边缘整体性能指标达到条件上限，需要扩大媒体面网元的处理能力，则策略中心下达网元更新操作，对执行扩容，增加网元虚机数量。第 26页自维护门户网络的管理除了运营商外，企业也需要参与其中，通过双方协作更好的完成网络运维。运营商侧重部署、深度维护等技术要求较高的操作；企业侧重管理自身的应用及终端，以及主要的监控网络状况，对运维人员技能要求较低。自维护门户作为企业运维系统，可以支撑企业高效运维，管理好企业终端以及企业，并对网络进行协助运维。自运维门户提供覆盖终端设备，网络管道，企业应用多个层面的运维，并提供全面的网络监控和智能的定位分析，帮助用户精确掌握网络业务质量情况，快速排除网络故障，保障业务稳定运行。图自维护门户监控终端设备的运行状态，设备流量，设备链路质量等；监控网络管道的资源情况及状态，如无线信道时延，传输速率，调用情况等。第 27页监控企业自身应用的各项指标，如应用的网络性能，用户的安全日志，业务指标，阈值告警等。区别于运营商的运维系统，企业自维护门户功能更加简化，呈现更为灵活，大幅减轻企业运维压力。功能简化：仅提供网络性能，资源监控，告警处理等基础功能，不包含复杂网络操作如网元实例化，业务配置等，减轻企业用户运维压力。界面简化：支持用户自定义大屏指标，如仅展示项指标，或仅呈现企业用户关心的业务。第 28页运维模式探讨运维场景图运维场景和模式根据垂直行业对网络、数据安全存在不同的要求，可选择不同的位置部署，根据设备部署位置及资产归属分类，可分为多种运维场景：场景，部署在运营商机房，资产归属运营商；场景，部署在企业机房，资产归属运营商；场景，部署在企业机房，资产归属企业。针对以上不同的运维场景，需考虑对应的运维分工界面、运维系统架构以及运维组织。第 29页运维分工界面运维分工界面主要关注针对不同的行业特性，在不同运维场景下，运营商与行业企业在运维责任划分上的流程与界限：场景：如高清视频、媒体播放等行业，具有节点多、高带宽等业务特性。此时由于系统全部建设在运营商侧，则由运营商统一负责资源层、网络业务层维护，行业客户主要负责应用的维护，运营商可提供应用的代维服务。同时运营商可提供一些企业监控门户对企业订购的边缘资源情况进行监控，保障企业应用的正常运行；场景：如港口、矿山等行业，具有低时延、业务数据不出场等行业特性。由于边缘资产归属运营商，在运维分工界面上与场景基本一致，但由于设备部署位置在企业侧机房，故企业侧应具备能够本地应急运维人员，以保障在出现灾难性问题时可第一时间完成运维操作；场景：如电力等行业，具有网络完全隔离等行业特性，此时企业通常自购边缘设备，要求运维需要在企业本地完成。行业具备丰富的维护能力，在此场景下，企业可负责资源层、网络业务层、应用层的端到端一体化维护，由专业设备商或运营商提供疑难问题及操作的支撑。运维系统遵循系统可靠、维护高效的原则面向不同运维场景，运维系统可采用如下架构：场景：运营商网络集中建设一套边缘管理域系统，集中管理分布式站点，第 30页同时向行业客户提供维护门户，包括应用指标监控、应用策略变更、资源调度等，便于行业自主维护应用；场景：除在运营商侧集中建设一套边缘管理域系统外，由于站点位置偏远，可在企业侧配置一套本地轻量级应急维护系统。在边缘和运营商网管系统出现断链状况时，可提供紧急的本地维护功能，包括系统重启、复位、重新部署等操作，以便于本地快速处理边缘紧急故障，达到业务快速恢复的目的；场景：考虑企业数据不出场的安全性原则，企业侧边缘设备不再接入运营商的集中管理系统，日常运维需在企业侧单独配置一套本地维护系统，面向企业提供部署、策略配置、监控维护等全生命周期一体化管理功能，同时提供简单方便使用的自服务运维门户，实现系统的简易高效维护。运维组织根据当前通讯行业电信运营商的发展现状，运维组织通常是按照专业领域进行分工，各组织、部门间分工清晰，流程清楚；而不同行业，不同企业运维组织并没有明确的分工，可借鉴运营商的维护流程，组织、人员采用复用模式。故以上场景、场景是以运营商为主的运维模式，结合项目的实践，下面重点探讨这两种基于运营商运维系统场景下的通用边缘运维组织模式：图运维组织模式运维阶段主要运维内容运维组织业务受理业务产品设计、业务受理运营团队设备部署方案设计、资源层网络业务层部署团队第 31页团队应用上线部署、策略配置团队监控排障资源层网络业务层维护团队团队应用维护团队业务受理：区别于传统网络的业务开通，业务开通参数涉及用户数、时延、可靠性、安全等关键特性的网络要求，运营团队根据不同行业客户需求，规划、设计可复制的业务产品和参数，便于行业客户通过企业门户灵活订购相关业务；设备部署：随着电信网络向虚拟化技术演进，运营商虚拟化核心网网络运维组织演变成水平分层团队、团队，便于发挥网络敏捷、开放的优势。设备部署涉及核心网、网络、私有云、公有云等运维专业，可按照现有分层组织架构，以满足业务快速增长的需求；应用上线：应用上线包括应用编排、策略配置，对比传统应用上线，面临厂家多、规范缺乏、维护经验不足等难点，可成立团队，协同行业内伙伴，牵头应用上线的需求沟通、预集成、部署、策略激活的全生命周期过程，制定应用上线流程，更好的推进的建设和运营；监控排障：遵循分层运维的原则，、团队分别负责基础设施以及边缘网络和业务平台的监控、排障维护；团队提供的监控、故障闭环等服务，可由设备商、运营商、集成商等提供咨询、技术支持等专业服务。基于运营商一体化的维护体系，面行行业数字化业务建立一点响应、全程支撑的高效运维模式。第 32页结束语作为网络的延伸，给千行百业带来全新的业务体验和数字化服务。在运维管理上，运营商需综合考虑云、移动网络、垂直行业，以构建一个相互协同的运维体系，敏捷向行业客户提供丰富的边缘服务能力以及高效的维护保障手段；同时企业侧可建立简单易用、满足行业业务发展需要的运营运维系统；管理域提供资源自动编排、策略一键配置、能力按需调用等手段，将打造为一个敏捷的云网业务的生态圈，快速为不同行业的应用赋能，引领新体验、新服务的商业模式；同时考虑节点分散、场景差异化等运维需求，在管理域引入自动化、智能化维护手段，不断降低运维复杂性，实现边缘自治高效管理。运维模式，从传统的单纯运营商维护升级成运营商、行业客户协同维护。行业客户可通过维护门户行业实现应用自动部署、策略调整、能力灵活调用等管理，进一步提升运维效率，有利于激活上下游的协作效率。中兴通讯与运营商和行业伙伴一起，共同建立易运维、可经营的智简运维体系，驱动成为一个更加智能、敏捷的平台，迎接千行百业大带宽、低时延、海量连接业务真正的爆发，为构建通信为核心生态繁荣而做出更大的贡献。第 33页附录缩略语表缩略语缩略语英文全名中文解释第三方合作伙伴计划应用程序编程接口面向客户服务内容分发网络数字网络名深度报文检测欧洲电信标准化协会现场可编程门阵列图形处理器多接入边缘计算多接入边缘计算编排器多接入边缘计算平台多接入边缘计算平台管理器网络功能虚拟化网络功能虚拟化基础设施运营支撑系统操作维护中心服务水平协议根本原因分析虚拟网络功能虚拟化网络功能管理器用户平面功能上行分离器