云终端关键技术白皮书 （ 2021） 中国电信移动终端研究测试中心 云终端关键技术白皮书 - i - 目录 1、 前言 . 1 2、 云终端简介 . 2 2.1 云终端定义 . 2 2.2 云终端产品 . 2 2.3 体验关键因素 . 3 3、 云终端技术框架 . 5 3.1 平台分层架构 . 5 3.2 云边端部署方案 . 6 4、 云终端关键技术 . 8 4.1 敏捷、轻量化应用部署的云原生技术 . 8 4.1.1 容器化：运行解耦 、快速上线 . 8 4.1.2 微服务：模块设计、简化维护 . 9 4.2 强大算力的云计算 /虚拟化技术 . 10 4.2.1 服务器虚拟化：按需分配、提升效率 . 10 4.2.2 GPU 虚拟化：动态分配、提升算力 . 12 4.2.3 云存储：资源池化、高效安全 . 13 4.2.4 云资源配置：弹性 调度、集中管控 . 14 4.3 高效压缩、 QOS 保障的流媒体技术 . 16 4.3.1 音视频编码：高效编码、提升画质 . 16 4.3.2 IDR 场景编 码：优化编码、节省带宽 . 17 4.3.3 流媒体传输：可靠传输、降低时延 . 18 4.4 算力、算法、数据融合的人工智能技术 . 20 4.4.1 AI 芯片：提高算力、扩展场景 . 20 4.4.2 AI 算法框架：易用灵活、简化开发 . 21 4.4.3 AI 算法与应用：效率提升、普惠 AI . 23 4.4.4 AI 大数据：训练模型、精准推理 . 23 4.5 可靠、低时延的网络传输技术 . 24 4.5.1 移动网络： QoS 保障、提升体验 . 24 4.5.2 宽带网络：全 光网络、保障体验 . 25 4.6 实时处理端侧技术 . 27 4.6.1 音视频解码：高速解码、降低时延 . 27 4.6.2 信令收集：丰富输入、方便操作 . 27 4.7 云端协同一体化技术 . 28 4.7.1 应用服务协同：灵活加载、一站式服务 . 28 4.7.2 资源调度协同：分层协同、全局调度 . 29 4.7.3 端云控制协议：高效控制、快速响应 . 30 云终端关键技术白皮书 - ii - 4.8 端到端的安全 管控技术 . 32 4.8.1 账号安全认证：统一认证、一点接入 . 32 4.8.2 应用及文件管控：加密审核、提高安全 . 33 4.8.3 云网安全 防护：预测危险、抵御攻击 . 34 4.8.4 云终端安全防护：加密防护、系统安全 . 35 5、 总结与展望 . 37 云终端关键技术白皮书 - iii - 图目录 图 2-1 云终端业务示意图 . 2 图 3-1 云终端功能架构 . 5 图 3-2 云终端部署方案 . 7 图 4-1 虚拟机与容器对比 . 8 图 4-2 微服务 . 10 图 4-3 虚拟化技术 . 11 图 4-4 GPU 虚拟化技术 . 12 图 4-5 云存储技术 . 13 图 4-6 云资源配置平台架构 . 15 图 4-7 WEBRTC 架构图 . 19 图 4-8 云终端人工智能架构 . 20 图 4-9 AI 算法与应用 . 23 图 4-10 AI 大数据处理流程 . 24 图 4-11 网络切片流程 . 25 图 4-12 全光网络架构 . 26 图 4-13 快速解码 . 27 图 4-14 应用服务协同 . 28 图 4-15 资源协同 . 30 图 4-16 端 云控制 . 31 图 4-17 基于 USIM 的安全认证 . 33 图 4-18 云终端安全架构 . 35 云终端关键技术白皮书 - iv - 表目录 表格 2-1 云终端用户体验要求 . 3 表格 4-1 主流虚拟化软件 . 11 表格 4-2 GPU 虚拟化技术对比 . 13 表格 4-3 主流编码标准对比 . 16 表格 4-4 IDR 帧 . 17 表格 4-5 TCP 与 UDP 传输协议 . 18 表格 4-6 主流可靠 UDP 传输方案 . 18 表格 4-7 AI 芯片架构 . 21 表格 4-8 主流 AI 算法框架 . 22 表格 4-9 WI-FI 5 与 WI-FI 6 标准 . 26 表格 4-10 信令收集 . 27 表格 4-11 主流桌面控制协议 . 31 云终端关键技术白皮书 第 1 页 1、 前言 随着 新兴技术 的 加速迭代 和 数字经济 的 蓬勃发展 ， 以 5G、云计 算、物联网、人工智能等 为代表的 新技术已成为推动 传统 产业数字化 转型的 关键动能， 不仅为“工业强国”的发展带来了新的 机遇和挑战 ， 也成为了 数字经济时代国际竞争和发展 的 制高点 。 带来 。 中国电信正在以“网是基础，云为核心，网随云动，云网一体” 的总体思路推进云网融合 。 通过打造泛在智联、智能计算、数字平台、 原生安全等 一系列基础能力 加速云网融合 的 成型，为数 智 化 转型发展 赋能。 为了 推云入端 ， 促进 云网端相互融合 助力 数字经济 的 发展，中国 电信 于 2020 年 11 月 8 日 率先发布中国电信云终端白皮书 ， 阐述 云终端 的 理念及生态，引领云 终端产业发展。为了促进云终端 高质量、 可持续 的 创新发展 ， 我们 持之以恒地开展 云终端的 产业 洞察 ，并将 本 领域 发展的核心 知识与技术 编撰成 云终端 关键技术白皮书 。 本白皮书 探讨了云终端 的 平台架构、 人工智能、大数据、云计算 网络 与安全 等 关键 技术 ，希望以此凝聚业界力量 ， 合力 催生 云终端 新 业态，培育云终端潜在新兴市场 。 联合撰写单位：中国电信 股份有限公司 研究院、天翼云科技有限 公司、天翼数字生活科技有限公司、天翼安全科技公司 云终端关键技术白皮书 第 2 页 2、 云终端简介 2.1 云终端定义 云终端将云网能力与智能终端硬件深度融合 ,实现云网端一体交 付 ， 提供 计算在云、存储在云、应用在云、安全在云，畅享在端 及 多 端共享 的 服务体验 。 云终端为云上娱乐、云上办公、云上诊疗各种云应用场景赋能， 让用户终端更简单、让用户数据更安全、让应用性能更强大，让多端 云应用共享更便捷。 云终端 云手机 云摄像头 指令流 / 信息流 视频 / 数据流 云转码 服务器 云控制 服务器 云管理 服务器 云平台 云应用 云游戏 云教育 云办公 云存储 指令 / 数据 网络 移动网络 宽带网络 指令流 / 信息流 视频 / 数据流 图 2-1 云终端 业务示意图 2.2 云终端 产品 目前 典型的云终端有云手机 、智慧云屏、云摄像头、 云路由器 、 云电视 、 云 VR 等 ： 云手机： 云手机终端是在传统手机的基础上叠加“云手机” 服务，云端双生，同时拥有“一实一虚”两部手机 ； 云终端关键技术白皮书 第 3 页 智慧云屏： 智慧云屏通过“桌面智能屏 +云桌面业务”，集成 各类云网能力， 向 用户提供云课堂、云教育、云办公等智慧 云屏整体解决方案 ； 云摄像头： 通过云 端 多样化 AI 算法和强大的算力赋能 端侧 ， 使得摄像头终端具备更强大和更多样的识别能力，实现智能 视觉 ； 云路由器： 在传统路由器软硬件基础上， 与云端能力协同工 作 ， 实现 云端 动态 加载 及拓展更多 应用 功能 ，丰富应用场景 ； 云电视： 在智能机顶盒、 dongle、 智能 电视等终端上，按需 动态运行云端业务，提供超高清视频业务、海量云应用、智 能交互、智能推荐和智能家居终端控制等多种业务及功能； 云 VR： 基于云计算、云渲染等先进技术， 通过强大的云端 服务器处理能力和高带宽、低延时网络， 实现内容 上云、 计 算上云，降低 VR 终端处理负载，提供更低成本、轻量化的 VR 体验。 2.3 体验关键 因素 良好的用户体验是云终端业务发展的首要驱动力，画质 与音效 、 互动操作及续航 能力 是用户直接感知的关键体验环节。 表格 2-1 云终端 用户 体验 要求 关键因素 体验要求 画质与音效 画面效果 清晰度 流畅度 色彩 饱和度 云终端关键技术白皮书 第 4 页 声音效果 画音同步 声音 连贯 互动操作 准确性 准确度 舒适度 灵敏度 启动等待 操作时延 续航能力 时间 可运行时长 稳定性 长期流畅运行 温升 外壳温度平稳 画质 与音效 ：受 音 视频编码效率 及网络 传输 影响， 音 视频 编 码效率 包括编码格式、分辨率、帧率、码率等要求，网络 传 输 主要体现画面的流畅或卡顿； 互动操作 ： 信令收集速度、 网络延时或丢包 、云端处理速度 可能带来操控失败或迟滞感，影响 云业务 使用的 流畅性 ； 续航 时间 ： 使用 云 端 业务 可能出现 CPU 在较高负载情况下持 续运行， 降低 电池续航能力， 影响 业务 使用时长 ； 此外， 可 能 产生发热现象， 影响业务的 稳定运行 。 云终端关键技术白皮书 第 5 页 3、 云终端技术框架 3.1 平台分层架构 云终端的功能架构可分为业务层、平台层、网络层、终端层四个 不同层级： 服务能力 移动网络 固定宽带网络 办公 游戏 教育 运营管理 认证 计费 业务管理 业务接入 业务处理 数据交互 用户调度 渲染 编码及流化 信令处理 AI 端 到 端 安 全 云 边 端 协 同 终端层 网络层 业务层 平台层 图 3-1 云终端功能架构 1） 业务层 负责云办公、云游戏、云存储等云终端的业务提供； 采用 容器化、微服务等云原生技术 实现 云 端 业务与 异构硬件 平 台的解耦，加速云终端业务上线，简化运营维护。 2） 平台层 运营管理：提供认证、计费、业务管理、用户调度等功能，需 要根据业务、网络与终端状况，灵活实现计算、存储等资源的 调度， 并 实现云、边、端协同； 云终端关键技术白皮书 第 6 页 服务能力：提供画面渲染、音视频编码、流媒体传输、 AI 等 功能 。 3） 网络层 固定宽度网络： 包括广域网、城域网及接入网络，实现云终端 与云平台之间的信息传输 ； 移动网络： 5G 切片、全光网络等技术满足云终端业务 高带宽 低时延的传输体验要求 。 4） 终端层 数据交互： 实现信息交互 ； 业务接入与处理： 数据处理、媒体流解码等功能。 3.2 云边端部署方案 云终端业务按照中心云、边缘云、终端三级 弹性 部署 。 将服务能 力平台部署下沉边端靠近用户侧， 可以 更好地为规模用户提供低时延、 高 可靠的 体验服务 。 云终端关键技术白皮书 第 7 页 云终端 边缘云 城域网 中心云 广域网 接入网 移动网络 （ 5 G ） 宽带网络 （ Wi - Fi / 有线 ） OLT 云终端 WebRTC 协议 视频解码 指令获取 拥塞控制 基站 HW 操作指令 处理 音视频编 码及流化 渲染 A R M 服务器 X 86 服务器 云计算 / 虚拟化 运营管理平台 账户计费账号登陆 用户管理 X 86 服务器 拥塞控制 R T P / R T C P 云计算 / 虚拟化 传输协议 服务能力平台 S T U N / T U R N AI 图 3-2 云终端部署方案 1） 中心云：提供时延不敏感的云终端业务服务或边缘云的备选 服务能力； 并 提供统一用户接入及业务管理； 2） 边缘云：为 大规模用户及 游戏、办公类时延 及可靠性 体验要 求高的云终端业务提供 快速 服务能力； 3） 云终端：负责运营平台及业务能力平台的接入，完成认证、 业务处理 、 状态检测 及用户数据交互 。 云终端关键技术白皮书 第 8 页 4、 云终端关键技术 4.1 敏捷、轻量化应用部署的云原生技术 云原生由容器化、微服务等敏捷基础架构组成，具备轻量、敏捷、 高度自动化的特点，有助于简化云终端服务在异构平台上的快速部署 及维护。 4.1.1 容器化：运行解耦、快速上线 容器技术原理是在物理服务器及其主机操作系统之上，将应用与 底层运行环境进行解耦，已经发展成为应用分发和交付的行业标准。 物理机 物理机 虚拟化层 H o s t O S 容器内核 容器 应用 依赖环境 容器 应用 依赖环境 H o s t O S 虚拟机 应用 G u e s t O S 虚拟硬件 虚拟机 应用 G u e s t O S 虚拟硬件 虚拟机 容器 图 4-1 虚拟机与容器对比 与虚拟机相比，容器更加轻量化、占用资源更少、更灵活，容器 技术具有如下特点： 云终端关键技术白皮书 第 9 页 隔离性：容器底层运用 Namespaces 和 Cgroup 技术实现容器 进程的资源隔离，每个应用都有自己的隔离环境，确保各自 的安全运行 ； 高效性：容器对操作系统进行抽象，每个容器只包括应用程 序与必要的依赖资源，共享操作系统内核，因此占用空间小， 能够快速启动和迁移 ； 可移植：容器消除了开发、测试、生产环境的不一致性，容 器应用可以 被移植到其它宿主机器中，为开发和运维提供标 准化的解决方案 。 云终端平台采用容器化技术可以实现应用加载与硬件资源的隔 离，各种应用可快速动态加载到异构的硬件平台，并保持应用的安全 性。 4.1.2 微服务：模块设计、简化维护 微服务技术原理是将单体应用拆分为松耦合的多个子应用，多个 微服务共同形成了一个物理独立但逻辑完整的分布式微服务体系。 云终端关键技术白皮书 第 10 页 图 4-2 微服务 通过分布式架构将应用水平扩展和冗余部署，从根本上解决 了单体应用在拓展性和稳定性上存在的先天架构缺陷； 微服务之间相对独立，通过解耦研发、测试与部署流程，可 提高应用的整体迭代效率。 采用微服务 +容器化架构的云终端开放平台，可加速应用的部署 和升级，提升系统的维护效率。 4.2 强大算力的 云计算 /虚拟化 技术 云终端业务的发展对云计算及虚拟化技术提出更高的要求， 需 提 供超强的兼容及服务能力、按需分配计算与存储资源，支撑云终端业 务发展及提供良好用户体验。 4.2.1 服务器虚拟化 ： 按需分配、 提升 效率 服务器虚拟化原理是在操作系统与硬件之间加入一个虚拟化软 件层 （ VMM） ，使得上层操作系统可以直接运行在虚拟环境上， 实现 运行在同一台物理机上不 同操作系统的多个虚拟机相互隔离。 云终端关键技术白皮书 第 11 页 在 ARM/X86 平台使用的 VMM 虚拟化技术 包括 软件辅助虚拟化 和硬件辅助虚拟化： A PP Gu es t O S A PP A PP Gu es t O S Gu es t O S 虚拟化层 （ H y p ervi s o r ） CPU GPU DDR 硬盘 A PP A PP A PP Gu es t O S Gu es t O S 虚拟化层 （ H y p ervi s o r ） CPU GPU DDR 硬盘 H o s t O S 硬件虚拟化 软件虚拟化 图 4-3 虚拟化技术 1） 硬件辅助虚拟化： CPU 提供了对特殊指令的截获和重定向的 支持，帮助 虚拟化 软件实现对关键硬件资源的虚拟化，性能 更好，如 Intel VT-x 或 AMD SVM 处理器虚拟化技术 ； 2） 软件辅助虚拟化：利用软件技术，在现有的物理平台上实现 对物理平台访问的截获和模拟，可以不需要硬件支持，但需 要进行指令转换翻译，存在 CPU 无法隔离 GuestOS 特权指令 的风险 ， 目前各开源组织推出了数十种虚拟化软件： 表格 4-1 主流虚拟化软件 KVM VirtualBox OpenVZ Xen 虚拟化层 硬件层 宿主 OS 内核层 硬件层 虚拟化技术 完全虚拟化 完全虚拟化 OS 虚拟化 半虚拟化 操作系统 Linux、 Windows Linux、 Windows Linux Linux、 Windows 资源 超售 CPU CPU、内存、 CPU、内存、 CPU 云终端关键技术白皮书 第 12 页 （划分资源 超 物理资源） 存储 存储 动态迁移 支持 支持 支持 支持 虚拟机快照 支持 支持 支持 支持 部署复杂度 图形管理 图形管理 图形管理 图形管理 4.2.2 GPU 虚拟化 ： 动态分配、 提升算力 GPU 虚拟化是加速视频和图形应用 的关键技术， GPU 虚拟化可以 提升虚拟桌面密度，动态分配 GPU 资源满足图形加速能力 。 主流的 GPU 虚拟化方案包括以下 两类 ： VM vGPU VM VM vGPU vGPU 虚拟化层 GPU GPU GPU G PU 直通 A PI 转发 VM vGPU VM VM vGPU vGPU 虚拟化层 GPU GPU GPU GPU Dri ve r直通 图 4-4 GPU 虚拟化技术 GPU 直通技术： 通过 VT-d（ Intel Virtualization Technology for Directed） 技术将物理 GPU 直通给虚拟机， 虚拟机可以直 接调用物理 GPU 完成 图像处理与渲染； GPU API 转发： 通过驱动对物理 GPU 资源分片划分，生成多个 固定显存的 vGPU 并分配给 虚拟机 使用， vGPU 驱动捕获图形命 令调用并转发 实际 物理 GPU 上处理 。 云终端关键技术白皮书 第 13 页 表格 4-2 GPU 虚拟化技术对比 GPU 直通 GPU API 转发 优点 虚拟机完全拥有物理 GPU 的资源和性能； 画面渲染延迟更低； 多个虚拟机可以共享一个 物理 GPU； 缺点 一个物理 GPU 只能 同时 给一个虚拟机使用； 需要 GPU 硬件与驱动支持； 4.2.3 云存储 ： 资源池化、高效安全 云存储 提供 云业务的数据集中存储和共享，实现对云业务数据的 统一管理和高效应用。 分布式存储服务器集群 元数据服务器集群 云存储 资源池化 万兆 / 光网络 云业务 云相册 云盘 云游戏 云办公 文件存储 、 读写 海量文件定位 、 检索 图 4-5 云存储技术 为了保证云存储数据的高效与安全， 云存储 的关键技术包括： 资源池化：利用虚拟化技术，将集群中的存储资源虚拟化为 存储池，并向云平台提供块、文件和对象存储服务，如提供 块存储作为虚拟机的系统盘、提供文件存储作为业务媒体数 据存储 ； 云终端关键技术白皮书 第 14 页 负载自动均衡：元数据与存储文件分离，通过元数据维护和 统一分配文件数据的存储节点，从而达到按照网络负担、服 务器读写负担、磁盘存储状态自动选择存储节点的能力，动 态调整存储服务器集群负载状态； 高速并发访问：云服务调用云存储资源时，首先访问元数据 服务器获取数据存储节点信息，然后再访问数据节点完成数 据存取。同时将文件数据分成多个节点进行分布式存储，文 件存取时云服务可以访问多个节点服务器以提升系统的 I/O 效率，提升系统性能； 高可靠性保证：存储数据冗余分布存储在不同的数据节点上， 并通过热备技术，保证不会因节点损坏导致 数据丢失或影响 数据访问和写入过程，并支持灵活数据恢复机制进行数据重 建。 云存储 具备高吞吐、高并发、高可靠特性，支撑个人云、家庭云、 应用云与设备数据双向流动，满足云终端 业务及 数据随人走的关键需 求。 4.2.4 云资源 配置 ： 弹性调度 、 集中管控 云 资源配置 是通过 统一的平台来 实现 计算，网络，存储在内的数 据中心资源 的统一分配与管控 。 云终端关键技术白皮书 第 15 页 弹性计算平台 弹性计算平台 数据采集 资源调度 虚机管理 安全管控 虚拟化平台 计算资源池 分布式存储资源池 运维及监控 性能监控 资源监控 网络监控 计算服务器 存储服务器 网络交换机 图 4-6 云 资源配置 平台架构 资源动态配置管理的 核心 技术包括： 计算（ compute）：用于实现管理虚拟机实例的整个生命周期， 根据用户需求提供虚拟服务，配置 CPU、内存等规格信息， 负责虚拟机的创建、开关机、重启、迁移、扩缩容、销毁等 操作 ； 存储（ volume）：为虚拟机实例提供稳定的数据块存储服务， 如创建卷、删除卷，在虚拟机实例上挂载和卸载卷 ； 网络（ network）：提供云计算的网络虚拟化技术，为用户提 供接口，实现自定义 Network、 Subnet、 Router，配置 DHCP、 DNS、负载均衡、 L3 服务 ； 云终端关键技术白皮书 第 16 页 镜像（ image）：一套虚拟机镜像查找及检索系统，支持多种 虚 拟机镜像格式（ ISO、 QCOW2、 RAW），有创建上传镜像、 删除镜像、编辑镜像基本信息的功能 ； 身份认证（ identity）：实现对域、租户、用户、组和角色的 管理，为各项目间的通信提供身份认证， token 管理， rule 管 理等功能。 4.3 高效压缩、 QoS 保障 的流媒体技术 更高品质的云终端业务 体验 需要具备高画质、低时延特性， 因此 对 流媒体 的 编码效率 与 QoS 传输提出更高的要求 。 4.3.1 音视频 编码 ：高效 编码 、 提升画质 云平台 渲染的 画面需要经过编码压缩后 再进行 网络传输 ， 降低对 传输网路要求 ， 同时可根据带宽、丢包及时延等网络情况动态调整编 码压缩码率，从而更好地适应复杂网络场景。 目前 主流 的 流媒体 编码 标准 包括 H.264、 H.265、 AVS3、 H.266： 表格 4-3 主流编码标准对比 H.264 H.265 AVS2.0 AVS3 H.266 编 码 性 能 分辨率 720P、 1080P 1080P、 4K 1080P、 4K 8K 以上 8K 以上 压缩率 码率比 H.264降低 50% 与 H.265 相当 与 H.266 相当 码率比 H.265降低 50% 编解码 复杂度 低 高 高 极高 极高 关 键 技 术 块划分 宏块和子宏 块 四叉树递归 增强型四叉 树 增强型四叉树、二叉树 四叉树、嵌套 多类型数递 归 编码块 尺寸 4X4 - 16X16 8X8 - 64X64 8X8 - 64X64 4X4- 128X128 4X4- 128X128 预测 亮度分量预 运动估计 、 MV 帧间预测 、 帧 仿射运动预 Merge、 仿射 云终端关键技术白皮书 第 17 页 测 、 色度分量 预测 预测 、 Merge、 AMVP、 运动补 偿 技术 内预测 、 运动 矢量预测 测 、 自适应运 动矢量精度 、 基于历史信 息运动矢量 预测 、 大跨度 预测编码 变换 、 自适应 运动矢量精 度 技术 变换 DCT DCT2 DST DCT2 DCT2、 DCT8 DST7 DCT5、 DCT8 DST7 滤波 边界 Deblock滤波 自适应环路 滤波 自适应环路 滤波 基于神经网 络的滤波 基于神经网 络的滤波 新一代的 AVS3.0 及 H.266 具备更高的 压缩率， 但对平台与终端 编解码能力 提出了更高的要求 ， 目前 主要应用在 8K 高清 大屏 ； 其他 云 终端 解码能力主要 采用 H.265 或 H.264,且 H.265 正在逐步取代 H.264 终端 。 4.3.2 IDR 场景 编码 ： 优化 编码、 节省带宽 IDR 场景编码 原理是 第一帧 采用 IDR 帧，之后 采用 P 帧，场景 变化较大或网络丢包严重导致 P 帧图像无法恢复 时 ，再重新发送 IDR 帧 ， 更 适应云游戏、云办公非频繁变化 场景 。 表格 4-4 IDR 帧 IDR 帧 I 帧 P 帧 B 帧 名称 瞬时解码刷新 帧 Instantaneous Decoding Refresh 帧内编码帧 Intra-coded picture 预测编码帧 Predicted Picture 双向预测编码 帧 Bidirectional predicted picture 编码实 现 采用 编码序列 的第一个 I 帧， 不进行前向参 考 ； 如果 P 帧无 法恢复 ，立即 发 送 IDR 帧开始 新的 解码 序列 只使用本帧信 息 进行解码 需参考 前一 I 或 P 帧 与本帧差异 需参考 前一个 I 或 P 帧 及后一个 P 帧 与本帧差异 云终端关键技术白皮书 第 18 页 压缩率 低 低 高 相当于 1/8 I 帧 大小 最高 相当于 1/20 I帧 大小 编解码 复杂度 低 低 高 最高 IDR 场景编码技术 对云终端游戏、视频会议类 业务 ， 可 有助于节 省云终端业务带宽、减少时延、保证视频 流畅 。 4.3.3 流媒体传输 ： 可靠 传输 、 降 低 时延 云终端业务对丢包、时延 敏感 ，网络传输可能 导致 操作延迟、使 用卡顿、画面质差。目前流媒体传输协议主要有 UDP 及 TCP。 表格 4-5 TCP 与 UDP 传输协议 传输 协议 纠错 优点 缺点 适用场景 TCP ARQ 可靠性高 支持丢包重传 滑动窗口控制发送速 度 速度慢 需要等待重传 容易造成拥堵 文件传输 实时性不高 准确性要求高 UDP 无 速度快 无连接传输，不管丢包 可靠性低 不管丢包 音视频播放、视频会议 实时性要求高 内容大部分准确 FEC 速度快 FEC冗余保证丢包恢复 无需等待 ACK 可靠性较低 网络抖动严重是存在 FEC 无法恢复 UDP 传输速度快、开销小、容易产生丢包， TCP 可靠、丢包重 传容易产生时延。 采用 UDP 与 FEC 或 ARQ 相结合，既可保持 UDP 传输快 ，同时在一定程度上提升其可靠性 ，更适合云终端业务的实时 性传输要求。 典型的可靠 UDP 传输方案包括 WebRTC、 UDT 与 QUIC。 表格 4-6 主流可靠 UDP 传输方案 传输协议 RTCP/RTP （ WebRTC） UDT QUIC (Google) 云终端关键技术白皮书 第 19 页 数据格式 基于 UDP 进行RTCP/RTP 封装 基于 UDP 进行UDT 封装 底层采用 UDP 替代HTTP 的 TCP 传输 应用场景 互动直播 视频会议 IPTV 直播 云游戏 广域网海量数据 传输 HTTP/3 视频点播、直播 标准 W3C 及 IETF 未纳入标准 IETF 正在制定 实时性 传输时延低 丢包回传时延高 连接、传输时延低 ARQ （ QoS） 接收端发送 NACK 实现 发送端等待超时 接收端发送 NACK 实现 拥堵控制 GCC、 BBR 及其他 需自定义扩展 Cubic 其他 支持 jitterbuffer 支持 DTLS 加密 支持成熟流控 采用滑动窗口框 架 支持 DTLS 加密 支持多路复用 支持连接迁移 WebRTC 是由谷歌开发的一个 主要适用于实时通讯的 开源协议 ， 2021 年 1 月 26 日， W3C 与 IETF 宣布 WebRTC 成为官方标准。 P ee rC on nect i on Int erf a ce P ee rC on nect i on M edi a S t ream C ha nne l M edi a C ha nnelB a s e C ha nnel N e t w ork T ra ns port T ra ns portP 2 P g a t her A udi o E ngine V i deo E ng i ne R T P _ R T C P E nc o de / D ec o de V i deoE ncoder V i de oD ec oder A udi oD ec oder A udi oE ncoder OS 跨平台适配 、 第三方库及硬件设备层 V i deoC a pt urert c _ bas e A udi o cod e c bori ng s s l V i deo co decl i bs rt p A udi o D evi ce 图 4-7 WebRTC 架构图 云终端关键技术白皮书 第 20 页 WebRTC 提供 音视频编解码、 RTP/RTCP 数据传输与 控制、 NAT 穿越 及安全与加密 等功能 ，适合云游戏、云办公等 低时延 应用场景 ， 有助于提升云终端 业务 体验 。 4.4 算力、算法、数据融合的人工智能技术 人工智能技术 包含人工智能算法、运行算法的基础算力与算法 训 练 所需的数据 三个维度， 算力、算法、数据支撑着云终端 AI 业务的 发展，为用户提供更高效、安全、智能的云终端服务体验。 游戏 办公 监控 AI 基础应用 智能语音 自然语言处理 计算机视觉 AI 算法框架 TF M XN et C af f e Py T o r c h C N T K Pa d d l eP ad d l e AI 基础硬件 计算服务器 云终端 C P U G P U FP G A N PU 图 4-8 云终端人工智能架构 4.4.1 AI 芯片 ： 提 高 算 力 、 扩展场景 深度神经网络 需要 在云终端与云平台上 用更短的时间、更低功耗 完成 AI 算法 计算， 高性能 AI 芯片 可更好地 提供算力保障 。 AI 芯片 的主要架构可以分为 CPU、 GPU、 FPGA 与 NPU 芯片： 云终端关键技术白皮书 第 21 页 表格 4-7 AI 芯片架构 CPU GPU FPGA NPU 定制化 通用型 定制化 半定制化 定制化 应用场景 控制、通用程 序 图形、游戏、 AI 通用加速场景 AI 主要特点 业务管理与控 制 算力较低 适合处理流程 复杂的控制类 任务 用于图形渲染 处理，适合大 规模并行计算 任务 硬件可编程芯 片，具备一定 硬件加速能力 神经网络专用 芯片 业务 算力 需求 不断提升： 复杂场景的 视频检测、识别、行为 分析等 对 AI 算力提出了更高的要求 ，非理想环境下（如强光、 低照、雨雾）的图像效果 提升 ， 其 算力需求可达 16T； 云边芯片统一架构成为趋势： 云边芯片统一架构可简化部署， 同一算法模型 可 同时在云端 、边缘和终端 灵活部署 ， 如同一 人脸识别算法可以部署在云端，也可以部署在终端。 云终端平台采用高性能 GPU 服务器 提供 视频编解码、深度学习、 科学计算等多种 能力 。 随着智能业务应用广度和深度不断发展，算法 复杂程度 不断提高 ，专业神经网络芯片 NPU 的 应用场景 （如云摄像 头） 将 不断扩展 。 4.4.2 AI 算法框架 ： 易用 灵活、 简化开发 算法 框架实现对人工智能算法的封装 、 数据 及计算资源的 调用， 供开发者使用，已成为整个 AI 技术体系的核心。 目前主要的开源框 架主要有 TensorFlow， MXNet， Caffe/2+PyTorch 等： 云终端关键技术白皮书 第 22 页 表格 4-8 主流 AI 算法框架 框架 厂商 语言 芯片 领域 优点 缺点 Tenso rFlow Googl e Python 、 C+ CPU/G PU/NP U 机器学习、图 像识别、自然 语言语义识 别 1、图形化展示 计算模型； 2、支持可视化 的 TensorBoard 工具。 1、计算很慢； 2、缺乏预先训 练的模型。 PyTor ch Faceb ook Python CPU/G PU 机器学习、图 像识别、自然 语言语义识 别 1、支持 梯度计 算与 求导； 2、支持动态图 结构（在运行 时创建图结 构）。 1、不支持沿维 翻转张量； 2、不支持无穷 与 非 数 值 张 量； 3、不支持快速 傅里叶变换。 Paddl ePadd le 百度 Python CPU/GPU 深度学习、图 像识别、自然 语言语义识 别 1、易用； 2、代码和设计 简洁。 MXNet Amazon C+、 Python 、 R、 Scala、 Julia、 MATLAB 、 JavaSc ript CPU/G PU 机器学习、图 像识别、自然 语言语义识 别 1、支持分布式 计算； 2、优化显存和 内存。 Caffe /Caff e2 Faceb ook C+、 MATLAB 、 Python CPU/G PU 深度学习、图 像识别、自然 语言语义识 别 无需编写代码 即可进行模型 的训练。 对 RNN 循环神 经网络支持不 好。 CNTK MicroSoft C+， C#， Java、 Python CPU/G PU 深度学习、图 像识别、自然 语言语义识 别 1、支持分布式 模型训练。 1、不支持可视 化； 2、采用私有的 NPL 语言来描 述网络结构。 模型分割进行计算已成为 AI 算法框架的下一个核心竞争点， 更 好地实现 端边云协同，满足 云终端 不断丰富的 AI 应用场景需求。 云终端关键技术白皮书 第 23 页 4.4.3 AI 算法与应用 ： 效率提升、普惠 AI 随着 AI 算法的效率提升， 以及 智能语音、自然语言处理和计算 机视觉等基础技术 的 逐渐成熟，云终端 AI 应用 的产业化和商业化 进 程加速 。 AI 应用技术 智能语音技术 语音合成 声纹识别 语音识别 语音评测 机器视觉 图像分类 目标检测 目标跟踪 图像分割 自然语言处理 文本分类 信息抽取 情感分析 机器翻译 图 4-9 AI 算法与应用 智能语音 ： 通过人机之间语音信息的处理，实现云终端对语 音的分析、理解和合成，提升云终端交互的便利性，重塑了 人机交互模式，并将智能语音服务打造成家庭、行业用户的 重要入口 ； 机器视觉：实现人脸识别、视频结构化、姿态识别等功能， 主要分为图像分类、目标检测、目标追踪和图像分割四个基 本类型； 自然语言处理： 实现机器人理解人类读写的重要技术，主要 步骤包括分词、词法分析、语法分析、语义分析等。 4.4.4 AI 大数据 ： 训练 模型、精准 推理 数据 是 算法模型 训练与推理 的 基础， 大数据将有助于提升 云终端 云终端关键技术白皮书 第 24 页 AI 应用 的准确率与精准度 。 AI 训练 AI 推理 云平台 云终端 原始 数据 业务 数据 训练 数据 模型 部署 推理 结果 大数据处理 数据采 集 数据存 储 数据预 处理 图 4-10 AI 大数据 处理流程 大数据处理：对采集到的原始数据如文本、图像或者应用数 据进行清洗和预处理，生成 标准化 数据供后续模型训练使用 ； AI 训练 :导入大数据处理后的训练数据，通过 云平台进行 AI 模型训练 ， AI 模型 可部署在云平台或终端进行 AI 推理。 4.5 可靠 、 低时延 的 网络 传输 技术 云终端业务受到云、管、端等多重因素影响，其中网络传输状况 直接影响到业务的画质、流畅性及交互体验。 5G、网络切片、全光网 络、 Wi-Fi 6 等网络技术为云终端体验提供了网络带宽 与时延 保障， 提升业务的流畅性。 4.5.1 移动网络 ： QoS 保障 、 提升体验 5G 通过高压缩密度调制解调、 28GHz 毫米微波通信、 1024QAM、 云终端关键技术白皮书 第 25 页 MU-MIMO相控数组天线等新技术，将数据传输速度提升至 10Gbps， 进一步提升了云终端业务的质量与稳定性 。 依托 5G 网络切片技术和终端路由选择策略 (User Equipment Routing Selection Policy,URSP)，面向云终端业务提供差异化的带 宽、时延、隔离等网络切片专用保障，满足云终端业务的个性化需求。 终端切片 管理平台 切片中间件 网络连接 U R S P 规则与匹配 5 G 核心网 云终端 切片 1 OS M o d e m 图 4-11 网络切片 流程 终端 URSP 策略定义了基于 APPID/DNN/FQDN/IP 级别的业务配置 和路由选择策略，是网络切片的入口和重要环节。 终端根据 URSP 策略，可以实现运营商为不同业务提供按需的网 络切片资源，进而实现端到端网络切片。 4.5.2 宽带 网络 ： 全光网络 、 保障体验 全光网络可以为用户带来低时延和确定性抖动的传输性能，其特 点是大带宽、低时延、 0 抖动： 云终端关键技术白皮书 第 26 页 云平台 O T N O T N O L T10 G P O N 全光 O N