中国移动 5G 联合创新中心创新研究报告 云 AR 应用创新研究报告 （ 2019 年） 2019 年 6 月 创新 研究报告 2 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 摘 要 云 AR 应用创新研究报告包含了 I） 5G AR 重点业务分析； II） 5G增强现实产业发展与关键挑战； III） 5G 云 AR 关键能力需求； IV）5G 云 AR 业务解决方案； V） 5G 云 AR 商业前景及商业模式，五个部分 。 报告通过从增强现实技术概述、重点业务介绍和用户体验入手，阐述了云 AR 是 AR 产业发展的最佳形态 ， 以及在 5G 赋能的场景下 AR云 5G 的通信能力需求、终端能力需求和处理能力需求。 报告结合 5G 云 AR 工业解决方案以及 5G 云 AR 教育解决方案，通过垂直场景痛点分析、解决方案架构与流程阐述以及在 5G 云 AR 整体框架下的相应垂直场景解决方案的特点与优势，体现了 5G 云 AR 对于AR 垂直应用领域带来的重要机遇和优势。 最后本报告就 5G 云 AR 商业前景及商业模式做了总结， 表述了“ 5G 云 AR 架构能有力促进 AR 业务的普及，推动 AR 作为 5G 垂直行业基础能力并促进相应产业的繁荣和发展”的核心观点。 创新 研究报告 3 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 目 录 1. 5G AR 重点业 务分析 . 5 1.1 增强现实技术概述 . 5 1.1.1 增强现实技术概念 . 7 1.1.2 增强现实产业现状 . 11 1.2 增强现实重点业务介绍 . 14 1.2.1 增强现实工业领域应用 . 16 1.2.2 增强现实安防领域应用 . 18 1.2.3 增强现实教育领域应用 . 19 1.2.4 增强现实娱乐领域应用 . 20 1.2.5 增强现实智能家居应用 . 21 1.3 增强现实的用户体验 . 23 1.3.1 增强现实的用户体验概述 . 23 1.3.2 增强现实的用户体验现状、瓶颈和趋势 . 24 2. 5G 增强现实产 业发展与关键挑战 . 27 2.1 Cloud AR 是 AR 产业发展的最佳形态 . 27 2.2 Cloud AR 的关键挑战 . 31 3. 5G 云 AR 关键能力需求 . 34 3.1 管道： 5G 通信能力需求 . 36 3.1.1 网络速率及时延 . 36 3.1.2 网络波动性和安全性要求 . 37 3.2 端：终端能力需求 . 38 3.2.1 终端功能要求 . 38 3.2.2 终端形态：可穿戴式、手机式、智能家居 . 39 3.3 云：处理能力需求 . 40 3.3.1 感知能力 . 41 创新 研究报告 4 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 3.3.2 渲染能力 . 43 4. 5G 云 AR 业务解决方案 . 44 4.1 5G 云 AR 工业解决方案 . 44 4.1.1 解决方案架构与流程 . 45 4.1.2 解决方案特点与优势 . 52 4.2 5G 云 AR 教育解决方案 . 54 4.2.1 解决方案架构与流程 . 57 4.2.2 解决方案特点与优势 . 65 5. 结语： 5G 云 AR 商业前景及商业模式 . 68 参考文献 . 错误 !未定义书签。 附录 . 错误 !未定义书签。 联合编写单位及作者 . 错误 !未定义书签。 创新 研究报告 5 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 1. 5G AR 重点业 务分析 1.1 增强现实技术概述 增强现实技术（ Augmented Reality，简称 AR）的标准定义为：一种通过实时计算在现实世界中叠加相应图像、视频、 3D 模型等虚拟内容的技术，这种技术的目标是把虚拟世界套在现实世界中，并使得用户可以与之进行交互。 图 1-1 AR 技术发展历程 增强现实技术在二十世纪九十年代提出， 1994 年，保罗 米尔格拉姆（ Paul Milgram）和岸野文郎（ Fumio Kishino）提出现实 -虚拟连续系统（ Milgrams Reality-Virtuality Continuum）。现实环境和虚拟环境分别作为连续系统的两端，其中靠近现实环境的是增强现实（ Augmented Reality）。 1997 年，北卡大学教授罗纳德 阿祖玛（ Ronald Azuma）提出增强现实包创新 研究报告 6 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 括三个方面的内容： I）将虚拟物与现实结合； II）即时互动； III）三维。 随着 5G、云、人工智能等基础技术的不断突破以及物联网和相关的物理信息系统（ CPS： Cyber Phyics System）技术的普及， AR 作为一种系统工程技术手段，利用人工智能技术协助 3D 感知，并结合新兴边缘技术和混合云技术以及大数据 技术，完成基于同一物理目标，多领域相关信息的 3D 融合近眼 3D 显示，同时通过新型的交互手段完成对物理现实世界的控制和改造。 图 1-2 AR 技术的重要社会意义 正如相关研究者和从业人员所感叹的，增强现实（ AR）技术，作为综合技术集大成者，是人机交互方式的革命， 将 开启新一代流量入口即视觉入口时代。其自然的交互方式，线上线下融合，可以衍生出丰富的玩法和商业模式，带来颠覆式的场景体验，成为新一代计算平台和流量入口！ 图 1-3 计算平台发展历程 创新 研究报告 7 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 1.1.1 增强现实技术概念 增强现实系统包含了： I） 摄像头和传感器采集真实场景的视频或者图像，传入后台的处理单元对其进行分析和重构 ； II）虚拟数字信息生成单元负责虚拟场景的建模、管理、绘制，通过计算机图形系统产生虚拟景象； III）渲染引擎结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算； IV） 交互设备采集外部控制信号，实现对虚实结合场景的交互 理解和 操作。 最终 系统融合后的信息会实时地显示在显示器中，或者通过光学透视的方式叠加在现实世界之上，展现在人的视野中。 可以看到，增强现实技术的核心路径包含通过摄像头获取真实环境信息，结合传感器进行定位跟踪、交互，通过显示设备生成虚拟场景，叠加到现实场景。其技术的三要素是 : 显示（虚实结合）、输入和交互（实时交互）、识别和跟踪定位（三维注册）。 图 1-4 AR 核心技术系统图 一、识别和跟踪定位（三维注册）：对现实场景的理解和重构 在增强现实系统中，首先要解决“是什么”的问题，也就是要理解、知道场景中存在什么样的对象和目标 。第二要解决“在哪里”的问题，也就是要对场景结构进行分析，实现跟踪定位和场景重构。 创新 研究报告 8 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 实时、准确地获取当前摄像机位置和姿态，判断虚拟物体在真实世界中的位置，进而实现虚拟物体与真实世界的融合。其中摄像机位姿的获取方法即为跟踪注册技术。从具体实现上来说，跟踪注册技术可以分为 3 类：基于传感器的跟踪注册技术、基于计算机视觉的跟踪注册技术及综合视觉与传感器的跟踪注册技术。 1）基于传感器的跟踪注册技术 基于传感器的跟踪注册技术主要通过硬件传感器，如磁场传感器、惯性传感器、超声波传感器、光学传感器、机械传感器等对摄像机进 行跟踪定位。 2）基于计算机视觉的跟踪注册技术 近年来图像处理与计算机视觉发展较快，一些较为成熟的技术已被应用于增强现实系统的跟踪注册中。基于计算机视觉的跟踪注册技术通过分析处理拍摄到的图像数据信息识别和定位真实场景环境，进而确定现实场景与虚拟信息之间的对应关系。其中人们广泛关注为同时定位与地图构建（ Simultaneous Localization And Mapping， SLAM） 。这类方法在跟踪注册的同时构建场景地图，具有运算速度快、精度较高的优点。 3）综合视觉与传感器的跟踪注册技术 在一些增强现实 的应用场景，基于计算机视觉与基于传感器的方法均不能获得理想的跟踪效果，因此，研究者综合考虑二者的优缺点，将二者结合起来，以获得更优的跟踪注册效果。 二、显示（虚实结合）设备和技术 增强现实技术的最终目标是为用户呈现一个虚实融合的世界。因此，显示技术是增强现实系统中的重要组成部分。目前，常用的显示设备有头戴式显示设备、计算机屏幕显示设备、手持式移动显示设备及投影显示设备等。 1）头戴式显示设备 由于增强现实系统要求用户可以观察到现实世界的实时影像，头戴式显示设备主要是透视式头盔显示器。这类设备的主要功能是将用户所在环境中的真实信息与计算机生成的虚拟信息融合，按真实环境的表现方式可将其分为视频透视式创新 研究报告 9 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 头盔显示器和光学透视式头盔显示器。 视频透视式头盔显示器通过头盔上一个或多个摄像机来获取真实世界的实时影像，利用其中的图像处理模块和虚拟渲染模块进行融合，最终将虚实融合后的效果在头盔显示器上显示出来。 光学透视式头戴显示器根据光的反射原理，通过多片光学镜片的组合，为用户产生虚拟物体和真实场景相互融合的画面 。与视频透视式头盔显示器相比，光学透视式头盔显示器在显示增强画面时，不需要经过图像融合的过程，用户看到的影像就是当前的真实场景与虚拟信息的叠加。 2）计算机屏幕显示设备 计算机屏幕显示设备作为传统的输出设备一般具有较高的分辨率，且体积较大。在增强现实应用中，这类设备更适用于将精细虚拟物体渲染并叠加于室内或大范围场景中。由于这类设备沉浸感较弱，但价格较低，一般适用于低端或多用户的增强现实系统。 3）手持式移动显示设备 手持式移动显示设备是一类允许用户手持的显示设备。近年来智能移动终端发展迅速，现有的智能手持设备大都配备了摄像头、全球定位系统（ GPS）和陀螺仪、加速度计等多种传感器，更具备了高分辨率的大显示屏，这为移动增强现实提供了良好的开发平台。与头盔式显示设备相比，手持式移动显示设备一般体积较小、重量较轻，便于携带，但沉浸感较弱，同时由于硬件的限制，不同设备的计算性能参差不齐。 4）投影显示设备 投影显示设备可以将增强现实影像投影到大范围环境，满足用户对大屏幕显示的需求。由于投影显示设备生成图像的焦点不会随用户视角发生 变化，其更适用于室内增强现实环境。 三、人机输入和交互（实时交互）技术 增强现实系统的目标是构建虚实融合的增强世界，使用户能够在现实世界中创新 研究报告 10 中国移动 5G 联合创新中心创新研究报告 云 AR 应用 感受到近乎真实的虚拟物体，并提供人与这一增强的世界交互。在这一过程中，人机交互方式的好坏很大程度上影响了用户的体验。一般来说，传统的交互方式主要有键盘、鼠标、触控设备、麦克风等，近年来还出现了一些更自然的基于语音、触控、眼动、手势和体感的交互方式。 1）基于传统的硬件设备的交互技术 鼠标、键盘、手柄等是增强现实系统中常见的交互工具，用户可以通过鼠标或键盘选中图像中的某个 点或区域，完成对该点或区域处虚拟物体的缩放、拖拽等操作。这类方法简单易于操作，但需要外部输入设备的支持，不能为用户提供自然的交互体验，降低了增强现实系统的沉没感。 2）基于语音识别的交互技术 语言是人类最直接的沟通交流方式。语言交互信息量大，效率高。因此，语音识别也成为了增强现实系统中重要的人机交互方式之一。近年来，人工智能的发展及计算机处理能力的增强，使得语音识别技术日趋成熟并被广泛应用于智能终端上，其中最具代表性的是苹果公司推出的 Siri 和微软公司推出的 Cortana，它们均支持自然语言输入，通过语音识 别获取指令，根据用户需求返回最匹配的结果，实现自然的人机交互，很大程度上提升了用户的工作效率。 3）基于触控的交互技术 基于触控的交互技术是一种以人手为主的输入方式，它较传统的键盘鼠标输入更为人性化。智能移动设备的普及使得基于触控的交互技术发展迅速，同时更容易被用户认可。近年来，基于触控的交互技术从单点触控发展到多点触控，实现了从单一手指点击到多点或多用户的交互的转变，用户可以使用双手进行单点触控，也可以通过识别不同的手势实现单击、双击等操作。 4）基于动作识别的交互技术 基于动作识别的交互技术通过对动作捕 获系统获得的关键部位的位置进行计算、处理，分析出用户的动作行为并将其转化为输入指令，实现用户与计算机之间的交互。微软公司的 HoloLens 采用深度摄像头获取用户的手势信息，通过手部追踪技术操作交互界面上的虚拟物体。 Meta 公司的 Meta2 与 Magic Leap 公