华为技术有限公司深圳龙岗区坂田华为基地电话：+86 755 28780808邮编：518129huawei版权所有! 华为技术有限公司 2019。保留一切权利。非经华为技术有限公司书面同意，任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部，并不得以任何形式传播。免责声明本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不构成任何要约或承诺，华为不对您在本文档基础上做出的任何行为承担责任。华为可能不经通知修改上述信息，恕不另行通知。商标声明是华为技术有限公司商标或者注册商标，在本手册中以及本手册描述的产品中，出现的其它商标，产品名称，服务名称以及公司名称，由其各自的所有人拥有。， ，2007年，雷火游戏在西子湖畔成立，是网易在杭州的第一个游戏工作室。历经十多年发展，雷火游戏已是拥有近两千名员工的事业群，具备国内一流研发、运营、营销实力。雷火团队先后成功开创倩女幽魂、天谕、逆水寒三大旗舰游戏品牌，在动作、体育、休闲游戏领域做出成功尝试。Wireless X Labs是一个全新的平台，旨在将电信运营商、技术供应商和垂直行业的合作伙伴聚集在一起，探索未来的移动应用场景，推动业务和技术创新，建立一个开放的生态系统。Wireless X Labs建立了三个实验室，探索三个主要领域：人与人之间的连接，垂直领域的应用和家庭应用。CONTENTS研究背景体验评估模型框架模型公式结构主观测试与分析方法模型典型值模型应用01020704 0810目录执行摘要：本文描述了云游戏（Cloud Gaming）业务体验评估的需求背景，评估模型框架，主观实验与分析方法，模型公式结构，模型典型值和模型应用场景等。在建模过程中，华为 X Labs 和网易雷火游戏事业部对玩家在 5G 下玩云游戏的行为观察和反馈的基础上，遵从 ITU 相关规范，采用分级映射的方法，建立了云游戏的用户体验模型。本模型弥补了业界对云游戏体验定量研究的不足。云游戏体验模型的建立为 5G 网络建设，产业发展规划提供一定的参考和指导，同时云游戏内容服务商、网络运营商和硬件制造商也可根据用户的实际体验来不断调整、优化服务和产品策略。值得一提的是，本评估模型算法将以免费SDK的形式发布和共享，欢迎产业界的伙伴们积极试用并共同促进其发展完善。图2-云游戏用户体验评估模型框图O.33O.41O.32O.22O.31O.21综合体验交互质量连续/完整性视听质量音频质量画面质量操作响应时延l.115数据丢失率l.114卡顿频率l.113平均卡顿时长l.112声画同步l.111音频编码l.110音频声道数l.19音频码率l.18画面编码l.16屏幕分辨率l.15屏幕刷新率l.14画面分辨率l.13画面帧率l.12画面码率l.11综合体验层子感知体验层输入层之前，对云游戏体验的研究主要集中在画面质量、连续/完整性等方面的初步定性分析，对交互质量、综合体验缺乏系统、深入的定量研究。为了建立起完整的云游戏体验模型，华为X Labs联合网易雷火游戏事业部展开深入分析，在逆水寒、流星蝴蝶剑等游戏场景中，邀请测试玩家在5G环境下使用云电脑体验逆水寒等游戏，通过对玩家的行为观察和反馈总结，在遵从ITU相关规范的基础上，系统地进行主观实验。最终，在主观实验数据支撑下，训练并建立了统一的云游戏用户体验评估模型，从用户体验角度，为5G网络建设，产业发展规划提供一定的参考和指导。从用户可感知的角度，Cloud Gaming 和 Cloud VR 有相似之处，影响用户综合体验主要有 3 个方面，分别是视听质量、交互质量和视听的连续/完整性。云游戏体验评估模型框架可见图 2所示，同样基于分级映射，分为影响因素输入层，子感知体验层和综合体验层。云游戏（Cloud Gaming）是以云计算为基础的游戏模式，在这种模式下，游戏画面在云端进行计算和渲染，并将渲染完成的画面压缩后，通过网络传输给客户端。所以，客户端不再需要高端处理器、显卡、GPU 等，仅需在本地拥有一定的流媒体解码、播放能力即可，这大大降低了用户获取优质游戏的门槛。同样，在5G网络赋能下，在随时随地接入、类本地操作方面，将给云游戏用户的体验带来大幅提升，云游戏业务是重要的Cloud X业务之一。市场调查机构IHS Markit公布的数据表明，云游戏产业极具发展潜力。EXPERIENCE ASSESSMENT MODEL FRAMEWORK体验评估模型框架图1-云游戏全球市场规模预测Source:IHS Markit云游戏（百万美元）2500300020001500100050002018 2019 2020 2022 20232021RESEARCH BACKGROUND研究背景Cloud X业务体验模型系列云游戏体验模型(Cloud gMOS)01 02Cloud X业务体验模型系列云游戏体验模型(Cloud gMOS)03 04评估模型输入参数及相应缩写，如表 1所示：表1-评估框架输入参数评估模型输出及相应缩写，如表 2所示：表2-评估模型输出ID 描述 值域 缩写 全拼O.21O.22O.31O.32O.33O.41画面质量音频质量视听质量连续/完整性交互质量综合体验15分15分15分15分15分15分MOSVMOSAMOSAVMOSRPMOSIMOSCVisualAudio AudiovisualRebuffering/Packet LossInteractionComprehensiveIDI.11I.12I.13I.14I.15I.16 I.18I.19I.110I.111I.112I.113I.114I.115画面码率画面帧率画面分辨率屏幕刷新率屏幕分辨率画面编码 音频码率音频声道数音频编码声画异步平均卡顿时长卡顿频率数据丢失率操作响应时延BrFRRh，R vRRRShVisual CodecABrSPAudio CodectasynTrRFppltod画面的平均码率（比特每秒，bps）每秒内的帧数（fps）画面水平和垂直方向的像素点个数屏幕每秒钟刷新次数单目屏幕水平方向的像素点个数H.265/HEVC，H.264/AVC，VP9音频的平均码率（千比特每秒，Kbps）立体声音（2），空间化声音（8）音频的编码格式如AAC等声画异步时延（秒，s）单次观看过程中卡顿的总时长，包括初始缓冲时长（秒，s）单次观看过程中卡顿发生的频率（即卡顿次数/观看时长）应用层数据丢失率用户操作指令与操作响应间的滞后时长（ms）参数 描述 缩写云游戏用户体验主观实验同样基于ITU-T P.913，使用单刺激法和ACR 5分制。云游戏主观实验平台见图 3所示，主要包括云电脑、网络损伤仪、客户端及其显示设备。主观实验平台，提供不同分辨率、帧率、画质的游戏内容，并在网络损伤仪器的控制下，提供不同画面完整性和操作响应时延的测试场景。具体说明如下：1.不同显示设备对用户体验的影响，通过 PPD 统一度量并建立相应评估模型。游戏画面可以通过显示器或者手机屏幕进行显示，在最佳观看距离下，将实际呈现在测试用户面前可感知的分辨率转换成 PPD。一般而言，10 寸以上显示屏幕，如一般显示器的最佳观看距离为显示屏幕高度的 2 倍，10 寸以下显示屏幕，如手机的最佳观看距离为显示屏宽度的4-6倍（在本次主观实验中，按对分辨率要求较高的4倍计算）。以32寸4K显示器为例，等效 PPD 可根据图 4所示关系计算，计算公式可为：其中， Ph 为水平像素数， W 为显示器宽度， D 为最佳观看距离（也即2倍显示器高度）。SUBJECTIVE EXPERIMENTAL METHODS主观测试与分析方法图3-主观实验平台架构PPD = Ph/(2*arctan(W/2/D)*180/Pi)=80.47动作数据 损伤仪音视频数据 客户端 云电脑 Cloud X业务体验模型系列云游戏体验模型(Cloud gMOS)05 06图4-32寸4K显示器PPD换算表3-等效PPD对照表以32寸显示器和华为Mate20手机为例，在呈现不同分辨率画面时，对应的 PPD 如下表 3所示。W: 27.90 inch分辨率: 3840*216032 inchH: 15.68 inchD: 31.36 inch显示设备32寸显示器Mate 20手机27.905.8815.682.83326.5331854*480 17.621280*720 26.411920*1080 39.622560*1440 53.373840*2160 80.47854*480 29.331280*720 43.961920*1080 65.9411.32长（inch）高（inch）对角线（inch）最佳观看距离（inch）画面分辨率 PPD2. 操作响应时延的基础部分如图 5 所示，通过网络损伤仪设置相应的额外迟滞，可以最终模拟测试不同操作响应时延对用户体验的影响。图5-操作响应时延操作响应时延包括：1.指令数据采集时延； 2.指令数据上行传输时延； 3.指令接收，逻辑运算，图形渲染时延；4.抓取图形时延； 5.图形编码时延； 6.编码图形下行传输时延； 7.图形解码时延；8.客户端渲染时延，包括解码后图形显存等待时延，色彩处理，图层叠加等环节时延； 9.显示器显示时延。采集/发送客户端渲染输入处理逻辑运算图形渲染图形抓取图形编码动作输入显示器显示图形解码客户端 Server (云电脑）User command编码图形下行传输19 87 62543Cloud X业务体验模型系列云游戏体验模型(Cloud gMOS)07 08云游戏综合体验评估模型公式如下，在公式结构上，和VR体验评估模型保持一致，相关系数则根据实际测试结果进行拟合。式中， MOSC 为云游戏综合体验， MOSAV 为视听质量， MOSI 为交互质量， MOSRP 为视听觉连续 / 完整性， v28 和 v29为模型系数。综合体验以视听质量 MOSAV 为基础， 交互质量 MOSI 和连续/完整性 MOSRP 则作为体验损伤的子感知项。MODEL FORMULA STRUCTURE模型公式结构MOSC = min(max(MOSAV-1)·(1-v28(5-MOSI)-v29(5-MOSRP)+1,1),5) 1MOSV = f1(Visual Codec,Br,FR,(Rh,Rv)2MOSA = f2(Audio Codec,ABr,SP)3MOSAV = f3(MOSV,MOSA,tasvn)4MOSI = f4(tod)5MOSRP = f5(Tr,RF,ppl)61.PPD对画面质量 MOS V 的影响典型值基于H.264编码，BPP 为0.133，帧率120fps的条件，PPD 对画面质量 MOS V 的影响典型值，见下图 6所示。可以看到，PPD 为20时，画面质量 MOS V 约为3.57分；PPD 为60时，画面质量 MOS V 约为4.73分，PPD 大于60后，画 面质量 MOS V 增长变得平缓。2.分辨率在最佳观看距离下对画面质量 MOSV 影响的典型值基于 H.264 编码，BPP 为 0.133，帧率 120fps 的条件，在显示器上观看不同分辨率的画面，其对画面质量 MOSV的影响典型值，如图 7所示。在高帧率情况下，1080P的游戏画面，即可对应较高的 PPD，MOS V 为4.5分。MODEL TYPICAL VALUE模型典型值图6-PPD对画面质量MOS V 的影响 MOSVPPD1.000 20 40 60 80 100 1201.502.002.503.003.504.004.505.00图7-显示器游戏画面分辨率对MOS V 的影响MOSV游戏画面分辨率1.00480P 720P 1080P 2K 4K1.502.002.503.003.504.004.505.00Cloud X业务体验模型系列云游戏体验模型(Cloud gMOS)09 103.帧率对画面质量 MOSV 的影响典型值基于 H.264 编码，BPP 为 0.133， PPD 为 120 的条件，帧率对画面质量 MOSV 影响的典型值，见下图 8 所示。帧率为 30fps 时，画面质量 MOSV 约为 3.35 分；帧率为 60fps 时，画面质量 MOSV 约为 4.41 分；帧率为 90fps 时，画面质量 MOSV 超过4.80分。帧率超过90fps后，画面质量 MOSV 的增长趋势趋于平缓。4.操作响应时延对交互质量 MOSI 的影响典型值游戏操作响应时延低于50ms时交互质量 MOSI 达到5分；操作响应时延100ms时，交互质量 MOSI 为4.03分。当操作响应时延为200ms时，交互质量 MOSI 为2.92分。5.数据丢失率对完整性 MOSP 的影响典型值不同的数据传输模式，有着不同的数据丢失率和画面完整性的关系模型。基于 TCP+RTP 传输模式，TCP 丢包率对完整性 MOSP 的影响典型值，如下图 10 所示。当 TCP 丢包率为 0.1% 时，视听完整性 MOSP 为5分 ； 当丢包率为0.3%时，视听完整性 MOSP 为3.68分；当丢包率为1%时，视听完整性 MOSP 为1.14分。图8-帧率对画面质量 MOSV 的影响MOSVFPS1.000 20 40 60 80 100 1201.502.002.503.003.504.004.505.00图9-操作响应时延对交互质量MOS I 的影响MOSI1.000.00 100.00 200.00 300.00 400.00 500.00 600.001.502.002.503.003.504.004.505.00操作响应时延ms图10-丢包率对完整性MOS P 的影响 MOSP1.000.0 0.2 0.4 0.6 0.8 1.0 1.21.502.002.503.003.504.004.505.00丢包率%MODEL APPLICATION模型应用基于如下条件，云游戏在不同显示设备和网络条件下的体验对照表，可见表 4所示。1)基于H.264编码，BPP 为0.21。2)10寸以上显示屏幕（大屏），如显示器，最佳观看距离按显示器高度*2计算，10寸以下显示屏幕（小屏），如手机屏幕，最佳观看距离按显示屏宽度*4倍计算（在推荐最佳观看距离下，只要屏幕高宽比合乎常规，在不同尺寸的大屏上观看相同分辨率的游戏画面，可获得相同的等效 PPD，小屏也如此）。3)数据传输对视听完整性没有影响。4)音频编码算法：AAC-LC，音频固定码率：140Kbps。表4-云游戏业务在不同参数条件下体验对照显示设备游戏画面分辨率等效 PPD画面帧率（fps）平均码率(Mbps)视频质量MOSV操作响应时延t od(ms)视听质量MOSAV交互质量MOSI综合体验MOSC10寸以上显示屏幕（大屏）1280*7201920*10802560*14403840*216026.4139.6253.3780.47306030603060306071315302753601202.843.743.164.163.314.363.434.522.953.753.234.123.364.293.474.43507010050701005070100507010050701005070100507010050701005.004.624.035.004.624.035.004.624.035.004.624.035.004.624.035.004.624.035.004.624.035.004.624.032.952.772.483.753.493.083.233.022.694.123.823.363.363.142.794.293.983.493.473.242.874.434.113.60Cloud X业务体验模型系列云游戏体验模型(Cloud gMOS)11 12854*4801280*7201920*10802560*144029.3343.9665.9487.9210寸以下显示屏幕（小屏）306030603060306036713153027532.943.873.224.243.384.453.454.543.043.863.294.193.434.383.494.46507010050701005070100507010050701005070100507010050701005.004.624.035.004.624.035.004.624.035.004.624.035.004.624.035.004.624.035.004.624.035.004.624.033.042.842.543.863.593.163.293.072.734.193.883.413.433.202.844.384.053.553.493.252.884.464.123.61根据上表，我们可以观察云游戏产业发展的现状，并规划未来的产业发展路径：1)720P 或 1080P，帧率 30fps，是目前主流云游戏平台可提供的游戏画面水平。游戏画面无论基于手机屏幕还是显示器呈现，综合体验 MOSC 在3.2至3.5分之间，处在刚超过“可接受”的水平；2)5G云游戏，建议从1080P60fps起步，对标专业玩家使用本地电脑的体验水平。大部分场景下（操作响应时延70ms），手机可以追求4分体验；3) 对于大屏，当游戏画面分辨率为 2K（2560*1440），帧率 60fps，操作响应时延 50ms 时，综合体验 MOSC 可达4.29分，用户体验达到“好”的水平，可作为未来2年后挑战目标；4) 当游戏画面分辨率 4K（3840*2160），帧率 60fps，操作响应时延 50ms 时，综合体验 MOSC 接近 4.5 分，可作为长期挑战目标。当前云游戏体验现状与产业发展路径建议，可见图 11所示。图11-云游戏体验现状及产业发展路径体验现状5G起步长期挑战目标Cloud gMOS大屏1080P 30fps小屏720P 30fps小屏1080P 30fps小屏1080P 60fps，操作响应70ms大屏2K 60fps ，操作响应50ms大屏4K 60fps，操作响应50ms3 3.5 4 4.52年后挑战目标联系方式：XLabshuawei了解更多模型细节和进行体验预测，可扫描下面二维码，访问Cloud X业务体验评估模型介绍网页CONCLUSION结束语在5G时代， 云游戏产业必将取得长足发展。借助体验评估模型，云游戏内容服务商、网络运营商和硬件制造商可根据用户的实际体验来不断调整、优化服务和产品策略，有效提高竞争力。最后，为了加强产业合作，华为XLabs将评估模型算法以免费SDK形式发布和共享，欢迎云游戏产业界的朋友们积极试用，并提出优化意见或建议。本文（V1.0）由华为X Labs和网易雷火游戏事业部联合编写。由于5G E2E产业相关技术快速发展，本白皮书仅做参考，不能作为投资研究决策的依据，不能作为道义的、责任的和法律的依据或者凭证，无论是否已经明示或者暗示。发布方将随时补充、更正和修订有关信息，但不保证及时发布。对于本报告所提供信息所导致的任何直接的或者间接的投资盈亏后果不承担任何责任。本白皮书版权为华为所有，未经书面许可，任何机构和个人不得以任何形式翻版、复制和发布。如引用发布，需注明出处，且不得对本报告进行有悖原意的引用、删节和修改。相关问题或建议，请联系：XLabshuawei