人工智能 之人机交互 Research Report of Human-Computer Interaction 2020 年第 3 期 清华大学人工智能研究院 北京智源人工智能研究院 清华 -中国工程院知识智能联合研究中心 2020 年 6 月 1 概述篇 . 1 1.1 人机交互的概念 . 1 1.2 人机交互的发展历程 . 2 1.3 专家 AI TIME论道人机交互 VS 智能 . 5 2 技术篇 . 13 2.1 触控交互 . 13 2.2 声控交互 . 15 2.3 动作交互 . 21 2.4 眼动交互 . 27 2.5 虚拟现实输入 . 31 2.6 多模态交互 . 40 2.7 信息无障碍中的智能交互技术 . 42 2.8 人机交互领域必读论文 . 46 3 人才篇 . 53 3.1 学者情况概览 . 53 3.2 代表性学者简介 . 56 4 应用篇 . 73 4.1 智能终端 . 73 4.2 智能穿戴 . 75 4.3 智能家居 . 76 4.4 游戏领域 . 77 4.5 教育领域 . 78 4.6 医学领域 . 80 5 趋势篇 . 83 6 结语 . 85 参考文献 . 87 图目录 图 1-1 人机交互界面的发展 . 2 图 1-2 Wonder Painter 示例 . 7 图 1-3 全手型感应 . 9 图 2-1 电阻式触摸屏结构示意图 . 13 图 2-2 电容式触摸屏原理示意图 . 14 图 2-3 红外触摸屏原理示意图 . 14 图 2-4 表面声波式触摸屏原理示意图 . 15 图 2-5 语音识别系统的主要模块 . 16 图 2-6 语音合成方法 . 19 图 2-7 指关节跟踪示意图 . 25 图 2-8 基于眼动跟踪的人机交互研究框架 . 28 图 2-9 不同 注视位置触发示意图 . 30 图 2-10 (a)单行程眼势； (b)多行程眼势 . 31 图 2-11 用户在虚拟现实中使用 QWERTY 实体键盘进行输入 . 32 图 2-12 (a) TipText； (b) BiTipText. 36 图 2-13 VISAR 键盘 . 38 图 2-14 小型触摸表面 . 39 图 2-15 (a)PizzaText； (b)RingText . 40 图 3-1 人机交互领域全球学者分布 . 54 图 3-2 人机交互领域 TOP5 国家 . 54 图 3-3 人机交互领域学者 h-index 分布 . 55 图 3-4 人机交互领域中国学者分布 . 55 图 3-5 中国与其他国家的合作论文数量情况 . 56 图 5-1 人机交互技术趋势 . 83 图 5-2 人机交互国家趋势 . 84 图 5-3 人机交互机构趋势 . 84 表目录 表 1-1 各种人机交互界面的特征比较 . 4 表 3-1 近三年高产学者百人名单 . 70 概述篇 1 1 概述篇 1.1 人机交互的概念 人机交互（ Human-Computer Interaction, HCI） ， 作为一个术语，首次使用是在由 Stuart K. Card， Allen Newell 和 Thomas P. Moran 撰写的著作“ The Psychology of Human-Computer Interaction”里 1，它 是一门研究系统与用户之间的交互关系的学问。 系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分 ， 用户通过人机交互界面与系统交流，并进行操作。 人机交互技术是计算机用户界面设计中的重要内容之一 ， 它与认知学、人机工程学、心理学等学科领域有密 切的联系。 目前关于人机交互的定义主要有三种：一是 ACM（ Association for Computing Machinery）的观点 ， 它将人机交互定义为：有关交互计算机系统设计、评估、实现以及与之相关 内容 的学科；二是 伯明翰大学 教授 Alan Dix 的观点 ： 人机交互指的是研究人、计算机以及 它 们之间相互作用方式的学科，学习人机交互的目的是使计算机技术更好地为人类服务 ；三是 宾夕法尼亚州立大学 John M. Carroll的观点：人机交互指的是有关可用性的学习和实践，是关于理解和 构建用户乐于使用的软件和技术，并能 在使用时发现产品有效性的学科。 无论是哪一种定义方式，人机交互所关注的首要问题都是人与计算机之间的关系问题。 人机交互技术的发展与国民经济发展有着直接的联系 ， 它是使信息技术融入社会 、 深入群体 ， 达到广泛应用的技术门槛 。 任何一种新交互技术的诞生 ， 都会带来其新的应用人群 、 新的应用领域 ， 带来巨大的社会经济效益 。 从 企业的角度，改善人机交互能够提高员工的生产效率 ， 学习人机交互能够降低产品的后续支持成本 。 在 个人的角度，可以帮助用户有效地降低错误发生的概率，避免由于错误引发的损失 。 在现代和未来的社会里，只要有人利用通信、计算 机等信息处理技术进行社会活动，人机交互都是永恒的主题，鉴于它对科技发展的重要性，人机交互是现代信息技术、人工智能技术研究的热门方向 2。 人工智能之人机交互 2 1.2 人机交互的发展历程 人 机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史，交互的信息也由精确的输入输出信息变成非精确的输入输出信息 。 随着网络的普及和无线通讯技术的发展，人们的需求不再局限于界面美学形式的创新，现在的用户更多的希望在使用多媒体终端时， 有着更便捷、更符合他们的 使用习惯，同时又有着比较美观的操作界面 3。 在过去的几十年间 ， 人机界面经历了从命令行界面到图形用户界面两个主要发展阶段的演变；近年来，人机界面的发展越来越强调交互的自然性，即用户的交互行为与其生理和认知的习惯相吻合，随之出现的主要的交互界面形式为触摸交互界面和三维交 互 界面 4。 图 1-1 人机 交互 界面的发展 命令行界面 基于命令行界面 （ Command-line Interface, CLI） ，用户使用键盘按照一定的规则输入字符，以形成可供机器识别的命令和参数，并触发计算机进行执行。其优点是由于键盘输入相对较高的准确率，以及几乎不需要冗余的操作，所以熟练的用户可以达到非常高的交互效率，同时，通过规则的设计，命令行界面也能支持丰富灵活的指令形式。但是，命令行界面的缺点在于交互非常不直观，由于机概述篇 3 器命令与自然语言的构造规则往往相去甚远，所以用户需要记忆大量的指令，有时甚至需要具备计算机领域的专业知识和技能，才能达到较高的使用效率。这对于新手用户而言大大提升了学习成本，也显著影响了普通用户使用命令行界面时的体验。 图形用户界面 为了改进命令行界面的问题 ， 人们提出了图形用户界面 （ Graphical User Interface, GUI）， 该界面将命令和数据以图形的方式展示给用户 ， 用户通过所见即所得（ What You See Is What You Get, WYSIWYG）的方式与显示的界面元素进 行交互。根据人机交互领域中的定义 ， 图形用户界面一般包括窗口（ Window）、图标（ Icon）、菜单（ Menu）和指针（ Pointer）这四类主要的交互元素。用户通过控制指针来对窗口、图标和菜单等显示元素进行指点 （ Pointing） 操作 ， 从而完成交互 任务 。广义的图形用户界面泛指一切用图形表征程序命令和数据的界面系统 ， 但在狭义上 ， 图形用户界面一般指个人电脑 （ PC） 上的二维 WIMP 界面。此时 ， 用户与界面交互的设备一般是键盘和鼠标。图形用户界面的一大优势是摆脱了抽象的命令 ， 通过利用人们与物理世界交互的经验来与计算机 交互 ， 从而显著降低了用户的学习和认知成本。然而 ， 由于图形用户界面的基本操作是指点 ，即用户需要使用指针来选择交互目标 ， 因而其往往对 用户指点操作的精度有较高的要求 。此外 ， 由于鼠标设备所在的控制域 （ Motor Space） 与界面 显 现的显示域 （ Visual Space） 是分离的 ， 因而用户需要对目标进行间接的交互操作 （ Indirect Manipulation）， 从而 更加增加了交 互的难度。 触摸交 互 界面 在触摸交互界面上（ Touch User Interface），用户通过手指在屏幕上直接操作显示的交互内容。根据人机 交 互 研究中的定义 ， 触摸交互界面一般包括 页 面（ Page） 、控件 （ Widget） 、图标 （ Icon） 和手势 （ Gesture） 这四类主要的交互元素 A 用户通过触摸、长按、拖拽等方式直接操控手指接触的目标 ， 或者通过绘制手势的方式触发交互指令。目前 ， 触摸界面主要存在于智能手机和可穿戴设备 （如智能手表） 等设备上。触摸交互界面的优势是充分利用了人们触摸物理世人工智能之人机交互 4 界中物体的经验 ， 将间接的交互操作转化为直接的交互操作 （ Direct Manipulation）， 从而在保留了一部分触觉反馈的同时 ， 进一步降低了用户的学习和认知成本。然而 ， 触摸操作受困于著名的“胖手指问题” ， 即由于手指本身的柔软 ， 以及手指点击时对于屏幕显示内容的遮挡 ， 在触屏上点击时往往难以精确地控制落点的位置 ， 输入信号的粒度远远低于交互元素的响应粒度。同时 ， 由于触摸交互界面的形态仍然为二维界面 ， 所以这限制了一些与三维交互元素的交互操作。 三维交互界面 三维交互界面 （ 3D User Interface） 的出现进一步提升了人机界面的自然性。在三维交互界面中 ， 用户一般通过身体 （如手部或身体关节） 做出一些动作 （如空中的指点行为 ， 或者肢体的运动轨迹等） ， 以与三维空间中的界面元素进行交互 ， 计算机通过捕捉用户的动作并进行意图推理 ， 以触发对应的交互功能。目前 ，三维交互界面主要存在于体感交互、虚拟现实、增强现实等交互场景中。三维交互界面的优势是进一步突破了二维交互界面的限制 ， 将交互扩展到三维空间中。因此 ， 用户可以按照与物理世界中相同的交互方式 ， 与虚拟的三维物体进行交互 ，从而进一步提升交互自然度 ， 降低学习成本。不过 ， 三维交互的挑战在于由于完全缺乏触觉反馈 ， 所以用户动作行为中的噪声相对较大 ， 而且交互动作与身体的自然运动较难区分 ， 因而输入信号的信噪比相对较低 ， 较难进行交互意图的准确推理 ， 限制了交互输入 的准确度。此外 ， 由于相对于图形用户界面和触摸交互界面 ， 动作交互的幅度一般较大 ， 所以交互的效率也较低 ， 同时更容易让用户感到疲劳。 表 1-1 各种 人机 交互界面的特征比较 交互界面 交互接口尺寸 触觉反馈 输入精度 交互效率 自然性 命令行界面 大 有 高 高 低 图形用户界面 大 有 中 中 中 触摸交互界面 小 部分 较低 较低 较高 三维交互界面 大 无 低 低 高 概述篇 5 表 1-1 汇总比较了几种交互界面的特点，可以看 出，随着交互界面的演变，交互的自然性逐渐提高，但由于交互接口尺寸的限制和触觉等反馈信道的受限，导致了输入的精度和交互效率反而逐渐降低。这种交互自然性和高效性之间的制约关系，成为了人机交互研究中的难题，如何在两者之间兼顾和平衡，是具有重要理论和实践意义的研究问题。 1.3 专家 AI TIME论道人机交互 VS 智能 2019 年，清华大学人工智能研究院长张钹院士、唐杰教授、李涓子教授等人联合发起“ AI TIME” science debate，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。 AI TIME 是一群关注人工智能发展，并有思想情怀的青年人创办的圈子。 AI TIME 旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造成为北京乃至全国知识分享的聚集地。 AI TIME 第七期论道人机交互 VS 智能 中 邀请到了清华大学计算机科学与技术系长聘教授史元春、中科院软件所研究员田丰、中科院计算所研究员陈益强、小小牛创意科技 CEO 曹翔 等 四位重量级嘉宾，论道人机交互的发展及未来，现将其探讨内容整理如下 。 1.3.1 人机交互的 先驱学者 1979 年，当年轻的乔布斯拜访 施乐 PARC 研究中心时，他看到了施乐新发明的图形用户界面（ GUI），相比当时的文本命令行界面，程序图标、窗口化、下拉菜单和绚丽的图像效果把乔布斯狠狠地震撼了。“仿佛蒙在我眼睛上的纱布被揭开了一样” ， 乔布斯传中如此描述乔布斯当时的感受：“我看到了计算机产业的未来”。乔布斯回到苹果后，迅速将 GUI 移植到苹果产品上，随后上市的 Macintosh 取得了轰动效果。 人工智能之人机交互 6 今天我们习以为常的触摸屏或图形用户界面，在 40 年前尚是石破惊天的革命。在计算机横空出世的这近半个多世纪里，有一些学者做出了巨大的、直接的贡献。 Vannevar Bush（ 范内瓦·布什 ） 1945 年 ， 在电子计算机尚未“出世”时，范内瓦·布什就发表了题为“ As We May Think”的文章，形象描述了未来个人电脑 ， 一种被称为 MEMEX 的机器，阐释了直接交互、超链接、网络存储等概念。 J.C.R Licklider（ 约瑟夫·利克莱德 ） 1960 年，约瑟夫·利克莱德提出“人机共生”的思想，并在布什的领导下通过美国国家科技计划大力支持了人机共生理念下的图形与可视化、虚拟对象操控、互联网络等研究项目，在他的主导下，个人电脑、互联网络的标志性关键技术在六七十年代 逐次诞生了。约瑟夫·利克莱德领导的交互式计算，不但研发了分式操作系统，而且直接地引导了图形技术。 Douglas C. Engelbart（ 道格拉斯·恩格尔巴特 ） 恩格尔巴特在 1963 年设计出一款手掌大小、以轮子为基础的设备 ， 此设备也就是鼠标的原型 ， 1968 年在旧金山的秋季联合计算机会议上 ， 恩格尔巴特先后演示了鼠标、所见即所得的文字编辑器、超链接、文本图形混排等，还谈到了阿帕网（ ARPANet，互联网的前身）以及科技进步的未来。他是人机交互的先锋，开发了超文本系统、网络计算机，以及图形用户界面的先驱；并致力 于倡导运用计算机和网络，来协同解决世界上日益增长的紧急而又复杂的问题。他被冠为“鼠标之父”。 在 Vannevar Bush、 J.C.R Licklider、 Douglas C. Engelbart 等先驱的推动下，在语言学、心理学、计算机科学的共同参与下，计算机从没有用户界面，到有了图形用户界面，开创了个人电脑以及互联网络等惠及整个社会的新产业。未来，在新的传感和多媒体技术的共同支持下，机器将可以通过感知和数据处理技术来理解我们，来理解周围的环境，实现更自然、更智能的人机交互。