中国模式识别白皮书.pdf

中国模式识别白皮书中国人工智能学会二一五年十一月中国模式识别白皮书1 中国人工智能系列白皮书编委会主任：李德毅执行主任：王国胤副主任：杨放春谭铁牛黄河燕焦李成马少平刘宏蒋昌俊任福继杨强委员：陈杰董振江杜军平桂卫华韩力群何清黄心汉贾英民李斌刘民刘成林刘增良鲁华祥马华东马世龙苗夺谦朴松昊乔俊飞任友群孙富春孙长银王轩王飞跃王捍贫王万森王卫宁王小捷王亚杰王志良吴朝晖吴晓蓓夏桂华严新平杨春燕余凯余有成张学工赵春江周志华祝烈煌庄越挺中国模式识别白皮书编写组刘成林杨健周杰孙哲南陶建华黄凯奇吴毅红冯建江王昌栋高蔚李俊李雅刘斌申抒含樊彬中国模式识别白皮书2目录第1章前言.11.1 模式识别概述 .11.2 本白皮书内容组织 .2第2章模式识别研究现状.32.1 模式识别基础理论 .32.2 计算机视觉 .92.3 应用基础研究 .152.3.1 生物特征识别 .162.3.2 文字识别 .192.3.3 语音识别 .21第3章技术应用情况.233.1 图像与视频检索 .233.2 智能视频监控 .253.3 生物特征识别 .273.4 文字识别 .273.5 语音识别 .29第4章国内研究特色与差距.314.1 模式识别基础 .314.2 计算机视觉 .314.3 生物特征识别 .334.4 文字识别 .334.5 语音识别 .34第5章未来挑战和发展趋势.35第6章结束语.39中国模式识别白皮书3参考文献. 40中国模式识别白皮书1第1章前言1.1模式识别概述模式识别 (Pattern Recognition)是通过分析感知数据（图像、视频、语音等），对数据中包含的模式（物体、行为、现象等）进行判别和解释的过程。模式识别能力普遍存在于人和动物的认知系统，是人和动物获取外部环境知识，并与环境进行交互的重要基础。我们现在所说的模式识别一般是指用机器模拟人的感知过程实现对感知数据的模式分析与识别，是人工智能领域的一个重要分支。模式分类是模式识别的主要任务和核心研究内容。分类器设计是在训练样本集合上进行优化（如使每一类样本的表达误差最小或使不同类别样本的分类误差最小）的过程，也就是一个机器学习过程。近年来，模式识别与机器学习的方法也被广泛用于感知数据以外的数据（如文本、互联网数据、传感网数据、基因表达数据等）分析问题，形成了数据挖掘领域。由于模式识别的对象是存在于感知数据中的物体和现象，它研究的内容还包括信号 /图像 /视频的处理、分割、形状分析、运动分析、上下文分析等。具体地说，模式识别的研究内容主要包括：模式描述和分类。模式分类是建立在适当的模式（这里指单个模式样本）和类别描述基础之上的。按照模式和类别的描述方式，模式分类方法可以分为统计模式识别、句法结构模式识别、人工神经网络、核方法、集成分类方法等。模式的特征提取、特征选择、分类和聚类等同时也是机器学习的重要研究内容。计算机视觉与图像 /视频分析。视觉是人类获取信息的最主要来源。图像 /视频信号处理、分割（模式 /背景分离及模式与模式分离）、三维视觉建模、场景分析、运动分析、形状建模和匹配等都是模式识别的重要研究内容。模式识别和视觉技术应用。模式识别技术广泛用于工业生产、社会生活和国防安全等领域，进行自动信息处理和判别，以提高生产、管理、生活、安全监控等的效率。具体应用包括工业视觉检查、机器人感知、文字识别 /文档分析、语音识别、生物认证、医学图像分析（计算机辅助诊断）、遥感图像分析、网络内容分析与检索等。中国模式识别白皮书220 世纪 50 年代可以认为是模式识别学科的形成期，当时发表了一些关于统计模式识别的重要论文，人工神经网络 “感知机 ”(Perceptron)也对模式识别和人工智能产生了重要影响。 60 年代召开了第一个以 “模式识别 ”为题的学术会议。 1972年，第一届国际模式识别大会 (ICPR，前几届称为 IJCPR)召开。国际模式识别学会 (IAPR)在 1974 年第二届 ICPR 上筹建，并于 1978 年正式成立。模式识别领域早期的方法主要是统计模式识别，其数学基础可以追溯到 18世纪出现的贝叶斯规则及后来的高斯分布、伯努利分布、 Fisher 判别分析等。 20世纪 70 到 80 年代，句法和结构模式识别方法受到高度重视。 80 年代末到 90 年代中，人工神经网络非常热门，后来逐渐被支撑向量机和核方法盖过了风头。 90年代末到 21 世纪以来，随着模式识别应用普及和面对的问题越来越复杂，多种新的模式分类器学习方法快速发展，如集成学习、半监督学习、多标签学习、迁移学习、多任务学习等。近几年，在多层神经网络基础上发展起来的深度学习和深度神经网络在很多模式识别应用领域产生了领先的性能，成为当前最热门的方法。 21 世纪以来也是计算机视觉领域和机器学习领域快速发展的时期，相关学术会议 Computer Vision and Pattern Recognition (CVPR)， International Conferenceon Computer Vision (ICCV), International Conference on Machine Learning (ICML)等日益受到高度重视。1.2本白皮书内容组织本白皮书旨在介绍模式识别领域的基本状况，近几年（尤其是过去 5 年）在基础理论与方法、计算机视觉、应用技术研究方面的重要进展，产业应用情况，面临的挑战和发展趋势等。供模式识别及其应用相关领域的研究生、研究者和技术开发人员参考。下面第 2 章介绍近几年模式识别领域研究进展状况，包括模式识别基础、计算机视觉、应用（主要是生物特征识别、文字识别、语音识别）基础研究。第 3章介绍主要技术应用和产业发展状况。第 4 章分析国内在模式识别领域的研究特色及与国际前沿的差距。第 5 章分析模式识别领域的当前挑战和发展趋势。第 6章为结束语。中国模式识别白皮书3第2章模式识别研究现状2.1模式识别基础理论模式识别的基础理论主要包括特征表示与学习、聚类、分类器学习等。最近几年的主要研究进展如下。2.1.1 特征表示与学习特征表示与学习是模式识别的核心问题之一。如何学习获得高效、鲁棒的特征表示是模式系统成功的关键。近几年的研究主要在稀疏表示和低秩分解两个方面展开。传统的特征提取与特征选择仍然有研究者关注，但相对来说进展不多。（ 1）稀疏表示有关生理学的研究成果表明：人类的视觉系统具有对图像的稀疏表示特性。科学工作者们揭示了在低层和中层的人类视觉系统中，视觉通道中的许多神经元对大量的具体的刺激，比如目标的颜色、纹理、朝向和尺度等，具有选择性。若将这些神经元视为视觉阶段的超完备集中的信号基元的话，神经元对于输入图像的激活机制具有高度的稀疏性。稀疏性思想方法已经成功应用到模式识别领域。美国 UIUC 大学的 J. Wright等 1 利用模式间的稀疏性设计出一种基于稀疏表示分类 (Sparserepresentation-based classification)方法，该方法的基本思想是，一个待识别的图像样本，在各类训练样本总体构成的基底上的表示系数（表示系数通过求解一个通用的稀疏表示模型得到）是稀疏的，也就是说，表示系数大部分为零，不为零的部分应为在同类样本上的表示系数。在稀疏表示分类的基础上， E. Elhamifar等 2提出了结构化的稀疏表示分类器。 J. Yang 等 3讨论了稀疏表示分类器的机理问题，为基于 L1 范数的稀疏表示分类提供了理论依据。他们指出，稀疏表示分类器只所以有效的根本原因在于 L1-optimizer 解的邻近性，而不是L0-optimizer 解的 “稀疏 ”性。稀疏表示分类器的有效性依赖于 L1-假设（邻近性假设）：在所有的样本中，依赖于同类样本的表示所产生的表示系数的 L1-范数最小。利用了商多面体的 k-睦邻（ k-neighborly）理论，揭示了 L1-optimizer 在模式分类中的作用。中国模式识别白皮书4从理论上讲，基于 L1范数的稀疏表示对服从 Laplacian分布的噪声是最优的，对更为复杂的噪声显然不是最优的。为了进一步提升稀疏表示的稳健性， M. Yang等 4借鉴稳健回归的思想，提出了正则化的稳健稀疏编码方法， R. He 等 5提出了基于半二次型的稳健稀疏表示方法。这两种方法的性能优势在存在复杂噪声的人脸识别实验中得到了证实。除了分类以外，稀疏表示的方法还被广泛应用于特征抽取领域，典型的例子如稀疏主分量分析、稀疏鉴别学习以及是在深度学习的稀疏自动编码器模型等。（ 2）低秩分解在很多工程问题中，数据矩阵中常常有部分元素缺失或受噪声污染，在该情况下如何恢复数据矩阵成为一个非常重要的问题。低秩先验为数据矩阵的完善和恢复提供一种可能。当噪声较小且独立同分布于高斯分布，经典的主分量分析提供了一种数据矩阵估计的最优工具。然而实际中数据的污染形式可能是任意的，比如噪声较大且是非高斯的，此时主分量分析无法提供一种准确的估计。针对这一问题， E. J. Candes, Y. Ma, 和 J. Wright 等提出了稳健主分量分析（ Robust PCA）理论与方法 6,7，该理论假设污染是稀疏的而数据矩阵是低秩的，从而将数据矩阵分解为两部分 : 低秩部分（真实数据的估计项）和稀疏部分（噪声等污染项）。稳健主分量分析的基本模型如下, * 1min | | | | subjectto L S L S L S A . (1)其中矩阵 A,L,S,分别代表观测到的数据 ,低秩数据和稀疏数据。受稳健主分量分析启发， G. Liu 8 等提出了低秩表示方法并用于子空间分割。两种方法均假设噪声是稀疏的，但低秩表示假设表示系数矩阵是低秩的，而稳健主分量分析则假定真实数据是低秩的。当前的稀疏表示或稳健稀疏表示方法都是基于一维向量的残差刻画，这些方法面临着两个基本的问题：（ 1）假设残差像素是独立同分布的，而实际中连续遮挡所产生的噪声往往是高度相关的；（ 2）独立刻画残差像素的方式完全忽视了残差的整体结构信息。针对这两个问题， Chen 等假设噪声服从矩阵变量分布，从而导出采用核范数来刻画噪声，提出了矩阵变量稀疏表示方法。另外， Zhang 等假设数据矩阵是低秩的，而每个噪声图像也是低秩的，据此提出了基于双核范数的矩阵分解方法。中国模式识别白皮书52.1.2 聚类作为模式识别最基本的分类方法之一，数据聚类在各科学领域的数据分析中扮演着重要的角色，如计算机科学、医学、社会科学和经济学等。给定一个由样本点组成的数据集，数据聚类的目标是将样本点划分成若干类，使得属于同一类的样本点非常相似，而属于不同类的样本点不相似。下面我们将介绍最近几年聚类研究的主要代表性进展，包括非线性聚类、集成聚类、多视图聚类等，以及展望聚类研究中的诸如大规模聚类、聚类中的无监督特征选择等的前沿挑战。（ 1）非线性聚类根据类的分布形状，聚类问题可以分成线性可分聚类问题和非线性可分聚类问题。对一个数据集，若至少包含一个非凸形状边界的类，则该数据集称为非线性可分的，也称为是具有任意形状边界或非球状的类，如图 1 展示了线性可分数据集和非线性可分数据集。由于现实数据的复杂流形分布，非线性可分聚类是最流行且最被广泛研究的聚类问题之一。最经典的方法是发表于 1996 SIGKDD 的DBSCAN 算法 11。除此之外，核方法 12、多中心点模型 13也是典型的非线性聚类算法。特别是， Science 杂志 2004 年发表了一个结合了密度和距离信息的非线性聚类算法 14，把非线性聚类研究推向了研究高峰。该算法结构简单、极具技巧性，但缺乏全局目标函数以及存在若干极度敏感的阈值。(a) 非线性可分数据集 (b) 线性可分数据集图 1. 非线性可分数据集与线性可分数据集（ 2）集成聚类已有聚类算法各有优势，也各有局限性；在缺少先验知识的情况下，从众多聚类算法中选择一个合适的聚类算法是非常困难的；甚至，给定一个聚类算法，中国模式识别白皮书6为其选择出合适的参数都是不容易的。相对于使用单一算法得到单一聚类的传统作法，集成聚类（ ensemble clustering）可以将多个聚类算法所得的聚类结果（每一个输入聚类称为一个基聚类）集成为一个更优、更鲁棒的聚类结果，如图 2所示。近年来集成聚类的研究热点包括有以下几方面： (1)基聚类加权 15,即如何对基聚类质量进行估计并进行加权； (2)基聚类筛选 16，即从基聚类集合选择得到一个子集，并对此 (选择得到的高质量 )子集进行集成以期得到更佳集成效果；(3)自动聚类个数估计 17，即如何自动确定最终聚类中类的个数。图 2. 集成聚类基本框架图 3. 多视图数据示例：网页数据中包括超链接、视频、图像、文本中国模式识别白皮书7（ 3）多视图聚类随着信息技术的发展，我们能够获取越来越多的多视图数据，也称为多源数据，即一个数据集中的每个样本存在着来自不同特征空间的多个表达，每一个表达称为一个视图或者数据源。来自多个视图的数据一般具有相类似的类结构。基于这个假设，多视图聚类就是将来自多个视图的数据进行有效整合，以得到比单视图分别聚类更加准确的聚类结果。代表性的工作有基于典型相关分析（ canonical correlation analysis）的多视图聚类 18与多视图谱聚类 19，如图 3所示。此外，带缺失数据的多视图聚类也是一个研究热点问题 20。2.1.3 分类器学习分类器学习方面，近几年最引人注目的进展在深度学习方面，即采用深度神经网络的特征学习和分类。深度学习被 MIT 技术评论评选为 2013 年突破性科学技术之一，它在人工智能的各个领域取得卓越性能，尤其是在图像识别、自然语言理解和语音识别领域 21。与传统人工特征抽取方法不同，深度学习本质在于自主地学习大数据内在的复杂结构特征，它是运用误差反向传播算法 (BackPropagation, BP)训练机器 (如：深度前馈网络和递归网络等 )如何从数据中学习到分层的抽象特征。下面我们将介绍深度学习的典型模型，包括无监督预训练、深度卷积网络和递归神经网络等，以及展望其未来挑战。图 4. 左图为深度信度网络，右图为深度玻尔兹曼机（ 1）无监督预训练众所周知，直接运用 BP 算法训练深度网络往往会陷入局部解而得到差强人中国模式识别白皮书8意的结果。 2006 年 Hinton 等人发表了对深度结构有着决定性意义的预训练技术，即采用无监督预训练模型的逐层去初始化网络参数在一个 “ 好 ” 的局部最优解，再通过 BP 算法对参数进行微调，进而提升深度网络的分类和降维能力 22。经典的方法有：深度信念网络和深度玻尔兹曼机等 (如图 4 所示 )。虽然从正则化和优化的角度可以揭示预训练技术的优势，但其有效性仍缺乏完善的理论解释。图 5. 深度卷积网络 (图片引自 Yu CVPR12 Tutorial)（ 2）深度卷积网络源于神经生物学的局部感受野原理， LeCun 等人提出采用 BP 算法训练的深度卷积网络 (Deep convolutional nets, DConvNets) 23，它是由多个单层卷积神经网络组成，每个单层卷积神经网络包括卷积、非线性变换和下采样 3 个阶段，如图 5 所示。此结构对图像的平移、小尺度缩放和扭曲等具有高度不变性。随着GPU、 ReLU 激活函数、 DropOut 和数据增广的引入， DConvNets 在图像分类问题上获得了惊人的结果，即在 ImageNet 挑战库上将前 5 选项错误率从 26.5%降到 15.3%24 (2015 年已降至 4.94%25)。除此之外，它还在目标探测、目标跟踪、场景识别和 3D 物体识别等方面取得了优异的性能。图 6. 递归神经网络 21（ 3）递归神经网络与前馈神经网络不同之处是，递归神经网络 (recurrent neural networks, RNN)将神经元的输出反馈到输入，并采用通过时间的反向传播算法 (BPTT)进行训练，中国模式识别白皮书9如图 6 所示。作为一类经典的 RNN 模型，长短时记忆网络 (long short-term memorynetworks, LSTM)26能有效地学习和长期保存时间序列信息，并广泛地应用到自然语言理解和语音识别领域。特别是，结合 DConvNets 和 LSTM27，深度学习能使机器从图像像素生成人类语言描述，进而像人一样去感知外界。2.1.4 多分类器集成学习集成学习 28是机器学习最基本的方法之一，曾被列为机器学习四大研究方向之首 29，广泛应用于生物、医学、计算机视觉、图形图像处理等。其基本原理是利用一系列学习器进行学习，并使用某种规则把各学习结果进行整合从而获得比单一学习器更好学习效果的一种学习方法。实际应用中的问题一般都是多类学习问题。因而，我们将介绍最近几年多分类器集成学习研究的主要代表性进展，其中包括理论分析与算法设计，以及展望多分类集成学习在大数据背景下一些研究的前沿挑战。（ 1）理论研究学习理论的研究对机器学习的发展有着重要的支撑和指导作用。在学习理论中，可学习性刻画了一个多分类学习问题能否通过学习得到最优分类器；泛化性刻画了从已有数据中建立的模型能否很好地处理新的数据；一致性研究通过凸优化获得的分类器是否是多分类学习的最优分类器。近年来多分类器集成学习理论研究热点包括以下几方面：可学习性研究 30、泛化性研究 31、一致性研究 32。（ 2）算法设计Boosting 是一类著名的主流集成学习方法，其基本原理是将很多弱分类器进行有效结合、从而获得学习效果更好、更鲁棒的学习方法。 Boosting 方法是多类学习中较为经典的学习方法之一，被广泛研究。近年研究热点包括以下几方面：i)基于特征互享 ShareBoost 多分类学习算法 33； ii)基于深度基学习器 DeepBoost多分类学习算法 34； iii)基于非对称