2019-2020人工智能安全标准化报告.docx

2019-2020人工智能安全标准化 报告 2019年 10月 目录 一、人工智能概述 .1 1.1 人工智能迎来第三次发展浪潮 .1 1.2 人工智能技术与应用进展显著 .2 1.3 人工智能产业链初具规模 .4 1.4 我国人工智能应用场景广阔 .6 1.5 人工智能总体发展水平仍处于起步阶段 .7 二、人工智能安全法规政策和标准化现状 .9 2.1 人工智能安全法律法规和政策 .9 2.1.1 国际国外情况 .9 2.1.2 国内情况 .15 2.2 主要标准化组织人工智能安全工作情况 .17 2.2.1 ISO/IEC JTC1 .17 2.2.2 ITU-T .18 2.2.3 IEEE .18 2.2.4 NIST .21 2.2.5 TC260 .22 2.2.6 其他标准化组织 .25 2.3 人工智能伦理道德工作情况 .26 三、人工智能安全风险分析与内涵 .29 3.1 新的攻击威胁 .29 3.2 人工智能安全隐患 .31 3.2.1 算法模型安全隐患 .31 3.2.2 数据安全与隐私保护隐患 .33 目录 3.2.3 基础设施安全隐患 . 36 3.2.4 应用安全隐患 . 37 3.2.5 人工智能滥用 . 38 3.3 安全影响 . 39 3.4 人工智能安全属性和内涵 . 41 四、人工智能安全标准体系 . 44 4.1 人工智能安全标准化需求分析 . 44 4.2 人工智能安全标准与其他领域标准的关系 . 46 4.3 人工智能安全标准体系 . 46 4.3.1 人工智能基础性安全标准 . 47 4.3.2 人工智能数据、算法和模型安全标准 . 48 4.3.3 人工智能技术和系统安全标准 . 48 4.3.4 人工智能管理和服务安全标准 . 49 4.3.5 人工智能测试评估安全标准 . 50 4.3.6 人工智 能产品和应用安全标准 . 50 五、人工智能安全标准化工作建议 . 51 附录 A 人工智能相关安全标准 . 55 A.1 TC260人工智能安全标准研究项目 . 55 A.2 TC260人工智能安全相关标准 . 56 A.3 ISO/IEC JTC1/SC42人工智能安全相关的标准 . 57 附录 B 人工智能应用安全实践案例 （排名不分先后） . 58 B.1 百度人工智能安全实践 . 58 B.2 猎户星空人工智能安全实践 . 61 目录 B.3 清华大学人工智能安全实践 . 63 B.4 依图人工智能安全应用实践 . 66 B.5 IBM人工智能安全实践 . 69 B.6 深信服人工智能安全实践 . 72 B.7 360 人工智能安全实践 . 75 B.8 阿里巴巴人工智能安全实践 . 78 B.9 华为人工智能安全实践 . 82 参考文献 . 85 一、人工智能概述 人工智能，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统 1。人工智能相关技术的研究目的是促使智能机器会听（如语音识别、机器翻译等）、会看（如图像识别、文字识别等）、会说（如语音合成、人机对话等）、会行动（如机器人、自动驾驶汽车等）、会思考（如人机对弈、定理证明等）、会学习（如机器学习、知识表示等） 2。 1.1 人工智能迎来第三次发展浪潮 早在 1950年，阿兰图灵在计算机器与智能中阐述了对人工智能的思考，并提出以图灵测试对机器智能进行测量。 1956年，美国达特茅斯学院举行的人工智能研讨会上首次提出人工智能的概念：让机器能像人类一样认知、思考并学习，这标志着人工智能的开端。 人工智能在 20世纪 50年代末和 80年代初两次进入发展高峰，但受制于技术、成本等因素先后进入低谷期（如图 1-1所示）。近年来，随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展 2， 人工智能在算法、 算力和数据三大因素的共同驱动下迎来了第三次发展浪潮。 专家系统模拟人类专家的知识和经验解决特定领域的问题 , 实现了人工智能从理论研究走向实际应 用、从一般推理策略探讨转向运用专门知识的重大突破 2010 年 , 大数据时代到来 1997 年 ,Deep Blue 战胜世界际象棋冠军Garry Kasparov 2016 年 3 月 ,AlphaGo 以 4 比 1 战胜世界围棋冠军李世石 2006 年 ,Hinton 和他的学生开始深度学习 1956 年达特茅斯会议提出 “人工智能” 1959 年 , 机器翻译 闹Arthur Samuel 出笑话及 一提出了机器学 些学术报 告 习 的负面影响 , 人工智能的经费普遍减少 1987 年 ,LISP 机市场崩塌 2020s 2010s 1980s 1990s 2000s 1970s 1950s 1960s 起步发展期 人工智能概 反思发展期 人工智能的 应用发展期 专家系统在 低迷发展期 随着人工智 稳步发展期 由于网络技术特别是 蓬勃发展期 随着大数据、云 念提出后 , 相 突破性进展 医疗、化学、 能的应用规 互联网技术的发展 , 计算、互联网、 继取得了一 使得人们开 地质等领域 模不断扩大 , 加速了人工智能的创 物联网等信息技 批令人瞩目 始尝试一些 取得成功 , 推 专家系统存 新研究 , 促使人工智 术的发展 , 泛在 的研究成果 , 不切实际的 动人工智能 在的应用领 能技术进一步走向实 感知数据和图形 掀起人工智 目标。然而 , 走入应用发 域狭 窄、缺 用化。 处理器等计算平 能发展的第 接二连三的 展的新高潮。 乏常识性知 台推动以深度神 一个高潮。 失败和预期 识、知识获 经网络为代表的 目标的落空 取困 难、推 人工智能技术飞 使人工智能 理方法单一 速发展。 的发展走入 等问题逐渐 低谷。 暴露出来。 图 1-1 人工智能发展历程图 1.2 人工智能技术与应用进展显著 人工智能技术不断发展，尤其是以深度学习为代表的机器学习算法， 及以语音识别、自然语言处理、图像识别为代表的感知智能技术取得显著进步。专用人工智能即面向特定领域的人工智能，由于其具备任务单一、需求明确、应用边界清晰、领域知识丰富、建模相对简单等特征，陆续实现了单点突破，在计算机视觉、语音识别、机器翻译、人机博弈等方面可以接近、甚至超越人类水平。 与此同时，机器学习、知识图谱、自然语言处理等多种人工智能关 键技术从实验室走向应用市场（如图 1-2所示）。机器学习主要研究计算机等功能 单元，是通过模拟人类学习方式获取新知识或技能，或通过重组现有知识或技能来改善其性能的过程。深度学习作为机器学习研究中的一个新兴领域，由 Hinton等人于 2006年提出。深度学习又称为深度神经网络 （层数超过 3层的神经网络），是机器学习中一种基于对数据进行表征学习的方法。在传统机器学习中，手工设计特征对学习效果很重要，但是特征工程非常繁琐，而深度学习基于多层次神经网络，能够从大数据中自动学习特征，具有模型规模复杂、过程训练高效、结果训练准确等特点 3。知识图谱，本质上是结构化的语义知识库，是一种由节点和边组 成的图数据结构，以符号形式描述物理世界中的概念及其相互关系。自然语言处理，研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。人机交互，主要研究人和计算机之间的信息交换，包括人到计算机和计算机到人的两部分信息交换。计算机视觉，是使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。生物特征识别，是指通过个体生理特征或行为特征对个体身份进行识别认证的技术。智能语音，主要研究通过计算机等功能单元对人的语音所表示的信息进行感知、分析和合成。 人机交互 机器学习 学习模式分类 学习方法分类 监 督 学 习 无监督学习 强 化 学 习 传统机器学习深度学习 语音识别语音合成 指纹识别人脸识别 虹膜识别 迁移学习 常见算法 主动学习 演化学习 知识获取知识表示知识存储 指静脉识别 声纹识别步态识别 图像分类目标检测目标跟踪图像分割 生物特征识别 计算机视觉 语音交互 情感交互 体感交互脑机交互 人工智能关键技术 知识图谱 知识融合知识建模知识计算 知识运维 机器翻译语义理解问答系统 文本分类和聚类信息抽取 信息检索和过滤 图 1-2 人工智能关键技术 1.3 人工智能产业链初具规模 从全球范围来看，人工智能市场发展迅速、潜力巨大。我国作为全球最为重要的科技创新和应用主体，持续发力，促进人工智能产业快速发展。2018年，我国人工智能产业规模约为 344亿元，人工智能领域融资额达796.9亿元 5。截至 2019年 9月，我国人工智能相关公司总数已超过 2500 家 5，主要从事计算机视觉、语音识别和语言技术处理等相关业务 6。 新一代人工智能发展规划更是提出到 2030年国内人工智能核心产业规模要超过 1万亿元，带动相关产业规模超过 10万亿元，为人工智能产业持续快速增长指出宏伟目标。 当前，全球人工智能产业链已初具规模，形成多层产业结构（见图 智能语音 自然语言处理 软件框架 应用层 行业应用 智能安防 智慧金融 智慧医疗 智能家居 智能交通 . 产品和服务 智能机器人 自劢驾驶 人脸识别系统 智能客服 智能风控 . 1-3），其中基础层是人工智能的基础支撑，提供计算力、数据等基础资源；技术层是人工智能的技术体系，提供算法开发的软件框架、算法模型、关键技术；应用层实现人工智能应用，提供人工智能产品、服务、行业应用解决方案等。 TensorFlow Lite Caffe2go Paddle-mobile Core ML NCNN . TensorFlow Caffe PyTorch Paddle paddle MXNet . 图 1-3 人工智能产业链结构 人工智能产业链主要涉及智能基础设施厂商、智能信息及数据提供商、智能技术服务厂商、智能产品和服务提供商、智能应用解决方案提供商等。智能基础设施厂商，主要包括智能芯片、智能服务器、端侧设备等为人工智能提供基础计算能力支持的厂商及传感器等硬件厂商。智能信息及数据提供商，主要包括数据集提供商，及提供人工智能数据采集、标注、分析、处理相关服务的厂商。智能技术服务厂商，依托基础设施和大量数据提供智能技术服务，主要包括提供人工智能的软件框架或技术平台、提供人工智能算法模型和关键技术咨询、提供人工智能在线服务等。智能产品和 服务提供商，即提供智能机器人、智能运载工具、智能终端、生物特征识别产品、自然语言理解产品、计算机视觉产品等人工智能产品 朴 素 贝 叶 斯 支 持 向 量机 决策树 k均值 . 关键技术 算法模型 多种神经网络模型 计算机视觉 . 知识图谱 人机交互 智能语音 自然语言理解 数据 (集 ) . 自然语言处理数据集 语音处理数据集 图像处理数据集 技术层 智能服务器 基础设斲 智能芯片 . 类脑芯片 ASIC FPGA GPU CPU . 端侧设备（如智能手机，智能摄像头等） 传感器 基础层 和服务的厂商 7，这些产品和服务可以软硬件产品、云服务、 API服务等形式存在。智能应用解决方案提供商，即人工智能在智能金融、智能制造、智能交通、智能家居、智能医疗、智能金融等垂直行业和应用场景的解决方案提供者。 1.4 我国人工智能应用场景广阔 近年来，我国陆续出台多项政策推动人工智能产业发展，多角度促进人工智能与经济社会深度融合发展。工信部印发了促进新一代人工智能产业发展三年行动计划（ 2018-2020年），中央深改委会议审议通过了关于促进人工智能和实体经济深度融合的指导意见，科技部印发了 国家新一代人工智能创新发展试验区建设工作指引。截止 2019年，全国已建立 15个国家级人工智能开放平台， 21个省市地区政府出台了人工智能产业相关政策 5。 在国家和地方政策扶持、数据资源丰富等多因素的驱动下，我国广阔的人工智能应用市场成为发展优势。 从垂直行业来看 （见图 1-4），人工智能在安防、金融、零售、医疗、政务、交通、制造、家居等行业领域得到应用。相关报告显示，当前机器人、安防、医疗成为热门应用场景，智能 军事、智能写作、无人船等领域相对处于起步阶段 5。人工智能在金融领 域应用最为深入，在零售行业各环节多点开花，在医疗行业智能应用发展迅速，在政务和安防领域发展前景广阔，在制造业领域有待进一步开发应用潜力 6。