2019版人工智能安全标准化白皮书_t7U.docx

人工智能安全标准化白皮书 （ 2019版） 2019年 10月 人工智能安全标准化白皮书 （ 2019版） 全国信息安全标准化技术委员会大数据安全标准特别工作组 2019年 10月 i 前 言 习近平总书记在十九届中央政治局第九次集体学习时明确指出，要加强人 工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能 安全、可靠、可控。人工智能 （ Artificial Intelligence，简称 AI） 经过 60多年的演 进，已发展成为研究和开发用于模拟、延伸和扩展人类智能的学科。近年来，在 算法、算力和数据三大因素的共同驱动下，人工智能进入加速发展的新阶段， 成为经济发展的领头雁和社会发展的加速器。目前世界主要国家均把人工智能 作为国家发展战略。 2017年我国发布新一代人工智能发展规划，将发展新一代人工智能上升至国家战略高度。随着人工智能在相关行业和人民社会生活 中的深度融合应用，由此带来的国家安全、社会伦理、网络安全、人身安全和隐 私保护多个层面的风险和挑战，也引起了社会的广泛关注。 人工智能安全标准化是人工智能产业发展的重要组成部分，在激发健康良 性的人工智能应用、推动人工智能产业有序健康发展方面发挥着基础性、规范 性、引领性作用。新一代人工智能发展规划中明确提出了 “ 要加强人工智能 标准框架体系研究，逐步建立并完善人工智能基础共性、互联互通、行业应用、 网 络安全、隐私保护等技术标准 ” ，切实加强人工智能安全标准化工作，是保障 人工智能安全的必由之路。 为推动人工智能技术健康、快速、安全、有序的发展和推广应用，全国信息 安全标准化技术委员会 （ 以下简称 “ 全国信安标委 ” ） 下设的大数据安全标准特 别工作组启动了人工智能安全标准化白皮书编制工作，本白皮书主要围绕人 工智能本身的安全，详细分析人工智能发展现状，面临的主要安全威胁和风险挑战，梳理总结国内外人工智能安全法规政策和标准化组织标准化工作进展。 在此基础上，对人工智能安全标准化需求进行深入辨析，提出人工智能安全标 准框架和标准化工作建议。 ii 人工智能安全标准化白皮书（ 2019版） 编写单位 中国电子技术标准化研究院清华大学 北京百度网讯科技有限公司华为技术有限公司 三六零科技集团有限公司 阿里巴巴（中国） 有限公司中国移动通信集团有限公司中国人民大学 浙江蚂蚁小微金融服务集团股份有限公司国际商业机器 (中国 )有限公司 北京天融信网络安全技术有限公司联想（北京）有限公司 上海依图网络科技有限公司深信服科技股份有限公司 深圳市腾讯计算机系统有限公司 北京三快在线科技有限公司（美团点评） 奇安信科技集团股份有限公司 陕西省网络与信息安全测评中心北京猎户星空科技有限公司 中国科学院大学自动化研究所四川大学 内蒙古自治区大数据发展管理局维沃移动通信有限公司 北京大学 北京神州绿盟信息安全科技股份有限公司阿里云计算有限公司 上海观安信息技术股份有限公司OPPO广东移动通信有限公司 中国平安保险（集团）股份有限公司 iii 人工智能安全标准化白皮书（ 2019版） 编写人员 杨建军 刘贤刚 王建民 胡 影 张宇光 苏 航 刘 焱 张 屹 李 实 郭 锐 朱红儒 王小璞 程海旭 上官晓丽 张 峰 落红卫 徐飞玉 谢安明 吴月升 王 龑 赵春昊 陈兴蜀 叶晓俊 金 涛 刘伯仲 武 杨 罗治兵 赫 然 全 鑫 苏永梓 吴子建 魏玉峰 郑新华 谢 江 贾 科 刘 行 严敏瑞 刘建鑫 何 源 于 乐 朱 军 李 依 白晓媛 杜杨洲 周 俊 李汝鑫 王海棠 曹晓琦 鲍旭华 张大江 江为强 常 玲 彭骏涛 宁 阳 付荣华 王江胜 王艳辉 赵晓娜 包沉浮 赵新强 公 静 马 杰 孙 卫 刘笑岑 李 祎 雷晓锋 于惊涛 卞松山 张红卫 黄汉川 杨 帆 李青山 夏玉明 韩 方 蔡 伟 版权声明：如需转载或引用，请注明出处。 iv 目录 CONTENTS 一、人工智能概述 .1 1.1 人工智能迎来第三次发展浪潮 .1 1.2 人工智能技术与应用进展显著 .2 1.3 人工智能产业链初具规模 .4 1.4 我国人工智能应用场景广阔 .6 1.5 人工智能总体发展水平仍处于起步阶段 .7 二、人工智能安全法规政策和标准化现状 .9 2.1 人工智能安全法律法规和政策 .9 2.1.1 国际国外情况 .9 2.1.2 国内情况 .15 2.2 主要标准化组织人工智能安全工作情况 .17 2.2.1 ISO/IEC JTC1 .17 2.2.2 ITU-T .18 2.2.3 IEEE .18 2.2.4 NIST .21 2.2.5 TC260 .22 2.2.6 其他标准化组织 .25 2.3 人工智能伦理道德工作情况 .26 三、人工智能安全风险分析与内涵 .29 3.1 新的攻击威胁 .29 3.2 人工智能安全隐患 .31 3.2.1 算法模型安全隐患 .31 v 3.2.2 数据安全与隐私保护隐患 .33 目录 CONTENTS 3.2.3 基础设施安全隐患 . 36 3.2.4 应用安全隐患 . 37 3.2.5 人工智能滥用 . 38 3.3 安全影响 . 39 3.4 人工智能安全 属性和内涵 . 41 四、人工智能安全标准体系 . 44 4.1 人工智能安全标准化需求分析 . 44 4.2 人工智能安全标准与其他领域标准的关系 . 46 4.3 人工智能安全标准体系 . 46 4.3.1 人工智能基础性安全标准 . 47 4.3.2 人工智能数据、算法和模型安全标准 . 48 4.3.3 人工智能技术和系统安全标准 . 48 4.3.4 人工智能管理和服务安全标准 . 49 4.3.5 人工智能测试评估安全标准 . 50 4.3.6 人工智能产品和应用安全标准 . 50 五、人工智能安全标准化工作建议 . 51 附录 A 人工智能相关安全标准 . 55 A.1 TC260人工智能安全标准研究项目 . 55 A.2 TC260人工智能安全相关标准 . 56 A.3 ISO/IEC JTC1/SC42人工智能安全相关的标准 . 57 附录 B 人工智能应用安全实践案例 （排名不分先后） . 58 B.1 百度人工智能安全实践 . 58 vi B.2 猎户星空人工智能安全实践 . 61 目录 CONTENTS B.3 清华大学人工智能安全实践 . 63 B.4 依图人工智能安全应用实践 . 66 B.5 IBM人工智能安全实践 . 69 B.6 深信服人工智能安全实践 . 72 B.7 360 人工智能安全实践 . 75 B.8 阿里巴巴人工智能安全实践 . 78 B.9 华为人工智能安全实践 . 82 参考文献 . 85 1 一、人工智能概述 人工智能，是利用数字计算机或者数字 计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统 1。人工智能相关技术的研究目的是促使智能机器会听（如语音识别、机器翻译等）、会看（如图像识别、文字识别等）、会说（如语音合成、人机对话等）、会行动（如机器人、自动驾驶汽车等）、会思考（如人机对弈、定理证明等）、会学习（如机器学习、知识表示等） 2。 1.1 人工智能迎来第三次发展浪潮 早在 1950年，阿兰图灵在计算机器与智能中阐述了对人工智能的思考，并提出以图灵测试对机器智能进行测量。 1956年，美国达特茅斯学院举行的人工智能研讨会上首次提出人工智能的概念：让机器能像人类一样认知、思考并学习，这标志着人工智能的开端。 人工智能在 20世纪 50年代末和 80年代初两次进入发展高峰，但受制于技术、成本等因素先后进入低谷期（如图 1-1所示）。近年来，随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展 2， 人工智能在算法、算力和数据三大因素的共同驱动下迎来了第三次发展浪潮。 2 丏家系统模拟人类丏家的知识和经验解决特定领域的问题 , 实现了人工智能从理论研究走向实际应 用、从一般推理策略探讨转向运用丏门知识的重大突破 2010 年 , 大数据时代到来 1997 年 ,Deep Blue 战胜世界际象棋冠军Garry Kasparov 2016 年 3 月 ,AlphaGo 以 4 比 1 战胜世界围棋冠军李世石 2006 年 ,Hinton 和他的学生开始深度学习 1956 年达特茅斯会议提出 “人工智能” 1959 年 , 机器翻译 闹Arthur Samuel 出笑话及 一提出了机器学 些学术报 告 习 的负面影响 , 人工智能的经费普遍减少 1987 年 ,LISP 机市场崩塌 2020s 2010s 1980s 1990s 2000s 1970s 1950s 1960s 起步发展期 人工智能概 反思发展期 人工智能的 应用发展期 丏家系统在 低迷发展期 随着人工智 稳步发展期 由亍网络技术特别是 蓬勃发展期 随着大数据、于 念提出后 , 相 突破性进展 医疗、化学、 能的应用规 亏联网技术的发展 , 计算、亏联网、 继取得了一 使得人们开 地质等领域 模不断扩大 , 加速了人工智能的创 物联网等信息技 批令人瞩目 始尝试一些 取得成功 , 推 丏家系统存 新研究 , 促使人工智 术的发展 , 泛在 的研究成果 , 不切实际的 劢人工智能 在的应用领 能技术进一步走向实 感知数据和图形 掀起人工智 目标。然而 , 走入应用发 域狭 窄、缺 用化。 处理器等计算平 能发展的第 接二连三的 展的新高潮。 乏常识性知 台推劢以深度神 一个高潮。 失败和预期 识、知识获 经网络为代表的 目标的落空 取困 难、推 人工智能技术飞 使人工智能 理斱法单一 速发展。 的发展走入 等问题逐渐 低谷。 暴露出来。 图 1-1 人工智能发展历程图 1.2 人工智能技术与应用进展显著 人工智能技术不断发展，尤其是以深度学习为代表的机器学习算法， 及以语音识别、自然语言处理、图像识别为代表的感知智能技术取得显著进步。专用人工智能即面向特定领域的人工智能，由于其具备任务单一、需求明确、应用边界清晰、领域知识丰富、建模相对简单等特征，陆续实现了单点突破，在计算机视觉、语音识别、机器翻译、人机博弈等方面可以接近、甚至超越人类水平。 与此同时，机器学习、知识图谱、自然语言处理等多种人工智能关