2020大数据标准化报告.docx

2020大数据标准化 报告 二零二零年九月 目 录 1 前言 . 1 1.1 研究背景 . 1 1.2 研究目标及意义 . 2 2 相关政策法规 . 3 2.1 国外政策 . 3 2.1.1 美国大数据政策 . 3 2.1.2 欧盟大数据政策 . 3 2.1.3 英国大数据政策 . 4 2.1.4 法国大数据政策 . 5 2.1.5 日本大数据政策 . 6 2.1.6 俄罗斯大数据政策 . 6 2.2 国内政策 . 7 2.2.1 国家和行业政策 . 7 2.2.2 地方政策 . 8 2.3 安全隐私法律法规 . 10 3 大数据技术发展现状 . 13 3.1 大数据参考架构 . 13 3.2 大数据通用技术概述 . 14 3.3 大数据关键技术概述 . 16 4 大数据产业应用现状 . 19 4.1 大数据产业生态 . 19 4.2 重点领域应用 . 21 4.2.1 社会管理与公共服务 . 21 4.2.2 农业 . 25 4.2.3 制造业 . 26 4.2.4 能源领域 . 27 4.2.5 通信领域 . 29 4.2.6 交通运输领域 . 29 4.2.7 生态环境领域 . 30 4.2.8 司法领域 . 30 4.2.9 市场监管 . 31 4.2.10 金融领域 . 32 4.2.11 科学研究 . 33 4.2.12 卫生健康 . 34 4.2.13 文化、教育和旅游领域 . 35 5 大数据热点领域概述 . 39 5.1 大数据治理 . 39 5.2 大数据与人工智能 . 41 6 大数据标准化现状 . 43 6.1 国际标准化现状 . 43 6.1.1 ISO/IEC JTC 1 . 43 6.1.2 ITU-T . 46 6.1.3 IEEE BDGMM . 48 6.1.4 NIST . 48 6.2 国内标准化现状 . 49 6.2.1 国家标准化现状 . 49 6.2.2 地方标准化现状 . 52 7 大数据标准体系 . 54 7.1 大数据标准体系框架 . 54 7.2 标准明细表 . 56 7.3 重点标准介绍 . 63 8 大数据标准化工作建议 . 66 8.1 完善大数据标准化工作机制 . 66 8.2 夯实大数据标准体系建设 . 66 8.3 加强大数据标准宣传推广 . 66 8.4 构建标准符合性评估体系 . 67 8.5 推进大数据治理标准支撑 . 67 8.6 加大标准化人才培养力度 . 67 8.7 加快大数据标准的国际化步伐 . 68 9 附件：应用案例 . 69 9.1 案例：广州市公安局大数据平台 . 69 9.2 案例：咸阳市精准扶贫大数据平台 . 73 9.3 案例：国家生猪大数据中心 . 76 9.4 案例：中国航发南方工业公司 AEOS 运营管理平台 . 79 9.5 案例：广东移动大数据实时跨集群协同云计算及行业化快速支撑应用 . 81 9.6 案例：生态环境标准化体系建设成效与案例 . 84 9.7 案例：政法跨部门大数据办案平台 . 85 9.8 案例：蚂蚁金服数巢一站式大数据共创服务平台 . 88 9.9 案例：济南健康医疗大数据平台建设与运营案例 . 91 9.10 案例：华西医院肿瘤专科临床科研智能大数据平台 . 95 9.11 案例：面向智慧城市数据融合共享的大数据治理平台 . 99 9.12 案例：招商局融资租赁（天津）有限公司数据治理项 目 . 101 9.13 案例：中国进出口银行数据治理项目 . 104 9.14 案例：中国农业发展银行数据服务平台项目 . 108 9.15 案例：国家电网公司数据治理实践 . 110 1 前言 1.1 研究背景 大数据是新时代最重要的 “ 数字金矿 ” ，是全球数字经济发展的核心动能。数据资源如同农业时代的土地、劳动力，工业时代的技术、资本，已经成为信息时代重要的基础性战略资源和关键生产要素，是推动经济发 展质量变革、效率变革、动力变革的新引擎，不断驱动人类社会加快在信息化时代中的前进步伐，逐 步向智能化时代迈进。大数据作为数据资源价值挖掘的动力源，受到了世界各国 政府和国际组织的高度重视，世界主要国家和地区竞相开展大数据战略布局，推 动大数据技术创新研发与产业应用落地，旨在以大数据为抓手，抢占数字经济时代全球竞争制高点。 我国党中央、国务院高度重视并持续推进大数据发展。自 2015 年国务院印发促进大数据发展行动纲要以来，陆续发布政务信息资源共享管理暂行办 法大数据产业发展规划（ 2016-2020） 等政 策文件，持续加强大数据、数 字经济国家战略部署。 2019 年 3 月 5 日国务院总理李克强在政府工作报告中强 调“ 深化大数据、人工智能等研发应用，培育新一代信息技术、高端装备、生物 医药、新能源汽车、新材料等新兴产业集群，壮大数字经济 ” ，这是大数据连续 第六年写入政府工作报告中。 2019 年 10 月，习近平总书记在十九届四中全会中 提出要建立健全运用互联网、大数据、人工智能等技术手段进行行政管理的制度 规则，将大数据的定位从构建数字经济延伸至国家治理，赋予大数据以新的历史 使命。 我国拥有海量的数据资源和丰富的应用场景，具备大数据发展的先天优势。随着国家政策的日渐完善以及扶持力度的不断增强，我国大数据技术、产业得到长足发展。国内骨干企业已经具备自主开发建设和运维大规模大数据平台的能 力，一批新产品、新服务、新模式陆续出现，大数据生态体系逐渐完善。然而， 随着我国大数据应用的进一步深入，产业发展的痛点问题相继暴露：数据开放共 享进程缓慢、数据质量不高、数据管理与治理缺失、垂直行业应用深度不足。面 对当前大数据发展的瓶颈问题，不仅需要从技术、行业机制的角度寻求突破，也 亟需从标准化维度持续加强支撑。 前期，在工业和信息化部信息技术发展司、国家市场监督管理总局标准技术 管理司的指导下，全国信标委大数据标准工作组组织国内相关产、学、研、用单 位的专家、学者，在深入调研国内外大数据技术、产业及标准化需求的基础上， 编制形成了大数据标准化白皮书（ 2016 版 ）大数据标准化白皮书（ 2018 版 ） ，受到了业界关注和一致好评。 2020 版白皮书将在 2018 版的基础上更新 国内外大数据领域最新政策法规，提出大数据技术发展趋势和重点领域应用实 践，分析大数据发展热点方向，并在此基础 上进一步完善大数据标准体系，更新大数据标准化相关成果，提炼最新标准化需求。 1.2 研究目标及意义 本白皮书梳理了国内外主要国家、地区大数据领域的发展战略，描述了大数据核心技术和产业应用现状，力图从政策、技术、产业等多个角度，勾画出当前大数据发展的整体脉络。同时结合大数据发展的最新态势及热点方向，迭代完善形成了新时期的大数据标准体系，并提出了我国大数据标准化工作建议。 本白皮书的发布，旨在与业界分享笔者在大数据领域的研究成果和实践经验，展示近年来大数据发展的技术、产业及标准化最新态势，呼吁社会各界共同 关注大数据政 策研究、技术投入、服务应用和标准化建设，加强对大数据标准化 工作的重视程度，共同助力大数据引领国民经济高质量发展。 2 相关政策法规 2.1 国外政策 2.1.1 美国大数据政策 早在 2011 年，美国国家科技委员会专门成立 “ 大数据高级督导组 （ Big Data Senior Steering Group, BDSSG） ” ， 负责确定联邦政府当前需要开展的大数据研发任务，做好部门间的工作协调，制定远景目标。随后，自 2012 年起，美国针对大数据技术革命实施了多轮政策行动。 2012 年 3 月，美国白宫科技政策办公室发布大数据研究和发展计划， 成立 “ 大数据高级指导小组 ” ，旨在大力提升美国从海量复杂的数据集合中获取 知识和洞见的能力。 2013 年 11 月，美国信息技术与创新基金会发布支持数据 驱动型创新的技术与政策，提出了 “ 数据 知识 行动 ” 计划，建议世界 各国的政策制定者应采取措施，鼓励公共部门和私营部门开展数据驱动型创新。 2014 年 5 月，美国总统行政办公室发布大数据：把握机遇，保存价值，对 美国大数据应用与管理的现状、政策框架和改进建议进行了集中阐述，并就保护 个人隐私的价值、数字时代负责任的教育创新、大数据与歧视、执法与安全保护、 数据公共资源化提出建议。 2016 年 5 月，美国总统科技顾问委员会发布了联邦大数据研发战略计划，主要围绕代表大数据研发关键领域的七个战略进行， 包括促进人类对科学、医学和安全等方面的认识，确保美国在研发领域继续发挥领导作用，通过研发来提高美国和世界解决紧迫社会和环境问题的能力等。 2019 年 12 月 23 日，美国白宫行政管理和预算办公室 (OMB)发布联邦数据战略与 2020 年行动计划，以 2020 年为起始，描述了美国联 邦政府未来十年的数据愿景， 确立了政府范围内的数据使用框架原则， 40 项具体数据管理实践以及 20 项 2020年具体行动方案。 2.1.2 欧盟大数据政策 2014 年欧盟推动形成数据价值链战略计划草案，发布了数据驱动经 济战略 ,旨在通过一个以数据为核心的连贯性欧盟生态体系，让数据价值链的不同阶段产生价值，以驱动欧洲经济繁荣。 2018 年，欧盟委员会发布政策文件 建立一个共同的欧盟数据空间，聚焦公共部门数据开放共享、科研数据保存和获取、私营部门数据分享等事项。 2018 年 5 月， 欧盟通用数据 保护条例 （ General Data Protection Regulation，以下简称 “GDPR” ） 正式实施。作为全球最严格的个人数据保护法， 一方面 GDPR 强化了自然人的个人数据保护权，在已有自然人权属的基础上，增 设了删除权 （ 被遗忘权 ） 、限制处理权、持续控制权 （数据可携权 ） 和拒绝权等 一系列新的权利给数据主体，并对错误处理个人数据或侵犯数据主体权利的企业 提出了高额的处罚条款；另一方面 GDPR 提出不能以保护处理个人数据中的相关 自然人为由，对欧盟内部个人数据的自由流动进行限制或禁止，进一步推动欧盟境内数据交换共享。 2018 年 11 月，欧洲议会和欧盟理事会共同颁布非个人数据自由流动条例 （ Regulation on the free flow of non-personal data），并于 2019 年 5 月 28 日正式实施。该 条例旨在保障非个人数据在欧盟境内能够自由流动，并对数据本地化要求、主管当局的数据获取及跨境合作、专业用户的数据迁移等问题作了具体规定。 该条例和 GDPR 一同奠定了欧盟的第五大自由，即 在人、 货物、服务和资本以外，数据也摆脱了成员国的边境、负担和障碍带来的限制， 可以在欧盟范围内自由流动。 2020 年 2 月，欧盟发布欧洲数字战略，旨在通过增强欧盟企业及公民数字能力建设、善用技术巨头市场力量及挖掘信息通讯技术可持续发展潜力，使 欧盟成为世界上最具竞争力的数据敏捷型经济体。该战略提出建立统一治理 框架，加强数据基础设施投资，提升个体数据权利和技能，打造公共欧洲数据空 间等多项具体措施，推动欧盟各领域数据流通及深度挖掘，培育形成面向全球的 数据单一市场。 2.1.3 英国大数据政策 2012 年 5 月，世界上首个开放式数据研究所 ODI(The Open Data Institute ) 在英国政府的支持下建立，首批注资十万英镑。这是英国政府研究和利用开放式数据方面的一次里程碑式发展。未来，英国政府将通过这个组织来利用和挖掘公开数据的商业潜力，并为英国公共部门、学术机构等方面的创新发展提供 “ 孵化环境 ” ，同时为国家可持续发展政策提供进一步的帮助。 2013 年 1 月，英国商业、创新和技能部宣布，将注资 6 亿英镑发展 8 类高 新技术，大数据独揽其中的 1.89 亿英镑， 将近三成。同年 10 月，英国商务、创新和技能部牵头发布英国数据能力发展战略规划，该战略旨在使英国成为 大数据分析的世界领跑者，并使公民和消费者、企业界和学术界、公共部门和私 营部门均从中获益。该战略在定义数据能力以及如何提高数据能力方面，进行了 系统性地研究分析，并提出了举措建议。 2.1.4 法国大数据政策 2011 年 7 月，法国工业部长埃里克贝松宣布，启动 “Open Data Proxima Mobile” 项目，希望通过该项目实现公共数据在移动终端上的使用，从而最大限度的挖掘它们的应用价值。同年 12 月，法国政府推出的公开信息线上共享平台 data.gouv.fr，该网站的数据由每个政府部门的专员统计和收集、持续更新，以便推动法国公共数据的开放共享。 2013 年 2 月，法国政府发布数字化路线图，明确了大数据是未来要大力支持战略性高新技术，政府将以新兴企业、软件制造商、工程师、信息系统设 计师等为目标，开展一系列的投资计划，旨在通过发展创新性解决方案，并将其 用于实践，来促进法国在大数据领域的发展。同年 7 月，法国中小企业、创新和 数字经济部发布了法国政府大数据五项支持计划，具体包括引进数据科学家 教育项目；设立一个技术中心给予新兴企业各类数据库和网络文档存取权；通过 为大数据设立原始扶持资金，促进创新；在交通、医疗卫生等纵向行业领域设立 大数据旗舰项目；为大数据应用建立良好的生态环境，如在法国和欧盟层面建立 用于交流的各类社会网络等。 2.1.5 日本大数据政策 2012 年 6 月，日本 IT 战略本部发布电子政务开放数据战略草案，迈出了政府数据公开的关键性一步。政府将利用信息公开方式标准化技术实现统计信息、 测量信息 、灾害信息等公共信息，在紧急情况时可以较少的网络流量向手机用户提供信息，并尽快在网络上实现行政信息全部公开并可被重复使用，以进一步推 进开放政府的建设进程。同年 7 月，日本推出了面向 2020 年的 ICT 综合战略， 聚焦大数据应用所需的社会化媒体等智能技术开发，传统产业 IT 创新以及在新医疗技术开发、缓解交通拥堵等公共领域的应用。 2017 年 10 月，日本公正交易委员会竞争政策研究中心发布了数据与竞争 政策研究报告书。在这部报告书中，日本明确了运用竞争法对 “ 数据垄断 ” 行 为进行规制的主要原则和 判断标准。 2.1.6 俄罗斯大数据政策 2015 年 9 月 1 日，俄罗斯的数据本地化立法 （ 第 242-FZ 号联邦法中确定 ） 正式生效，要求所有国内外公司在俄罗斯境内的服务器上存储和处理俄罗斯公民 的个人信息。根据法律规定，任何存储俄罗斯国民信息的组织，无论是客户还是社交媒体用户，都必须将该数据移至俄罗斯服务器。 2016 年 12 月 1 日，俄罗斯总统普京签发第 642 号总统令，批准俄罗斯联 邦科技发展战略，这是当代俄罗斯第一份以总统令形式规划国家科技发展的纲 领性文件。该战略提出，俄罗斯科技总体发展目标是通过整合国家科技资源， 有机统一科技创新能力，使科技与国家经济社会体系充分融合，以保证国家独立 和国际竞争力。该战略规划了未来 10-15 年俄罗斯科技创新优先发展方向， 包括发展数字技术、人工智能，开发大数据、机器学习及人工智能系统等内容。 2017 年 7 月，俄政府发布俄罗斯联邦数字经济规划，推进利用现代数字技 术，保证国家信息安全，主要包括大数据、神经网络技术和人工智能、分布式注 册系统、量子技术、新型制造技术、工业互联网、机器人和传感器、无线技术 、 虚拟和增强现实技术等。