2018年中国大数据发展调查报告.pdf

中国大数据发展调查报 告（ 2018 年） I 版权声明 本调查报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本调查报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 中国大数据发展调查报告（ 2018 年） II 报告目录 前言 . III 观点摘要 . 4 一、调查背景 . 6 （一）调查方法及样本 . 6 （二）报告术语界定 . 7 二、大数据产业规模 . 8 （一）大数据产业总体规模 . 8 （二）大数据核心产业规模 . 9 （三）细分领域规模 . 9 三、大数据应用 .10 （一）大数据应用现状 . 10 （二）大数据应用场景 . 13 （三）大数据应用带来的效果 . 13 （四）大数据应用的主要障碍 . 14 （五）未来大数据投入趋势 . 15 四、大数据资源 .16 （一）数据规模 . 16 （二）数据来源 . 16 （三）数据类型 . 18 （四）数据共享 . 19 （五）数据管理 . 20 五、大数据平台 .21 （一）建设模式 . 21 （二）自建大数据平台模式 . 22 （三）采购公有云服务模式 . 24 （四）大数据产品选型 . 25 六、政策需求和资源需求 .26 （一）政策需求 . 26 （二）资源需求 . 27中国大数据发展调查报 告（ 2018 年） III 前言 在国家政策的推动下， 2017 年大数据市场发展迅速，与此同时国内重要软硬件企业陆续 推出 大数据相关产品。为进一步掌握中国大数据发展和应用情况，中国信息通信研究院开展了 20172018 年度中国大数据发展状况的调查。本次活动采用现场访问、电话访谈和在线调查相结合的方式，对中国大数据 产业规模、应用现状、数据资源情况、大数据平台、政策和数据需求等问题进行了调研，共回收有效问卷 1572份。本报告以调查数据为基础，结合行业专家的访谈，力争详实客观的反映中国大数据发展现状，为政府和企业了解中国大数据发展状况和制定相关决策提供参考，也为广大关注大数据的从业人员、专家学者和研究机构提供真实可信的大数据发展报告。 本报告的数据搜集工作得到了相关政府部门、大数据解决方案提供商、企业用户以及社会各界的大力支持。我们在此表示最衷心的感谢！同时也对接受大数据调查访问的企业朋友表示最诚挚的谢意！ 中国信息通信研究院 2018 年 4 月 16 日 中国大数据发展调查报 告（ 2018 年） 4 观点摘要 大数据产业 规模 2017 年中国大数据产业 总体规模 为 4700 亿元人民币，同比增长 30% ； 2017 年大数据核心产业规模为 236 亿元 人民币 ，增速达到 40.5% ，预计 2018-2020 年增速将保持在 30% 以上。 大数据应用 接近 2/3 的企业已经成立了相关的数据分析部门，企业对数据分析的重视程度进一步提高。 65.2%的受访企业已经成立了数据分析部门；正在计划成立相关数据部门的企业占比为 24.4%。 近四成 的企业已经应用 了 大数据。 在 接受调查的 1572 家 企业中， 已经 应用大数据的企业有 623家 ，占比为 39.6%， 与 2016 年 相比 上升 4.5%，垂直行业中如金融等领域 大数据 应用增加趋势较为明显 。 大数据应用帮助企业实现了智能决策、提高了运行效率和风险管理能力。 应用大数据实现了智能决策的企业占比最高 (55.2%)；其次， 46.6%的企业表示应用大数据后提升了运营效果， 35.9%的企业应用大数据后能够更好的管理风险。 接近 六成 的 企业在大数据 领域 的投入将持续增加 。 调查 发现， 58.2%的受访 企业预计 未来将 加大大数据 投入力度，相比 2016 年上升 了 6.7%；其中， 大数据投入 增加超过 50%的企业 占比 达到了25.5%；另有 32.7%的 企业 在大数据方面 的投入 增加 在 50%以内。 大数据资源 在受访企业中，内部生产数据和客户 /用户数据是企业的两大数据来源。 54.3%和 48.8%的企业数据来自其内部生产数据和客户 /用户数据，与 2016 年相比分别上升 5.3%和 1%。 87.6% 的企业非结构化数据已超过一半比例。 其中 ， 非结构化数据比例超过 90%的企业占比为16.2%，与 2016 年相比上升 1.5%；非结构化数据占数据总量 70%-90%的企业占比 55.8%，比 2016年上升了 4.4%；非结构化数据比例在 50%-70%之间的企业占比为 15.6%。 22.5% 的 企业已经聘用 专职 首席数据 官 （ CDO） 。 调查 发现 ， 12.3%的 受访 企业聘用 专职 首席数据官已经超过两年；聘用 专职 首席数据官 （在 两年以内 ） 的企业占比为 10.2%。 此外 ， 33.4%的 受访企业 表示将 在一年内聘用或 正在 考虑聘用 专职 首席数据官。 随着对数据管理和利用数据支撑战略1 中国大数据发展调查报 告（ 2018 年） 5 决策的企业越来越多 ， 未来聘用专职首席数据官的 企业比例有望进一步提升 。 大数据平台 本地部署仍是企业进行大数据平台建设的首选方式，同时云服务商大数据服务的使用率有所提升。选择自建大数据平台企业占比最大（ 49.1%）； 35.6%的企业 倾向选择云服务商提供大数据服务，较 2016 年上升了 2.5%。 基于非结构化数据架构的大数据平台应用最为广泛。 38.6%和 23.8%的受访企业分别选择非结构化的批处理架构（如 Hadoop）以及非结构化数据的内存架构（如 Spark）作为大数据平台的技术架构。 六成以上的受访企业自建大数据平台的服务器数量在 50 台以下。 调查显示， 28%的企业部署的服务器数量在 20 台以下，与去年相比提高了 0.5 个百分点；服务器数量在 20-50 台的企业占比超过三成 。 与其他产品相比，企业对在线可视化工具的选择增幅最大。 采用在线可视化工具的企业占比为23.3%，与 2016 年相比提高了 6.5%； 增幅次之的是在线 大数据分析工具（ 2.3%） 。 政策需求和资源需求 六成以上的企业认为完善行业标准、健全法律法规将有助于推动大数据的发展。 据调查， 68.3%的受访企业认为完善行业标准及法律法规对于推动大数据市场的发展至关重要；其次， 43.1%的企业表示应加强个人信息保护，比 2016 年上升了 1.9%；此外，企业对开放更多政府公开信息资源（ 42.7%）和资助更多大数据领域的科研项目（ 36.3%）的呼吁较高。 企业对市政管理、教育科研以及交通 服务类公共数据资源的需求增强。 在对政府公共数据资源需求情况调查中， 2017 年企业对市政管理（ 36.4%）、教育科研（ 36%）以及交通服务（ 35.2%）类数据资源需求均有一定程度的提升。 中国大数据发展调查报 告（ 2018 年） 6 一、调查背景 （一）调查方法及 样本 1、 调查方法 本次报告信息收集采用现场访问、电话访谈 和 在线 调查相结合 的方式，收集到 1,572 份大数据用户的有效问卷。其中，通过现场访问收集问卷 712 份，通过电话访谈收集问卷 486 份，通过在线调查收集问卷374 份。 2、样本描述 参与调查企业规模： 以中小企业为主，年营业额在 1 亿元以下的企业占总体样本的 64.8%。 图 1 企业营业额分布 (N=1,572) 数据来源 :中国信息通信研究院 参与调查企业所在区域： 覆盖华北、东北、华东、中南、西南、西北以及海外地区。 14.0%22.9%13.4%14.5%12.8%10.1%12.3%500万以下500-2000万2000-5000万5000万 -1亿1-5亿5-10亿10亿以上中国大数据发展调查报 告（ 2018 年） 7 图 2 企业区域分布 (N=1,572) 数据来源 :中国信息通信研究院 参与调查企业所在行业 ： 包括 互联网 、软件 及信息技术服务 、电信、金融、 制造 、交通及物流、能源、医疗、政府、科教文卫和农林牧渔等行业。 （二）报告术语界定 大数据产业： 本报告所称大数据产业，指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。 大数据核心产业： 本报告所称大数据核心产业， 指大数据直接相关的软件、硬件及专业服务。大数据市场规模的计算口径，相应的包含大数据软件、硬件及服务的直接产值，不含因大数据应用产生的附加值。 大数据软件： 本报告所称大数据软件，主要指以 Hadoop、 Spark 等技术架构为基础的新型分布式平台软件，以及基于这类平台软件的应用软件。 大数据服务： 本报告所称大 数据服务，主要包括大数据分析公有云服务及大数据系统相关的咨询、设计和系统集成服务等。 大数据硬件： 本报告所称大数据硬件，是企业购买的用于支撑企业内部大数据相关业务的硬件基础设施，主要包括服务器、网络设备和存储设备等。特别说明，大数据系统一般使用通用硬件，技术上并无特殊性，但同时也包含部分经过专门优化的一体机设备。40.3%23.4%12.8%10.3%8.7%3.1%1.4%华北地区华东地区中南地区东北地区西南地区西北地区海外 中国大数据发展调查报 告（ 2018 年） 8 二、大数据产业规模 （一） 大数据产业总体规模 对于我国大数据产业的规模，目前各个研究机构均采取间接方法估算。中国信息通信研究院结合对大数据相关企业的调研测算， 2017 年我国大数据产业规模为 4700 亿元人民币，同比增长 30%。 图 3 中国大数据 产业 总体 规模及增速 (单位：亿元 ) 数据来源 :中国信息通信研究院 2800 3600 4700 6200 8000 10100 28.6% 30.6%31.9%29.0%26.3%0200040006000800010000120002015 2016 2017 2018E 2019E 2020E产业总体规模 同比增速中国大数据发展调查报 告（ 2018 年） 9 （二）大数据核心产业规模 中国信息通信研究院结合对大数据相关企业的调研得出， 2017 年中国大数据核心产业规模为 236 亿元人民币 ，较 2016 年相比增速达 40.5%。预计未来几年，大数据市场仍将保持 30%以上的增速，到 2020 年中国大数据市场规模将达到 586 亿元 人民币 。 图 4 中国大数据 核心 产业 规模及增速 (单位：亿元 ) 数据来源 :中国信息通信研究院 （三） 细分领域规模 软件及服务依然占据大数据市场的主导地位，硬件比例略有下降。 2017 年中国 大数据硬件市场规模为72.0 亿 元，占比为 30.5%， 与 2016 年 相比下降了 1.6%； 软件 市场规模为 104.1 亿 元，占比达到 44.1%，比2016 年 上升 0.9 个 百分点； 服务 市场规模为 59.9 亿 元， 较 去年上升了 0.7%。 图 5 中国大数据细分 领域构成 数据来源 :中国信息通信研究院 116 168 236 329 443 586 38.0%45.0%40.5% 39.4%34.7% 32.3%01002003004005006002015 2016 2017 2018E 2019E 2020E核心产业规模 增速30.5%32.1%44.1%43.2%25.4%24.7%2017年2016年硬件 软件 服务 中国大数据发展调查报 告（ 2018 年） 10 三、大数据应用 （一） 大数据 应用现状 接近 2/3 的企业已经 成立了数据分析 相关 部门 ，企业对数据分析的重视程度进一步提高。 调查 结果显示， 65.2%的 企业 已成立 数据 分析 部门；另外，目前没有数据分析相关部门，但正在计划成立相关数据部门的企业占比为 24.4%。 图 6 企业数据分析相关部门建设情况 (N=1,572) 数据来源 :中国信息通信研究院 65.2%24.4%10.4%是否，但正在计划成立相关部门否，目前没有计划成立相关部门中国大数据发展调查报 告（ 2018 年） 11 近四成 的企业已经应用 了 大数据。 在 接受调查的 1572 家 企业中， 已经 应用大数据的企业有 623 家 ，占比为 39.6%， 与 2016 年 相比 上升 4.5%，垂直行业中如金融等领域 大数据 应用增加趋势较为明显 。 此外 ，24.3%的企业表示 未来 一年内 将 应用大数据。 图 7 2017 年企业对大数据的应用状况 (N=1,572) 数据来源 :中国信息通信研究院 图 8 2016 年企业对大数据的应用状况 (N=1,465) 数据来源 :中国信息通信研究院 39.6%24.3%29.3%6.8%已经应用将在未来 1年内应用正在考虑，但还没有应用计划暂不考虑35.1%22.9%34.2%7.8%已经应用将在未来 1年内应用正在考虑，但还没有应用计划暂不考虑 中国大数据发展调查报 告（ 2018 年） 12 40.3% 的 企业 选择使用实时动态数据 进行 分析 。 对数据 分析方式 选择情况 的调查显示， 40.3%的企业 采取实时处理 动态数据 并提供分析结果， 占比最高； 其次是分析历史数据和通过机器学习进行辅助决策，占比分别为 32.3%和 25.5%。未来，随着人工智能技术的发展和应用普及，选择机器学习进行辅助决策的企业占比有望进一步提升。 图 9 企业数据分析 方式 (N=623) 数据来源 :中国信息通信研究院 通过智能可视化界面展示数据分析结果的企业占比为 55.2% ，与去年相比有较大幅度提升。 数据报表依旧是企业选择展现数据的最主要方式，占比为 64.7%；其次为图形图表（ 60.3%）。与 2016 年相比，利用智能可视化的方式展示数据分析结果的企业占比增幅达到 5.2%。 图 10 企业数据分析结果的展现方式 (N=623) 数据来源 :中国信息通信研究院 40.3%38.8%32.3%37.5%25.5%22.5%1.9%1.2%2017年2016年实时处理动态数据并提供分析结果 分析历史数据 机器学习，以大数据支撑未来决策 其他64.7%60.3%55.2%67.5%58.8%50.0%数据报表图形图表智能可视化界面2017年 2016年中国大数据发展调查报 告（ 2018 年） 13 （二）大数据应用场景 营销分析、客户分析和内部运营管理仍是企业大数据应用场景最广泛的三个领域。 已经应用大数据 的企业中， 将 大数据用于 营销 分析的企业占比最高，达到 63.2%，与 2016 年 相比 上升了 1.5%； 其次 ， 55.3%的企业 将 大数据应用于 客户 分析 ， 比 2016 年提升了 5.1%，部分企业已将大数据应用于分析客户反馈并改进产品和服务等场景 ； 另外 ， 将 大数据应用 于 内部运营管理的 企业 占比为 50.7%， 与 2016 年 相比上升了2.3%。 图 11 企业大数据应用场景 (N=623) 数据来源 :中国信息通信研究院 （三）大数据应用带来的效果 大数据应用 在实现智能 决策 、提高运行效率和 风险 管理能力等方面具有较明显的效果。 已经应用 大数据的企业中， 实现了智能 决策的企业占比最 高 ，达到 55.2%； 其次， 46.6%的企业 表示 应用大数据 后提升了运营效果；还有 35.9%的 企业 认为 应用大数据后 能够 更好的管理风险 ，与去年相比有较大幅度的提升（ 10.2%） ；此外， 分别有 27.4%、 26.4%和 23.6%的企业表示应用大数据后 创造 了新的业务收入、 提升了 客户满意度 以及 增强 了 生产能力。 63.2%55.3%50.7%23.4%2.3%61.7%50.2%48.4%22.6%0.8%营销分析客户分析内部运营管理供应链管理其他2017年 2016年 中国大数据发展调查报 告（ 2018 年） 14 图 12 企业应用 大数据 带来的效果 (N=623) 数据来源 :中国信息通信研究院 （四）大数据应用的 主要 障碍 政策 限制、 数据 资源短缺 和数据 人才短缺 是限制 企业大数据发展 最主要 的三个因素 。 调查 发现，隐私保护等政策 不完善 是 制约 企业大数据发展的首要因素，占比为 50.2%，比 2016 年 上升了 6.1%。 四成 以上的受访企业认为 数据 资源 短缺和 数据人才 不足 是 其 发展大数据所面临的 主要困难； 其他制约因素还 包括 ：技术能力 不足（ 36.3%） 、应用 模式不清晰（ 14.2%） 和投资 效果 无法 考量（ 11.5%） 。 55.2%46.6%35.9%27.4%26.4%23.6%1.8%55.8%48.2%25.7%22.4%21.6%21.4%3.3%实现了更智能的决策提升了运营效率能够更好的管理风险创造了新的业务收入提升了客户满意度增强了生产能力其他2017年 2016年中国大数据发展调查报 告（ 2018 年） 15 图 13 制约企业大数据发展主要因素 (N=1,572) 数据来源 :中国信息通信研究院 （五）未来大数据投入趋势 接近 六成 的 企业在大数据 领域 的投入将持续增加 。 调查 发现， 58.2%的受访 企业预计 未来将 加大大数据投入力度，相比 2016 年上升 了 6.7%；其中， 大数据投入 增加超过 50%的企业 占比 达到了 25.5%；另有32.7%的 企业 在大数据方面 的投入 增加 在 50%以内。 图 14 未来企业 大数据投入 情况 (N=1,572) 数据来源 :中国信息通信研究院 50.2%44.8%40.5%36.3%14.2%11.5%3.3%44.1%42.6%35.1%31.2%15.9%14.3%2.4%政策限制（如隐私保护）数据资源短缺数据人才短缺技术能力不足应用模式不清晰投资效果无法考量其他2017年 2016年5.1%3.7%20.4%13.5%32.7%34.3%23.2%33.0%18.6%15.5%2017年2016年投入增加 100%以上 投入增加 50%-100% 投入增加 50%以内 保持现状 投入减少 中国大数据发展调查报 告（ 2018 年） 16 四、大数据 资源 （一） 数据规模 数据量在 50-500TB 的企业数量进一步增加。 调查结果显示， 30.2%的企业数据资源总量在 50-100TB之间，与 2016 年相比提高了 2%；数据 资源总量 在 100-500TB 之间 的企业占比为 39.1%， 比 2016 年 提高了 0.8%； 与此同时，超过两成的企业数据资源总量达到 500TB 以上，该比例比 2016 年提高了 1.8%。 图 15 企业数据 资源总量 (N=1,572) 数据来源 :中国信息通信研究院 （二）数据来源 在受访企业中，内部生产数据和客户 /用户数据是企业的两大数据来源。 对企业 数据来源的 调查发现，54.3%和 48.8%的 企业 主要数据来源为内部生产数据和客户 /用户数据， 与 2016年 相比分别 上升 5.3%和 1%；内部经营管理数据为主要来源的 企业占比为 39.5%，与 2016 年相比降低 了 2.9%；而 将 互联 网公开数据（ 30%）、从 外部购买数据 （ 15.1%） ，以及 政府免费开放的数据（ 14.6%）作为 主要来源的企业 占比 仍处于较低 水平 。 4.8%3.7%30.2%28.2%39.1%38.3%20.2%18.4%5.6%11.4%2017年2016年50TB以下 50-100TB 100-500TB 500TB以上 不清楚中国大数据发展调查报 告（ 2018 年） 17 图 16 企业数据来源情况 (N=1,572) 数据来源 :中国信息通信研究院 近 半数企业选择 采用 API 接口 及托管方式 吸纳外部 数据 。 调查 结果表明， API 接口 和 托管 方式占比分别达到了 46.7%和 41.2%， 远高于 其他数据输入方式 ：下载 接口 （ 24.6%）、 文件发送（ 19.8%） 。 图 17 企业 吸纳外部 数据方式 (N=1,572) 数据来源 :中国信息通信研究院 54.3%48.8%39.5%30.0%15.1%14.6%7.6%2.4%49.0%47.8%42.4%34.3%16.7%13.5%11.0%0.4%企业内部生产数据客户 /用户数据企业内部经营管理数据互联网公开数据从外部购买的数据政府免费开放的数据社交平台数据其他2017年 2016年46.7%41.2%24.6%19.8%8.3%6.6%API接口托管方式下载接口文件发送其它不涉及 中国大数据发展调查报 告（ 2018 年） 18 （三）数据类型 87.6% 的企业非结构化数据已超过一半比例。 其中 ， 非结构化数据比例超过 90%的企业占比为 16.2%，与 2016 年相比上升 1.5%；非结构化数据占数据总量 70%-90%的企业占比 55.8%，比 2016 年上升了 4.4%；非结构化数据比例在 50%-70%之间的企业占比为 15.6%。此外，还有 4.3%的企业非结构化数据比例在 30%以下。 图 18 企业非结构化数据比例 (N=1,572) 数据来源 :中国信息通信研究院 企业对数据库的分析利用率最高，与去年相比上升了 4.5% 。 在对企业各类数据分析利用情况的调查中，以结构化数据为基础的数据库进行大数据分析的企业占比为 72.3%，较去年上升了 4.5%； 32.4%和 13.6%的企业对图像 /视频和社交媒体数据等非结构化数据进行了分析，与 2016 年相比分别上升了 4.2%和 6%。近年来语音和图像 识别技术 发展迅速，在一定程度 上 提高了 企业对于 语音 /音频和 图像 /视频等非结构化 数据 的利用率 。 16.2%14.7%55.8%51.4%15.6%22.0%8.1%6.1%3.0%3.4%1.3%2.4%2017年2016年90%以上 70%-90% 50%-70% 30%-50% 10%-30% 10%以下中国大数据发展调查报 告（ 2018 年） 19 图 19 企业各类数据分析利用情况 (N=1,572) 数据来源 :中国信息通信研究院 （四）数据共享 目前企业在数据共享过程中 主要 通过 托管 方式 和 API 接口进行 数据输出 。 企业输出 数据方式的调查显示，受访企业中 ， 分别 有 31.4%和 29.8%的企业 倾向 选择 托管 方式和 API 接口 进行数据输出 ；而采用提供下载接口进行数据输出的企业占比达到 17.2%；此外，使用文件发送方式输出数据的企业占比为 13.7%。 图 20 企业 输出 数据方式 (N=1,572) 数据来源 :中国信息通信研究院 72.3%50.8%32.4%13.6%13.4%2.7%67.8%48.5%28.2%7.6%11.8%0.8%数据库（如 Oracle, DB2, SQL Server等）各类格式的文档、邮件数据或日志文件图像 /视频社交媒体数据语音 /音频其他2017年 2016年31.4%29.8%17.2%13.7%9.4%20.6%托管方式API接口下载接口文件发送其它不涉及 中国大数据发展调查报 告（ 2018 年） 20 （五）数据管理 在 受访的 企业中， 24.3% 的 企业已经 设立了 数据管 理 委员会 。 设立数据 管理委员会 在 两年以上的 企业占比达到了 12.7%； 同时， 10.9%的 受访 企业 计划 未来一年内成立数据管理委员会 ； 另外正在考虑 设立 数据管理委员会的企业 占比 达到了 25.2%。 图 21 企业 数据管理 委员会建立情况 (N=1,572) 数据来源 :中国信息通信研究院 22.5% 的 企业已经聘用 专职 首席数据 官 （ CDO） 。 调查 发现 ， 12.3%的 受访 企业聘用 专职 首席数据官已经超过两年；聘用 专职 首席数据官 （在 两年以内 ） 的企业占比为 10.2%。 此外 ， 33.4%的 受访 企业 表示将 在一年内聘用或 正在 考虑聘用 专职 首席数据官。 随着对数据管理和利用数据支撑战略决策的企业越来越多 ，未来聘用专职首席数据官的 企业比例有望进一步提升。 图 22 企业 专职首席 数据官聘用情况 (N=1,572) 数据来源 :中国信息通信研究院 12.7%11.6%10.9%25.2%39.6%已经建立（ 2年以上）已经建立（ 2年以内）将在未来 1年内建立正在考虑，但还没有建设计划暂不考虑12.3%10.2%10.6%22.8%44.1%已经聘用（ 2年以上）已经聘用（ 2年以内）将在未来 1年内聘用正在考虑，但还没有聘用计划暂不考虑中国大数据发展调查报 告（ 2018 年） 21 五、 大数据 平台 （一） 建设模式 本次调研根据大数据平台建设模式分为本地部署大数据平台和采购公有云服务模式。本地部署大数据平台包括： 1、购买大数据相关产品或解决方案，在本地建设大数据相关基础设施、存储和计算平台、分析工具和应用展示等； 2、采购大数据服务提供商的集成产品，如大数据一体机。采购公有云服务指的是购买某一家大数据云服务提供商所提供的在线