2018数据智能生态报告.pdf

2018数据智能生态报告 2018年10月1 前言随着智能移动设备、可穿戴设备、工业大数据等的指数级增长，数据行业迎来更多的挑战。大数据、云计算、人工智能、区块链、机器学习等各种热词蜂涌而出。如今，大数据的概念已经普及，从互联网、数据企业，到传统实体企业，数据正在融入到整个经济的发展中，2018 年第五届中国国际大数据大会正以“ 实体融合新动能数字经济新发展 ” 为主题，共同探讨数据所产生的决策与价值。而如何真正从数据中形成智能，提升商业决策与人类生活？这是所有大数据企业共同面临的挑战。数据智能（data intelligence）一词相较于大数据和人工智能而言更为年轻，但是数据智能的诞生却和这两个由来已久的概念密不可分。简单讲，数据智能就是大数据和人工智能技术的融合。数据智能应用的终极目标是利用一系列智能算法和信息处理技术实现海量数据条件下的人类深度洞察和决策智能化，最终走向普适的人机智能融合。它代表着一种新的认知范式，超越了简单的“ 是什么 ” 和“ 为什么 ”，即 Jim Gray（图灵奖得主，关系数据库的鼻祖）所述的第四个认知范式 1 ：随着数据量的高速增长，计算机将不仅仅是模拟仿真，还能进行分析总结，得到结论，最终实现预测。数据智能作为数据行业的新兴概念，在整个数据行业会引起怎样的变化？数据智能企业作为新的物种，会如何改变数据行业的价值分配和竞争全景？数据智能中台作为数据智能的最重要的技术与机制，其核心的特点和能力是什么？在本报告中，作者试图从数据智能、数据智能平台的定义和本质入手，回顾数据智能市场的发展历史，针对现实客户企业遇到的各种问题，提供当前竞争格局下的玩家分类和速赢策略。对于数据智能的发展趋势，本报告也力图从各个利益相关者的角度出发，给出相应的应对策略，帮助企业更好的驾驭数据智能，领跑数据智能时代。 1 几千年前的科学，以记录和描述自然现象为主，称为 “实验科学” ，即第一范式，其典型案例如钻木取火；数百年前，科学家们开始利用模型归纳总结过去记录的现象，发展出“ 理论科学 ”，即第二范式，其典型案例如牛顿三定律、麦克斯韦方程组、相对论等；过去数十年，科学计算机的出现，诞生了“ 计算科学 ” ，对复杂现象进行模拟仿真，推演出越来越多复杂的现象，其典型案例如模拟核试验、天气预报等，即第三范式2 数据智能时代，人工智能后时代：内涵和预测数据智能和数据智能平台是什么从技术的角度来看，数据智能是指基于大数据引擎，通过大规模机器学习和深度学习等技术，对海量数据进行处理、分析和挖掘，提取数据中所包含的有价值的信息和知识，使数据具有 “智能 ”，并通过建立模型寻求现有问题的解决方案以及实现预测等。这其中，由于需要实现处理海量和异构化的数据，数据智能需要有一个强大的实现的平台。这个平台，能够进行实时数据处理、分析和挖掘，提取数据中所包含的、具有商业情境价值的信息和知识，形成不同的情境化数据能力，并通过建立模型、构建流程和数据产品，最终实现自动决策。我们可以把这样的平台称为“数据智能平台”。在数据智能概念诞生之前，常用的数据应用概念有数据科学（data science）和数据分析学（datalogy）等。虽然数据智能与这些概念有重合之处，但 “数据智能 “之所以成为一个独立的概念，是因为包含了以下几个原因： 1. 数据智能的目的是“ 预测 ” 和“ 决策 ”，而非“ 分析 ” 或者“ 展示 ”：数据智能一定是为了服务某个现实中的决策，所以不仅仅是需要用机器去模拟现实数据、抽象现实问题，还需要进一步用数据将隐藏在现实问题之下的关系抽象出来，并形成关系发展趋势的预测，进而指导行动。因此数据智能中的数据最终是可行动的，可以转化成决策的。 2. 数据智能是可被衡量价值的：由于数据智能是决策导向的，所以数据智能效率和价值的评判，即在于基于该决策的结果价值如何。因此，数据智能的核心测量指标是能够自证其价值，可以与人类的决策使用同一套判断标准，以比较效用差别，例如利润率，投入产出比等。 3. 数据智能得以实现的技术核心是数据智能平台：数据智能是一系列能力的集合，所以数据智能的产生是一项复杂的系统工程。一般而言，数据智能平台在数据智能的产出过程中是必须的，其作用是承载和调动一系列智能数据（面向特定商业情境和问题的数据集）、核心模型（包括了商业逻辑方法论，由人的智慧 + 机器学习优化而得的模型）、以及一系列的面向不同情境的数据处理能力例如大规模机器学习和深度学习等技术，提高数据智能产生的效率。 4. 数据智能的呈现载体是数据智能产品：数据智能产品是针对某一个商业情境中的某一类特定决策，并且与该商业决策流程相对应的产品，是有封装的、有交互界面（产品界面）的。数据智能产品是数据智能的媒介和呈现载体，其效率和效能代表了数据智能产品的价值几何。3 数据智能的经济学本质经济学的本质是决策，解释的就是 “选择” 的效率和效用。能够解决 “决策” 问题的才是真正的 “智能 ”，因此在当今数字经济快速改变商业竞争的时代，数据智能具有极大的经济意义。数据智能本质上是通过以下几个方面对经济产生正向的促进作用： 1. 降低交易成本，提高决策效率：数据智能加快了从信息汇聚到决策的效率，极大提炼了数据的内涵，降低信息不对称，减少由于时间压缩不经济带来的专业信息获取成本。 2. 打破有限理性，提高决策稳定：由人做决策的时候获取的信息来源和处理能力不同，每个人受到非理性因素的影响程度不同；数据智能的决策过程都是由算法完成，输出较为稳定，保证了理性稳定的决策产出；减少了不确定性带来的风险和损失。 3. 替代重复决策，增加价值创造：用机器替代重复性的、可打包成“ 黑箱 ” 的决策，能极大地提高决策的频次，解放人的智慧，这将极大地提高交易的频次，提高价值创造的次数。进一步的，这将在整个经济系统内部形成新的岗位、生产关系，以及价值分工。不仅如此，数据智能平台的存在还会提高数据智能价值创造的能力，内生性的提高数据智能的经济价值，因此，数据智能平台可以将整个平台上数据的价值（以对应特定商业情境的可获得数据形成的数据集存在）和人的智慧（对于行业的业务理解）成倍的放大，我们可以粗略地估计一个数据智能价值公式：数据智能价值 =（数据 + 人的智慧）数据智能平台甚至数据智能平台的加速作用不是乘数效应而是指数效应，这个公式可以转变为：数据智能价值 =（数据 + 人的智慧）那么数据智能平台 / 数据中台的价值是从何而来呢？我们可以看成是两种效应的加和： 1. 第一种效应是提高资源配置效率，收集各个环节的剩余价值。从传统数据价值链的角度来说，也会存在一个“ 微笑曲线 ” ：由于大量开源工具的出现，数据的加工与分析算法的趋同使这两个环节的附加价值不断降低；而数据的供给侧与最后的应用、产品解决方案则会成为附加价值最高处。因此，占据特别的数据来源，或者发现适合数据智能解决的实际需求，并进一步研发成应用或数据智能产品，将成为价值最高的环节。而数据智能平台则打通了这个数据价值链上的各个环节，让所处不同生命周期阶段的行为发生在更应该发生的地方，提高资源配置效率，通过平台汇聚和沉淀，将剩余价值集中在平台上。数据智能平台4 数据产品智能应用数据生产化工程化数据分析和建模数据加工聚集平台数据源传统数据价值链图表 1 数据智能平台 / 数据中台的价值效应一：提高资源配置效率，集中剩余价值图表 2 数据智能平台 / 数据中台的价值效应二：降低成本，增加整体产出 2. 第二种效应是提高资源的配置效率，提高各个环节的价值产出。在数据智能时代，数据的价值链远远比传统价值链复杂，如下图所示，仅仅是从数据的采集、获取到治理，就有近十个环节纵横交错、环环相扣。数据流过数据智能平台的过程可以按照数据生命周期来划分（数据的加工程度），在这个过程中，每一个环节数据智能平台都能提供相应的处理能力、工具、补充的数据集或者解决方案，数据能够无缝的、成阶段递进的在数据智能平台内逐渐由原始数据变成最后可行动的（actionable）数据。由于数据智能平台上这一揽子能力和工具能极大提高可复用环节的复用程度，降低不必要的重复投入和内耗，因而能让更多价值融入到数据智能、数据智能产品本身，提高整体的产出。机器学习代码配置数据采集数据校验机器资源管理服务基础架构监控分析工具特征提取过程管理工具数据智能时代的数据价值链数据智能平台（数据中台）的概念和特点数据智能平台的概念往往包括了平台本身和运行平台的机制，本质是通过能力的共创、复用、沉淀等，促进前端业务或者数据智能产品的效率、协同、创新（如下图表 2 所示）。数据智能5 平台通常有两类：一类是大型综合型的服务公司为了支持自身前端多样化的产品和业务而搭建的，在公司的内部，常常被称为“ 数据中台 ”（如，阿里的“ 大中台 ”）；另一种是开放生态下由某一个企业对接多个利益相关的企业而搭建的，为了支持生态系统中的合作伙伴构建面向自己无法覆盖的多个业务情境的数据智能（例如，IBM 的 Watson ）。无论是在企业内部还是在更大范围的生态中，数据智能平台 / 数据中台的共有特点都是开放、共享。在数据智能平台 / 数据中台中，包括着对应特定商业情境的可获得数据形成的数据集，一些通用性的模型，也包括着处理这些数据集的工具的集合以及一些处理能力（例如计算资源和算法）的集合，以及一些面向特定商业情景的数据、模型、工具能力的中间件，可以以服务化的形式呈现。图表 3 数据智能平台 / 数据中台概念图图表 4 数据智能平台 / 数据中台定位数据智能平台 / 数据中台不是纯粹的多种软件工具集合的平台，数据是它的护城河；数据中台也不是简单的数据集的集合，服务化的中间件是它的组成部分。因此数据智能平台 / 数据中台需要在数据加工程度和软件工具、客制化和标准化中找到一个平衡，才能最大效率地赋能数据智能产品和解决方案。客制化（服务化）标准化（产品化）数据软件工具数据智能平台/ 数据中台6 数据智能平台 / 数据中台有两大使命：帮助企业更好的 “看现在” 对现有数据的治理；帮助企业更好的 “看未来” 通过数据挖掘对未来进行预测。 “看现在” 的最终目的是为了更好的 “看未来 ”，这是因为在数据智能时代，数据的量级、异构程度都极其复杂，千里之行始于足下，因此这是企业实现数据智能的第一步，也是实现数据智能价值最为关键的一步。进一步来说，这两个能力又包括了以下这些能力要素：为了更好“ 看现在 ” 的连接、共享、安全；以及为了更好“看未来”的管理、科学与工程。 1. 连接（connection ）：连接能力是一个数据智能平台的基础。连接指的是将不同来源的数据连接、匹配、融合的能力，让用户能连接到云端和本地化的结构化、非结构化数据，包含支持不同类型的数据存储平台。这个概念不强调对数据的拥有，而强调能够触及和返回的数据的广度与饱和度。例如标识一个移动设备的设备号有很多种类型（imei，安卓 id ，ssid 等），每个设备号都能索引不同维度的数据。而一个数据智能平台应该可以尽可能广泛地将所有相关的数据都引入平台，因此如何判定这些不同的设备号码背后映射的是同一设备、将不同来源的数据汇聚和连接起来形成更丰富的数据维度，是数据智能平台的使命。 2. 共享（sharing）：共享能力是评估数据智能平台是否合格的首要标准。共享不代表完全的透明，而是构建一个合理的、权限区分的、在保护数据的同时让知识价值流转的机制。为保护数据而禁止任何算法的流转或者由数据所沉淀洞察知识的流转，都是不合理的。因此一个数据智能平台存在的意义就是共享，并且是能够给对应的人共享他应该获得的信息，同时保障不应该共享的部分例如原始数据应有的私密性。 3. 安全（security）：安全合规是重中之重。一个数据智能平台是中立的、合法合规的，它中间涉及到的各项任务都应该是安全且合规的，具有安全管理、用户管理、平台接入与使用的审计、调优和保障高可用性和容灾的能力。数据、算法、模型、工具和计算资源都要从进入数据智能平台起，进行监控和管理、保障安全有效，同时所有的任务都应该遵循相关的法律法规有序进行，不以危害数据安全、数据隐私为代价而换取效率的提高或任务的完成。更进一步，数据智能平台有着帮助监管机构一起制定安全合规标准的责任与义务。 4. 管理（governance）：管理是数据智能平台实现价值的起步，是让数据成为企业的可开发资源或者资产的第一步。数据是晦涩的、客观的，但是对于数据的管理就包含了数据管理者的智慧，让数据的排列有序、结构趋同，可以被进一步的分域、保存、备份、重新组合，形成更多的协同价值。常见的数据智能平台上的数据管理能力包括原数据管理 2、自有数据的抽取、转换、加载以及数据存储 3、数据准备 4等。 5. 科学（science）：数据科学是探索数据价值的流程，也是数据价值被挖掘的核心过程。不同7 于其他业务，数据的价值不是一次成型的，数据价值的挖掘依赖于不断假设、分析、验证、校准的反复迭代过程，最终才能凝聚沉淀成模型和解决的方案，这个过程不仅要秉承科学的范式，也要使用科学的工具，才能保证结果的信效度和普适性。数据智能平台的流程的部分是符合科学的流程，其工具也是科学的工具，才能让数据最终转化成价值。常见的数据智能平台上的数据科学能力有数据科学探索 5 、可交互的视觉化探索 6 和可扩展的数据模型架构 7 等。 6. 工程（engineering ）：不同于软件工程，数据工程是复杂的系统，也是数据智能平台的产出能够直接影响决策的重要因素。数据能够直接变成决策，中间需要工程来构建环境，实现汇聚、仿真和自动化。工程这个因素将数据和算法、工具和能力有机的结合起来，最终形成一个封装的、内部自成体系的数据智能产品，固化了整个数据智能平台上的相应资源和智慧。常见的数据智能平台的的工程能力有便捷的使用和可视化展现，以及平台能力和工作流 8 等。有了以上六个能力因素，数据智能平台才得以成为一个独特的平台，也成为企业想要快速构成数据智能产品，实现客户价值的必需平台。 2 该工具能够让用户利用数据包模型和元数据。实现这些功能需要提供一种强大且核心的方式方便管理者们去搜索、抓取、存储、复用和发布元数据对象，比如维度、层级、度量、表现特性 / 核心指标 (KPIs) 和报告布局等。平台管理者们需要有能力去升级业务用户创建的数据模型，将其提升为系统级的数据模型 3 该系统有能力为连接、融合、转换和加载数据至一个自有的功能引擎以及有能力去索引数据、管理数据加载以及更新计划 4 平台可 “拖拽” 不同来源的用户数据集，可生成分析模型，比如根据不同数据来源的用户可自定义度量、组合、集合和层级。高级功能包括对不同来源的数据通过机器学习、语义识别、智能联结、智能侧写、层级生成、数据行数和数据混合等进行分析处理 5 帮助用户在不通过查询和建模以及算法的情况下自动挖掘、视觉化和叙述重要的分析发现，比如数据间的关联、排除、集合、连接和预测等 6 使这种数据分析的探索可以借助可视化的选项，包括但不限于基础的图表形式，比如饼图、柱状图、线图等，也包括热力图和树状图，地图和散点图以及其他特殊主题的图表形式。这些工具能让用户通过百分比、细分和组合的展示情况去分析和操作数据 7 平台使内存中的引擎或数据库内部体系结构能够处理海量数据、复杂数据模型、性能优化和大量用户部署等工作 8 对管理者来说可以便捷地使用和部署平台、生成内容、销售内容以及与内容互动，同时也具备可视化展现的能力。对于单一的、无缝的产品，或者多个产品来说，需要基于怎样不同的功能去适配这种融合的需求