中国云原生数据湖应用洞察白皮书202.4 iResearch Inc. 2202.4 iResearch Inc. 摘要来源：艾瑞咨询研究院自主研究及绘制。概念界定：数据湖是面向大数据场景的创新解决方案，采用了与传统数仓不同的设计架构，具有数据多源异构、统一存储管理、多范式计算、schema后置和应用广泛的特性。云原生是数据湖未来部署的必然形态，具有建立统一数据资产、低成本使用基础资源、高性能计算体验升级和敏捷创新赋能的核心价值。市场现状：数据 、 数 、 资、 云原生数据湖的应用 。 云原生数据湖 场 生态 ，计未来 currency1“的fifl 。竞争格局：云原生数据湖 的”，能 体解决方案的 立 ， 场， 部云。 核算， 云 云原生数据湖 场 不 生态 部 的 了 currency1“。趋势展望： 云原生与大数据 景 ，云原生数据湖成 未来的新一 生产 具， 场 来。 管数据湖与云和大数据 然 、性、敏捷 ， 具体 场景 ， 有多 解决。未来，云原生数据湖 与 、 和 同 ， 级生产 不 索，生态赢驱动云原生数据湖解决方案日臻完善。应用现状：现阶段，云原生数据湖 应用泛互联网行 currency1“ 及传统行 的互联网场景 泛 、金 、 、医疗、汽车等 ，未来 向更多具有大数据和高价值属性的行 拓。选型建议： 布局数 时，面对多元且 迭 的 ，一方面 建设统一的数据底座，另一方面 关注DT能 的 性、敏捷性和创新性。 选 云原生数据湖时，除内部能 评估外， 考虑服 的服 半 和路 。3云原生数据湖概念界定1云原生数据湖市场现状2云原生数据湖竞争分析3云原生数据湖行业应用与最佳实践4云原生数据湖选型建议与典型企业5云原生数据湖发展趋势64202.4 iResearch Inc. 数据湖的定义数据湖是面向大数据场景的创新解决方案”， 界和用户多把数据湖定义一个储存原始格式数据的系统，可容纳结构 、半结构 、非结构 及二进制的数据。随着大数据技术的 ，数据湖的边界不 ，内涵也生了 。数据湖始汇各方面技术，逐步演进成多源异构数据统一储存、多范式计算 析及统一管理调用的大数据综解决方案。它可更 高效fl低成本 管理 多源异构数据，打通数据孤岛， 数据价值，助 新时 各行 的数 。来源：艾瑞咨询研究院自主研究及绘制。数据湖典型构架及特性数据湖接入层离线数据湖管理层任务管理流程编排质量管理数据治理数据接入数据搬迁访问控制资产目录元数据管理数据湖计算层离线计算实时计算应用BI报表数据大屏数据挖掘机器学习IoT分析数据科学数据库数仓APP日志MapReduceSparkStorm FlinkSpark Streaming数据湖存储层OSS数据湖应用层实时调用数据湖调度层统一的API接口应用广泛：支持使用者通过自助访问业务数据，支持数据挖掘、机器学习等 Schema后置：数据 数据 的 ，支持 数据的时 c ema 数据多源异构： 量数据， 接 、currency1制数据入 数据统一存储管理：“OSSfi，currency1fl统一 ，接 计算， 统一的API接口多范式计算：支持 计算， 数据计算分析 ，支持理、流理、机器学习等 5202.4 iResearch Inc. 数据源数据处理适用场景性价比支持理过”的数据自业务 统时 Sc emaonrite统fl业，业的 业务数据量，数据， ，fl实时 管 控制， 企业级 数据 ，引擎优化表 支持 理的数据自IoT 、 e、APP 业务 统等 时 Sc emaonread fl业统fl业的 量数据， ， 实时分析 业务 currency1fl ，灵活性和可扩展性较强 数据湖vs 数据仓库诞生背景、设计思路及使用场景各不相同数据仓库是诞生数据库时 ，应 析诉 而生的数据产品，它的核心思路是把数据库的数据进行一定格式 后，定时 制 另一个库 式存储， 而 和数据 析的诉 。随着互联网的，数据 ，非结构 数据 来 多， 来 ，传统数据仓库 应大数据和现 对 时、 互式 析等方面的诉 。随 ，数据湖诞生。它选 了 后 的设计思路， 始 阶段 格的 式，后置schema， 而 更 的 性 同时通 统一存储管理和计算 来数据的一性和性能。来源：艾瑞咨询研究院自主研究及绘制。数据 数据仓库数据湖与数据仓库对比数据仓库BI报表 T 数据 数据处理数据 数据 BI报表6202.4 iResearch Inc. 202.4 iResearchInc. 云原生数据湖云原生部署是数据湖未来的必然形态 来， 数 的 景 ，互联网行 及传统 云 ，体云服 场的 逐 ，云成新一 T基础设currency1成不的“ 。， 云 的及用云思fi的 ，驱动了fla 场 的fi，基云的能 创新成基础云新的fi 。云特有的 、性、成本、敏捷 等数据 与应用 的多设 现，”云原生成数据湖 大数据的必然选 。来源：艾瑞2021年中国基础云服务行业发展洞察，艾瑞咨询研究院自主研究及绘制。来源：艾瑞2021年中国基础云服务行业发展洞察，艾瑞咨询研究院自主研究及绘制。2015-2024年中国整体IaaS和PaaS市场规模及增速2015-2024年中国整体云服务市场规模及增速394521693102616122256324546906598928632.1%33.2%48.1%57.1%39.9%43.8%44.5%40.7%40.7%2015201620172018201920202021e2022e2023e2024e整体云服务市场规模（亿元）整体云服务市场增速（%）2413224246381088163922853314420355275471105145184272405613918137433.3%31.7%50.6%70.4%50.7%39.4%45.0%26.8%31.5%32.6%47.2%38.1%27.0%47.8%49.0%51.5%49.8%49.6%2015201620172018201920202021e2022e2023e2024eIaaS市场规模（亿元）PaaS市场规模（亿元）IaaS市场增速（%） PaaS市场增速（%）7202.4 iResearch Inc. 云原生数据湖核心价值一：数据资产集中存储、统一管理，建立高质量的数据资产随着数 进， 数据 成 的核心生产 ，打通各部、各应用系统，建立 级的统一数据资产成 内的 。基云的存储和数据湖， 可更 现数据多源，对内外部数据进行生的管理， 而 数据资产，赋能 应用， 数据价值。同时，基云原生数据湖部署的云原生应用 然可 现数据的 界动，数用一体 打了高效的价值 。来源：艾瑞咨询研究院自主研究及绘制。基于云原生数据湖的统一资产建设 、统一管理n数据质量n数据交换n数据安全n数据计算n数据打通n数据存储数据库 、日志、IoT 接入等数据 、析、目录管理等 数据 、O R、 P等 全密钥、权限管理、 控警等统一调 、数据共享、API接口等 量数据、冷热分层、 访问方 等价值闭环数据资产云原生应用数据沉淀业务赋能结构化数据半结构化数据非结构化数据 RP RM e mailMediaIoT8202.4 iResearch Inc. 云原生数据湖核心价值二：低成本通过云的方式，更低成本地使用存储和计算资源云原生数据湖是基云 构建的低成本大数据解决方案。存储，云原生数据湖使用对存储， 现了 容 理 和更低的价格，同时云统一存储也 了 后数据调用的 计算，云原生数据湖采用计算存储 的架构，计算 和存储 可 性 ， 了存算 不同成的 用云 ，云原生数据湖通 e e ess的 式， 据 动进行 级的性容，解决 资源 、 资源 的 ， 现元的成本。来源：艾瑞咨询研究院自主研究及绘制。云原生数据湖成本优化剖析存储成本OSS计算成本计算 分离用云成本Serverle 资 浪费资 短缺留实际 阶段 时等云资 调用机制具有一 的滞”，了保证 用，业往往选择采 冗余的伸缩策略这造 用云 的上升 Serverle 下，资 消耗随着应用程序的 请 数量变自动 展或缩减，计费精确到毫秒级，大大降 了业数据 用云 的问题 块 文件 象 随着移动 、产业 、5G的发展，个人端 业端产生的数据量爆发增长 早期大数据分析的架下，计算资 资 是紧耦合的，只能步 ，这造 了计算资 的过剩 算分离”计算节点 节点都 ，大大降 了计算的 接 理 的块 ，或 文件 访问的文件，象 通过 一 e ， 都 这方 云计算 自动 数据 都大有 ， 用表 理上限的 能 的 计算 分离计算 计算 耦合9202.4 iResearch Inc. 云原生数据湖核心价值三：高性能云湖共生，带来大数据应用的高性能体验数据湖 统一 、 性、敏捷 索 的设计思路与云计算 然 ， 数据湖云原生的方式部署时， 大的性能可 大 。一方面，数据湖云后可 云本 来的性能升， 高可用、性、敏捷等 另一方面，数据湖 云原生的 可 更多性能 的 ， 的 来的 析 ， 来的 时数据价值 ，一式数据管理方案 来的和 善等。来源：艾瑞咨询研究院自主研究及绘制。云原生数据湖性能优化剖析云计算具 动 currency1， “ 量业务的 IO能fifl， 大数据分析 资 的大 发质的 弹性高可用 敏捷多范式加速 安全 自 I ，云 有 的资 冗余，一节点发生能 ”到节点， 业 用，确保了业务的 云业 、的层IT ，时块、耦合的 架有 数据产的 、 01OnCloud 本身带来的性能提升02In Cloud 更进一步地性能优化云原生数据 云 统一了业数据资产 计算， 支持业任 数据 fl任 分析时 展的架 业使用AIcurrency1fl 了 一方 ，云原生数据 了 往 的上下文，有助 分析实 一方 ，统一了流 理 理， 业实时的数据 云原生数据 了 、 大的数据管理“方，全保 的方 任 或数量的数据，有助业 全 治理 10202.4 iResearch Inc. 云原生数据湖核心价值四：敏捷创新重塑IT部门定位与价值，赋能业务应用敏捷创新云服 了 T产 的 和 T部 的内容和方式， T部 来 关注的底 技术， 而向应用创新焦，充 赋能价值。通 统一对存储、多 兼容、数据 能管理，云原生数据湖基云的 进一步 了 T的生产 。 T部 再关注基础资源和数据 的大多 ， 存储容、计算 等，可 更多的精 、应用创新， 现真正的数据驱动 。来源：艾瑞咨询研究院自主研究及绘制。企业IT部门定位变化 IT时职能中心 T时创新中心 层 云原生象 的方 ，业 fi数据增长的问题 数据 的 理，只 云 是一个 限 展、 、 伸缩的 计算层 云原生的 下，业 统一的控制 上 S 一 currency1fl 计算， 据业务 数据自动自动 选择合的计算， IT 费的学习 currency1fl计算 应用层云原生数据 业大数据的“方 ， currency1一步屏层的， 业务服务 的IT 础资 柔的数据资产，IT currency1fl应用 云计算的发展 了IT 的变，业的 由 支持，IT 正由职能fi fi过渡 云原生数据湖的应用创新价值11云原生数据湖概念界定1云原生数据湖市场现状2云原生数据湖竞争分析3云原生数据湖行业应用与最佳实践4云原生数据湖选型建议与典型企业5云原生数据湖发展趋势612202.4 iResearch Inc. 大数据技术数据湖发展历程产品随市场需求不 ， 数据湖 数据湖技术正 逐 及突破，公有云及他行 纷纷 尝试。 目 数据感知及归类清洗方面存 壁垒和难 ，数据湖建 验不 ，因此我数据湖 场体 阶段，未来空间广阔。来源：公开资料，专家访谈，艾瑞咨询研究院自主研究及绘制。数据库时代1960s2000s20世纪60年代，计算机开始广泛地应用于数据管理，能够统一管理和共享数据的数据库管系统（DBMS）诞生。20世纪90年代，为满足企业数据分析的诉求，数据仓库诞生。2000s2010s：互联网蓬勃发展，数据量爆发式增长，数据库/数仓难以承载海量数据， 数据 代开 以 a （开 ） eM 为代 的分 式 体系诞生， 数据 代的 。2010s2020s：数据仓库 ，能 数据管理能currency1“ ， e B fie flS aecurrency1 “市 以开 a 体系为代 的开式 DS 开的”式 开的元数据服务以 （P e S a currency1）的模式， 数据湖的。大数据技术的探索 2020s： 数据 业， 数据 currency1 “的企业 生的 求 云 管的系统 代 DS， 展，数据湖开始 云共生 数据仓库和数据云的体系 以 ，仓一体的 业 开始应用。阿里云 业 云生企业 数据 IBM “数据的一代 百度云 数据管理 分析 a flDAP华为云 数据治理中心D ,将fi I h D MRS结合， “升 fi I h MRS云生 构2020年阿里云 义 数据3.0，为用户供以OS为中心 元数据统一管理，并结合云生一 实现实 AI 生态的综合 。腾讯云 次 外展示完整的云端数据图谱，并 数据计算DL 和数据构建DL 2021年中国云原生数据湖行业发展历程亚马逊云科技 Lae a 2018年 于数据战略，EMC 三款的I 软 I SD e第8代I 操系统和I fi P 2016年亚马逊云科技宣 Lae a “ 市青云QingCloud联合 a hDa a发 于云模式构建的数据 2019年大数据技术的 展 大数据技术的 13202.4 iResearch Inc. 政策 不 地， 大数据产业 向成 2015 出台的促进大数据行动纲呈现 一体两翼一尾 的格局，首次 大数据升 家战 面，奠定了大数据未来的总体基调。2021 5月印的一体 大数据心协同创新体系算 枢纽 currency1方案出 建设一体 大数据心算 枢纽体系，同时 对基础网络、数据心、云平台、数据和应用的一体 障，高大数据可靠平。五 间，家出台多条产 及 ，不仅 方针 领大数据产 高效、 ，同时也 该产 布局 、金 、 、医疗、旅游服 、气管理等多个细 领域。来源：中国政务网国务院政策文件库，艾瑞咨询研究院自主研究及绘制。2015年-2021年中国大数据重点法律法规和产业政策脉络 调 大数据 业 展 2016 2020 ：制 510年“大数据发展目 ，大数据发展上升至国家战略层 大数据 首次 发展生 大数据， 立一个机制、两套 、三平 展 20162020 的通：鼓励金融机 用大数据、云计算等兴信息技术，打造 金融服务平 大数据 人 健康信息平 ，促currency1医疗大数据开共享 大数据 业 展 2016 2020 推currency1大数据技术产 发展， 大数据 点fl业领域的深入应用， 有力的大数据 全保 数据管理办 ; 深 +旅游 推动currency1业质量发展的意见深入 “业大数据 fi fl 企业数化“的通 ： 数据驱动、 大数据平 全fl一 化大数据中心 创新 算” 推currency1大数据的 云端 分析理， 点支持 量数据的理 fl 化 展 ： 数据fi布局， 大数据、云计算、宽 络协发展数据管理 强 算理的 鼓励广大 民积极参 算 全治理 推currency1交通currency1 大数据应用试点 的通 201 2016 1 2016 2016 6 2016 201 1 201 11 201 2020 9 2020 10 2021 2021 914202.4 iResearch Inc. 5.0 4.2 6.4 18.4 57.1 66.6 106.4 123.2 348.2 135.1 294.1 20112012201320142015201620172018201920202021投资金(亿元)1916388017121222520914813016020112012201320142015201620172018201920202021投资 件数件投融资资本市场 ，数据湖 业价值 据统计， 来数据服 行 资“件数和金 体呈升趋，并 了巅 ， 资金 超 了 元人民币。 ， 疫情等外部因 的影响， 资“件数和金 数均有所 降。 随着内疫情的稳定和的回暖， ，数据服 行 的 资再次现出升的态。 眼球云原生数据湖 场， 创数据湖Datab icks、Upso e 等都 了美元的 资。该领域的资本 场 ，数据湖的 价值逐 。来源：IT桔子，Crunchbase，艾瑞咨询研究院自主研究及绘制。2011-2021年中国数据服务行业投资情况及美国云原生数据湖融资事件DatabricksC轮D轮E轮F轮G轮H轮Upsolver种子轮A轮B轮 2021 9 计 9 2021 计 2 Databricks UpsolverB轮A轮15202.4 iResearch Inc. 中国云原生数据湖市场规模 ，计未来 currency1“的fifl据 统计，云原生数据湖 体 currency1 元。目 行 正 阶段， 家 、互联网技术高 的驱动、 数 等因 ，计云原生数据湖 场未来 currency1“的fifl 。2018-2023年中国云原生数据湖市场规模及增速注释：云原生数据湖市场规模不含生态统计口径为2020自然年 年 中国 不含 云原生数据湖 业 ， 中国 。不含云原生数据湖件 currency1计currency1“及fi 发生 fl ：数据库 ，不含云原生数据湖生态 。注释：云原生数据湖市场规模含生态统计口径为注释中含云原生数据湖件 currency1计currency1“及fi 发生 fl ：数据库 ，含云原生数据湖生态 。来源：艾瑞”基础云服务数据， 公开资料currency1专家访谈， 据数据模，自主研究及绘制。15 26 44 76 124 196 76.8%69.4%74.8%61.9%58.2%2018201920202021e2022e2023e云原生数据湖市场规模不含生态（亿元）增长率（%）63 89 125 179 252 350 40.8%40.0%43.7%40.7%38.7%2018201920202021e2022e2023e云原生数据湖市场规模含生态（亿元）增长率（%） 1 0 9 6016202.4 iResearch Inc. 增长机遇数据 与业数 云原生数据湖的应用 oT、 动互联网和 的， 动数据， 数据 数据价值成了 解决的难。 此 景 ， 新的大数据架构来理数据， 数据湖 场 来 。互联网的 了时 数 ，同时也 了 的 式。 敏捷、创新、数据驱动 向的数 新的生产 具来打破数据孤岛、 数据资产、完成数据价值 。云原生数据湖的各部 件数 的 一阶段 技术 ，完成 数 与 的 。来源：艾瑞咨询研究院自主研究及绘制。数化 数据湖数化数据采 数据 数据 数据计算数据应用信息链接 资产形 信息反馈“策赋能接入层迁移上云 平滑，使业轻实 数据 合 计算层 计算，支持实时分析交 分析，有效形 管理数据资产 应用层统一调用元数据，通过BI、数据大屏、AI、机器学习等 落 “策赋能打通软硬件之间、业各 间的数据壁垒 各 、 的数据currency1fl统一 ，初步形 数据资产 原始数据资产 据使用者 currency1fl整合、调 、 ， 的形 数据currency1一步计算分析， 数据 ，展 ，应用 业“策 层支持 数据的 ， 数据 冷热分离 ，沉淀数据形 资产 云原生数据湖 企业数 化 型 数 数据 增，业 用数据 、赋能业务 了 统大数据架 量 数据理 ， 之的是能 应 时的云原生数据 “方 数据业务生态闭环17202.4 iResearch Inc. 痛点改进数据理、”路、”方面 应用现 来 ，数据湖 内的 存 多 。产品 面，数据湖的数据 理能 和 路能 进一步的 ， 户方更 能 、一式的解决方案 应用 面，云原生数据湖的行 知和人， 场的进一步。另外，currency1 不 ， 对云原生数据湖的“管也出了更高的 。来源：公开资料，专家访谈，艾瑞咨询研究院自主研究及绘制。安全监管随着业数 currency1入深 ， 数据 业的 fi生产 数据 的大 之一是全 访问控制 大量数据 有任 的 下流入 ，一 数据 数据 有的 ，一 发生数据或者，” 量 行业认知管数据的 currency1业的广共 ，“是选择的业fifl据大 数，数据 推广上 着方 的战 数据治理数据治理 目录 数据的分、 ，业 数据 的控能力 ，数据 目录整 架计、 “数据 到分”或 ， 形 数据 缺上下文元数据，数据 currency1fl数据，使用 有效分析 用数据 全链路能力 阶段国“ 全链 云原生数据 服务的 应 ，大 数据 件的支持， 下游 业只能采 家 应 自数据采治理到分析 的 是技术 平 的业 全 的服务 人才缺失目 大数据、AI技术 日 ，业缺业人 业“ ，管理者数据治理一 ， 有深入 理业业务 的 下 目 数据 、 大 全 的 ， 能 数据 落 效 云原生数据湖应用的 中 点18云原生数据湖概念界定1云原生数据湖市场现状2云原生数据湖竞争分析3云原生数据湖行业应用与最佳实践4云原生数据湖选型建议与典型企业5云原生数据湖发展趋势619202.4 iResearch Inc. 产业图谱云 生态 的市场 注释： 主云原生数据湖及fl生态 ， 展 业，中展 公 o o 及 。来源：艾瑞咨询研究院自主研究及绘制。中国云原生数据湖产业 数据湖 大数据 其他 数据湖 开源项目 部分 应用管理计算存储(包括部分开 项目)20202.4 iResearch Inc. 竞争格局体来 ，云原生数据湖 的”，能 体解决方案的 立 ， 场， 部云。核算 ， 云 云原生数据湖 场 不 生态 部 的 了 currency1“。一方面，云计算具有性算 、数据的特性，与数据湖思路 然 另一方面，布局 ， fi暖fl知 ，出服 互联网 户的动因，云fl基云原生进行了能 的， 对存储、多范式计算、大数据管理等云原生数据湖核心技术都更成。注释： 数据 currency1 件 currency1 及fl 云数据湖服务 IT 。注释： 市 统计口径为2020自然年 年 中国 不含 云原生数据湖 业 ， 中国 。注释： 市 统计口径不含云原生数据湖件发生 fl ：数据库 ，不含云原生数据湖生态 。来源：艾瑞”基础云服务数据， 公开资料currency1专家访谈， 据数据模，自主研究及绘制。2020年中国云原生数据湖市场 生 部 ，云 市 2 轻量与专注 云 云 发到数据服务的 ， 立 大 数据服务 发，业务 轻量 由 数据 大数据产 调 量 数据统一 、 数据统一管理、 计算统一调用 的能力， 三方 立 ，“ 量 、计算 生 的 都 ， currency1入的 大 1 多 、混 管理能 立 具有 三方立， 支持 云管理，“业 应 的” 之 独立 1 础 源支持云 资 、 算分离的 ， 大程 上 、 支持数据 的各 国“ 变， fl业应用、 服务等领域，云 的生 的 能统一调度 云原生的 下，业 统一 ， 调用 计算 2 数据聚优势 云的形 ，业 滑 实 各 统通，“数据 问题 82 4 1 21202.4 iResearch Inc. 竞争要素剖析解决方案应用 成云原生数据湖的 云原生数据湖是一完的云大数据解决方案，可服 的多数据诉 ， 可归类技术、解决方案、应用 。 技术 ，云原生数据湖 具稳定、高性价 的存储服 、多 兼容的计算 服 及生的 能 数据管理服 解决方案 ， ，面向特定场景和特定行 、可 的架构方案 应用 ， 通 生态 建等方式 更多的应用服 ，不 大 的服 半 ，向 户”更面的能 。来源：艾瑞咨询研究院自主研究及绘制。云原生数据湖 析 架解决方案应用技术 应用 生态体系建设端 ，数据 是服务业务的合大数据“方 落到实际实， 的应用支持到业务 应应用层的 力 自身应用的丰富度 的 整度，自 +合 共 了 服务的能力 行 解决方案场景解决方案 了 、计算、管理等 fi技术， 的“方 ，数据 具有产， 通过一 的架各件 ， 用 用、用的平 具 特定场景推 、实时分析等 特定行业游、金融等的“方 存储管理计算析数据 产， fi技术 、计算 管理三个 ：管理 “数据的全生 期管理，具 一 入 、元数据管理、数据血缘、权限分级、质量控制等计算 计算的统一管理、智能调用、能 、智能、开 兼 、 等存储 OSSfi的， 、 全、 、 的 服务 22202.4 iResearch Inc. 竞争要素一：技术统一 存储 性计算一 式 能管理析云原生数据湖的核心技术， 存储、计算和管理个fi 评估 面的。除了大数据产品通用的性能、可用性、及成本外，云原生数据湖 关注一特定的 ， 存储 置的性、性能和成本 ， 件性， 多范式计算和大数据 计算 多计算 和 能来 使用 管理 多源湖外数据兼容和湖内数据生的一式管理。来源：艾瑞咨询研究院自主研究及绘制。云原生数据湖 计算 元融合 智能 管理兼 一站 全存储 展 效 稳定：具 熟的 理冗余、 校 、 色权限、 全 密方 ，确保 的 扩展：数据 承载的数据量每天都 持 增长， 量 展的 统currency1fl支持 简单： 应用持久、 用 延迟的 ， 理硬件， 层 着手currency1fl，减理硬件资 的题，使各应用程序都 轻currency1 使用 高效： 量数据， 智能的冷热分层策略实 资 的均衡 ，服务效 、降 延迟 性价比： 量数据 资 的大量 ， 应的 方 多 ： 兼 开 业计算， 业数据理的 ， currency1fl了 ，使 计算 表 统一 简单能：通过AI Serverle ，实 自动 管理计算资 ，智能 伸缩 currency1载 大资 用 ， 营 团队 编程，必管理服务器群 本优化：资 自动伸缩叠 费用 的流调用理方 ，数据 理请 ， 保证 意的 下实 兼容： 够 大、 、效nocode的接器 具，支持 数据 的接入，支持 的数据 ，各 一站式：具 入 、元数据、权限、血缘、质量、 等数据 的完 功能， 一站 服务 安全：支持数据任务 板、 业currency1 统计、日志审计、资 消耗统计、数据全链 展 、数 典回溯 踪等功能，确保数据全生 期的 全 23202.4 iResearch Inc. 竞争要素二：解决方案 场景 业 务 场现 来 ，云原生数据湖并不是一个 的产品，而是一 、多 、服 的解决方案， 具体应用 据 具体 ，进行 件调和架构设计。因而， 户 选 采 时，除了关注的技术 ， 关注解决方案的成 。具体评估fi 个方面 对数据湖 用场景的 能 和方 总结， 可助目更 currency1 对具体行 的理解及应的 currency1思路， 可助 解决 。来源：艾瑞咨询研究院自主研究及绘制。云原生数据湖典型社交戏汽车海量数据交式查询企业级大数据理机器习与I探索场景维度 行业维度 一 业务 节，如广告投、用 营、 报报等， 自各个渠道的实时数据 历史数据currency1fl交 分析 云原生数据 架下，业能够调用分布 的， 、 、 确的currency1fl分析，支持业务“策 随着 的发展，业“积累了大量的数据，数据 的 愈发昂“数据 却 被全 数据 冷热分层的 方 帮助业数据 的 下 ，统一管理的架数据 随时用的到， 计算兼 数据 用的 控、推 、 等 ，往往 机器学习 支持 机器学习 AI 消耗GPU等大量的算力资 云原生数据 Serverle 付费、自动 的方 降 了业currency1fl机器学习的T O时 c ema”的架 变 移动 的社交平 近年 发展，短频、 播、图片、资讯等 了服务的“ 大量数据的审 理、实时分析、精 推 战 机遇云原生数据 冷热分层 、上下文 分析、实时推 的功能大幅升了“ 用 营的效， 降 了 5G、云、社 娱乐方 、 等 共驱动了游产业的 发展游大数据智能、 、 的数据 “方 currency1fl实时动 用画像 营分析， 降 currency1 、改善游 、留 有玩家、升付费 汽车正 生 的 三空间，车 产业currency1入 车道， 应用蓬勃发展，产业 断 大 云原生数据 实时 接 车 PB B级的数据， 的方 currency1fl资调，支持自动驾驶、智能交通等业务 24202.4 iResearch Inc. 竞争要素三：应用 生态 场 来 ，大多和 都把数据湖定 数据基座， 使用来 ，基座 具体的应用，能真正 赋能 。出 产 的原因，现 云原生数据湖综解决方案 不具 完应用服 的能 。且 场 ， 多 ， 未来一段时间内，也难有 一应 的出现。 而，除了关注 户 ，不 外， 通 生态建设， 的服 半 ， 服 的 。来源：艾瑞咨询研究院自主研究及绘制。云原生数据湖的服务currency1服务 A自能力B生 能力C 下 的能力C 下 的能力 a a A自能力B生 能力 a 对 终端客户来说 其 注的重点往往在 供应 最后提供的应用 而非其 内容背后的 分配。 是通过统招兵买马的方 ，是借助开 社 力量，或者发展生 合 ， 下们都共 的服务能力“ 注客户诉求 持续研 迭代： 是 是业说，云原生数据 的应用都 是一蹴 的 国的数据 产业 发展的 期，程 上， 业共 长 ， 断打磨 础平 ， 应用服务 明晰边界定位 赢： 云原生数据 说， 业级的大数据“方 ，具有 链长、程、 期长金的 点， 能力往 支持全 背下， 正 变越越 阶段 ，明晰自 的边 ，分发挥生 的力量数据 说 妨是一条效共赢的 25云原生数据湖概念界定1云原生数据湖市场现状2云原生数据湖竞争分析3云原生数据湖行业应用与最佳实践4云原生数据湖选型建议与典型企业5云原生数据湖发展趋势626202.4 iResearch Inc. 行业分布 应用 业及 统 业的 场景据调 ，云原生数据湖的 游应用 布泛互联网 、网络广 、 体、游 、互联网金 等 、泛 、 、 通等 、金 行、 等 、 互联网、能源、制等 、医疗 基因、影 疗、 等 、汽车 车联网等 及、 等他行 。，泛互联网 出数据大、非结构 数据多、迭 等原因，fl应用云原生数据湖架构 、 索、“ 等 ，是现阶段数据湖 场的 户。注释： 口径为2020自然年 年 中国 不含 云原生数据湖 业 ， 中国 。注释： 统计口径不含云原生数据湖件发生 fl ：数据库 ，不含云原生数据湖生态 。来源：艾瑞”基础云服务数据， 公开资料currency1专家访谈， 据数据模，自主研究及绘制。2020年中国云原生数据湖市场 生 部 “行业 currency1“ currency1 “ currency1“ currency1“currency1“currency1 “currency1“ currency1 “泛互联网泛 金 医疗汽车他 总计73.5% 混合云 的数据 27202.4 iResearch Inc. 未来渗透 、高 、多源异构的大数据 来了成本、性能和价值 的 ， 现有 Tfl数据库数仓的架构 ， 难 现底 架构的性和 ， 的 。云原生数据湖云部署、存算 和“后schema的特性可助 更 应用数据，未来有 互联网、汽车、 、 等具有大数据和高价值属性的行 更广泛的应用。来源：艾瑞咨询研究院自主研究及绘制。云原生数据湖的行业应用展云原生数据湖解决了什么问题哪些企业痛点与之匹 来行业 展望01数据海量成本上升数据量爆发 的增长， 算力资 的上升， 是纵是横 张， 的叠 都分 人 03数据价值两极化实时与聚合大数据背下，数据 愈发两极 ， 有理架 能 实时、 合分析的 ，分数据 02数据多源异构性能下降随着 的发展，业链接愈发，“ 理的数据 愈发 元， 自 的数据、e的数据、 的IoT数据、自业业务 统的数据等 下，数据理的能下降，业应用效 间价值实 分析聚合分析01业务具有大数据特性，现有架构扩展具有局限性 业 数 的过程，开始 试信息流广告、播 、 办 等数 ，“层IT架 数据架 能承载 量数据， 展 局限 02大数据处理的成本愈发高昂，亟 成本 化 业通过增 硬件资 、间件改造的方 ，数据库、数仓横 展或者纵 都 分昂，业用 数据的支 日 ，承 03缺 D 实力 人才， 行大数据性能 化，数据价值 能 业缺完整的大数据 AI团队， 具 够的积累应用 大数据 AI技术、 的架， 数据的 迟迟能被完全 实 赋能业务 向更 大数据和高价值 性的 业 车 自动驾驶的数据 增长，资 理 上业务发展，数据 应用空间广 业业数据 ， 治理 点 ， 云原生数据 帮助 云上currency1fl数据统一治理 策的驱动下，智 务fi的信息 正 推currency1， 统一数据fi 业天具有大数据的 ， 云原生数据 架支持业务的 发展 大数据28202.4 iResearch Inc. 金融科技数禾计算性能与数据 能 共同， 低成本数 技成立 ，公大数据和技术驱动， 行、 金 公、 、 公等 金 构 高效的 能金 解决方案， 、风 防 、 管理等服 ，赋能金 构数 ， 、微 、场景 、财 管理等多个领域均有应用。 金 行 涉及的数据繁多，currency1 高， 构数 ，存 fi成本高、数据权隔 、性能 高等一系 难 。通 与阿 云JindoF的，数 对数据计算性能的 了 同时， ApacheRange 权方案，数 对数据湖数据权进行 格管 用E R 能 协助进行不同部的资源隔 能 和 账能 并采用性 成本 约 式，兼顾了稳定性和成本。来源： 云，艾瑞咨询研究院自主研究及绘制。基于afifl ”S的湖仓一体架构 时 两套 统，运维本过大 HDFS的存储和不够灵活的计算 源，遇到极大战， 据任务自动大 缩 服务了大量“ 用， 数据 ， 的数据权限隔离大量OSS的rename等 ，性能求高 产 价值数据湖存储os元数据管理数据血缘管理数据权限管理智能Cache冷热分层冷热缓 速DLF数据湖构建JIndoFS+MC数据库元数据管理+ 速 MR(数据 数据步 MR MR机器学习 MR元数据统一计算流动Ma ompute(数据仓库O S层 M数仓层One ata A S应用层 M 层业务R业务统 数 询u er 智能数据 管理数据 通过 indoFSOSS 合， 算分离的架下， 了用的数据计算能 pache anger开 权限 ， 数据 数据权限 管控用E 企业能 源 、 的支持，协助 currency1fl资离能力 分 能力的 采用 伸缩 节 ，兼 ， 本 20行业特性 业务 29202.4 iResearch Inc. 了升 业 效 营效 ，流说打通业务数据，统一 应用的各 数据 限 数据质量 计算 ，期借助云计算 的能力数据质量， 数据理方 在线教育流利说 R供计算和存储的 性 能 ，助 业成本 成立 月，是 王翌博士和胡哲人、林晖博士同创立的技驱动的教公， 月， 正式挂 纽 所， 创的教currency1 式， 誉 A 教 第一股。 希 高数据 并完善数据理方案，高计算效fl。阿 云E R 云数据湖架构 了计算性拓与存储性拓能 ，减了 对底 基础建设 fi的 。基阿 云E R， 搭建了pa k、Hi e、fl esto等大数据理框架，对存储的数据进行 析，通 能算 析学生学习 ， 应指 。此外， 基阿 云 对 线教场景 多类 数据进行存储， 现了大 的成本 。来源：艾瑞咨询研究院自主研究及绘制。 基于”S的云 数据湖架构ApacheAi f owosE RET E RE RDWorkerGatea orkerGatea orkerGatea atewayorkerGatea ateway 业 与 数据入 ， ata 全量 ump的方 变 ata elta合，本 0 数据平 计算群本 080的任务ive迁移到Spark，整 时 提 0 30202.4 iResearch Inc. 能 科技汇技有公 ob ista 成立 月，是一个球性技术平台，通 打fi赋能的 aa 具生态 ， 动 、统计归因、创意 动 、 现、云架构成本