大数据平台安全研究报告.pdf

研 究报告（2020 年） 1 大 数 据 平 台 安 全 研究报告 中国信息通信研究院安全研究所 2021 年 1 月版 权 声 明 人 脸 识 别 技 术 在App 应用 中 的 隐 私 安 全 研 究 报 告 （2020 年） 中国信息通信研究院安全研究所 2020 年 6 月 人 脸 识 别 技 术 在 APP 应用 中 的 隐 私 安 全 研 究 报 告 （2020 年） 中国信息通信研究院安全研究所 2020 年 6 月前 言 2020 2020 9 16 2020 GDP 4.5% 2020 2020 10.4 1.3 2020 2020 9 10 2019 2019 8100 32% 2020目 录 . 1 ( ) . 1 ( ) . 2 . 4 ( ) . 6 ( ) . 9 ( ) . 12 . 18 ( ) Hadoop . 19 ( ) . 19 ( ) . 21 ( ) . 21 ( ) . 22 ( ) . 23 . 23 ( ) . 24 ( ) . 24 ( ) . 25 ( ) . 25 ( ) . 25 . 26 ( ) . 26 ( ) . 27 ( ) . 27 ( ) . 28图 目 录 1 . 2 2 . 2 3 . 5 4 . 6 5 . 10 6 . 13 7 . 13 8 . 14 9 . 15 10 . 15 11 . 16 12 . 17 13 . 17 14 . 18 15 . 18 16 . 20大数据平台 安全研究报告 1 一、 大 数据平 台概况 ( 一) 大 数 据 产 业 蓬 勃发 展 IDC 2020 104.2 2019 16.0% 1 2020 41.0% 25.4% 33.6% 2024 IDC 2020-2024 19.0大数据平台 安全研究报告 2 IDC 2020 1 ( 二) 大 数 据 平 台 应 用模 式 多 样 化 演 进 Apache Hadoop 2 2大数据平台 安全研究报告 3 1. 自 建大数 据平台灵 活性强 、对 企业 技术水平 要求较 高 2. 商 业化大 数据平 台 易管理 、安全性 高 1大数据平台 安全研究报告 4 2 二、 大 数据平 台安全现 状大数据平台 安全研究报告 5 3 CDH 39% HDP 31% EMR 17% EMR 9% EMR 8% Apache Hadoop 9% Ucloud TDC 4% 3 39% 31% 17% 9% 4% 大数据平 台类型分布图 CDH HDP EMR Apache Hadoop 其他大数据平台 安全研究报告 6 ( 一) 组 件 配 置 类 安 全隐 患 4 90% 88% 80% 79% 74% 4 0 10 20 30 40 50 60 70 80 90 100 1 存在该问题的企业占比（% ） 组件配置 安全隐 患TOP7 日志记录不完整 身份认证机制未开启 账号权限未做到最小化 审计日志文件访问控制未开启 组件未配置SSL 加密 服务连接数未作限制 敏感配置数据未加密大数据平台 安全研究报告 7 1. 组 件配置 安全隐患 一：日 志记录不 完整 ERROR 2. 组 件配置 安全隐患 二：身 份认证机 制未开 启 Kerberos Kerberos KDC KDC Client Service Kerberos Client Service Kerberos Kerberos Simple ACL大数据平台 安全研究报告 8 3. 组 件配置 安全隐患 三：账 号权限未 做到最 小化 root administrator supervisor sys root administrator super 4. 组 件配置 安全隐患 四：审 计日志文 件权限 未最小化 5. 组 件配置 安全隐患 五：未 设置组件 间 传输 加密大数据平台 安全研究报告 9 6. 组 件配置 安全隐患 六：服 务连接数 未限制 HDFS HBase Zookeeper 7. 组 件配 置 安全隐患 七：敏 感配置数 据未加 密 ( 二) 组件安全漏洞 Kafka Zookeeper Zookeeper Hive 76% 60% 38% 21% 5 TOP6 Zookeeper Flink大数据平台 安全研究报告 10 5 1. 安 全漏洞 一：Kafka 信息 泄露 Kafka Apache Kafka 2.0.0 2.0.1 2.1.0 2.1.1 2.2.0 2.2.12.3.0 Apache Kafka Connecter Connector token key key-value Connector 2. 安 全漏洞 二：Zookeeper 安全绕 过 Zookeeper Apache Zookeeper 1.0.0-3.4.13 3.5.0 alpha-3.5.4 beta / 0% 20% 40% 60% 80% 100% Flink 注入 Zookeeper缓冲区溢出 Hive 身份验证 Zookeeper 本地信息泄露 Zookeeper 安全绕过 Kafka 信息泄露 安全 漏洞 在受 检 企 业中 的出 现率大数据平台 安全研究报告 11 Zookeeper / Leader Leader 3. 安 全漏洞 三 ：Zookeeper 本地信 息泄 露 Zookeeper Apache Zookeeper 3.4.6 Zookeeper log zoo.cfg dataLogDir log log log 4. 安 全漏洞 四：Hive 身 份验证 Hive Apache Hive 0.110 -1.00 1.1.0 Hive LDAP HiveServer2 LDAP大数据平台 安全研究报告 12 5. 安 全漏洞 五：Zookeeper 缓冲区 溢出 Zookeeper Apache Zookeeper 3.4.9 3.5.0-3.5.3 C cli shell cm d 1024 6. 安 全漏洞 六：Flink 注入 Flink Apache Flink 1.1.0 -1.1.5 1.2.0-1.2.1 JMX ( 三) 组件 安 全 隐 患 统计 分析 1. 单 个组件 安全 隐患 分布排 名 6 Top3 HDFS MapReduce Yarn 31.3% 15.9% 15% Hadoop大数据平台 安全研究报告 13 6 Top3 HDFS MapReduce Yarn 34.7% 17.5% 17.2% 7 7 Top3 Zookeeper Hive Hbase 55.4% 21.1% 10.5% 8 单个组件 安全隐 患 占比 HDFS 31.3% MapReduce 15.9% Yarn 15.0% Hive 13.8% Zookeeper 9.8% Hbase 9.4% Spark 2.2% Kafka 1.6% Flume 1.0% 单个组件 配置安 全 隐患占比 HDFS 34.7% MapReduce 17.5% Yarn 17.2% Hive 12.1% Hbase 7.2% Zookeeper 5.8% Spark 3.4% Kafka 1.1% Flume 1.0大数据平台 安全研究报告 14 8 2. 各 类组件 安全隐患 分布排名 4 Hbase HDFS Hive Spark MapReduce Yarn Zookeeper Flume Kafka 9 40% 单个组件 安全漏 洞 占比 Zookeeper 55.4% Hive 21.1% Hbase 10.5% Spark 5.2% Kafka 2.6% HDFS 2.6% Yarn 2.6% Flume 0 MapReduce 0大数据平台 安全研究报告 15 9 4 10 42% 10 3% 40% 32% 25% 各类 组件 安全隐 患 占比 传输交换 存储 计算 平台管理 2% 42% 33% 23% 各类组件 配置安 全 隐患占比 传输交换 存储 计算 平台管理大数据平台 安全研究报告 16 4 11 58% 11 3. 各 类组件 的安全隐 患等级 分析 Kafka Flume 90% 83.3% 12 HDFS Hbase 50.5% 44.8% 13 Spark 50% MapReduce Hive 33.3% 19.7% 14 Yarn 45.1% 44.0% Zookeeper 73.4% 15 3% 13% 26% 58% 各类组件 安全 漏 洞 占比 传输交换 存储 计算 平台管理大数据平台 安全研究报告 17 12 13 83.3 90 16.7 10 0 0 0 10 20 30 40 50 60 70 80 90 100 Flume Kafka 传输类组 件安全 隐 患等级分 布 高 中 低 44.8 50.5 39.6 48.9 15.6 0.6 0 10 20 30 40 50 60 Hbase Hdfs 存储类组 件安全 隐 患等级分 布 高 中 低大数据平台 安全研究报告 18 14 15 三、 大 数据平 台安全问 题 分析 19.7 50 33.3 63.9 35.7 66.7 16.4 14.3 0 0 10 20 30 40 50 60 70 80 Hive Spark MapReduce 计算类组 件安全 隐 患等级分 布 高 中 低 45.1 11.6 44 73.4 10.9 15 0 10 20 30 40 50 60 70 80 Yarn Zookeeper 平台管理 类组件 安 全隐患等 级分布 高 中 低大数据平台 安全研究报告 19 ( 一) 基于 Hadoop 的开源大数据平台 安全 配 置 复 杂 度 较 高 Hadoop Hadoop 一 是 配置 文 件 集 中管 理 难。 二 是 排查 配 置 问 题 困难。 三 是 不安 全 配 置 易出 现 。 ( 二) 安全漏洞修复 对平 台运行影响 较大 与组件配置安全隐 患相比，安全漏洞 的修复 对平台运 行的 影 响 更大。大数据平台 安全研究报告 20 一 方 面 ， 安全 漏 洞的 修 复 可 能对 集 群的 正 常 运 行带 来 不确 定 因 素 。 16 另一 方 面 ， 企 业对 安 全漏 洞 的 修 复需 要 一定 的 时 间 周期 。 一是 二是 16 IT 24大数据平台 安全研究报告 21 ( 三) 大 数 据 平 台 建 设过 程 中 安 全 投 入不 足 ( 四) 大 数 据 平 台 重 视边 界 防 护 忽 视 内部 安 全大数据平台 安全研究报告 22 WAF IDS 一方面 另一方面 ( 五) 企 业 大 数 据 平 台安 全 管 理 制 度 滞后 一方 面 另 一 方面大数据平台 安全研究报告 23 ( 六) 企 业 技 术 人 员 安全 能 力 不 足 一方 面 另 一 方面 四、 大 数据平 台安全解 决 方案 建议大数据平台 安全研究报告 24 ( 一) 加 强 大 数 据 平 台安 全 基 线 管 理 一是， 二是 ， 三是， ( 二) 对 大 数 据 平 台 安全 进 行 整 体 规 划大数据平台 安全研究报告 25 ( 三) 大数据平台边界 防 护 与 内 部 安 全建 设 并 重 ( 四) 建 立 完 善 的 大 数据 平 台 安 全 制 度流 程 一方面 另 一方面 ( 五) 增 强 企 业 技 术 人员 安 全 能 力 一方 面大数据平台 安全研究报告 26 另 一 方面 五、 大 数据平 台安全未 来发展 建议 ( 一) 加 强 企 业 大 数 据平 台 安 全 防 护 工作 的 监 管 一 方面 另 一 方面大数据平台 安全研究报告 27 ( 二) 强 化 大 数 据 平 台安 全 防 护 技 术 研究 一 方面 另 一 方面 ( 三) 推 动 大 数 据 平 台安 全 产 品 和 服 务市 场 发 展 Hadoop大数据平台 安全研究报告 28 ( 四) 鼓 励 并 促 进 大 数据 平 台 安 全 行 业自 律 工作 一方 面 另 一 方面免 责 声 明中 国 信 息 通 信 研究 院 安全 研 究 所 52 100191 010-62305770 010-62300264