I C S 3 5.2 4 0L 6 7DB5305保 山 市 地 方 标 准D B 5 3 0 5/T 1 9.2 7 2 0 1 9替 代 D G 5 3 0 5/T 1 9.2 7 2 0 1 7保 山 市 信 息 惠 民 工 程 综 合 标 准第 2 7 部 分:信 息 惠 民 大 数 据 平 台 技 术 标 准2 0 1 9-1 0-3 0 发 布 2 0 1 9-1 1-0 1 实 施保 山 市 市 场 监 督 管 理 局发 布D B 5 3 0 5/T 1 9.2 7 2 0 1 9前 言本 标 准 按 照 G B/T 1.1 2 0 0 9 标 准 化 工 作 导 则 第 1 部 分：标 准 的 结 构 和 编 写 给 出 的 规 则 起 草。本 标 准 由 保 山 市 大 数 据 管 理 局 提 出。本 标 准 由 保 山 市 工 业 和 信 息 化 委 员 会 归 口。本 标 准 起 草 单 位：保 山 市 大 数 据 管 理 局。本 标 准 主 要 起 草 人：刘 志 胡、王 明 超、李 祖 燕、丁 威、邹 瑜、朱 超 群。本 标 准 替 代 D G 5 3 0 5/T 1 9.2 7 2 0 1 7。D B 5 3 0 5/T 1 9.2 7 2 0 1 91保 山 市 信 息 惠 民 工 程 综 合 标 准第 2 7 部 分 信 息 惠 民 大 数 据 平 台 技 术 标 准1 范 围本 标 准 规 定 了 保 山 市 信 息 惠 民 工 程 大 数 据 平 台 的 术 语、定 义 和 缩 略 语、总 体 框 架、技 术 要 求 和 功 能规 范，本 标 准 适 用 于 保 山 市 信 息 惠 民 工 程 大 数 据 平 台 建 设。2 规 范 性 引 用 文 件下 列 文 件 中 的 条 款 通 过 本 标 准 的 引 用 而 成 为 本 标 准 的 条 款。凡 是 注 日 期 的 引 用 文 件，其 随 后 所 有 的修 改 单（不 包 括 勘 误 的 内 容）或 修 订 版 均 不 适 用 于 本 标 准，然 而，鼓 励 根 据 本 标 准 达 成 协 议 的 各 方 研 究是 否 可 使 用 这 些 文 件 的 最 新 版 本。凡 是 不 注 日 期 的 引 用 文 件，其 最 新 版 本 适 用 于 本 标 准。保 山 市 信 息 惠 民 国 家 试 点 城 市 创 建 顶 层 设 计 方 案D B 5 3 0 5/T 1 9.2-2 0 1 9 保 山 市 信 息 惠 民 工 程 综 合 标 准 总 体 框 架 和 技 术 要 求D B 5 3 0 5/T 1 9.3-2 0 1 9 保 山 市 信 息 惠 民 工 程 综 合 标 准 术 语D B 5 3 0 5/T 1 9.2 5-2 0 1 9 保 山 市 信 息 惠 民 工 程 综 合 标 准 数 据 交 换 与 共 享 平 台 技 术 标 准3 术 语、定 义D B 5 3 0 5/T 1 9.3-2 0 1 9 确 立 的 以 及 下 列 术 语 和 定 义 适 用 于 本 标 准。3.1 H a d o o pH a d o o p 是 一 个 由 A p a c h e 基 金 会 所 开 发 的 分 布 式 系 统 基 础 架 构。用 户 可 以 在 不 了 解 分 布 式 底 层 细 节的 情 况 下，开 发 分 布 式 程 序。充 分 利 用 集 群 的 威 力 进 行 高 速 运 算 和 存 储。H a d o o p 实 现 了 一 个 分 布 式 文件 系 统（H a d o o p D i s t r i b u t e d F i l e S y s t e m），简 称 H D F S。H D F S 有 高 容 错 性 的 特 点，并 且 设 计 用 来 部 署在 低 廉 的（l o w-c o s t）硬 件 上；而 且 它 提 供 高 吞 吐 量 来 访 问 应 用 程 序 的 数 据，适 合 那 些 有 着 超 大 数 据 集（l a r g e d a t a s e t）的 应 用 程 序。H D F S 可 以 以 流 的 形 式 访 问 文 件 系 统 中 的 数 据。H a d o o p 的 框 架 最 核 心的 设 计 就 是：H D F S 和 M a p R e d u c e。H D F S 为 海 量 的 数 据 提 供 了 存 储，则 M a p R e d u c e 为 海 量 的 数 据 提 供 了计 算。H a d o o p 是 一 个 能 够 对 大 量 数 据 进 行 分 布 式 处 理 的 软 件 框 架。H a d o o p 以 一 种 可 靠、高 效、可伸 缩 的 方 式 进 行 数 据 处 理；是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。用 户 可 以 轻 松 地 在H a d o o p 上 开 发 和 运 行 处 理 海 量 数 据 的 应 用 程 序。3.2 H b a s eH B a s e 是 一 个 分 布 式 的、面 向 列 的 开 源 数 据 库。H B a s e 不 同 于 一 般 的 关 系 数 据 库，它 是 一 个 适 合 于非 结 构 化 数 据 存 储 的 数 据 库。另 一 个 不 同 的 是 H B a s e 基 于 列 的 而 非 基 于 行 的 模 式。3.3 M a p R e d u c eM a p R e d u c e 是 一 种 编 程 模 型，用 于 大 规 模 数 据 集（大 于 1 T B）的 并 行 运 算。概 念 M a p（映 射）和 R e d u c e（归 约），是 它 们 的 主 要 思 想，都 是 从 函 数 式 编 程 语 言 里 借 来 的，还 有 从 矢 量 编 程 语 言 里 借 来 的 特 性。它 极 大 地 方 便 了 编 程 人 员 在 不 会 分 布 式 并 行 编 程 的 情 况 下，将 自 己 的 程 序 运 行 在 分 布 式 系 统 上。当 前的 软 件 实 现 是 指 定 一 个 M a p（映 射）函 数，用 来 把 一 组 键 值 对 映 射 成 一 组 新 的 键 值 对，指 定 并 发 的 R e d u c e（归 约）函 数，用 来 保 证 所 有 映 射 的 键 值 对 中 的 每 一 个 共 享 相 同 的 键 组。D B 5 3 0 5/T 1 9.2 7 2 0 1 923.4 H i v eH i v e 是 基 于 H a d o o p 的 一 个 数 据 仓 库 工 具，可 以 将 结 构 化 的 数 据 文 件 映 射 为 一 张 数 据 库 表，并 提 供简 单 的 S Q L 查 询 功 能，可 以 将 S Q L 语 句 转 换 为 M a p R e d u c e 任 务 进 行 运 行。其 优 点 是 学 习 成 本 低，可 以通 过 类 S Q L 语 句 快 速 实 现 简 单 的 M a p R e d u c e 统 计，不 必 开 发 专 门 的 M a p R e d u c e 应 用，十 分 适 合 数 据 仓 库的 统 计 分 析。3.5 P i gP i g 是 一 个 基 于 H a d o o p 的 大 规 模 数 据 分 析 平 台，它 提 供 的 S Q L-L I K E 语 言 叫 P i g L a t i n，该 语 言 的编 译 器 会 把 类 S Q L 的 数 据 分 析 请 求 转 换 为 一 系 列 经 过 优 化 处 理 的 M a p R e d u c e 运 算。P i g 为 复 杂 的 海 量 数据 并 行 计 算 提 供 了 一 个 简 单 的 操 作 和 编 程 接 口。3.6 S t o r mS t o r m 是 一 个 分 布 式 的、容 错 的 实 时 计 算 系 统，为 分 布 式 实 时 计 算 提 供 了 一 组 通 用 原 语，可 被 用 于“流 处 理”之 中，实 时 处 理 消 息 并 更 新 数 据 库，降 低 了 进 行 实 时 处 理 的 复 杂 性。S t o r m 可 以 方 便 地 在 一个 计 算 机 集 群 中 编 写 与 扩 展 复 杂 的 实 时 计 算，S t o r m 用 于 实 时 处 理，就 好 比 H a d o o p 用 于 批 处 理。S t o r m保 证 每 个 消 息 都 会 得 到 处 理，而 且 它 很 快 在 一 个 小 集 群 中，每 秒 可 以 处 理 数 以 百 万 计 的 消 息。3.7 S q o o pS q o o p 是 一 款 开 源 的 工 具，主 要 用 于 在 H a d o o p(H i v e)与 传 统 的 数 据 库 间 进 行 数 据 的 传 递，可 以 将 一个 关 系 型 数 据 库（例 如：M y S Q L,O r a c l e 等）中 的 数 据 导 进 到 H a d o o p 的 H D F S 中，也 可 以 将 H D F S 的数 据 导 进 到 关 系 型 数 据 库 中。3.8 Y A R NY e t A n o t h e r R e s o u r c e N e g o t i a t o r，另 一 种 资 源 协 调 者，是 一 种 新 的 H a d o o p 资 源 管 理 器，它 是一 个 通 用 资 源 管 理 系 统，可 为 上 层 应 用 提 供 统 一 的 资 源 管 理 和 调 度，它 的 引 入 为 集 群 在 利 用 率、资 源 统一 管 理 和 数 据 共 享 等 方 面 带 来 了 巨 大 好 处。3.9 大 数 据大 数 据（b i g d a t a），指 无 法 在 可 承 受 的 时 间 范 围 内 用 常 规 软 件 工 具 进 行 捕 捉、管 理 和 处 理 的 数 据集 合，是 需 要 新 处 理 模 式 才 能 具 有 更 强 的 决 策 力、洞 察 发 现 力 和 流 程 优 化 能 力 来 适 应 海 量、高 增 长 率 和多 样 化 的 信 息 资 产。大 数 据 的 5 V 特 点（I B M 提 出）：V o l u m e（大 量）、V e l o c i t y（高 速）、V a r i e t y（多样）、V a l u e（价 值）、V e r a c i t y（真 实 性）。3.1 0 分 布 式 文 件 系 统分 布 式 文 件 系 统（D i s t r i b u t e d F i l e S y s t e m）是 指 文 件 系 统 管 理 的 物 理 存 储 资 源 不 一 定 直 接 连 接在 本 地 节 点 上，而 是 通 过 计 算 机 网 络 与 节 点 相 连。分 布 式 文 件 系 统 的 设 计 基 于 客 户 机/服 务 器 模 式。一个 典 型 的 网 络 可 能 包 括 多 个 供 多 用 户 访 问 的 服 务 器。3.1 1 企 业 服 务 总 线 E S B企 业 服 务 总 线 是 传 统 中 间 件 技 术 与 X M L、W e b 服 务 等 技 术 结 合 的 产 物。E S B 提 供 了 网 络 中 最 基 本 的连 接 中 枢，是 构 筑 企 业 神 经 系 统 的 必 要 元 素。E S B 的 出 现 改 变 了 传 统 的 软 件 架 构，可 以 提 供 比 传 统 中 间件 产 品 更 为 廉 价 的 解 决 方 案，同 时 它 还 可 以 消 除 不 同 应 用 之 间 的 技 术 差 异，让 不 同 的 应 用 服 务 器 协 调 运作，实 现 了 不 同 服 务 之 间 的 通 信 和 整 合。3.1 2 结 构 化 数 据结 构 化 数 据 是 行 数 据，存 储 在 数 据 库 里，可 以 用 二 维 表 结 构 来 逻 辑 表 达 实 现 的 数 据。3.1 3 非 结 构 化 数 据D B 5 3 0 5/T 1 9.2 7 2 0 1 93非 结 构 化 数 据 是 不 方 便 用 数 据 库 二 维 逻 辑 表 来 表 现 的 数 据，包 括 所 有 格 式 的 办 公 文 档、文 本、图 片、X M L、H T M L、各 类 报 表、图 像 和 音 频/视 频 信 息 等 等。3.1 4 半 结 构 化 数 据半 结 构 化 数 据 是 介 于 完 全 结 构 化 数 据（如 关 系 型 数 据 库、面 向 对 象 数 据 库 中 的 数 据）和 完 全 无 结 构的 数 据（如 声 音、图 像 文 件 等）之 间 的 数 据。3.1 5 关 系 型 数 据 库关 系 型 数 据 库 是 建 立 在 关 系 模 型 基 础 上 的 数 据 库，借 助 于 集 合 代 数 等 数 学 概 念 和 方 法 来 处 理 数 据 库中 的 数 据。关 系 模 型 就 是 指 二 维 表 格 模 型,因 而 一 个 关 系 型 数 据 库 就 是 由 二 维 表 及 其 之 间 的 联 系 组 成 的一 个 数 据 组 织。4 缩 略 语下 列 缩 略 语 适 用 于 本 标 准。A P I：A p p l i c a t i o n P r o g r a m I n t e r f a c e，应 用 程 序 编 程 接 口 B P M：B u s i n e s s P r o c e s s M a n a g e r，业 务 流 程 管 理 D F S：D i s t r i b u t e d F i l e S y s t e m，分 布 式 文 件 系 统 E S B：E n t e r p r i s e S e r v i c e B u s，企 业 服 务 总 线 E T L：E x t r a c t-T r a n s f o r m-L o a d，数 据 抽 取、转 换、装 载 H b a s e：H a d o o p D a t a b a s e，h a d o o p 数 据 库 H D F S：H a d o o p D i s t r i b u t e d F i l e S y s t e m，H a d o o p 分 布 式 文 件 系 统 H T M L：H y p e r T e x t M a r k-u p L a n g u a g e，超 文 本 标 记 语 言 或 超 文 本 链 接 标 示 语 言 I A A S：I n f r a s t r u c t u r e A s A S e r v i c e，基 础 设 施 即 服 务 J S P：J a v a S e r v e r P a g e s，J a v a 服 务 器 页 面 O L A P：O n l i n e A n a l y t i c a l P r o c e s s i n g，联 机 分 析 处 理 R E S T：R e p r e s e n t a t i o n a l S t a t e T r a n s f e r，表 述 性 状 态 传 递 R P C：R e m o t e P r o c e d u r e C a l l P r o t o c o l，远 程 过 程 调 用 协 议 S Q L：S t r u c t u r e d Q u e r y L a n g u a g e，结 构 化 查 询 语 言 W e b：W o r l d W i d e W e b，万 维 网 或 环 球 网 X M L：E x t e n s i b l e M a r k u p L a n g u a g e，可 扩 展 标 识 语 言 Y A R N：Y e t A n o t h e r R e s o u r c e N e g o t i a t o r，另 一 种 资 源 协 调 者5 总 体 框 架5.1 概 述信 息 惠 民 大 数 据 平 台 是 D B 5 3 0 5/T 1 9.2-2 0 1 9 中 确 立 的 信 息 惠 民 工 程 总 体 框 架 的“一 个 综 合 服 务 平台”的 一 部 分。信 息 惠 民 大 数 据 平 台 是 以 H a d o o p 大 数 据 体 系 为 基 础，实 现 结 构 化、半 结 构 化 和 非 结 构化 的 海 量 数 据 进 行 存 储、处 理 分 析、数 据 转 换、数 据 应 用 等 功 能，是 统 一 处 理 信 息 惠 民 大 数 据 库 的 海 量大 数 据 的 支 撑 平 台。5.2 体 系 架 构5.2.1 体 系 架 构 图信 息 惠 民 大 数 据 平 台 的 体 系 架 构 见 图 1，包 括 数 据 层、计 算 层 和 服 务 层。D B 5 3 0 5/T 1 9.2 7 2 0 1 94图 1 大 数 据 平 台 体 系 架 构O R A C L E R e d i s M p p各 类 数 据 库 访 问 接 口M a p R e d u c/Y a r n并 行 计 算 框S p a r分 布 式 内 存 计 算P i g资 源 管H i v eO L A分 析 引R E S T f u l W e b S e r v i c eR P CJ A V A A P IS e r v l e/J S PH a d o o pH b a s e H D F S分 布 式 文 件 访 问 接 口 E T L 工 具H a d o oE S B 服 务 总 线数 据 查 询 检 索 服 数 据 处 理 服 务 数 据 分 析 服 务数据层计算层服务层5.2.2 数 据 层数 据 层 按 照 不 同 的 业 务 应 用 需 求，通 过 各 类 数 据 库 访 问 接 口、分 布 式 文 件 访 问 接 口 等 方 式，采 集 相关 数 据 源，进 行 E T L 处 理，形 成 面 向 业 务 领 域 的 数 据 集 市，利 用 各 种 数 据 库 技 术，包 括 关 系 型 数 据 库O r a c l e、内 存 数 据 库 R e d i s、M P P 并 行 数 据 库 以 及 H a d o o p 平 台 的 H b a s e 列 数 据 库 和 H D F S 分 布 式 文 件 系统，将 结 构 化 数 据、半 结 构 化 数 据 和 非 结 构 化 数 据 存 储 相 应 的 数 据 库 或 者 文 件 系 统 中。5.2.3 计 算 层计 算 层 主 要 是 为 数 据 应 用 提 供 通 用 的 基 础 平 台 服 务，包 括 M a p R e d u c e 分 布 式 计 算 框 架，开 发 大 呑 吐量 的 数 据 处 理 与 分 析 应 用；S p a r k 分 布 式 内 存 计 算 框 架，开 发 实 时 响 应 的 数 据 分 析 应 用；S t o r m 流 处 理框 架，实 时 分 析 和 连 续 计 算 的 场 景 应 用。P i g 资 源 管 理，把 类 S Q L 的 数 据 分 析 请 求 转 换 为 M a p R e d u c e 运算。H i v e O L A P 分 布 式 分 析 引 擎，高 速 实 时 查 询、分 析 大 数 据 且 与 S Q L 兼 容 性 工 具 顺 利 协 作。5.2.4 服 务 层在 基 础 服 务 层 的 计 算 框 架 基 础 上，结 合 业 务 需 求，构 建 服 务 接 口 层，开 发 出 一 系 列 的 数 据 查 询 检 索、数 据 处 理 服 务、数 据 分 析 服 务 等，集 成 在 E S B 服 务 总 线 中，提 供 给 信 息 惠 民 工 程 中 的 相 关 应 用 系 统 调 用。通 过 标 准 的 接 口 提 供 大 数 据 应 用 服 务。接 口 应 结 构 清 晰、符 合 标 准、易 于 理 解、扩 展 方 便，首 选 R E S TD B 5 3 0 5/T 1 9.2 7 2 0 1 95服 务，其 次 接 口 方 式 有 R P C、W e b S e r v i c e、J a v a A P I、S e r v l e t/J S P 等。5.3 系 统 结 构5.3.1 系 统 结 构 图信 息 惠 民 大 数 据 平 台 的 系 统 结 构 见 图 2 大 数 据 平 台 系 统 结 构，包 括 大 数 据 存 储、大 数 据 处 理、大 数分 析、实 时 处 理 流 数 据、关 系 型 数 据 库 转 换、资 源 管 理 和 调 度 和 数 据 安 全 机 制。信 息 惠 民 大 数 据 平 台 应通 过 信 息 惠 民 工 程 中 的 应 用 支 撑 平 台 的 企 业 服 务 总 线 为 信 息 惠 民 工 程 各 应 用 系 统 提 供 数 据 查 询 检 索、数据 处 理、数 据 分 析 等 大 数 据 服 务。信 息 惠 民 大 数 据 平 台 对 各 委 办 局 业 务 系 统 的 关 联 数 据 进 行 存 储、处 理、分 析，为 信 息 惠 民 工 程 提 供 数 据 支 撑。图 2 大 数 据 平 台 系 统 结 构企 业 服 务 总 线信 息 惠 民 工 程 应 用 系 统大 数 据 存 储 大 数 据 处 理 大 数 据 分 析实 时 处 理 流 数 据 关 系 型 数 据 库 转 换 资 源 管 理 和 调 度数 据 安全 机 制大 数 据 平 台安 民 工 程 富 民 工 程健 民 工 程 惠 民 工 程 智 民 工 程应 用 展示 中 心便 民 工 程各委办局业务系统应 用 支 撑 平 台5.3.2 大 数 据 存 储应 实 现 海 量 结 构 化 数 据、半 结 构 化 数 据 和 结 构 化 数 据 的 存 储 功 能，为 信 息 惠 民 工 程 提 供 大 数 据 存 储服 务。5.3.3 大 数 据 处 理应 实 现 海 量 结 构 化 数 据、半 结 构 化 数 据 和 结 构 化 数 据 的 高 速、实 时 处 理 功 能，为 信 息 惠 民 工 程 提 供大 数 据 处 理 服 务。5.3.4 大 数 据 分 析应 实 现 海 量 结 构 化 数 据、半 结 构 化 数 据 和 结 构 化 数 据 的 分 析 功 能，为 信 息 惠 民 工 程 提 供 大 数 据 分 析服 务。D B 5 3 0 5/T 1 9.2 7 2 0 1 965.3.5 实 时 处 理 流 数 据应 实 现 实 时 处 理 流 数 据，为 信 息 惠 民 工 程 提 供 大 批 量 小 型 数 据 的 处 理 服 务。5.3.6 关 系 数 据 库 转 换应 实 现 大 数 据 分 布 式 文 件 系 统 与 关 系 数 据 库 之 间 的 数 据 转 换，为 信 息 惠 民 工 程 提 供 不 同 格 式 数 据 之间 的 转 换 服 务。5.3.7 资 源 管 理 和 调 度应 实 现 分 布 式 集 群 资 源 管 理 和 调 度。5.3.8 数 据 安 全 机 制应 建 立 数 据 安 全 机 制，保 障 数 据 在 处 理、存 储 过 程 中 的 数 据 安 全。6 技 术 要 求6.1 与 信 息 惠 民 工 程 整 体 关 系 要 求与 信 息 惠 民 工 程 整 体 关 系 要 求:应 在 信 息 惠 民 工 程 总 体 框 架 下 进 行 开 发，基 础 设 施 方 面 依 托 综 合 服 务 云 平 台，不 再 单 独 投 资 建设 信 息 化 基 础 设 施，由 I A A S 平 台 按 需 分 配 资 源 或 扩 充 资 源；应 尽 可 能 利 用 应 用 支 撑 平 台 的 企 业 服 务 总 线 服 务、B P M 工 作 流 服 务、消 息 服 务 等 公 共 组 件 服 务，涉 及 公 共 组 件 在 综 合 服 务 云 平 台 中 已 经 具 有 的 直 接 进 行 调 用，没 有 的 在 综 合 服 务 云 平 台 中 进 行扩 展。6.2 架 构 要 求架 构 要 求:应 基 于 H a d o o p 架 构 建 立 大 数 据 平 台；应 支 持 跨 语 言、跨 操 作 系 统 调 用；应 通 过 服 务 的 方 式 为 信 息 惠 民 工 程 提 供 大 数 据 服 务 等；应 支 持 跨 防 火 墙 的 数 据 传 输；应 具 备 符 合 安 全 等 级 要 求 的 快 速 恢 复 能 力；应 具 备 良 好 的 可 扩 展 性，可 根 据 交 换 需 求 的 变 化 实 现 系 统 的 扩 展 部 署；6.3 接 口 要 求接 口 要 求:对 检 索 请 求 信 息、检 索 返 回 的 结 构 化 信 息、注 册 更 新 目 录 数 据 内 容、目 录 树 等 应 采 用 可 扩 展 置标 语 言（X M L）进 行 封 装，按 G B/T 1 8 7 9 3 执 行；数 据 共 享 交 换 接 口 应 按 数 据 交 换 与 共 享 平 台 技 术 标 准，详 见 D B 5 3 0 5/T 1 9.2 5-2 0 1 9。6.4 性 能 要 求性 能 要 求:在 百 兆 网 络 环 境 下，文 件 数 据 交 换 性 能 应 不 低 于 3 M B/s；在 百 兆 网 络 环 境 下，主 流 异 构 数 据 库 之 间 的 数 据 交 换 性 能 应 不 低 于 1 M B/s。6.5 运 行 环 境 适 应 性 要 求运 行 环 境 适 应 性 应 支 持 国 内 外 主 流 操 作 系 统；应 支 持 国 内 外 主 流 数 据 库。D B 5 3 0 5/T 1 9.2 7 2 0 1 977 功 能 规 范7.1 功 能 规 范建 设 基 于 H a d o o p 架 构 的 大 数 据 支 撑 平 台，实 现 H b a s e、H D F S、Y A R N 等 大 数 据 处 理、管 理 功 能。7.2 大 数 据 存 储应 支 持 海 量 结 构 化 数 据、半 结 构 化 数 据、非 结 构 化 数 据 的 存 储；应 提 供 分 布 式 文 件 系 统（H D F S）、N o S Q L 数 据 库（H b a s e）等 具 有 高 可 靠 性、高 效 性、面 向 列、可 伸缩 的 存 储 功 能。7.3 大 数 据 处 理大 数 据 处 理 应 基 于 H i v e 等 实 现 大 数 据 处 理；应 采 用 H i v e 等 提 供 的 一 系 列 工 具，提 取 转 化 加 载 数 据，实 现 H a d o o p 中 大 规 模 数 据 的 存 储、查 询 和 分 析 等 操 作。7.4 大 数 据 分 析大 数 据 分 析 应 基 于 H a d o o p 的 大 规 模 数 据 分 析 工 具 P i g 等 实 现 大 数 据 分 析；应 采 用 P i g 提 供 的S Q L-L I K E 语 言 把 类 S Q L 的 数 据 分 析 请 求 转 换 为 一 系 列 经 过 优 化 处 理 的 M a p R e d u c e 运 算。7.5 实 时 处 理 流 数 据实 时 处 理 流 数 据 应 提 供 实 时 流 数 据 处 理 模 块-S t o r m，实 现 实 时 流 数 据 处 理；应 实 现 对 大 批 量 小 型 数据 的 处 理；实 时 流 数 据 处 理 速 度 应 平 均 达 到 毫 秒 级 级 别。7.6 关 系 型 数 据 库 转 换关 系 型 数 据 库 转 换 应 提 供 关 系 型 数 据 库 转 换 工 具-S q o o p，实 现 H a d o o p 和 关 系 型 数 据 库 中 的 数 据 相互 转 移；关 系 型 数 据 库 转 换 应 支 持 关 系 型 数 据 库 中 数 据 导 入 H a d o o p 的 H D F S，支 持 H D F S 中 数 据 导 入 关系 型 数 据 库 中。7.7 资 源 管 理 和 调 度资 源 管 理 和 调 度 应 提 供 资 源 管 理 和 调 度 工 具-Y A R N，实 现 分 布 式 集 群 资 源 管 理 和 调 度；应 实 现 根 据容 量，队 列 等 限 制 条 件（如 每 个 队 列 分 配 一 定 的 资 源，最 多 执 行 一 定 数 量 的 作 业 等），对 正 在 运 行 的 大数 据 处 理 应 用 进 行 资 源 分 配。7.8 数 据 安 全 机 制应 建 立 平 台 内 部 的 数 据 安 全 机 制，保 障 数 据 在 处 理、存 储 过 程 中 的 数 据 安 全。_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _