大 数 据 平 台 运 维职 业 技 能 等 级 标 准目 次前 言 Ⅱ1 范 围 12 规 范 性 引 用 文 件 13 术 语 和 定 义 14 对 应 院 校 专 业 65 面 向 工 作 岗 位 （ 群 ） 66 职 业 技 能 要 求 7参 考 文 献 .16II前 言本 标 准 按 照 GB/T 1.1-2009给 出 的 规 则 起 草 。本 标 准 起 草 单 位 新 华 三 技 术 有 限 公 司 。本 标 准 主 要 起 草 人 陈 喆 、 张 涛 、 刘 小 兵 、 卢 建 云 、 姚 明 、 陈 穆 衍 、 肖 李晨 、 白 杨 、 陈 永 波 、 毕 伟 飞 。声 明 本 标 准 的 知 识 产 权 归 属 于 新 华 三 技 术 有 限 公 司 ， 未 经 新 华 三 技 术 有限 公 司 同 意 ， 不 得 印 刷 、 销 售 。11 范 围本 标 准 规 定 了 大 数 据 平 台 运 维 职 业 技 能 等 级 对 应 的 工 作 领 域 、 工 作 任 务 及 职业 技 能 要 求 。本 标 准 适 用 于 大 数 据 平 台 运 维 职 业 技 能 培 训 、 考 核 与 评 价 ， 相 关 用 人 单 位 的人 员 聘 用 、 培 训 与 考 核 可 参 照 使 用 。2 规 范 性 引 用 文 件下 列 文 件 对 于 本 标 准 的 应 用 是 必 不 可 少 的 。 凡 是 注 日 期 的 引 用 文 件 ， 仅注 日 期 的 版 本 适 用 于 本 标 准 。 凡 是 不 注 日 期 的 引 用 文 件 ， 其 最 新 版 本 适 用 于本 标 准 。GB/T 35295.2017 信 息 技 术 大 数 据 术 语GB/T 5271.1.2000 信 息 技 术 词 汇 第 1部 分 基 本 术 语3 术 语 和 定 义GB/T 35295.2017、 国 家 、 行 业 标 准 界 定 的 以 及 下 列 术 语 和 定 义 适 用 于 本 标准 。3.1 大 数 据 Big Data具 有 体 量 巨 大 、 来 源 多 样 、 生 成 极 快 、 且 多 变 等 特 征 并 且 难 以 用 传 统 数 据 体系 结 构 有 效 处 理 的 包 含 大 量 数 据 集 的 数 据 。注 国 际 上 ， 大 数 据 的 4个 特 征 普 遍 不 加 修 饰 地 直 接 用 volume、 variety、velocity和 variability予 以 表 述 ， 并 分 别 赋 予 了 它 们 在 大 数 据 语 境 下 的 定 义 体 量 volume 构 成 大 数 据 的 数 据 集 的 规 模 。多 样 性 variety 数 据 可 能 来 自 多 个 数 据 仓 库 、 数 据 领 域 或 多 种 数 据 类 型 。速 度 velocity 单 位 时 间 的 数 据 流 量 。2多 变 性 variability 大 数 据 其 他 特 征 ， 即 体 量 、 速 度 和 多 样 性 等 特 征 都 处于 多 变 状 态 。3.2 大 数 据 系 统 Big Data System实 现 大 数 据 参 考 体 系 结 构 的 全 部 或 部 分 功 能 的 系 统 。3.3 大 数 据 服 务 Big Data Service基 于 大 数 据 参 考 体 系 结 构 提 供 的 数 据 服 务 。3.4 集 群 Cluster集 群 就 是 一 组 计 算 机 ， 它 们 作 为 一 个 整 体 向 用 户 提 供 一 组 网 络 资 源 和 服 务 ，这 些 单 个 的 计 算 机 系 统 就 是 集 群 的 节 点 （ node） 。 集 群 具 有 可 扩 展 性 、 高 可 用 性 、负 载 均 衡 及 错 误 恢 复 的 关 键 特 性 。3.5 虚 拟 Virtual用 来 修 饰 一 种 功 能 单 元 ， 它 看 起 来 是 实 际 的 ， 但 其 功 能 是 通 过 其 他 手 段 得 以实 现 的 。3.6 虚 拟 机 Virtual Machine， VM（ 缩 写 词 ）一 种 虚 拟 的 数 据 处 理 系 统 ， 它 看 起 来 是 在 某 个 特 定 用 户 的 独 占 使 用 下 ， 但 其功 能 是 通 过 共 享 真 实 数 据 处 理 系 统 的 各 种 资 源 得 以 实 现 的 。3.7 网 络 功 能 虚 拟 化 Network Function Virtualization对 路 由 器 /路 由 选 择 、 周 界 防 护 、 远 程 访 问 鉴 别 以 及 网 络 流 量 /载 荷 监 控 等 网络 功 能 的 虚 拟 应 用 实 现 。注 网 络 功 能 虚 拟 化 支 持 信 息 系 统 的 高 弹 性 、 容 错 和 资 源 管 理 ， 是 应 对 大 数据 巨 大 数 据 体 量 下 用 户 数 据 连 接 的 峰 、 谷 起 伏 问 题 的 至 关 重 要 的 应 用 。3.8 本 地 虚 拟 化 Native Virtualization3大 数 据 环 境 下 的 一 种 虚 拟 化 基 本 形 式 ， 按 此 种 形 式 ， 在 本 地 裸 机 上 运 行 管 理程 序 ， 该 程 序 管 理 由 操 作 系 统 和 应 用 组 成 的 多 个 虚 拟 机 。3.9 主 机 虚 拟 化 Hosted Virtualization大 数 据 环 境 下 的 一 种 虚 拟 化 基 本 形 式 ， 按 此 种 形 式 ， 在 本 地 裸 机 上 运 行 操 作系 统 ， 在 驻 留 客 户 操 作 系 统 和 应 用 的 顶 层 运 行 管 理 程 序 。3.10 数 据 治 理 Data Governance对 数 据 进 行 处 置 、 格 式 化 和 规 范 化 的 过 程 。注 1 数 据 治 理 是 数 据 和 数 据 系 统 管 理 的 基 本 要 素 。注 2 数 据 治 理 及 数 据 全 生 命 周 期 管 理 ， 无 论 数 据 是 处 于 静 态 、 动 态 、 未 完成 状 态 还 是 交 易 状 态 。3.11 链 接 数 据 Linked Data连 接 其 他 数 据 的 数 据 。3.12 分 析 Analytics根 据 信 息 合 成 知 识 的 过 程 。3.13 资 源 协 商 Resource Negotiation一 种 支 持 多 租 户 以 及 要 求 高 可 用 性 和 低 延 迟 的 环 境 的 资 源 访 问 模 式 。注 按 此 模 式 ， 资 源 管 理 器 是 若 干 节 点 管 理 器 的 集 线 器 ； 各 个 客 户 （ 或 用 户 ）依 次 请 求 节 点 管 理 器 中 的 应 用 管 理 器 ， 紧 接 前 一 个 请 求 者 的 后 一 个 请 求 者 分 配 到同 一 个 或 不 同 的 节 点 管 理 器 的 应 用 管 理 器 。 根 据 中 央 处 理 器 （ CPU） 和 存 储 器 可用 情 况 为 所 请 求 的 任 务 确 定 先 后 次 序 并 在 节 点 提 供 适 当 的 处 理 资 源 。3.14 集 群 管 理 Cluster Management在 以 非 关 系 模 型 方 式 驻 留 数 据 的 集 群 资 源 之 间 提 供 通 信 的 一 种 机 制 。43.15 数 据 处 理 Data Processing数 据 操 作 的 系 统 执 行 。注 术 语 “ 数 据 处 理 ” 不 能 用 作 “ 信 息 处 理 ” 的 同 义 词 。3.16 数 据 管 理 Data Management在 数 据 处 理 系 统 中 ， 提 供 对 数 据 的 访 问 ， 执 行 或 监 视 数 据 的 存 储 ， 以 及 控 制输 入 输 出 操 作 等 功 能 。3.17 数 据 挖 掘 Data Mining从 大 量 的 数 据 中 通 过 算 法 搜 索 隐 藏 于 其 中 信 息 的 过 程 。注 一 般 通 过 包 括 统 计 、 在 线 分 析 处 理 、 情 报 检 索 、 机 器 学 习 、 专 家 系 统 （ 依靠 过 去 的 经 验 法 则 ） 和 模 式 识 别 等 方 法 来 实 现 。3.18 数 据 中 心 Data Center由 计 算 机 场 站 （ 机 房 ） 、 机 房 基 础 设 施 、 信 息 系 统 硬 件 （ 物 理 和 虚 拟 资 源 ） 、信 息 系 统 软 件 、 信 息 资 源 （ 数 据 ） 和 人 员 以 及 相 应 的 规 章 制 度 组 成 的 组 织 。3.19 数 据 可 视 化 Data Visualization借 助 图 形 化 手 段 ， 清 晰 有 效 地 传 达 与 沟 通 信 息 ， 是 关 于 数 据 视 觉 表 现 形 式 的科 学 技 术 研 究 。3.20 数 据 平 台 框 架 Data Plat Framework用 于 指 导 实 现 结 合 相 关 应 用 编 程 接 口 （ API） 访 问 的 逻 辑 数 据 组 织 和 分 发 的集 合 。注 1 此 类 框 架 一 般 还 包 含 数 据 注 册 和 连 同 语 义 数 据 描 述 （ 如 格 式 化 本 体 和分 类 ） 的 元 数 据 服 务 。 逻 辑 数 据 组 织 的 覆 盖 范 围 从 简 单 限 定 的 平 面 文 件 到 完 全 分布 式 关 系 数 据 存 储 或 分 栏 数 据 存 储 。5注 2 这 是 大 数 据 框 架 提 供 者 可 能 提 供 的 一 种 框 架 。3.21 配 置 Configuration信 息 处 理 系 统 中 的 硬 件 和 软 件 组 织 和 互 连 起 来 的 方 式 。3.22 下 载 To Download将 程 序 或 数 据 从 一 个 计 算 机 传 送 到 与 之 相 连 的 资 源 较 少 的 计 算 机 上 ， 通 常 是从 主 计 算 机 传 到 个 人 计 算 机 上 。3.23 上 载 To Up Load将 程 序 或 数 据 从 一 个 与 之 相 连 的 计 算 机 传 送 到 一 个 资 源 较 多 的 计 算 机 上 ， 通常 是 从 个 人 计 算 机 传 到 主 计 算 机 上 。3.24 接 口 Interface两 个 功 能 单 元 共 享 的 边 界 ， 它 由 各 种 特 征 （ 如 ， 功 能 、 物 理 连 接 、 信 号 交 换等 ） 来 定 义 。3.25 软 件 工 程 Software Engineering将 科 技 知 识 、 方 法 和 经 验 系 统 地 应 用 到 软 件 的 设 计 、 实 现 、 测 试 和 文 档 编 制中 ， 以 优 化 软 件 的 生 产 、 技 术 支 持 和 质 量 。3.26 数 据 科 学 Data Science根 据 原 始 数 据 ， 经 过 整 个 数 据 生 存 周 期 过 程 凭 借 经 验 合 成 可 用 行 动 的 知 识 的一 种 科 学 。64 对 应 院 校 专 业中 等 职 业 学 校 计 算 机 应 用 、 计 算 机 网 络 技 术 、 网 站 建 设 与 管 理 、 软 件 与 信息 服 务 等 专 业 。高 等 职 业 学 校 计 算 机 应 用 技 术 （ 大 数 据 技 术 应 用 方 向 ） 、 计 算 机 网 络 技 术 、软 件 技 术 、 软 件 与 信 息 服 务 、 电 子 商 务 技 术 （ 网 络 数 据 分 析 应 用 方 向 ） 、 大 数 据技 术 与 应 用 等 专 业 。应 用 型 本 科 学 校 计 算 机 科 学 与 技 术 、 软 件 工 程 、 网 络 工 程 、 数 据 科 学 与 大数 据 技 术 等 专 业 。5 面 向 工 作 岗 位 （ 群 ）【 大 数 据 平 台 运 维 】 （ 初 级 ） 主 要 面 向 大 数 据 平 台 安 装 配 置 、 大 数 据 组 件 安装 配 置 、 大 数 据 平 台 基 础 实 施 、 大 数 据 平 台 简 单 维 护 及 监 控 工 作 岗 位 。 从 事 虚 拟化 软 件 安 装 与 使 用 、 基 于 Linux 系 统 的 常 用 服 务 安 装 配 置 、 安 装 配 置 及 运 行Hadoop 集 群 、 安 装 配 置 及 运 行 核 心 组 件 、 执 行 客 户 大 数 据 平 台 实 施 方 案 、 监 控大 数 据 平 台 运 行 状 态 、 查 看 管 理 大 数 据 平 台 日 志 信 息 、 监 控 大 数 据 平 台 服 务 和 资源 状 态 等 工 作 ， 掌 握 大 数 据 平 台 安 装 和 配 置 方 法 ， 理 解 Hadoop 核 心 组 件 的 功 能及 工 作 原 理 ， 掌 握 关 键 组 件 安 装 配 置 方 法 ， 理 解 大 数 据 平 台 实 施 流 程 ， 熟 悉 常 用集 群 监 控 工 具 的 使 用 方 法 。【 大 数 据 平 台 运 维 】 （ 中 级 ） 主 要 面 向 大 数 据 平 台 高 可 用 性 部 署 实 施 、 大 数据 组 件 维 护 及 使 用 、 大 数 据 平 台 维 护 及 大 数 据 平 台 优 化 等 工 作 岗 位 。 从 事 Hadoop高 可 用 集 群 部 署 及 配 置 、 Hadoop 组 件 维 护 及 使 用 、 Hadoop 集 群 节 点 管 理 及 维 护 、大 数 据 平 台 故 障 诊 断 及 维 护 等 工 作 ， 掌 握 高 可 用 集 群 Hadoop 配 置 方 法 ， 熟 练 使用 shell， 掌 握 Hadoop 集 群 节 点 及 其 服 务 的 增 删 改 等 基 本 操 作 方 法 ， 熟 悉 常 用7系 统 性 能 诊 断 工 具 及 集 群 监 控 管 理 工 具 ， 能 独 立 排 查 和 解 决 大 数 据 平 台 常 见 问 题 ，优 化 集 群 性 能 。【 大 数 据 平 台 运 维 】 （ 高 级 ） 主 要 面 向 大 数 据 平 台 规 划 、 大 数 据 平 台 安 全 管理 、 大 数 据 平 台 资 源 管 理 、 大 数 据 平 台 优 化 及 升 级 等 工 作 岗 位 。 从 事 大 数 据 集 群软 硬 件 配 置 方 案 拟 定 、 Hadoop 架 构 方 案 设 计 、 Hadoop 组 件 部 署 方 案 规 划 、 Hadoop安 全 机 制 规 划 与 实 现 、 大 数 据 平 台 资 源 配 置 及 管 理 、 大 数 据 平 台 优 化 拓 展 与 升 级等 工 作 ， 熟 练 运 用 shell 进 行 平 台 运 维 ， 熟 练 掌 握 Hadoop 生 态 圈 组 件 的 工 作 原理 和 使 用 方 法 ， 掌 握 Hadoop 集 群 的 安 全 管 理 机 制 和 方 法 ， 熟 悉 Hadoop 资 源 配 置和 管 方 法 ， 掌 握 大 数 据 平 台 优 化 策 略 和 方 法 ， 熟 练 Hadoop 集 群 软 硬 件 升 级 方 法和 操 作 。6 职 业 技 能 要 求6.1 职 业 技 能 等 级 划 分大 数 据 平 台 运 维 职 业 技 能 等 级 分 为 三 个 等 级 初 级 、 中 级 、 高 级 ， 三 个 级 别依 次 递 进 ， 高 级 别 涵 盖 低 级 别 职 业 技 能 要 求 。6.2 职 业 技 能 等 级 要 求 描 述表 1 大 数 据 平 台 运 维 职 业 技 能 等 级 要 求 （ 初 级 ）工 作 领 域 工 作 任 务 职 业 技 能 要 求1. 大 数 据 平台 安 装 1.1 能 安 装 和 使 用 虚 拟化 软 件 1.1.1 能 安 装 虚 拟 化 软 件1.1.2 能 使 用 虚 拟 化 软 件1.2 能 使 用 虚 拟 化 软 件安 装 Linux 操 作 系 统 1.2.1能 使 用 虚 拟 化 软 件 安 装 Linux操 作 系 统1.3 能 安 装 Linux SSH 服务 1.3.1 能 下 载 Linux SSH 服 务1.3.2 能 安 装 Linux SSH 服 务81.4 能 安 装 Linux JDK 1.4.1 能 熟 练 安 装 Linux JDK1.4.2 能 熟 练 配 置 JDK 环 境 变 量1.5能 在 Linux 系 统 中 安装 Hadoop 1.5.1 能 熟 练 下 载 Hadoop 安 装 包1.5.2 能 熟 练 安 装 完 全 分 布 式 模 式Hadoop2. 大 数 据 平台 配 置 2.1 能 配 置 主 机 的 网 络属 性 2.1.1 能 熟 练 配 置 主 机 网 络 IP2.1.2 能 熟 练 配 置 主 机 网 络 DNS2.1.3 能 熟 练 配 置 主 机 名2.2 能 配 置 集 群 的 网 络连 通 2.2.1 能 配 置 集 群 局 域 网 络 连 通2.3 能 配 置 集 群 主 机 之间 SSH 免 密 登 录 2.3.1 能 正 确 生 成 SSH 密 钥 对2.3.2 能 正 确 配 置 SSH 认 证 文 件2.4 能 配 置 Hadoop 文 件参 数 2.4.1 能 正 确 配 置 hdfs.site.xml文 件 参 数2.4.2 能 正 确 配 置 core.site.xml文 件 参 数2.4.3能 正 确 配 置 mapred.site.xml文 件 参 数2.4.4 能 正 确 配 置 yarn.site.xml文 件 参 数2.5 能 启 停 Hadoop 集 群 2.5.1 能 正 确 启 动 和 停 止 Hadoop 集群2.5.2 能 查 看 Hadoop 集 群 启 动 进 程3. 大 数 据 平台 组 件 安 装配 置 3.1能 安 装 配 置 HBase 组件 3.1.1 能 熟 练 安 装 HBase 组 件3.1.2 能 熟 练 配 置 HBase 组 件3.2 能 安 装 配 置 Hive 组件 3.2.1 能 熟 练 安 装 Hive 组 件3.2.2 能 熟 练 配 置 Hive 组 件93.3 能 安 装 配 置Zookeeper 组 件 3.3.1 能 熟 练 安 装 Zookeeper 组 件3.3.2 能 熟 练 配 置 Zookeeper 组 件3.4能 安 装 配 置 Sqoop 组件 3.4.1 能 熟 练 安 装 Sqoop 组 件3.4.2 能 熟 练 配 置 Sqoop 组 件3.5能 安 装 配 置 Flume 组件 3.5.1 能 熟 练 安 装 Flume 组 件3.5.2 能 熟 练 配 置 Flume 组 件4. 大 数 据 平台 实 施 4.1 能 理 解 客 户 的 大 数据 平 台 实 施 方 案 4.1.1 能 正 确 理 解 客 户 需 求4.1.2 能 理 解 客 户 大 数 据 平 台 实 施方 案4.2 能 执 行 客 户 大 数 据平 台 实 施 方 案 4.2.1 能 按 要 求 正 确 执 行 客 户 大 数据 平 台 实 施 方 案4.3 能 制 定 客 户 培 训 方案 4.3.1 能 使 用 文 档 制 作 工 具4.3.2 能 制 定 客 户 培 训 方 案4.4 能 培 训 客 户 使 用 大数 据 平 台 4.4.1 能 操 作 客 户 大 数 据 平 台4.4.2 能 培 训 客 户 使 用 大 数 据 平 台4.5 能 解 决 培 训 中 大 数据 平 台 出 现 的 问 题 4.5.1 能 解 决 培 训 中 大 数 据 平 台 出现 的 问 题5. 大 数 据 平台 监 控 5.1 能 监 控 大 数 据 平 台的 运 行 状 态 5.1.1 能 熟 练 使 用 集 群 监 控 工 具 监控 大 数 据 平 台 的 运 行 状 态5.2 能 监 控 大 数 据 平 台的 资 源 状 态 5.2.1 能 熟 练 使 用 集 群 监 控 工 具 监控 大 数 据 平 台 的 资 源 状 态5.3 能 查 看 大 数 据 平 台的 告 警 信 息 5.3.1 能 熟 练 使 用 集 群 监 控 工 具 查看 大 数 据 平 台 的 告 警 信 息5.4 能 查 看 大 数 据 平 台的 服 务 状 态 5.4.1 能 熟 练 使 用 集 群 监 控 工 具 查看 大 数 据 平 台 的 服 务 状 态5.5 能 查 看 大 数 据 平 台的 日 志 信 息 5.5.1 能 熟 练 使 用 集 群 监 控 工 具 查看 大 数 据 平 台 的 日 志 信 息1 0表 2 大 数 据 平 台 运 维 职 业 技 能 等 级 要 求 （ 中 级 ）工 作 领 域 工 作 任 务 职 业 技 能 要 求1. 大 数 据 平台 高 可 用 部署 1.1 能 配 置 集 群 主 机 之间 时 钟 同 步 1.1.1 能 配 置 集 群 主 机 之 间 时 钟 同步1.2 能 配 置 高 可 用Zookeeper 集 群 1.2.1 能 配 置 高 可 用 Zookeeper 集群1.3 能 配 置 高 可 用 集 群Hadoop 文 件 参 数 1.3.1 能 正 确 配 置 高 可 用 集 群Hadoop 文 件 参 数1.4 能 启 动 初 始 化JournalNode 服 务 1.4.1 能 启 动 JournalNode 服 务1.4.2 能 初 始 化 JournalNode 服 务1.5 能 启 动 高 可 用 集 群 1.5.1 能 启 动 高 可 用 集 群1.5.2 能 验 证 启 动 后 的 高 可 用 集 群运 行 正 常1.6 能 配 置 高 可 用 集 群HDFS 自 动 切 换 模 式 1.6.1 能 正 确 配 置 高 可 用 集 群 HDFS自 动 切 换 模 式2. 大 数 据 组件 维 护 2.1 能 维 护 HBase 组 件 2.1.1 能 删 除 HBase 组 件2.1.2 能 修 改 HBase 组 件2.2 能 维 护 Hive 组 件 2.2.1 能 删 除 Hive 组 件2.2.2 能 修 改 Hive 组 件2.3能 维 护 Zookeeper组件 2.3.1 能 删 除 Zookeeper 组 件2.3.2 能 修 改 Zookeeper 组 件2.4 能 维 护 Sqoop 组 件 2.4.1 能 删 除 Sqoop 组 件2.4.2 能 修 改 Sqoop 组 件2.5 能 维 护 Flume 组 件 2.5.1 能 删 除 Flume 组 件2.5.2 能 修 改 Flume 组 件3． 大 数 据 平台 维 护 3.1 能 增 加 和 删 除 集 群节 点 3.1.1 能 正 确 增 加 集 群 节 点3.1.2 能 正 确 删 除 集 群 节 点1 13.2 能 维 护 集 群 主 机 的内 存 和 磁 盘 3.2.1 能 维 护 集 群 主 机 内 存3.2.2 能 维 护 集 群 主 机 磁 盘3.3 能 维 护 集 群 网 络 3.3.1 能 维 护 集 群 主 机 网 络3.3.2 能 维 护 集 群 局 域 网 络3.4 能 维 护 集 群文 件 系 统 3.4.1 能 维 护 集 群 主 机 文 件 系 统3.4.2 能 维 护 集 群 文 件 系 统3.5 能 维 护 集 群 数 据 库 3.5.1 能 维 护 集 群 数 据 库4． 大 数 据 平台 优 化 4.1能 优 化 Linux系 统 参数 4.1.1 能 优 化 Linux 系 统 的 内 存4.1.2 能 优 化 Linux 系 统 网 络4.1.3 能 优 化 Linux 系 统 磁 盘4.1.4 能 优 化 Linux 文 件 系 统4.1.5 能 优 化 Linux 系 统 缓 冲 区4.2 能 优 化 HDFS 配 置 参数 4.2.1 能 调 整 优 化 HDFS 配 置 文 件 中的 参 数4.3能 优 化 MapReduce配置 参 数 4.3.1 能 调 整 优 化 MapReduce 配 置文 件 中 的 参 数4.4 能 优 化 YARN 配 置 参数 4.4.1 能 调 整 优 化 YARN 配 置 文 件 中的 参 数5． 大 数 据 平台 诊 断 5.1 能 诊 断 HDFS 负 载 均衡 问 题 5.1.1 能 对 单 节 HDFS 负 载 均 衡 进 行诊 断5.1.2 能 对 集 群 HDFS 负 载 均 衡 进 行诊 断5.2能 诊 断 MapReduce负载 均 衡 问 题 5.2.1 能 对 单 节 点 MapReduce 负 载均 衡 进 行 诊 断5.2.2 能 对 集 群 MapReduce 负 载 均衡 进 行 诊 断1 25.3 能 诊 断 集 群 节 点 故障 问 题 5.3.1 能 使 用 集 群 日 志 对 节 点 故 障进 行 诊 断5.3.2 能 使 用 集 群 告 警 信 息 诊 断 节点 故 障5.4 能 诊 断 集 群 组 件 服务 故 障 问 题 5.4.1 能 使 用 集 群 日 志 诊 断 组 件 服务 故 障 问 题5.4.2 能 使 用 集 群 告 警 信 息 诊 断 组件 服 务 故 障 问 题表 3 大 数 据 平 台 运 维 职 业 技 能 等 级 要 求 （ 高 级 ）工 作 领 域 工 作 任 务 职 业 技 能 要 求1. 大 数 据 平台 规 划 1.1 能 选 择 集 群 服 务 器 硬件 设 备 1.1.1 能 正 确 选 择 处 理 器 、 内 存 、 硬盘 、 网 卡 和 交 换 机 设 备1.1.2 能 合 理 制 定 集 群 硬 件 配 置 方案1.2能 规 划 Hadoop集 群 网络 1.2.1 能 熟 练 设 计 大 数 据 集 群 网 络方 案1.2.2 能 熟 练 规 划 交 换 机 高 可 用 方案1.3能 设 计 Hadoop平 台 架构 方 案 1.3.1 能 熟 练 规 划 Hadoop 集 群 节 点高 可 用 方 案1.3.2 能 熟 练 规 划 Hadoop 集 群 容 量方 案1.3.3 能 熟 练 规 划 Hadoop 选 型 方 案1.4能 规 划 Hadoop组 件 部署 方 案 1.4.1 能 合 理 选 择 Hadoop 集 群 需 要的 组 件1.4.2 能 合 理 选 择 Hadoop 集 群 组 件的 版 本1 31.5 理 解 Hadoop 生 态 圈 1.5.1 能 深 入 理 解 Hadoop 生 态 组 件的 工 作 原 理2． 大 数 据 平台 安 全 管 理 2.1能 实 现 Hadoop安 全 模型 2.1.1 能 熟 练 使 用 Kerberos 安 全 认证 协 议2.1.2 能 熟 练 实 现 Hadoop Kerberos安 全 模 型2.2能 实 现 HDFS安 全 机 制 2.2.1 能 熟 练 使 用 HDFS 的 各 类 令 牌2.2.2 能 熟 练 使 用 HDFS 令 牌 管 理HDFS 安 全2.3 能 实 现 MapReduce 安全 机 制 2.3.1 能 熟 练 使 用 MapReduce 的 各类 令 牌2.3.2 能 熟 练 使 用 MapReduce 令 牌管 理 MapReduce 安 全2.4能 实 现 YARN安 全 机 制 2.4.1 能 熟 练 使 用 Yarn 的 各 类 令 牌2.4.2 能 熟 练 使 用 Yarn 令 牌 管 理Yarn 安 全2.5能 实 现 Hadoop上 层 服务 的 安 全 机 制 2.5.1 能 熟 练 添 加 Hadoop 组 件 的 控制 权 限2.5.2 能 熟 练 修 改 Hadoop 组 件 的 控制 权 限3． 大 数 据 平台 资 源 管 理 3.1 能 配 置 静 态 服 务 池 管理 资 源 3.1.1 能 熟 练 配 置 静 态 服 务 池3.1.2 能 熟 练 查 看 静 态 服 务 池 状 态3.1.3 能 熟 练 使 用 静 态 服 务 池 管 理和 隔 离 资 源3.2 能 配 置 动 态 资 源 池 管理 资 源 3.2.1 能 熟 练 配 置 动 态 资 源 池3.2.2 能 熟 练 使 用 动 态 资 源 池 管 理资 源1 43.3 能 使 用 公 平 调 度 器 管理 资 源 3.3.1 能 熟 练 配 置 公 平 调 度 器3.3.2 能 熟 练 使 用 公 平 调 度 器 合 理调 度 资 源3.4 能 使 用 容 量 调 度 器 管理 资 源 3.4.1 能 熟 练 配 置 容 量 调 度 器3.4.2 能 熟 练 使 用 调 度 器 合 理 调 度资 源4． 大 数 据 平台 优 化 4.1能 优 化 Hadoop实 现 机制 4.1.1 能 优 化 Hadoop 调 度 延 迟 高 的问 题4.1.2 能 优 化 Hadoop 可 移 植 性 低 的问 题4.2能 实 现 Hadoop机 架 感知 策 略 4.2.1 能 设 计 Hadoop 机 架 感 知 方 案4.2.2 能 熟 练 配 置 Hadoop 机 架 感 知功 能4.3能 优 化 Hadoop应 用 程序 4.3.1 能 减 少 大 量 小 文 件 输 入4.3.2 能 合 理 使 用 分 布 式 缓 存4.3.3 能 合 理 重 用 写 数 据 类 型4.4能 优 化 Hadoop组 件 性能 4.4.1 能 实 现 HDFS 集 中 化 缓 存 管 理4.4.2 能 熟 练 优 化 MapReduce 调 度参 数4.4.3 能 熟 练 优 化 Yarn 内 存 配 置5． 大 数 据 平台 升 级 5.1 能 升 级 大 数 据 硬 件 设备 5.1.1 能 熟 练 升 级 大 数 据 平 台 处 理器 、 内 存 、 硬 盘 、 网 络 、 交 换 机 设备5.2 能 升 级 大 数 据 平 台 至高 版 本 5.2.1 能 熟 练 升 级 Hadoop 集 群 中 的HDFS 配 置 至 高 版 本5.2.2 能 熟 练 升 级 Hadoop 集 群 中 的MapReduce 配 置 至 高 版 本5.2.3 能 快 速 验 证 升 级 后 的 Hadoop集 群 运 行 正 常1 55.3能 升 级 Hadoop组 件 至高 版 本 5.3.1 能 熟 练 升 级 Hadoop 组 件 至 高版 本5.3.2 能 快 速 验 证 升 级 后 的 Hadoop组 件 运 行 正 常5.4 能 拓 展 大 数 据 平 台 架构 5.4.1 能 对 原 有 大 数 据 平 台 架 构 进行 拓 展1 6参 考 文 献[1] 国 务 院 关 于 促 进 云 计 算 创 新 发 展 培 育 信 息 产 业 新 业 态 的 意 见[2] 中 等 职 业 学 校 专 业 目 录 （ 征 求 意 见 稿 ）[3] 普 通 高 等 学 校 高 等 职 业 教 育 （ 专 科 ） 专 业 目 录 及 专 业 简 介 （ 截 至 2018年 ）[4] 普 通 高 等 学 校 本 科 专 业 目 录 （ 2012年 ）[5] 中 等 职 业 学 校 专 业 教 学 标 准 （ 试 行 ）[6] 高 等 职 业 学 校 专 业 教 学 标 准 （ 2018年 ）[7] 本 科 专 业 类 教 学 质 量 国 家 标 准[8] 2019年 全 国 职 业 院 校 技 能 大 赛 GZ-2019032大 数 据 技 术 与 应 用 赛 项 规 程[9] 国 家 职 业 技 能 标 准 编 制 技 术 规 程 （ 2018年 版 ）[10] 中 华 人 民 共 和 国 职 业 分 类 大 典[11] 战 略 性 新 兴 产 业 分 类 （ 2018）[12] GB/T 4754-2017 国 民 经 济 行 业 分 类[13] GB/T 5271.1-2000 信 息 技 术 词 汇 第 1部 分 基 本 术 语[14] GB/T 1.1-2009 标 准 化 工 作 导 则[15] GB/T 35295-2017 信 息 技 术 大 数 据 术 语[16] GB/T 35274-2017 信 息 安 全 技 术 大 数 据 服 务 安 全 能 力 要 求[17] GB/T 35589-2017 信 息 技 术 大 数 据 技 术 参 考 模 型[18] GB/T 36073-2018 数 据 管 理 能 力 成 熟 度 评 估 模 型[19] 大 数 据 安 全 标 准 化 白 皮 书 （ 2018版 ）[20] 大 数 据 标 准 化 白 皮 书 （ 2018版 ）[21] GB/T 37973-2019 信 息 安 全 技 术 大 数 据 安 全 管 理 指 南1 7[22] GB/T 37722-2019 信 息 技 术 大 数 据 存 储 与 处 理 系 统 功 能 要 求[23] GB/T 37721-2019 信 息 技 术 大 数 据 分 析 系 统 功 能 要 求[24] ISO/IEC 20547-4 信 息 技 术 大 数 据 参 考 架 构 第 4 部 分 安 全 与 隐 私 保 护[25] ITU-T Y.3600 大 数 据 基 于 云 计 算 的 要 求 和 能 力