MapReduce2 安装3.3.4
# MapReduce2 安装
MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。
本次 MapReduce2 角色如下:
| 主机 | MapReduce2 角色 |
|---|---|
hadoop1.test.com | MAPREDUCE2_CLIENT |
hadoop2.test.com | HISTORYSERVER、MAPREDUCE2_CLIENT |
hadoop3.test.com | MAPREDUCE2_CLIENT |
# 1. 确认自动纳入依赖
勾选 YARN 后,服务选择页会提示 已自动纳入依赖服务,本次安装会同时处理 YARN、MapReduce2。

这里不要把 MapReduce2 取消掉。YARN 安装完成后,MapReduce2 的 HistoryServer 和客户端也会一起准备好,后面跑 MapReduce 或部分 Hive/Tez 相关检查时更顺。
# 2. 分配 HistoryServer
Master 分配页里,MapReduce2 的 Master 角色是 HISTORYSERVER,本次分配到 hadoop2.test.com。

HISTORYSERVER 用来查看 MapReduce 作业历史。它不需要和 ResourceManager 放在同一台机器上,教程环境里让它落到 hadoop2.test.com,可以和 hadoop1.test.com 上的 ResourceManager 分开。
# 3. 分配 MapReduce2 Client
Slave 与 Client 分配页里,MapReduce2 没有 Slave 进程,只有 MAPREDUCE2_CLIENT。

本次三台都安装 MapReduce2 Client。这样后面在任意节点上执行 MapReduce 示例任务、查看作业、排查 classpath 都比较方便。
# 4. 确认清单和 Kerberos 凭据
确认页会把 MapReduce2 和 YARN 一起列出来:

Kerberos 环境下,安装时同样要提交 KDC 管理员凭据:

这里继续使用:
| 配置项 | 示例值 |
|---|---|
| 管理员 Principal | admin/[email protected] |
| 管理员密码 | Kerberosadmin123 |
# 5. 等待 MapReduce2 Service Check
安装进度页里,除了 YARN 的检查,还会看到 MAPREDUCE2_SERVICE_CHECK。

这里我会重点确认:
| 检查项 | 期望结果 |
|---|---|
HISTORYSERVER | 启动成功 |
MAPREDUCE2_CLIENT | 三台主机安装完成 |
MAPREDUCE2_SERVICE_CHECK | 执行成功 |
| 失败任务 | 0 |
Service Check 通过后,MapReduce2 才算真正可用。只看到 Client 安装完成还不够,因为 HistoryServer 和 YARN/HDFS 联动也要一起过。
# 6. 回到 MapReduce2 服务页
安装向导完成后,进入 MAPREDUCE2 服务详情页。

通过标准:
| 检查项 | 期望结果 |
|---|---|
| 服务状态 | MAPREDUCE2 运行中 |
| 核心实例 | HistoryServer 运行中 |
| Client | 三台主机已安装 |
| 待刷新配置 | 0 |
| 失败请求 | 0 |
MapReduce2 装好后,继续安装 Tez。Tez 会作为后面 Hive 执行引擎的重要依赖。