Yarn安装1.0.0+
# 基于 Ambari 安装 YARN 服务
在本篇文章中,我们将带领大家通过 Ambari 来安装和配置 YARN 服务。Ambari 提供了一个简洁的界面来管理 Hadoop 集群的安装、配置和监控,使用它来进行 YARN 服务安装将大大简化复杂的操作。
# 1. 进入首页
首先,我们需要登录到 Ambari 的管理界面。进入 Ambari 后,点击左侧导航栏中的三个点,弹出菜单中选择 Add Service 按钮。
提示
此时你可以看到各个服务的安装选项,在这里我们选择 YARN 来开始安装。
# 2. 选择 YARN 服务
在弹出的窗口中,我们需要选择 YARN 服务,点击选择后,点击 Next 继续。
注意
YARN 是 Hadoop 中的资源管理和调度服务,它是管理集群资源的关键组件,确保集群中资源得到有效分配。
# 3. 配置 MapReduce2 服务
在此步骤中,系统会提示你需要同时安装 MapReduce2。我们建议点击 OK,Ambari 会自动为你选择该组件,以便顺利安装和运行 MapReduce 作业。
提示
MapReduce2 是一个分布式计算框架,依赖于 YARN 来进行任务调度和资源管理。
# 4. 选择节点并安装
进入下一个页面后,点击 Next 继续。
提示
此时 Ambari 会自动为你选择所需的节点进行安装。你也可以根据实际需求,手动选择需要安装的节点。
# 5. 安装 Client 和 NodeManager 组件
建议在每台机器上安装 Client 和 NodeManager 组件。选择所有节点并点击 Next。
笔记
选择 Client 和 NodeManager 组件可以确保各节点能够正常与 YARN 资源管理器进行交互,保证资源管理和任务调度的正常运行。
# 6. 自定义配置
进入 Customize Services 页面时,你可以跳过配置,直接点击 Next。
注意
如果不需要修改任何默认设置,可以直接跳过此步骤。Customize Services 主要用于配置服务的高级参数,通常情况下,默认配置已足够。
# 7. 配置警告提示
当系统显示如下的警告提示时,你可以暂时忽略,继续点击 Proceed Anyway。
警告
警告信息 通常会指出某些配置超出了推荐范围,特别是内存相关设置。你可以选择忽略这些警告,待安装完成后再进行调整。
Type | Service | Property | Current Value | Description |
---|---|---|---|---|
Warning | YARN | yarn.scheduler.maximum-allocation-mb | 24576 | Values greater than 5120 MB are not recommended. The maximum allocation for every container request at the RM, in MBs. |
Warning | MapReduce2 | mapreduce.map.memory.mb | 6144 | Values greater than 5 GB are not recommended. Virtual memory for single Map task. |
Warning | MapReduce2 | mapreduce.reduce.memory.mb | 6144 | Values greater than 5 GB are not recommended. Virtual memory for single Reduce task. |
Warning | MapReduce2 | yarn.app.mapreduce.am.resource.mb | 6144 | Values greater than 5 GB are not recommended. The amount of memory the MR AppMaster needs. |
# 8. 查看即将进行的操作
接下来,系统会展示即将执行的操作。点击 Next 继续。
提示
在此步骤中,系统会展示即将执行的操作,确认无误后点击 Next。
# 9. 安装过程
这时会出现安装进度条,稍等片刻,系统会开始安装相关服务。
笔记
安装过程可能需要一些时间,请耐心等待。安装完成后,YARN 服务将会启动,并为 Hadoop 集群提供资源管理。
# 10. 安装成功
几分钟后,安装完成页面会弹出,点击 Next。
提示
当显示安装成功的页面时,表示 YARN 服务已经安装完毕,可以继续进行后续的配置或启动操作。
# 11. 完成安装
在确认安装情况后,点击 Complete,系统将跳转到首页。
警告
安装完成后,务必确认所有服务已经成功启动。若出现异常,检查日志文件以确保安装没有遗漏或错误。
# 12. 查看资源状态
点击右侧的超链接可以查看 Yarn 资源的详细状态。在浏览器中访问 http://192.168.3.1:8088/cluster
,可以查看如下页面。
提示
访问 http://192.168.3.1:8088/cluster
来查看资源管理情况,确保所有节点都在正常运行。如果页面未加载,可能是服务尚未完全启动。