TT Bigdata TT Bigdata
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)

JaneTTR

数据酿造智慧,每一滴都是沉淀!
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)
  • 最小化安装

  • 高可用安装(有难度)

    • Zookeeper
    • Hadoop-Namenode
    • Yarn-ResourceManager
    • Hive
    • Hbase
    • Kafka
    • DolphinScheduler
    • Redis
    • Doris
    • Celeborn
    • Ozone
    • 组件安装
    • 高可用安装(有难度)
    JaneTTR
    2022-12-18
    目录

    Ozone

    # 1.添加 Ozone 服务

    提示

    Ozone 是面向对象的分布式存储系统,兼容 S3 协议,可以作为 HDFS 的补充或替代方案使用。

    在安装完成基础集群(如 HDFS、YARN、ZooKeeper)后,我们可以通过 Ambari 添加 Ozone 服务。

    进入 Ambari 首页,点击 Add Service 按钮:

    点击 add service 按钮

    # 2. 选择 Ozone 服务

    在服务列表中找到 Ozone,勾选它并点击右下角的 Next:

    选择 Ozone 服务

    必选 如果是首次部署建议只勾选一个服务,逐步调试验证。

    # 3. 指定 Master 组件节点

    进入 Master 分配页面后,我们需要指定如下 Ozone 的核心角色:

    组件名 建议节点分布 说明
    Ozone Manager hadoop1、hadoop2、hadoop3 建议3副本 构成高可用集群
    SCM(Storage Container Manager) hadoop1、hadoop2、hadoop3 与 OM 类似,为数据块元数据管理提供高可用
    S3 Gateway(S3G) hadoop2 可提供 S3 接口访问
    Recon Server hadoop2 Web 界面用于 Ozone 状态可视化和诊断

    指定 master 角色

    笔记

    Ozone Manager 和 SCM 都支持 Ratis 协议实现的 Leader 选举和状态同步,因此强烈建议部署为奇数节点的高可用。

    # 4. 分配 Worker 和客户端角色

    继续下一步,为所有节点分配 Datanode 角色。由于 Datanode 承担存储职责,因此建议 每台主机都部署:

    勾选 datanode

    注意 Celeborn Worker 等角色如果已存在也会被列出,不影响本次部署。

    # 5. 核心参数配置

    来到参数配置页面,一般 Ambari 会自动加载推荐配置。

    Ozone 配置界面

    提示

    如果你有特殊的 ozone-site.xml 或日志目录调整需求,可以在这里修改。否则保持默认。

    点击下一步。

    # 6. 检查 Summary 确认部署信息

    核查部署详情:

    Review 页面

    确认无误后点击 Deploy 开始部署。

    # 7. 服务部署过程及完成状态

    部署过程中,可以看到每个节点的安装状态与进度:

    部署中

    部署成功:

    安装完成

    提示

    Ozone 安装完毕后会在 Ambari 首页中显示对应组件。

    回到首页

    # 8. 各组件 Web 界面

    # 8.1 SCM 页面

    SCM 主要负责元数据管理,可查看节点状态与角色:

    访问地址:

    http://hadoop1:9876/
    
    1

    SCM 页面

    # 8.2 Ozone Manager 页面

    OM 页面可查看角色、Leader 选举及持久化路径等信息。

    http://hadoop1:9874/
    
    1

    OM 页面

    # 8.3 Recon 页面(可视化诊断)

    Recon 提供了直观的可视化面板,适合诊断集群数据、Pipeline 分布、容量等信息:

    http://hadoop2:9888/
    
    1

    Recon 界面

    #Ozone#高可用#Hadoop生态
    Celeborn

    ← Celeborn

    最近更新
    01
    Pandoc 缺失导致 SparkR 构建失败
    06-08
    02
    Cyrus SASL/GSASL 缺失解决
    06-07
    03
    Hadoop_3.3.4 编译实战 1.0.0+
    06-06
    更多文章>
    Theme by Vdoing | Copyright © 2017-2025 JaneTTR | MIT License
    • 跟随系统
    • 浅色模式
    • 深色模式
    • 阅读模式