TT Bigdata TT Bigdata
首页
GitHub (opens new window)
JaneTTR

JaneTTR

数据酿造智慧,每一滴都是沉淀!
  • 产品中心

  • 安装与使用

    • Ambari Plus 安装

    • 组件安装

      • 组件安装总览
      • Solr 安装
      • Ranger 安装
      • Knox 安装
      • HDFS 安装
      • YARN 安装
      • MapReduce2 安装
      • Tez 安装
      • Hive 安装
      • Sqoop 安装
      • HBase 安装
      • Kafka 安装
      • Flink 安装
      • Spark 安装
      • Hue 安装
      • Livy 安装
      • Zeppelin 安装
      • DolphinScheduler 安装
      • Doris 安装
      • Celeborn 安装
      • Ozone 安装
        • Ozone 安装
        • 1. 选择 Ozone 服务
        • 2. 分配 Ozone Master 角色
        • 3. 分配 Ozone Datanode
        • 4. 检查 ozone-site 配置
        • 5. 检查 ozone-env 配置
        • 6. Ranger Ozone Plugin 先保持关闭
        • 7. 确认安装清单
        • 8. 等待 Ozone 安装完成
        • 9. 回到服务详情确认实例分布
      • Impala 安装
      • Trino 安装
      • Paimon 安装
      • Hudi 安装
      • Atlas 安装
      • Superset 安装
      • Alluxio 安装
    • 开启高可用

    • 权限与安全专题

    • Ambari Plus Monitor

    • 常见问题

  • 发布与支持

  • 会员与访问

目录
Ozone 安装
1. 选择 Ozone 服务
2. 分配 Ozone Master 角色
3. 分配 Ozone Datanode
4. 检查 ozone-site 配置
5. 检查 ozone-env 配置
6. Ranger Ozone Plugin 先保持关闭
7. 确认安装清单
8. 等待 Ozone 安装完成
9. 回到服务详情确认实例分布

Ozone 安装1.4.1

# Ozone 安装

Ozone 是 Hadoop 生态里的对象存储服务,可以同时承接对象存储、桶、卷和 S3 Gateway 这类场景。前面已经安装了 HDFS、Hive、Spark、Doris、Celeborn 等组件,这时补 Ozone,后续就可以把对象存储、S3 访问和湖仓组件接入放到同一套 Ambari Plus 集群里管理。

本篇继续使用三台 FQDN 主机:

主机 Ozone 角色
hadoop1.test.com OZONE_OM、OZONE_SCM、OZONE_DATANODE
hadoop2.test.com OZONE_RECON、OZONE_DATANODE
hadoop3.test.com OZONE_S3G、OZONE_DATANODE

这里把 OM 和 SCM 放在 hadoop1.test.com,Recon 放在 hadoop2.test.com,S3 Gateway 放在 hadoop3.test.com,Datanode 覆盖三台主机。教程环境这样分配比较清晰:控制面、观测入口、S3 入口和数据节点都能单独看。

注意

Ozone 涉及元数据目录、Datanode 数据目录、SCM 地址、OM 地址和 Kerberos principal。安装前最好先确认主机名已经统一为 FQDN,例如 hadoop1.test.com,不要在配置里混用短主机名、公网地址和内网地址。

# 1. 选择 Ozone 服务

进入 服务与组件,点击 新增服务,在服务列表里勾选 Ozone。

选择 Ozone 服务

本篇只安装 Ozone。Ozone 的角色虽然不算特别多,但它会一次性涉及 OM、SCM、Recon、S3G 和 Datanode,单独安装更容易确认每个角色落在哪台主机上。

# 2. 分配 Ozone Master 角色

Master 分配页里会出现 OZONE_OM、OZONE_RECON、OZONE_S3G 和 OZONE_SCM。

分配 Ozone Master 角色

本次分配如下:

组件 主机 说明
OZONE_OM hadoop1.test.com Ozone Manager,负责卷、桶、Key 等命名空间元数据。
OZONE_SCM hadoop1.test.com Storage Container Manager,负责容器、Pipeline 和 Datanode 管理。
OZONE_RECON hadoop2.test.com Recon Server,提供 Ozone 观测、元数据分析和辅助排查入口。
OZONE_S3G hadoop3.test.com S3 Gateway,对外提供 S3 兼容访问入口。

教程环境里 OM 和 SCM 放在同一台主节点,Recon 和 S3G 分开看。生产环境如果要做高可用,需要再单独规划 OM HA、SCM HA、证书、负载均衡和网关访问域名。

# 3. 分配 Ozone Datanode

Slave 分配页只有 OZONE_DATANODE,右侧会提示没有 Client 组件。

分配 Ozone Datanode

本次把 Datanode 分配到三台主机:

组件 分配主机 说明
OZONE_DATANODE hadoop1.test.com、hadoop2.test.com、hadoop3.test.com 存放 Ozone 容器数据,承接实际数据读写。

Ozone 没有独立 Client 分配步骤,本页直接下一步即可。Datanode 的磁盘目录后面要重点确认,不建议把对象存储数据长期放在系统盘。

# 4. 检查 ozone-site 配置

进入自定义配置页后,先看 ozone-site。这部分是 Ozone 最核心的配置,主要控制 OM、SCM、Recon、S3G、Datanode 地址和目录。

检查 ozone-site 配置

本篇环境里重点确认下面几项:

配置项 本次示例值 说明
ozone.om.address hadoop1.test.com:9862 OM RPC 地址。
ozone.om.http-address hadoop1.test.com:9874 OM Web 地址。
ozone.scm.client.address hadoop1.test.com:9860 SCM Client RPC 地址。
ozone.scm.datanode.address hadoop1.test.com:9861 Datanode 连接 SCM 的地址。
ozone.scm.http-address hadoop1.test.com:9876 SCM Web 地址。
ozone.recon.address hadoop2.test.com:9891 Recon RPC 地址。
ozone.recon.http-address hadoop2.test.com:9888 Recon Web 地址。
ozone.s3g.http-address hadoop3.test.com:9878 S3 Gateway HTTP 地址。
ozone.metadata.dirs /ozone/meta Ozone 元数据目录。
hdds.datanode.dir /ozone/disk1 Ozone Datanode 数据目录。

如果你要把数据盘挂到 /data/ozone 之类的目录,最好在安装前就调整好,不要等服务跑起来以后再临时迁移数据目录。

# 5. 检查 ozone-env 配置

ozone-env 里主要看运行环境、日志目录、PID 目录和 headless keytab。

检查 ozone-env 配置

配置项 本次示例值 说明
ozone_log_dir_prefix /var/log/ozone Ozone 服务日志目录。
ozone_pid_dir_prefix /var/run/ozone Ozone 进程 PID 目录。
ozone_principal_name [email protected] Ozone headless principal。
ozone_user_keytab /etc/security/keytabs/ozone.headless.keytab Ozone headless keytab。

安装失败时,我通常会先看 /var/log/ozone 里对应角色的日志,再结合 Ambari 任务日志判断是端口、目录权限、Kerberos 凭据还是服务配置问题。

# 6. Ranger Ozone Plugin 先保持关闭

如果当前目标只是先把 Ozone 服务装起来,ranger-ozone-plugin-properties 可以先保持默认。

Ranger Ozone Plugin 配置

本次页面里 ranger-ozone-plugin-enabled 为 No。这个选择比较适合教程环境:先确认 Ozone 自身能安装、启动、访问,后面再单独写 Ranger Ozone Plugin 的接入和策略验证。

提示

如果你的生产环境已经明确要用 Ranger 管理 Ozone 权限,可以在 Ozone 服务稳定后,再单独开启 Ranger Ozone Plugin,并补充 Ozone 对应的 service repository、策略和审计链路。

# 7. 确认安装清单

确认页会把新增服务、Master 分配、Slave 分配、Client 分配和配置校验集中列出来。

Ozone 安装确认页

本次确认结果如下:

检查项 本次结果
新增服务 OZONE
Master 分配 OZONE_OM -> hadoop1.test.com;OZONE_SCM -> hadoop1.test.com;OZONE_RECON -> hadoop2.test.com;OZONE_S3G -> hadoop3.test.com
Slave 分配 OZONE_DATANODE -> hadoop1.test.com, hadoop2.test.com, hadoop3.test.com
Client 分配 无
配置校验 必填项已填写

确认无误后点击 开始安装。

# 8. 等待 Ozone 安装完成

开启 Kerberos 的集群中,新增 Ozone 时会要求提交 KDC 管理员凭据。这里填写的是 KDC 管理员 Principal 和密码,用于生成并分发 Ozone 相关 principal / keytab。

安装任务会依次完成软件包安装、配置下发、Kerberos 凭据生成和服务启动。

Ozone 安装进度

完成页显示 OZONE 后,就可以返回服务列表。

Ozone 安装完成

如果安装过程中失败,优先展开失败主机的任务日志。Ozone 常见问题主要集中在三类:目录不存在或权限不对、端口被占用、Kerberos principal / keytab 生成失败。

# 9. 回到服务详情确认实例分布

回到 服务与组件 页面,进入 OZONE 详情页,再打开 实例分布。

Ozone 实例分布

页面里可以看到:

主机 运行组件
hadoop1.test.com Ozone Datanode、Ozone Manager、Storage Container Manager
hadoop2.test.com Ozone Datanode、Recon Server
hadoop3.test.com Ozone Datanode、S3G Server

页面显示 3/3、2/2、2/2,说明三台主机上的 Ozone 实例都已经起来。安装完成后如果看到“有配置待生效”,说明后面还有配置刷新或重启窗口要处理;只要服务当前是运行中,通常可以先记录下来,等批量维护时再统一刷新。

常用 Web 入口可以这样记:

入口 地址
OM Web http://hadoop1.test.com:9874/
SCM Web http://hadoop1.test.com:9876/
Recon Web http://hadoop2.test.com:9888/
S3 Gateway http://hadoop3.test.com:9878/

到这里,Ozone 的基础安装完成。下一篇继续安装 Impala,把 Hive Metastore、HDFS 和 Ranger 这条 SQL 查询链路接起来。

#Ozone#Object Storage#S3#Kerberos#Ambari Plus
Celeborn 安装
Impala 安装

← Celeborn 安装 Impala 安装→

最近更新
01
当前版本 2026/08
08-29
02
把 Ambari Server HA 稳稳地跑起来
08-17
03
从一次启用操作追到主备就绪
08-17
更多文章>
Theme by Vdoing | Copyright © 2017-2026 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式