TT Bigdata TT Bigdata
首页
GitHub (opens new window)
JaneTTR

JaneTTR

数据酿造智慧,每一滴都是沉淀!
  • 产品中心

  • 安装与使用

    • Ambari Plus 安装

    • 组件安装

      • 组件安装总览
        • 组件安装总览
        • 推荐安装顺序
        • 开始安装前再确认一次
      • Solr 安装
      • Ranger 安装
      • Knox 安装
      • HDFS 安装
      • YARN 安装
      • MapReduce2 安装
      • Tez 安装
      • Hive 安装
      • Sqoop 安装
      • HBase 安装
      • Kafka 安装
      • Flink 安装
      • Spark 安装
      • Hue 安装
      • Livy 安装
      • Zeppelin 安装
      • DolphinScheduler 安装
      • Doris 安装
      • Celeborn 安装
      • Ozone 安装
      • Impala 安装
      • Trino 安装
      • Paimon 安装
      • Hudi 安装
      • Atlas 安装
      • Superset 安装
      • Alluxio 安装
    • 开启高可用

    • 权限与安全专题

    • Ambari Plus Monitor

    • 常见问题

  • 发布与支持

  • 会员与访问

目录
组件安装总览
推荐安装顺序
开始安装前再确认一次

组件安装总览

# 组件安装总览

Ambari Plus 的组件安装不能只看“能不能点下一步”。有些服务本身能单独装完,但如果顺序不对,后面接入 Ranger、Kerberos、LDAP、Knox 或 Hive Metastore 时,就会多出很多返工配置。

我这里把组件安装拆成独立文章,每篇都按同一套节奏来写:在哪个页面操作、关键参数怎么填、安装时看什么、安装后怎么验证。读者可以按顺序做,也可以只打开某一篇排查单个组件。

Solr 安装

先准备 Ranger 审计日志后端,确认 SolrCloud 与 8983 页面可访问。

Ranger 安装

安装 Ranger Admin、Usersync、Tagsync,并接入 hadoop1.test.com 上的 MariaDB。

Knox 安装

安装 Knox Gateway,提交 Kerberos 凭据,并确认 KnoxSSO 网关入口可访问。

HDFS 安装

安装 NameNode、SecondaryNameNode、DataNode 和 HDFS Client,完成 Kerberos 环境下的服务启动。

YARN 安装

安装 ResourceManager、NodeManager 和 YARN Client,并随依赖一起安装 MapReduce2。

MapReduce2 安装

说明 MapReduce2 随 YARN 一起安装的 HistoryServer、Client 和 Service Check。

Tez 安装

安装 Tez Client,确认无 Master/Slave 角色并完成 TEZ_SERVICE_CHECK。

Hive 安装

安装 Hive Metastore、HiveServer2、WebHCat 和客户端,并接入 hadoop1.test.com 上的 MariaDB。

Sqoop 安装

安装 Sqoop Client,确认三台主机完成客户端分发,后续用于数据库与 Hadoop 之间的数据导入导出。

HBase 安装

安装 HBase Master、RegionServer、ThriftServer 和 Client,并完成 Kerberos 环境下的启动检查。

Kafka 安装

安装 Kafka Broker,完成 Kerberos 凭据分发、服务启动和版本确认。

Flink 安装

安装 Flink HistoryServer 和 Flink Client,并确认 Kerberos 环境下的 Flink on YARN 检查通过。

Spark 安装

安装 Spark HistoryServer、Spark ThriftServer 和 Spark Client,并确认 Spark on YARN 可用。

Hue 安装

安装 Hue Server,接入 hadoop1.test.com 上的 MySQL / MariaDB,并确认 Web 入口运行。

Livy 安装

安装 Livy Server,提供 Spark REST 作业提交入口,并确认 8999 端口运行。

Zeppelin 安装

安装 Zeppelin Server,接入 Spark 与 Livy 解释器,并确认 9995 Web 页面可访问。

DolphinScheduler 安装

安装 DS Master、API、Worker、Alert,接入 MySQL 元库和 HDFS 资源中心。

Doris 安装

安装 Doris2 FE、Observer、BE 和 HDFS Broker,确认 8331 Web 入口可访问。

Celeborn 安装

安装 Celeborn Master、Worker 和 Client,为 Spark 等计算服务准备分布式 Shuffle 能力。

Ozone 安装

安装 Ozone OM、SCM、Recon、S3G 和 Datanode,准备对象存储与 S3 入口。

Impala 安装

安装 Impala Catalog、StateStore 和 Daemon,接入 Hive Metastore、Kerberos 与 Ranger。

Trino 安装

安装 Trino Coordinator、Worker 和 CLI,提供统一 SQL 查询入口。

Paimon 安装

安装 Paimon Client,接入 Hive Metastore、Kerberos 和 HDFS warehouse。

Hudi 安装

安装 Hudi Client,分发 Spark、Flink、Hive、Trino 相关 bundle 和 Kerberos 凭据。

Atlas 安装

安装 Atlas Server 和 Client,接入 HBase、Solr、Kafka、Hive 与 Kerberos。

Superset 安装

安装 Superset Server,接入 hadoop1.test.com 上的 MySQL / MariaDB 元数据库。

Alluxio 安装

安装 Alluxio Master 和 Worker,为计算服务准备数据编排与缓存层。

Ambari Plus Monitor 安装

先部署 IoTDB、导入 Monitor 元数据库 DDL,再安装 Platform API、Ingester、Rule Engine 和 Agent。

config:
  target: _self
data:
  - name: Solr 安装
    desc: 先准备 Ranger 审计日志后端,确认 SolrCloud 与 8983 页面可访问。
    link: /ambari-plus/components/solr/42639e94-53f1-48e5-b3d6-49da8f198a29
    bgColor: '#eef7ff'
    textColor: '#17436b'
  - name: Ranger 安装
    desc: 安装 Ranger Admin、Usersync、Tagsync,并接入 hadoop1.test.com 上的 MariaDB。
    link: /ambari-plus/components/ranger/753496f4-1e2d-4794-a719-62b278856472
    bgColor: '#eefaf2'
    textColor: '#1f5130'
  - name: Knox 安装
    desc: 安装 Knox Gateway,提交 Kerberos 凭据,并确认 KnoxSSO 网关入口可访问。
    link: /ambari-plus/components/knox/b4078dd2-af02-4530-b8a4-c1b5542a4785
    bgColor: '#fff7ed'
    textColor: '#7c3e12'
  - name: HDFS 安装
    desc: 安装 NameNode、SecondaryNameNode、DataNode 和 HDFS Client,完成 Kerberos 环境下的服务启动。
    link: /ambari-plus/components/hdfs/72d7f1b1-c9c5-4b82-b92b-5b7738c007bd
    bgColor: '#f0f9ff'
    textColor: '#0c4a6e'
  - name: YARN 安装
    desc: 安装 ResourceManager、NodeManager 和 YARN Client,并随依赖一起安装 MapReduce2。
    link: /ambari-plus/components/yarn/4cc55662-0048-40f6-a1e3-ebd98dc67e2f
    bgColor: '#f5f3ff'
    textColor: '#4c1d95'
  - name: MapReduce2 安装
    desc: 说明 MapReduce2 随 YARN 一起安装的 HistoryServer、Client 和 Service Check。
    link: /ambari-plus/components/mapreduce2/ae4f5e39-3335-43ba-a5ef-e36524d974ff
    bgColor: '#f8fafc'
    textColor: '#334155'
  - name: Tez 安装
    desc: 安装 Tez Client,确认无 Master/Slave 角色并完成 TEZ_SERVICE_CHECK。
    link: /ambari-plus/components/tez/6499e243-7e65-49c5-8075-30decee33ad3
    bgColor: '#ecfeff'
    textColor: '#155e75'
  - name: Hive 安装
    desc: 安装 Hive Metastore、HiveServer2、WebHCat 和客户端,并接入 hadoop1.test.com 上的 MariaDB。
    link: /ambari-plus/components/hive/e36300f4-2222-4357-883b-d5f238f1c7ff
    bgColor: '#fefce8'
    textColor: '#713f12'
  - name: Sqoop 安装
    desc: 安装 Sqoop Client,确认三台主机完成客户端分发,后续用于数据库与 Hadoop 之间的数据导入导出。
    link: /ambari-plus/components/sqoop/ba1b1e16-bfa6-4abe-ae0a-9943f224766a
    bgColor: '#fff1f2'
    textColor: '#881337'
  - name: HBase 安装
    desc: 安装 HBase Master、RegionServer、ThriftServer 和 Client,并完成 Kerberos 环境下的启动检查。
    link: /ambari-plus/components/hbase/f6da4851-9311-4e40-b4d1-72ddf8448016
    bgColor: '#f0fdf4'
    textColor: '#166534'
  - name: Kafka 安装
    desc: 安装 Kafka Broker,完成 Kerberos 凭据分发、服务启动和版本确认。
    link: /ambari-plus/components/kafka/8ea94b53-8274-44ab-a179-202653c3cb1c
    bgColor: '#f5f3ff'
    textColor: '#4c1d95'
  - name: Flink 安装
    desc: 安装 Flink HistoryServer 和 Flink Client,并确认 Kerberos 环境下的 Flink on YARN 检查通过。
    link: /ambari-plus/components/flink/35248dd6-4479-414a-a1f4-672d3da428e6
    bgColor: '#ecfeff'
    textColor: '#155e75'
  - name: Spark 安装
    desc: 安装 Spark HistoryServer、Spark ThriftServer 和 Spark Client,并确认 Spark on YARN 可用。
    link: /ambari-plus/components/spark/3da26561-9f68-41c3-9767-38a1a300ce87
    bgColor: '#fff7ed'
    textColor: '#7c3e12'
  - name: Hue 安装
    desc: 安装 Hue Server,接入 hadoop1.test.com 上的 MySQL / MariaDB,并确认 Web 入口运行。
    link: /ambari-plus/components/hue/4ad37234-6bf5-4cb2-b3dc-13c089eade76
    bgColor: '#fdf4ff'
    textColor: '#701a75'
  - name: Livy 安装
    desc: 安装 Livy Server,提供 Spark REST 作业提交入口,并确认 8999 端口运行。
    link: /ambari-plus/components/livy/1aa6ab1d-63f8-4d40-bef8-0f4cf382040a
    bgColor: '#f0fdfa'
    textColor: '#134e4a'
  - name: Zeppelin 安装
    desc: 安装 Zeppelin Server,接入 Spark 与 Livy 解释器,并确认 9995 Web 页面可访问。
    link: /ambari-plus/components/zeppelin/f8380836-f1c9-4ed0-b8ca-4c7f2776e7ce
    bgColor: '#eff6ff'
    textColor: '#1e3a8a'
  - name: DolphinScheduler 安装
    desc: 安装 DS Master、API、Worker、Alert,接入 MySQL 元库和 HDFS 资源中心。
    link: /ambari-plus/components/dolphinscheduler/c04417ab-27c9-4bd4-a74f-bad70d855ca8
    bgColor: '#eff6ff'
    textColor: '#1e40af'
  - name: Doris 安装
    desc: 安装 Doris2 FE、Observer、BE 和 HDFS Broker,确认 8331 Web 入口可访问。
    link: /ambari-plus/components/doris/1c0a5dd4-4e33-46f4-a222-614e1e18cae8
    bgColor: '#f0fdfa'
    textColor: '#134e4a'
  - name: Celeborn 安装
    desc: 安装 Celeborn Master、Worker 和 Client,为 Spark 等计算服务准备分布式 Shuffle 能力。
    link: /ambari-plus/components/celeborn/4fd33992-873c-41b9-acb1-0ddd3edb4215
    bgColor: '#eef2ff'
    textColor: '#3730a3'
  - name: Ozone 安装
    desc: 安装 Ozone OM、SCM、Recon、S3G 和 Datanode,准备对象存储与 S3 入口。
    link: /ambari-plus/components/ozone/040ced11-cb3a-4caa-9864-684ce076c997
    bgColor: '#f0fdfa'
    textColor: '#134e4a'
  - name: Impala 安装
    desc: 安装 Impala Catalog、StateStore 和 Daemon,接入 Hive Metastore、Kerberos 与 Ranger。
    link: /ambari-plus/components/impala/90e3f996-9a17-4263-88f5-186428617fa3
    bgColor: '#f8fafc'
    textColor: '#334155'
  - name: Trino 安装
    desc: 安装 Trino Coordinator、Worker 和 CLI,提供统一 SQL 查询入口。
    link: /ambari-plus/components/trino/a55fd84f-9d3b-4851-96d5-3808a05dd96a
    bgColor: '#fdf4ff'
    textColor: '#701a75'
  - name: Paimon 安装
    desc: 安装 Paimon Client,接入 Hive Metastore、Kerberos 和 HDFS warehouse。
    link: /ambari-plus/components/paimon/22802962-cedd-4165-8fa6-a347db79faff
    bgColor: '#f0fdfa'
    textColor: '#134e4a'
  - name: Hudi 安装
    desc: 安装 Hudi Client,分发 Spark、Flink、Hive、Trino 相关 bundle 和 Kerberos 凭据。
    link: /ambari-plus/components/hudi/b6810894-f905-4310-8f13-09ee1cdd3cb1
    bgColor: '#fff7ed'
    textColor: '#7c3e12'
  - name: Atlas 安装
    desc: 安装 Atlas Server 和 Client,接入 HBase、Solr、Kafka、Hive 与 Kerberos。
    link: /ambari-plus/components/atlas/8d669658-0b26-42b6-aaf1-91f229be72b6
    bgColor: '#eff6ff'
    textColor: '#1e3a8a'
  - name: Superset 安装
    desc: 安装 Superset Server,接入 hadoop1.test.com 上的 MySQL / MariaDB 元数据库。
    link: /ambari-plus/components/superset/b25cfc6b-0154-400b-8304-c345f20124f0
    bgColor: '#f0fdfa'
    textColor: '#134e4a'
  - name: Alluxio 安装
    desc: 安装 Alluxio Master 和 Worker,为计算服务准备数据编排与缓存层。
    link: /ambari-plus/components/alluxio/303eb3c2-a6ed-43cf-a77f-be87e0b77516
    bgColor: '#eef2ff'
    textColor: '#3730a3'
  - name: Ambari Plus Monitor 安装
    desc: 先部署 IoTDB、导入 Monitor 元数据库 DDL,再安装 Platform API、Ingester、Rule Engine 和 Agent。
    link: /ambari-plus/monitor/install/7f94f36a-2e88-4abe-b7a6-9a0d35a6f941
    bgColor: '#ecfeff'
    textColor: '#155e75'
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143

# 推荐安装顺序

下面这个顺序是我在这套环境里采用的顺序。主机名统一使用 FQDN,例如 hadoop1.test.com、hadoop2.test.com、hadoop3.test.com,这样后面开启 Kerberos、LDAP、Knox 代理时,不容易因为短主机名和域名混用而踩坑。

顺序 组件 建议动作 说明
1 Solr 先安装 Ranger 审计日志需要 Solr,先把后端准备好。
2 Ranger 先安装 先把权限中心、审计入口和用户同步框架建起来。
3 Kerberos 专题 按实际场景选择 单节点、多节点或外部 MIT KDC 可以独立选择,不要求先安装 LDAP 或 Ranger。
4 LDAP / OpenLDAP Kerberos 后接入 用户、组、Ranger Usersync 建议在继续安装组件前完成。
5 Knox 安全能力完成后安装 Knox 作为网关,最好在身份体系明确后再接服务。
6 HDFS 继续安装 存储底座先落地,再接 YARN、Hive、HBase 等组件。
7 YARN 继续安装 资源调度底座,安装时会自动带入 MapReduce2。
8 MapReduce2 随 YARN 安装 Hadoop 计算基础组件。
9 Tez 继续安装 Hive 执行引擎常用依赖。
10 Hive 继续安装 使用 hadoop1.test.com 上的 MySQL / MariaDB。
11 Sqoop 继续安装 通常在 Hive 与 HDFS 可用后再装。
12 HBase 继续安装 依赖 HDFS、ZooKeeper,并建议接入 Ranger。
13 Kafka 继续安装 后续可接 Ranger Kafka Plugin。
14 Flink 继续安装 流计算服务。
15 Spark 继续安装 批流计算服务。
16 Hue 继续安装 Web 查询入口,依赖前面多组件联通。
17 Livy Spark 后安装 Spark REST 作业提交入口,适合放在 Zeppelin、外部任务平台前。
18 Zeppelin Livy 后安装 Notebook 入口,安装后可接 Spark、Livy、JDBC 等解释器。
19 DolphinScheduler Zeppelin 后安装 工作流调度入口,接入 MySQL 元库和 HDFS 资源中心,后续可编排 Spark、Flink、Hive 任务。
20 Doris DolphinScheduler 后安装 MPP 查询引擎,FE 放在 hadoop1.test.com,BE 和 Broker 覆盖三台主机。
21 Celeborn Doris 后安装 分布式 Shuffle 服务,Master 放在 hadoop1.test.com,Worker 和 Client 覆盖三台主机。
22 Ozone Celeborn 后安装 对象存储服务,OM 和 SCM 放在 hadoop1.test.com,Recon 放在 hadoop2.test.com,S3G 放在 hadoop3.test.com,Datanode 覆盖三台主机。
23 Impala Ozone 后安装 MPP SQL 查询引擎,Catalog 放在 hadoop1.test.com,StateStore 放在 hadoop2.test.com,Daemon 覆盖三台主机。
24 Trino Impala 后安装 分布式 MPP SQL 查询引擎,Coordinator 放在 hadoop1.test.com,Worker 和 CLI 覆盖三台主机。
25 Paimon Trino 后安装 湖仓表格式客户端,三台主机都安装 Paimon Client,catalog 使用 Hive Metastore,warehouse 使用 HDFS 的 /warehouse/paimon。
26 Hudi Paimon 后安装 湖仓增量表客户端,三台主机都安装 Hudi Client,后续配合 Spark、Flink、Hive Sync 和 Trino 使用。
27 Atlas Hudi 后安装 元数据治理服务,Atlas Server 放在 hadoop2.test.com,Atlas Client 覆盖三台主机,依赖 HBase、Solr、Kafka、Hive 和 Kerberos。
28 Superset Atlas 后安装 数据可视化入口,Superset Server 放在 hadoop1.test.com,元数据库使用 hadoop1.test.com 上的 MySQL / MariaDB。
29 Alluxio Superset 后安装 数据编排与缓存层,Alluxio Master 放在 hadoop1.test.com,Alluxio Worker 覆盖三台主机。
30 Ambari Plus Monitor Alluxio 后安装 先准备 IoTDB 和 Monitor 元数据库 DDL,再安装 Monitor 服务。

提示

这组文章里的数据库示例统一使用 MySQL / MariaDB,地址为 hadoop1.test.com。为了演示方便,部分基础库会使用 root / root,Hive 这类组件库使用独立账号,例如 hive / hive;生产环境请使用高复杂度密码,并按组件拆分授权。

# 开始安装前再确认一次

从 Solr 往后安装前,我会先确认三件事:

检查项 期望结果
Ambari Plus Server hadoop1.test.com:8080 可以访问,集群已初始化完成。
主机名 三台机器在 Ambari 页面里显示为 hadoop1.test.com、hadoop2.test.com、hadoop3.test.com。
数据库 hadoop1.test.com:3306 可访问;基础演示库可用 root / root,Hive 使用 hive / hive。
ZooKeeper ZOOKEEPER 已经是运行中状态。
本地 Yum 源 安装包仓库可访问,组件安装不会临时去公网拉包。

确认完这些,再进入第一篇:Solr 安装。

初始化集群
Solr 安装

← 初始化集群 Solr 安装→

最近更新
01
当前版本 2026/08
08-29
02
把 Ambari Server HA 稳稳地跑起来
08-17
03
从一次启用操作追到主备就绪
08-17
更多文章>
Theme by Vdoing | Copyright © 2017-2026 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式