组件安装总览
# 组件安装总览
Ambari Plus 的组件安装不能只看“能不能点下一步”。有些服务本身能单独装完,但如果顺序不对,后面接入 Ranger、Kerberos、LDAP、Knox 或 Hive Metastore 时,就会多出很多返工配置。
我这里把组件安装拆成独立文章,每篇都按同一套节奏来写:在哪个页面操作、关键参数怎么填、安装时看什么、安装后怎么验证。读者可以按顺序做,也可以只打开某一篇排查单个组件。
Solr 安装
先准备 Ranger 审计日志后端,确认 SolrCloud 与 8983 页面可访问。
Ranger 安装
安装 Ranger Admin、Usersync、Tagsync,并接入 hadoop1.test.com 上的 MariaDB。
Knox 安装
安装 Knox Gateway,提交 Kerberos 凭据,并确认 KnoxSSO 网关入口可访问。
HDFS 安装
安装 NameNode、SecondaryNameNode、DataNode 和 HDFS Client,完成 Kerberos 环境下的服务启动。
YARN 安装
安装 ResourceManager、NodeManager 和 YARN Client,并随依赖一起安装 MapReduce2。
MapReduce2 安装
说明 MapReduce2 随 YARN 一起安装的 HistoryServer、Client 和 Service Check。
Tez 安装
安装 Tez Client,确认无 Master/Slave 角色并完成 TEZ_SERVICE_CHECK。
Hive 安装
安装 Hive Metastore、HiveServer2、WebHCat 和客户端,并接入 hadoop1.test.com 上的 MariaDB。
Sqoop 安装
安装 Sqoop Client,确认三台主机完成客户端分发,后续用于数据库与 Hadoop 之间的数据导入导出。
HBase 安装
安装 HBase Master、RegionServer、ThriftServer 和 Client,并完成 Kerberos 环境下的启动检查。
Kafka 安装
安装 Kafka Broker,完成 Kerberos 凭据分发、服务启动和版本确认。
Flink 安装
安装 Flink HistoryServer 和 Flink Client,并确认 Kerberos 环境下的 Flink on YARN 检查通过。
Spark 安装
安装 Spark HistoryServer、Spark ThriftServer 和 Spark Client,并确认 Spark on YARN 可用。
Hue 安装
安装 Hue Server,接入 hadoop1.test.com 上的 MySQL / MariaDB,并确认 Web 入口运行。
Livy 安装
安装 Livy Server,提供 Spark REST 作业提交入口,并确认 8999 端口运行。
Zeppelin 安装
安装 Zeppelin Server,接入 Spark 与 Livy 解释器,并确认 9995 Web 页面可访问。
DolphinScheduler 安装
安装 DS Master、API、Worker、Alert,接入 MySQL 元库和 HDFS 资源中心。
Doris 安装
安装 Doris2 FE、Observer、BE 和 HDFS Broker,确认 8331 Web 入口可访问。
Celeborn 安装
安装 Celeborn Master、Worker 和 Client,为 Spark 等计算服务准备分布式 Shuffle 能力。
Ozone 安装
安装 Ozone OM、SCM、Recon、S3G 和 Datanode,准备对象存储与 S3 入口。
Impala 安装
安装 Impala Catalog、StateStore 和 Daemon,接入 Hive Metastore、Kerberos 与 Ranger。
Trino 安装
安装 Trino Coordinator、Worker 和 CLI,提供统一 SQL 查询入口。
Paimon 安装
安装 Paimon Client,接入 Hive Metastore、Kerberos 和 HDFS warehouse。
Hudi 安装
安装 Hudi Client,分发 Spark、Flink、Hive、Trino 相关 bundle 和 Kerberos 凭据。
Atlas 安装
安装 Atlas Server 和 Client,接入 HBase、Solr、Kafka、Hive 与 Kerberos。
Superset 安装
安装 Superset Server,接入 hadoop1.test.com 上的 MySQL / MariaDB 元数据库。
Alluxio 安装
安装 Alluxio Master 和 Worker,为计算服务准备数据编排与缓存层。
Ambari Plus Monitor 安装
先部署 IoTDB、导入 Monitor 元数据库 DDL,再安装 Platform API、Ingester、Rule Engine 和 Agent。
config:
target: _self
data:
- name: Solr 安装
desc: 先准备 Ranger 审计日志后端,确认 SolrCloud 与 8983 页面可访问。
link: /ambari-plus/components/solr/42639e94-53f1-48e5-b3d6-49da8f198a29
bgColor: '#eef7ff'
textColor: '#17436b'
- name: Ranger 安装
desc: 安装 Ranger Admin、Usersync、Tagsync,并接入 hadoop1.test.com 上的 MariaDB。
link: /ambari-plus/components/ranger/753496f4-1e2d-4794-a719-62b278856472
bgColor: '#eefaf2'
textColor: '#1f5130'
- name: Knox 安装
desc: 安装 Knox Gateway,提交 Kerberos 凭据,并确认 KnoxSSO 网关入口可访问。
link: /ambari-plus/components/knox/b4078dd2-af02-4530-b8a4-c1b5542a4785
bgColor: '#fff7ed'
textColor: '#7c3e12'
- name: HDFS 安装
desc: 安装 NameNode、SecondaryNameNode、DataNode 和 HDFS Client,完成 Kerberos 环境下的服务启动。
link: /ambari-plus/components/hdfs/72d7f1b1-c9c5-4b82-b92b-5b7738c007bd
bgColor: '#f0f9ff'
textColor: '#0c4a6e'
- name: YARN 安装
desc: 安装 ResourceManager、NodeManager 和 YARN Client,并随依赖一起安装 MapReduce2。
link: /ambari-plus/components/yarn/4cc55662-0048-40f6-a1e3-ebd98dc67e2f
bgColor: '#f5f3ff'
textColor: '#4c1d95'
- name: MapReduce2 安装
desc: 说明 MapReduce2 随 YARN 一起安装的 HistoryServer、Client 和 Service Check。
link: /ambari-plus/components/mapreduce2/ae4f5e39-3335-43ba-a5ef-e36524d974ff
bgColor: '#f8fafc'
textColor: '#334155'
- name: Tez 安装
desc: 安装 Tez Client,确认无 Master/Slave 角色并完成 TEZ_SERVICE_CHECK。
link: /ambari-plus/components/tez/6499e243-7e65-49c5-8075-30decee33ad3
bgColor: '#ecfeff'
textColor: '#155e75'
- name: Hive 安装
desc: 安装 Hive Metastore、HiveServer2、WebHCat 和客户端,并接入 hadoop1.test.com 上的 MariaDB。
link: /ambari-plus/components/hive/e36300f4-2222-4357-883b-d5f238f1c7ff
bgColor: '#fefce8'
textColor: '#713f12'
- name: Sqoop 安装
desc: 安装 Sqoop Client,确认三台主机完成客户端分发,后续用于数据库与 Hadoop 之间的数据导入导出。
link: /ambari-plus/components/sqoop/ba1b1e16-bfa6-4abe-ae0a-9943f224766a
bgColor: '#fff1f2'
textColor: '#881337'
- name: HBase 安装
desc: 安装 HBase Master、RegionServer、ThriftServer 和 Client,并完成 Kerberos 环境下的启动检查。
link: /ambari-plus/components/hbase/f6da4851-9311-4e40-b4d1-72ddf8448016
bgColor: '#f0fdf4'
textColor: '#166534'
- name: Kafka 安装
desc: 安装 Kafka Broker,完成 Kerberos 凭据分发、服务启动和版本确认。
link: /ambari-plus/components/kafka/8ea94b53-8274-44ab-a179-202653c3cb1c
bgColor: '#f5f3ff'
textColor: '#4c1d95'
- name: Flink 安装
desc: 安装 Flink HistoryServer 和 Flink Client,并确认 Kerberos 环境下的 Flink on YARN 检查通过。
link: /ambari-plus/components/flink/35248dd6-4479-414a-a1f4-672d3da428e6
bgColor: '#ecfeff'
textColor: '#155e75'
- name: Spark 安装
desc: 安装 Spark HistoryServer、Spark ThriftServer 和 Spark Client,并确认 Spark on YARN 可用。
link: /ambari-plus/components/spark/3da26561-9f68-41c3-9767-38a1a300ce87
bgColor: '#fff7ed'
textColor: '#7c3e12'
- name: Hue 安装
desc: 安装 Hue Server,接入 hadoop1.test.com 上的 MySQL / MariaDB,并确认 Web 入口运行。
link: /ambari-plus/components/hue/4ad37234-6bf5-4cb2-b3dc-13c089eade76
bgColor: '#fdf4ff'
textColor: '#701a75'
- name: Livy 安装
desc: 安装 Livy Server,提供 Spark REST 作业提交入口,并确认 8999 端口运行。
link: /ambari-plus/components/livy/1aa6ab1d-63f8-4d40-bef8-0f4cf382040a
bgColor: '#f0fdfa'
textColor: '#134e4a'
- name: Zeppelin 安装
desc: 安装 Zeppelin Server,接入 Spark 与 Livy 解释器,并确认 9995 Web 页面可访问。
link: /ambari-plus/components/zeppelin/f8380836-f1c9-4ed0-b8ca-4c7f2776e7ce
bgColor: '#eff6ff'
textColor: '#1e3a8a'
- name: DolphinScheduler 安装
desc: 安装 DS Master、API、Worker、Alert,接入 MySQL 元库和 HDFS 资源中心。
link: /ambari-plus/components/dolphinscheduler/c04417ab-27c9-4bd4-a74f-bad70d855ca8
bgColor: '#eff6ff'
textColor: '#1e40af'
- name: Doris 安装
desc: 安装 Doris2 FE、Observer、BE 和 HDFS Broker,确认 8331 Web 入口可访问。
link: /ambari-plus/components/doris/1c0a5dd4-4e33-46f4-a222-614e1e18cae8
bgColor: '#f0fdfa'
textColor: '#134e4a'
- name: Celeborn 安装
desc: 安装 Celeborn Master、Worker 和 Client,为 Spark 等计算服务准备分布式 Shuffle 能力。
link: /ambari-plus/components/celeborn/4fd33992-873c-41b9-acb1-0ddd3edb4215
bgColor: '#eef2ff'
textColor: '#3730a3'
- name: Ozone 安装
desc: 安装 Ozone OM、SCM、Recon、S3G 和 Datanode,准备对象存储与 S3 入口。
link: /ambari-plus/components/ozone/040ced11-cb3a-4caa-9864-684ce076c997
bgColor: '#f0fdfa'
textColor: '#134e4a'
- name: Impala 安装
desc: 安装 Impala Catalog、StateStore 和 Daemon,接入 Hive Metastore、Kerberos 与 Ranger。
link: /ambari-plus/components/impala/90e3f996-9a17-4263-88f5-186428617fa3
bgColor: '#f8fafc'
textColor: '#334155'
- name: Trino 安装
desc: 安装 Trino Coordinator、Worker 和 CLI,提供统一 SQL 查询入口。
link: /ambari-plus/components/trino/a55fd84f-9d3b-4851-96d5-3808a05dd96a
bgColor: '#fdf4ff'
textColor: '#701a75'
- name: Paimon 安装
desc: 安装 Paimon Client,接入 Hive Metastore、Kerberos 和 HDFS warehouse。
link: /ambari-plus/components/paimon/22802962-cedd-4165-8fa6-a347db79faff
bgColor: '#f0fdfa'
textColor: '#134e4a'
- name: Hudi 安装
desc: 安装 Hudi Client,分发 Spark、Flink、Hive、Trino 相关 bundle 和 Kerberos 凭据。
link: /ambari-plus/components/hudi/b6810894-f905-4310-8f13-09ee1cdd3cb1
bgColor: '#fff7ed'
textColor: '#7c3e12'
- name: Atlas 安装
desc: 安装 Atlas Server 和 Client,接入 HBase、Solr、Kafka、Hive 与 Kerberos。
link: /ambari-plus/components/atlas/8d669658-0b26-42b6-aaf1-91f229be72b6
bgColor: '#eff6ff'
textColor: '#1e3a8a'
- name: Superset 安装
desc: 安装 Superset Server,接入 hadoop1.test.com 上的 MySQL / MariaDB 元数据库。
link: /ambari-plus/components/superset/b25cfc6b-0154-400b-8304-c345f20124f0
bgColor: '#f0fdfa'
textColor: '#134e4a'
- name: Alluxio 安装
desc: 安装 Alluxio Master 和 Worker,为计算服务准备数据编排与缓存层。
link: /ambari-plus/components/alluxio/303eb3c2-a6ed-43cf-a77f-be87e0b77516
bgColor: '#eef2ff'
textColor: '#3730a3'
- name: Ambari Plus Monitor 安装
desc: 先部署 IoTDB、导入 Monitor 元数据库 DDL,再安装 Platform API、Ingester、Rule Engine 和 Agent。
link: /ambari-plus/monitor/install/7f94f36a-2e88-4abe-b7a6-9a0d35a6f941
bgColor: '#ecfeff'
textColor: '#155e75'
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
# 推荐安装顺序
下面这个顺序是我在这套环境里采用的顺序。主机名统一使用 FQDN,例如 hadoop1.test.com、hadoop2.test.com、hadoop3.test.com,这样后面开启 Kerberos、LDAP、Knox 代理时,不容易因为短主机名和域名混用而踩坑。
| 顺序 | 组件 | 建议动作 | 说明 |
|---|---|---|---|
| 1 | Solr | 先安装 | Ranger 审计日志需要 Solr,先把后端准备好。 |
| 2 | Ranger | 先安装 | 先把权限中心、审计入口和用户同步框架建起来。 |
| 3 | Kerberos | Ranger 后开启 | 安全认证越早开启,后续组件越少返工。 |
| 4 | LDAP / OpenLDAP | Kerberos 后接入 | 用户、组、Ranger Usersync 建议在继续安装组件前完成。 |
| 5 | Knox | 安全能力完成后安装 | Knox 作为网关,最好在身份体系明确后再接服务。 |
| 6 | HDFS | 继续安装 | 存储底座先落地,再接 YARN、Hive、HBase 等组件。 |
| 7 | YARN | 继续安装 | 资源调度底座,安装时会自动带入 MapReduce2。 |
| 8 | MapReduce2 | 随 YARN 安装 | Hadoop 计算基础组件。 |
| 9 | Tez | 继续安装 | Hive 执行引擎常用依赖。 |
| 10 | Hive | 继续安装 | 使用 hadoop1.test.com 上的 MySQL / MariaDB。 |
| 11 | Sqoop | 继续安装 | 通常在 Hive 与 HDFS 可用后再装。 |
| 12 | HBase | 继续安装 | 依赖 HDFS、ZooKeeper,并建议接入 Ranger。 |
| 13 | Kafka | 继续安装 | 后续可接 Ranger Kafka Plugin。 |
| 14 | Flink | 继续安装 | 流计算服务。 |
| 15 | Spark | 继续安装 | 批流计算服务。 |
| 16 | Hue | 继续安装 | Web 查询入口,依赖前面多组件联通。 |
| 17 | Livy | Spark 后安装 | Spark REST 作业提交入口,适合放在 Zeppelin、外部任务平台前。 |
| 18 | Zeppelin | Livy 后安装 | Notebook 入口,安装后可接 Spark、Livy、JDBC 等解释器。 |
| 19 | DolphinScheduler | Zeppelin 后安装 | 工作流调度入口,接入 MySQL 元库和 HDFS 资源中心,后续可编排 Spark、Flink、Hive 任务。 |
| 20 | Doris | DolphinScheduler 后安装 | MPP 查询引擎,FE 放在 hadoop1.test.com,BE 和 Broker 覆盖三台主机。 |
| 21 | Celeborn | Doris 后安装 | 分布式 Shuffle 服务,Master 放在 hadoop1.test.com,Worker 和 Client 覆盖三台主机。 |
| 22 | Ozone | Celeborn 后安装 | 对象存储服务,OM 和 SCM 放在 hadoop1.test.com,Recon 放在 hadoop2.test.com,S3G 放在 hadoop3.test.com,Datanode 覆盖三台主机。 |
| 23 | Impala | Ozone 后安装 | MPP SQL 查询引擎,Catalog 放在 hadoop1.test.com,StateStore 放在 hadoop2.test.com,Daemon 覆盖三台主机。 |
| 24 | Trino | Impala 后安装 | 分布式 MPP SQL 查询引擎,Coordinator 放在 hadoop1.test.com,Worker 和 CLI 覆盖三台主机。 |
| 25 | Paimon | Trino 后安装 | 湖仓表格式客户端,三台主机都安装 Paimon Client,catalog 使用 Hive Metastore,warehouse 使用 HDFS 的 /warehouse/paimon。 |
| 26 | Hudi | Paimon 后安装 | 湖仓增量表客户端,三台主机都安装 Hudi Client,后续配合 Spark、Flink、Hive Sync 和 Trino 使用。 |
| 27 | Atlas | Hudi 后安装 | 元数据治理服务,Atlas Server 放在 hadoop2.test.com,Atlas Client 覆盖三台主机,依赖 HBase、Solr、Kafka、Hive 和 Kerberos。 |
| 28 | Superset | Atlas 后安装 | 数据可视化入口,Superset Server 放在 hadoop1.test.com,元数据库使用 hadoop1.test.com 上的 MySQL / MariaDB。 |
| 29 | Alluxio | Superset 后安装 | 数据编排与缓存层,Alluxio Master 放在 hadoop1.test.com,Alluxio Worker 覆盖三台主机。 |
| 30 | Ambari Plus Monitor | Alluxio 后安装 | 先准备 IoTDB 和 Monitor 元数据库 DDL,再安装 Monitor 服务。 |
提示
这组文章里的数据库示例统一使用 MySQL / MariaDB,地址为 hadoop1.test.com。为了演示方便,部分基础库会使用 root / root,Hive 这类组件库使用独立账号,例如 hive / hive;生产环境请使用高复杂度密码,并按组件拆分授权。
# 开始安装前再确认一次
从 Solr 往后安装前,我会先确认三件事:
| 检查项 | 期望结果 |
|---|---|
| Ambari Plus Server | hadoop1.test.com:8080 可以访问,集群已初始化完成。 |
| 主机名 | 三台机器在 Ambari 页面里显示为 hadoop1.test.com、hadoop2.test.com、hadoop3.test.com。 |
| 数据库 | hadoop1.test.com:3306 可访问;基础演示库可用 root / root,Hive 使用 hive / hive。 |
| ZooKeeper | ZOOKEEPER 已经是运行中状态。 |
| 本地 Yum 源 | 安装包仓库可访问,组件安装不会临时去公网拉包。 |
确认完这些,再进入第一篇:Solr 安装。