Atlas 安装1.0.7+
# 基于 Ambari 安装 Atlas 服务
在本篇文章中,将详细演示如何通过 Ambari 平台一键集成和部署 Apache Atlas 元数据服务。该方式适用于企业级大数据平台,最大程度简化依赖环境和手动运维复杂度。
# 1. 进入 Ambari 服务添加向导
首先,登录 Ambari 管理后台,在侧边栏点击 Add Service,进入服务选择页面。
提示
Atlas 仅在 1.0.7+ 版本的 Ambari 集成,低版本需升级后才能看到。
在列表中勾选 Atlas 组件,同时可以结合选配 Kafka、Hudi、Spark、Flink、HBase 等元数据源组件。
# 2. 选择部署节点(Master/Client 分配)
系统自动进入 Master 组件分配页面,一般推荐将 Atlas Metadata Server 部署在主节点资源充裕的服务器上(如 hadoop1)。
注意
Atlas Metadata Server 建议独立节点,避免与高负载服务混用导致性能瓶颈。
继续分配 Client,可根据集群规模及业务需求灵活设置:
# 3. 配置核心依赖参数
此步需填写 HBase、Kafka、Solr、Zookeeper 等依赖服务信息。
Zookeeper 配置 在输入框填写 ZK 集群列表(建议直接复制主机名+端口),如下:
atlas.audit.hbase.zookeeper.quorum = hadoop1:2181,hadoop2:2181,hadoop3:2181
1Solr 配置 填写 SolrCloud 的 zookeeper-url,一定要以
/solr
结尾,否则 Collection 不可用。atlas.graph.index.search.solr.zookeeper-url = hadoop1:2181,hadoop2:2181,hadoop3:2181/solr
1
笔记
配置不规范会导致后续启动报错,务必确认端口和路径均正确无误。
HBase 节点分配
atlas.graph.storage.hostname = hadoop1,hadoop2,hadoop3
1这一步与实际 RegionServer 部署节点保持一致。
Kafka 连接参数 单机举例:
atlas.kafka.bootstrap.servers = hadoop1:9092 atlas.kafka.zookeeper.connect = hadoop1:2181,hadoop2:2181,hadoop3:2181
1
2
提示
如果你的 Kafka、Solr、HBase 是通过 Ambari 安装的,相关参数可以直接复用已部署服务的主机名与端口。
# 4. 设置管理员账号与环境变量
在“Advanced atlas-env”填写管理员账号,初次部署建议 admin/admin,后续可通过界面更改。
注意
务必保证两次密码一致,否则无法下一步。
# 5. 部署服务并等待初始化
点击安装,Ambari 会自动下发各节点包并启动 Metadata Server 与 Client。此过程可能耗时较长,进度条可实时监控。
笔记
首次启动 Atlas 服务极有可能失败,原因是 Solr Collection 尚未初始化。
# 6. 手动上传 Solr configSet 并创建 Collection
首次部署必须上传 Atlas 的 Solr 配置,并创建索引集合,否则 Atlas 会报“索引找不到”或“启动异常”。
# 步骤如下:
打包 configSet
cd /usr/bigtop/current/atlas-server/conf/solr zip -r /tmp/atlas-solr-conf.zip .
1
2上传到 SolrCloud
curl -X POST -H "Content-Type: application/octet-stream" \ --data-binary @/tmp/atlas-solr-conf.zip \ "http://hadoop1:8983/solr/admin/configs?action=UPLOAD&name=atlas&wt=json"
1
2
3创建三大 Collection
curl "http://hadoop1:8983/solr/admin/collections?action=CREATE&name=vertex_index&numShards=1&replicationFactor=1&collection.configName=atlas&wt=json&zkHost=hadoop1:2181,hadoop2:2181,hadoop3:2181/solr" curl "http://hadoop1:8983/solr/admin/collections?action=CREATE&name=edge_index&numShards=1&replicationFactor=1&collection.configName=atlas&wt=json&zkHost=hadoop1:2181,hadoop2:2181,hadoop3:2181/solr" curl "http://hadoop1:8983/solr/admin/collections?action=CREATE&name=fulltext_index&numShards=1&replicationFactor=1&collection.configName=atlas&wt=json&zkHost=hadoop1:2181,hadoop2:2181,hadoop3:2181/solr"
1
2
3验证
curl "http://hadoop1:8983/solr/admin/collections?action=LIST&wt=json" # 返回应包含 ["vertex_index","edge_index","fulltext_index"]
1
2
警告
如果未提前上传 configSet 或创建 Collection,Atlas 启动必然失败!
# 7. 再次启动 Atlas 服务并登录
安装完成后回到 Ambari Atlas 服务,重启 Atlas Metadata Server。此时可通过 Quick Link 跳转 Atlas Web 控制台。
初次登录建议使用 admin/admin 账号,登录后可见主控台: