TT Bigdata TT Bigdata
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件专题

    • 安装教程
    • 魔改分享
  • 版本专题

    • 更新说明
    • BUG临时处理
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop-官方组件
    • 专区—Bigtop-扩展组件
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • APT仓库增量更新
    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Ambari-Metrics
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 核心代码

    • 各组件代码
    • 通用代码模板
  • 国产化&其他系统

    • Rocky系列
    • Ubuntu系列
  • Grafana监控方案

    • Ambari-Metrics插件
    • Infinity插件
  • 支持&共建

    • 蓝图愿景
    • 合作共建
登陆
GitHub (opens new window)

JaneTTR

数据酿造智慧,每一滴都是沉淀!
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件专题

    • 安装教程
    • 魔改分享
  • 版本专题

    • 更新说明
    • BUG临时处理
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop-官方组件
    • 专区—Bigtop-扩展组件
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • APT仓库增量更新
    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Ambari-Metrics
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 核心代码

    • 各组件代码
    • 通用代码模板
  • 国产化&其他系统

    • Rocky系列
    • Ubuntu系列
  • Grafana监控方案

    • Ambari-Metrics插件
    • Infinity插件
  • 支持&共建

    • 蓝图愿景
    • 合作共建
登陆
GitHub (opens new window)
  • 试读&介绍

  • Ambari-Metrics解读【简写AMS】

    • 源码下载及环境初始化
    • 项目目录及模块解读
      • 一、根目录与版本信息
      • 二、模块分类与作用
        • 1. 各类 Sink 模块
        • 2. TimelineService
        • 3. Host Monitoring
        • 4. Grafana 集成
        • 5. Assembly 模块
    • AMS-Collector剖析

    • AMS-Collector表结构实战

    • AMS-Collector接口实战

    • AMS-Monitor剖析

  • Metrics2协议解读

  • Hadoop-SINK剖析

  • Hbase-SINK剖析

  • Kafka-SINK剖析

  • 自定义组件接入监控

  • 其他监控方案

  • GOD-Ambari-Metrics
  • Ambari-Metrics解读【简写AMS】
JaneTTR
2025-09-01
目录

项目目录及模块解读

# 一、根目录与版本信息

在 Ambari-Metrics 的根目录中,我们可以看到一个核心文件 pom.xml:


<version>3.1.0-SNAPSHOT</version>
<packaging>pom</packaging>
<modules>
<module>ambari-metrics-common</module>
<module>ambari-metrics-hadoop-sink</module>
<module>ambari-metrics-flume-sink</module>
<module>ambari-metrics-kafka-sink</module>
<module>ambari-metrics-storm-sink</module>
<module>ambari-metrics-timelineservice</module>
<module>ambari-metrics-host-monitoring</module>
<module>ambari-metrics-grafana</module>
<module>ambari-metrics-host-aggregator</module>
<module>ambari-metrics-assembly</module>
</modules>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

版本说明

当前源码版本为 3.1.0-SNAPSHOT,该版本和3.0.0没啥区别。我们选择的分支只是做了guava升级。

# 二、模块分类与作用

# 1. 各类 Sink 模块


<module>ambari-metrics-hadoop-sink</module>
<module>ambari-metrics-flume-sink</module>
<module>ambari-metrics-kafka-sink</module>
<module>ambari-metrics-storm-sink</module>

1
2
3
4
5
6

功能定位 这些模块是面向不同大数据组件的 监控数据写出端。最终都会被打包成 Jar,供 Ambari 管理的各类组件(如 Hadoop、Kafka)加载。

验证方法

以 Hadoop Sink 为例,安装完 HDFS 后,可以通过以下命令验证是否成功加载:

# 1. 查看进程
ps -ef | grep datanode

# 2. 检查是否加载 sink Jar
lsof -p <进程号> | grep ambari-metrics-hadoop-sink
1
2
3
4
5

📸 对应实操截图: hadoop sink 验证

# 2. TimelineService 核心模块


<module>ambari-metrics-timelineservice</module>

1
2
3

功能定位

这是整个 Ambari-Metrics 的核心服务,通常称为 Collector。

  • 数据收集:接收来自各类 Sink 与 Host Monitoring 的指标上报
  • 数据存储:将数据落盘至 HBase 作为时序数据库
  • API 提供:对外暴露 REST API/WS 接口,支持查询和聚合

# 3. Host Monitoring


<module>ambari-metrics-host-monitoring</module>

1
2
3

功能定位

运行在每台节点上的 Agent 模块,负责采集主机级别的系统监控数据,例如:

  • CPU 使用率
  • 内存/磁盘 IO
  • 网络流量

然后统一上报至 TimelineService。

# 4. Grafana 集成


<module>ambari-metrics-grafana</module>

1
2
3

功能定位

存放与 Grafana 相关的插件和面板定义。 借助此模块,可以在 Grafana 界面中直观展示 Ambari-Metrics 收集到的数据。

# 5. Assembly 模块打包核心


<module>ambari-metrics-assembly</module>

1
2
3

功能定位

负责最终的 打包与分发,将前面所有模块编译成果进行整合,生成可用于安装的 RPM/DEB 包。

  • 使用 Maven Assembly/插件进行归档
  • 在 Apache 生态中,这类模块几乎是“发布版”的标配
#Ambari#Ambari-Metrics#大数据监控#架构演进#开源项目
源码下载及环境初始化
Ambari启动视角剖析执行逻辑

← 源码下载及环境初始化 Ambari启动视角剖析执行逻辑→

最近更新
01
[/metrics/metadata] — 元数据查询和使用 GET
09-12
02
[/metrics/metadata] — 请求完整链路解读
09-12
03
[/metrics/metadata] — 缓存数据装载 Phoenix
09-12
更多文章>
Theme by Vdoing | Copyright © 2017-2025 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式