TT Bigdata TT Bigdata
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)

JaneTTR

数据酿造智慧,每一滴都是沉淀!
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)
  • 最小化安装

    • Zookeeper 安装
    • Hadoop 安装
    • Yarn安装
    • Hive 安装
    • Spark 安装
    • HBase 安装
    • Kafka 安装
    • Sqoop 安装
    • Flink 安装
    • DolphinScheduler 安装
    • Zeppelin 安装
    • Redis 安装
    • Doris安装
    • Celeborn安装
    • Ozone安装
    • Impala安装
    • Cloudbeaver 安装
    • Ambari Metrics安装
    • Solr安装
    • Ranger 安装
    • Trino安装
    • Paimon安装
      • 基于 Ambari 安装 Paimon 服务
        • 1. 添加 Paimon 服务
        • 2. 分配组件到节点(Client)
        • 3. 启动安装流程
        • 4. 安装完成并启动成功
        • 5. 服务状态校验
    • Hudi安装
    • Atlas 安装
    • Superset 安装
  • 高可用安装(有难度)

  • 组件安装
  • 最小化安装
JaneTTR
2025-04-25
目录

Paimon安装1.0.6+

# 基于 Ambari 安装 Paimon 服务

Apache Paimon 是一款支持变更捕获、流批一体和主键管理的表格式存储系统,适用于数据湖场景下高频数据写入与统一查询。常见搭配包括 Flink 作为写入引擎、Trino/Spark 作为分析引擎。

本文将介绍如何通过 Ambari 以 Client 模式集成部署 Paimon 服务,实现对 Catalog 和数据目录的可控管理,方便在全节点实现 CLI 操作与作业联调。


# 1. 添加 Paimon 服务

首先进入 Ambari 控制台,点击左上角菜单 Add Service,在服务列表中找到并勾选 Paimon,如下图所示:

image-20250425110015448

本服务来源为自定义集成,默认内置 Flink Catalog 模板,当前适配的版本为 Paimon 1.0.1,可兼容 Trino 474 和 Flink 1.15 以上版本。

提示

Paimon 是无状态服务,组件本身不常驻运行,所有操作通过 CLI 或 Catalog 集成方式完成。


# 2. 分配组件到节点(Client)

Paimon 不包含 Master/Worker 类角色,仅包含 Client,因此必须手动在目标主机上勾选 Client。

如下图,我们选择了 hadoop1~3 三台主机,并在右侧为其全部勾选了 Paimon Client:

image-20250425110028169

这种全节点部署模式可以确保每台机器都可以:

  • 执行 paimon CLI 工具
  • 发起 catalog 连接
  • 参与 Flink Job 或 Trino 查询

即使当前只在 hadoop1 上使用 Paimon CLI,后期任意节点切换时也无需重复部署,兼具灵活性与高可用性,是实际运维中的 推荐部署方式。

注意

如果未部署 Client,某些组件(如 Flink Sink、Trino Catalog)在对应主机上将无法正常加载 Paimon 插件。


# 3. 启动安装流程

点击下一步后,Ambari 会进入安装流程,并显示每个节点当前的状态进度。

初始阶段系统提示正在安装客户端:

image-20250425110046936

此阶段为服务包下发 + 软链接部署 + CLI 校验等过程。

笔记

安装过程非常快,Paimon 本身无需拉取额外依赖,也不会启动长期运行的守护进程。


# 4. 安装完成并启动成功

等待几秒,安装任务进度条走满后,所有主机会变为绿色状态,表示部署完成。

image-20250425110753404

你可以点击每一条记录进入详情查看日志输出,确认是否有告警项或非零退出码。此处我们可见所有机器都返回了100% 。


# 5. 服务状态校验

返回 Ambari 首页,在左侧服务列表中点击 Paimon,即可进入该服务的 Summary 页面:

image-20250425110809669

页面显示:

  • 3 个 Client 节点已成功注册
  • 无需额外配置 Quick Links
  • 没有 Master/Worker 类型角色

表示本服务部署完毕后几乎无常驻资源消耗,非常适合大集群场景。轻量级部署

#Paimon#Ambari#Flink#Trino#大数据组件
Trino安装
Hudi安装

← Trino安装 Hudi安装 →

最近更新
01
Pandoc 缺失导致 SparkR 构建失败
06-08
02
Cyrus SASL/GSASL 缺失解决
06-07
03
Hadoop_3.3.4 编译实战 1.0.0+
06-06
更多文章>
Theme by Vdoing | Copyright © 2017-2025 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式