TT Bigdata TT Bigdata
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop-官方组件
    • 专区—Bigtop-扩展组件
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 核心代码

    • 各组件代码
    • 通用代码模板
  • 国产化&其他系统

    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 支持&共建

    • 蓝图愿景
    • 技术支持
    • 合作共建
登陆
GitHub (opens new window)

JaneTTR

数据酿造智慧,每一滴都是沉淀!
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop-官方组件
    • 专区—Bigtop-扩展组件
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 核心代码

    • 各组件代码
    • 通用代码模板
  • 国产化&其他系统

    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 支持&共建

    • 蓝图愿景
    • 技术支持
    • 合作共建
登陆
GitHub (opens new window)
  • Sqoop编译

    • version-1.4.7

      • Sqoop_1.4.7编译
      • [O]Sqoop版本适配改造(一)
      • [B] Sqoop 版本适配改造(一)
        • 背景说明
        • 第一步:新增 Sqoop 的 BOM 配置
      • [B] Sqoop 版本适配改造(二)
      • [B] Sqoop 版本适配改造(三)
  • Ranger编译

  • Phoenix编译

  • Dolphinscheduler编译

  • Doris编译

  • Cloudbeaver编译

  • Atlas编译

  • Superset编译

  • Celeborn编译

  • Ozone编译

  • Impala编译

  • Trino编译

  • Paimon编译

  • Hudi编译

  • 组件编译-Bigtop-增强
  • Sqoop编译
  • version-1.4.7
JaneTTR
2025-05-06
目录

[B] Sqoop 版本适配改造(一)

# 背景说明

在 Bigtop 框架下编译 Sqoop 或其他大数据组件时,最关键的入口是 bigtop.bom。 它是组件依赖、版本号、下载地址等元信息的唯一来源,在整个编译和包管理链路中起着统筹作用。 BOM核心

BOM 文件核心作用

BOM(Bill of Materials)文件不仅确定了 Sqoop 组件的主版本和依赖,还决定了源码 tar 包的获取路径、校验方式,以及 RPM 打包过程中的解压与二次加工逻辑。 通过维护 BOM,可以灵活适配不同环境与版本升级需求,大幅降低踩坑概率。

# 第一步:新增 Sqoop 的 BOM 配置

请在 bigtop/bigtop.bom 文件中新增 Sqoop 配置段。参考已有的如 Flink、Hadoop 配置,推荐结构如下:

'sqoop' {
    name = 'sqoop'
    rpm_pkg_suffix = "_" + bigtop.base_version.replace(".", "_")
    relNotes = 'Apache Sqoop v1'
    version { base = '1.4.7'; pkg = base; release = 2 }
    tarball {
        destination = "${name}-${version.base}.tar.gz"
        source = destination
    }
    url {
        download_path = "/$name/${version.base}/"
        site = "${apache.APACHE_MIRROR}/${download_path}"
        archive = "${apache.APACHE_ARCHIVE}/${download_path}"
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

笔记

注意 source 和 destination 字段要与 dl 目录中实际上传的 tar 包名称严格一致,否则编译阶段会报找不到文件。

#Sqoop#Bigtop#RPM#版本适配
[O]Sqoop版本适配改造(一)
[B] Sqoop 版本适配改造(二)

← [O]Sqoop版本适配改造(一) [B] Sqoop 版本适配改造(二)→

最近更新
01
bigtop-select 打包缺 compat 报错修复 deb
07-16
02
bigtop-select 打包缺 control 文件报错修复 deb
07-16
03
首次编译-环境初始化 必装
07-16
更多文章>
Theme by Vdoing | Copyright © 2017-2025 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式