[B] Sqoop 版本适配改造(一)
# 背景说明
在 Bigtop 框架下编译 Sqoop 或其他大数据组件时,最关键的入口是 bigtop.bom
。
它是组件依赖、版本号、下载地址等元信息的唯一来源,在整个编译和包管理链路中起着统筹作用。 BOM核心
BOM 文件核心作用
BOM(Bill of Materials)文件不仅确定了 Sqoop 组件的主版本和依赖,还决定了源码 tar 包的获取路径、校验方式,以及 RPM 打包过程中的解压与二次加工逻辑。 通过维护 BOM,可以灵活适配不同环境与版本升级需求,大幅降低踩坑概率。
# 第一步:新增 Sqoop 的 BOM 配置
请在 bigtop/bigtop.bom
文件中新增 Sqoop 配置段。参考已有的如 Flink、Hadoop 配置,推荐结构如下:
'sqoop' {
name = 'sqoop'
rpm_pkg_suffix = "_" + bigtop.base_version.replace(".", "_")
relNotes = 'Apache Sqoop v1'
version { base = '1.4.7'; pkg = base; release = 2 }
tarball {
destination = "${name}-${version.base}.tar.gz"
source = destination
}
url {
download_path = "/$name/${version.base}/"
site = "${apache.APACHE_MIRROR}/${download_path}"
archive = "${apache.APACHE_ARCHIVE}/${download_path}"
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
2
3
4
5
6
7
8
9
10
11
12
13
14
15
笔记
注意 source
和 destination
字段要与 dl
目录中实际上传的 tar 包名称严格一致,否则编译阶段会报找不到文件。
- 01
- bigtop-select 打包缺 compat 报错修复 deb07-16
- 02
- bigtop-select 打包缺 control 文件报错修复 deb07-16
- 03
- 首次编译-环境初始化 必装07-16