编译Hive3.2.0-3.1.31.0.0+
# 📦 背景介绍
Bigtop 是一个开源项目,专注于为 Apache Hadoop 生态系统 提供构建、打包和测试工具。
本文将详细介绍如何使用 Bigtop 编译 Hive 3.1.3
,并涵盖环境搭建、依赖安装及编译步骤。适用于 Hive 部署
# 1️⃣ 编译前准备
# 1.1 环境要求
确保您的系统满足以下要求,安装这些必要工具和依赖,确保编译顺利进行:
组件 | 版本要求 | 说明 |
---|---|---|
xCode | 最新 | (Mac 用户,免费从 Apple Store 下载) |
JDK 8 | 1.8 | Hive 编译需要 JDK 8 或更高版本 |
Apache Maven | ≥ 3.3.9 | 用于构建工具之一 |
Python 2.7 | 2.7 | Python 2.7,Ambari 2.7 及以上版本要求 |
rpmbuild | - | rpm-build 包 |
g++ | - | gcc-c++ 包 |
Python setuptools | - | Python 工具包 |
📖 参考:Ambari 官方文档 (opens new window)
# 1.2 安装 JDK、Maven、Gradle
# 2️⃣ Hive 编译
# 2.1 构建命令
Hive 源码无需修改,您可以直接使用以下命令进行编译:
gradle hive-rpm -PparentDir=/usr/bigtop -Dbuildwithdeps=true -PpkgSuffix -d
1
hive-rpm
:编译目标模块-PparentDir
:指定构建目录-Dbuildwithdeps=true
:是否同时构建依赖-PpkgSuffix
:可选的后缀,标识构建版本
执行该命令后,将开始下载依赖、配置环境并编译 Hive 的 RPM 包。⚙️ Gradle 构建工具
# 2.2 编译产物
构建成功后,将生成如下路径下的 RPM 包:
文件示例(以 hive 为前缀):
hive_3_2_0-3.1.3-1.el7.noarch.rpm
hive_3_2_0-hbase-3.1.3-1.el7.noarch.rpm
hive_3_2_0-hcatalog-3.1.3-1.el7.noarch.rpm
hive_3_2_0-hcatalog-server-3.1.3-1.el7.noarch.rpm
hive_3_2_0-jdbc-3.1.3-1.el7.noarch.rpm
# 2.3 获取源码
建议从 Gitee 克隆本地已适配版本:
仓库地址:https://gitee.com/tt-bigdata/bigtop-hive (opens new window) 版本标签:v3.2.0_3.1.3 (opens new window)
# 3️⃣ 使用 ambari-env
脚本构建
为了简化编译过程,您可以使用以下脚本来配置环境并启动 Bigtop 编译:
bash /scripts/build/bigtop/build.sh
1
此脚本将自动完成环境配置,确保依赖正确安装并开始编译工作。