编译Livy3.2.0-0.7.11.0.0+
# 📦 背景介绍
Apache Livy 是一个用于 Apache Spark 的 REST 服务,能够简化 Spark 集群与其他应用程序之间的交互。本文将介绍如何使用 Bigtop
编译 Livy 0.7.1
,并详细说明所需的环境配置、依赖安装及编译过程。适用于 Livy 部署
# 1️⃣ 编译前准备
# 1.1 环境要求
确保您的系统满足以下要求,安装这些必要工具和依赖,确保编译顺利进行:
组件 | 版本要求 | 说明 |
---|---|---|
JDK | 8 或更高版本 | Livy 需要 Java 8 或更高版本 |
Apache Maven | ≥ 3.3.9 | 用于构建工具之一 |
Python 2.7 | 2.7 | Python 2.7,Ambari 2.7 及以上版本要求 |
rpmbuild | - | rpm-build 包 |
g++ | - | gcc-c++ 包 |
📖 参考:Ambari 官方文档 (opens new window)
# 1.2 安装 JDK、Maven、Gradle
# 2️⃣ Livy 编译
# 2.1 构建命令
在成功配置了所有环境后,可以直接使用以下命令进行编译:
gradle livy-rpm -PparentDir=/usr/bigtop -Dbuildwithdeps=true -PpkgSuffix -d
1
livy-rpm
:编译目标模块-PparentDir
:指定构建目录-Dbuildwithdeps=true
:是否同时构建依赖-PpkgSuffix
:可选的后缀,标识构建版本
该命令会启动构建过程,自动下载 Livy 及其依赖并生成 RPM 包。⚙️ Gradle 构建工具
# 2.2 编译产物
构建成功后,您将在以下路径中看到生成的 RPM 包:
生成的文件包括:
livy_3_2_0-0.7.1-1.el7.x86_64.rpm
这些包将被安装到您指定的 RPM 路径下。
# 2.3 获取源码
您可以从 Gitee 上获取本地已适配的 Livy 源码版本:
仓库地址:https://gitee.com/janettr/bigtop-livy (opens new window) 版本标签:v3.2.0_0.7.1 (opens new window)
# 3️⃣ 使用 ambari-env
脚本构建
为了简化 Livy 的构建过程,您可以使用以下脚本来配置环境并启动 Bigtop 编译:
bash /scripts/build/bigtop/build.sh
1
此脚本将自动完成环境配置并开始编译工作。