TT Bigdata TT Bigdata
首页
GitHub (opens new window)
JaneTTR

JaneTTR

数据酿造智慧,每一滴都是沉淀!
  • 开发环境

  • Ambari 编译

  • Bigtop 编译

  • Ambari 源码编译

  • 前端开发

  • 后端开发

  • 官方组件编译

    • 准备阶段

    • 理解packages.gradle

    • 理解bigtop.bom

    • Hadoop编译

    • Flink编译

    • Spark编译

    • Livy编译

    • Zeppelin编译

    • Zookeeper编译

    • Hbase编译

    • Hive编译

    • Kafka编译

      • version-2.8.1

        • Kafka_2.8.1 编译
        • [O]Kafka版本适配改造(一)
        • [O]Kafka版本适配改造(二)
          • Kafka 2.8.1 构建网络加速与依赖适配
            • 1. wrapper.gradle 替换资源加速
            • 2. gradlew 拉取脚本国内源切换
            • 3. vagrant/aws/was-init.sh 下载地址改造
            • 4. gradle-wrapper.properties 分发包源配置
        • [B]Kafka版本适配改造(一)
    • Solr编译

    • Tez编译

  • 扩展组件编译

  • 源码编译
  • 官方组件编译
  • Kafka编译
  • version-2.8.1
JaneTTR
2025-05-06
目录
Kafka 2.8.1 构建网络加速与依赖适配
1. wrapper.gradle 替换资源加速
2. gradlew 拉取脚本国内源切换
3. vagrant/aws/was-init.sh 下载地址改造
4. gradle-wrapper.properties 分发包源配置

[O]Kafka版本适配改造(二)

# Kafka 2.8.1 构建网络加速与依赖适配

在国内环境编译 Bigtop 集成的 Kafka 组件时,网络不可用或官方源不稳定是高频“踩坑”场景。关键依赖和 Gradle Wrapper 的镜像替换,是提升编译成功率的必备改造项。

# 1. wrapper.gradle 替换资源加速

默认的 wrapper.gradle 下载路径为官方 GitHub,国内访问常常超时:

def wrapperBaseUrl = "https://raw.githubusercontent.com/gradle/gradle/v$fullVersion/gradle/wrapper"
1

建议替换为自定义 CDN/加速代理地址,例如:

def wrapperBaseUrl = "https://ghfast.top/https://raw.githubusercontent.com/gradle/gradle/v$fullVersion/gradle/wrapper"
1

wrapperBaseUrl 镜像替换效果

提示

通过替换加速节点,可显著提升 wrapper 依赖拉取速度,减少编译网络超时概率。

# 2. gradlew 拉取脚本国内源切换

gradlew 默认使用 curl 直连官方仓库:

if ! curl -s -S --retry 3 -L -o "$APP_HOME/gradle/wrapper/gradle-wrapper.jar" "https://raw.githubusercontent.com/gradle/gradle/v6.8.1/gradle/wrapper/gradle-wrapper.jar"; then
1

国内建议切换为同样的代理服务:

if ! curl -s -S --retry 3 -L -o "$APP_HOME/gradle/wrapper/gradle-wrapper.jar" "https://ghfast.top/https://raw.githubusercontent.com/gradle/gradle/v6.8.1/gradle/wrapper/gradle-wrapper.jar"; then
1

gradlew 代理效果

笔记

此修改对离线环境与 CI/CD 自动化尤其友好,能减少大面积构建失败。

# 3. vagrant/aws/was-init.sh 下载地址改造

原始 vagrant 初始化脚本:

wget https://services.gradle.org/distributions/$gradle-bin.zip
1

建议切换到阿里云镜像站点:

wget https://mirrors.aliyun.com/macports/distfiles/gradle/$gradle-bin.zip
1

was-init.sh 国内镜像

注意

即使是 vagrant 容器内部,建议也同步替换,规避脚本执行卡死。

# 4. gradle-wrapper.properties 分发包源配置

默认配置:

distributionUrl=https\://services.gradle.org/distributions/gradle-6.8.1-all.zip
1

建议替换为阿里云等国内镜像:

distributionUrl=https\://mirrors.aliyun.com/macports/distfiles/gradle/gradle-6.8.1-all.zip
1

gradle-wrapper.properties 镜像加速

提示

gradle-wrapper.properties 是构建链路的“第一入口”,优先级极高,务必提前确认配置。

#Kafka#Bigtop#源码编译#版本适配#Maven
[O]Kafka版本适配改造(一)
[B]Kafka版本适配改造(一)

← [O]Kafka版本适配改造(一) [B]Kafka版本适配改造(一)→

最近更新
01
当前版本 2026/08
08-29
02
把 Ambari Server HA 稳稳地跑起来
08-17
03
从一次启用操作追到主备就绪
08-17
更多文章>
Theme by Vdoing | Copyright © 2017-2026 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式