TT Bigdata TT Bigdata
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
    • 专区—Bigtop-增强
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)

JaneTTR

数据酿造智慧,每一滴都是沉淀!
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
    • 专区—Bigtop-增强
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)
  • 准备阶段

  • 理解packages.gradle

  • 理解bigtop.bom

  • Hadoop编译

  • Flink编译

  • Spark编译

  • Livy编译

  • Zeppelin编译

  • Zookeeper编译

  • Hbase编译

  • Hive编译

  • Kafka编译

    • version-2.8.1

      • Kafka_2.8.1 编译
      • [O]Kafka版本适配改造(一)
      • [O]Kafka版本适配改造(二)
        • Kafka 2.8.1 构建网络加速与依赖适配
          • 1. wrapper.gradle 替换资源加速
          • 2. gradlew 拉取脚本国内源切换
          • 3. vagrant/aws/was-init.sh 下载地址改造
          • 4. gradle-wrapper.properties 分发包源配置
      • [B]Kafka版本适配改造(一)
  • Solr编译

  • Tez编译

  • 组件编译-Bigtop
  • Kafka编译
  • version-2.8.1
JaneTTR
2025-05-06
目录

[O]Kafka版本适配改造(二)1.0.0+

# Kafka 2.8.1 构建网络加速与依赖适配

在国内环境编译 Bigtop 集成的 Kafka 组件时,网络不可用或官方源不稳定是高频“踩坑”场景。关键依赖和 Gradle Wrapper 的镜像替换,是提升编译成功率的必备改造项。

# 1. wrapper.gradle 替换资源加速

默认的 wrapper.gradle 下载路径为官方 GitHub,国内访问常常超时:

def wrapperBaseUrl = "https://raw.githubusercontent.com/gradle/gradle/v$fullVersion/gradle/wrapper"
1

建议替换为自定义 CDN/加速代理地址,例如:

def wrapperBaseUrl = "https://ghfast.top/https://raw.githubusercontent.com/gradle/gradle/v$fullVersion/gradle/wrapper"
1

wrapperBaseUrl 镜像替换效果

提示

通过替换加速节点,可显著提升 wrapper 依赖拉取速度,减少编译网络超时概率。

# 2. gradlew 拉取脚本国内源切换

gradlew 默认使用 curl 直连官方仓库:

if ! curl -s -S --retry 3 -L -o "$APP_HOME/gradle/wrapper/gradle-wrapper.jar" "https://raw.githubusercontent.com/gradle/gradle/v6.8.1/gradle/wrapper/gradle-wrapper.jar"; then
1

国内建议切换为同样的代理服务:

if ! curl -s -S --retry 3 -L -o "$APP_HOME/gradle/wrapper/gradle-wrapper.jar" "https://ghfast.top/https://raw.githubusercontent.com/gradle/gradle/v6.8.1/gradle/wrapper/gradle-wrapper.jar"; then
1

gradlew 代理效果

笔记

此修改对离线环境与 CI/CD 自动化尤其友好,能减少大面积构建失败。

# 3. vagrant/aws/was-init.sh 下载地址改造

原始 vagrant 初始化脚本:

wget https://services.gradle.org/distributions/$gradle-bin.zip
1

建议切换到阿里云镜像站点:

wget https://mirrors.aliyun.com/macports/distfiles/gradle/$gradle-bin.zip
1

was-init.sh 国内镜像

注意

即使是 vagrant 容器内部,建议也同步替换,规避脚本执行卡死。

# 4. gradle-wrapper.properties 分发包源配置

默认配置:

distributionUrl=https\://services.gradle.org/distributions/gradle-6.8.1-all.zip
1

建议替换为阿里云等国内镜像:

distributionUrl=https\://mirrors.aliyun.com/macports/distfiles/gradle/gradle-6.8.1-all.zip
1

gradle-wrapper.properties 镜像加速

提示

gradle-wrapper.properties 是构建链路的“第一入口”,优先级极高,务必提前确认配置。

#Kafka#Bigtop#版本适配#Patch管理#Maven
[O]Kafka版本适配改造(一)
[B]Kafka版本适配改造(一)

← [O]Kafka版本适配改造(一) [B]Kafka版本适配改造(一)→

最近更新
01
Pandoc 缺失导致 SparkR 构建失败
06-08
02
Cyrus SASL/GSASL 缺失解决
06-07
03
Hadoop_3.3.4 编译 1.0.0+
06-06
更多文章>
Theme by Vdoing | Copyright © 2017-2025 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式