TT Bigdata TT Bigdata
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)

JaneTTR

数据酿造智慧,每一滴都是沉淀!
首页
  • 部署专题

    • 常规安装
    • 一键部署
  • 组件安装

    • 常规&高可用
  • 版本专题

    • 更新说明
  • Ambari-Env

    • 环境准备
    • 开始使用
  • 组件编译

    • 专区—Ambari
    • 专区—Bigtop
  • 报错解决

    • 专区—Ambari
    • 专区—Bigtop
  • 其他技巧

    • Maven镜像加速
    • Gradle镜像加速
    • Bower镜像加速
    • 虚拟环境思路
    • R环境安装+一键安装脚本
    • Ivy配置私有镜像仓库
    • Node.js 多版本共存方案
    • Ambari Web本地启动
    • Npm镜像加速
    • PostgreSQL快速安装
    • Temurin JDK 23快速安装
  • 成神之路

    • 专区—Ambari
    • 专区—Bigtop
  • 集成案例

    • Redis集成教学
    • Dolphin集成教学
    • Doris集成教学
    • 持续整理...
  • 模板代码

    • 各类组件
    • 通用模板
  • 国产化&其他系统

    • Centos系列
    • Kylin系列
    • OpenEuler系列
    • Rocky系列
    • Ubuntu系列
  • 生产调优

    • 组件调优指南
    • 1v1指导调优
  • 定制开发

    • 组件版本定制
    • 样式风格定制
  • 蓝图愿景
  • 技术支持
  • 合作共建
GitHub (opens new window)
  • 准备阶段

  • 理解packages.gradle

  • 理解bigtop.bom

  • Hadoop编译

    • version-3.3.4

      • Hadoop_3.3.4 编译实战
      • [O]Hadoop版本适配改造(一)
        • 背景说明
        • 主要改造点总览
          • 1. Node.js 版本升级
          • 2. 前端依赖镜像与 npm 源加速
      • [O]Hadoop版本适配改造(二)
      • [O]Hadoop版本适配改造(三)
      • [B]Hadoop版本适配改造(一)
  • Flink编译

  • Spark编译

  • Atlas编译

  • Superset编译

  • Zookeeper编译

  • Hbase编译

  • Hive编译

  • Kafka编译

  • Solr编译

  • Tez编译

  • Zeppelin编译

  • 组件编译-Bigtop
  • Hadoop编译
  • version-3.3.4
JaneTTR
2025-05-06
目录

[O]Hadoop版本适配改造(一)1.0.0+

# 背景说明

在国内大数据平台编译 Hadoop 时,前端依赖的 Node.js/Yarn 版本偏旧或外网镜像慢,极易出现依赖包拉取失败、构建速度慢等问题。本次适配工作,重点聚焦 nodejs 及相关工具链的国内环境友好化,全面提升工程在内网或 CI 场景下的编译体验。

# 主要改造点总览

路径/文件位置 主要变更点 说明
hadoop-project/pom.xml Node.js 版本升级 Node.js 从 v12.22.1 升级到 v16.9.1,提升依赖兼容性
hadoop-yarn-applications-catalog-webapp/pom.xml 增加 Node/Yarn/npm 镜像配置 国内构建加速,解决依赖包网络问题
frontend-maven-plugin 配置相关 参数细节与镜像完善 确保无论开发机还是 CI 都能稳定构建

# 1. Node.js 版本升级

在 hadoop-project/pom.xml 文件内,将 <nodejs.version> 从 v12.22.1 升级到 v16.9.1:

image-20250607155926575

提示

本次升级将 Node.js 版本从 v12.22.1 提升到 v16.9.1 ,可显著提升前端依赖包兼容性,避免构建阶段 node-sass 等库报错。强烈建议同步升级所有开发、构建环境变量,保持一致性。

# 2. 前端依赖镜像与 npm 源加速

在 hadoop-yarn-applications-catalog-webapp/pom.xml 文件,增加了国内 Node.js、Yarn、npm 镜像配置,具体如下:


<plugin>
    <groupId>com.github.eirslett</groupId>
    <artifactId>frontend-maven-plugin</artifactId>
    <configuration>
        <workingDirectory>target</workingDirectory>
    </configuration>
    <executions>
        <execution>
            <id>install node and yarn</id>
            <goals>
                <goal>install-node-and-yarn</goal>
            </goals>
            <phase>generate-resources</phase>
            <configuration>
                <nodeVersion>${nodejs.version}</nodeVersion>
                <yarnVersion>${yarnpkg.version}</yarnVersion>
                <nodeDownloadRoot>https://cdn.npmmirror.com/binaries/node/</nodeDownloadRoot>
                <yarnDownloadRoot>
                    https://ghfast.top/https://github.com/yarnpkg/yarn/releases/download/
                </yarnDownloadRoot>
            </configuration>
        </execution>
        <execution>
            <id>yarn install</id>
            <goals>
                <goal>yarn</goal>
            </goals>
            <configuration>
                <arguments>install --verbose</arguments>
                <npmRegistryURL>https://registry.npmmirror.com/</npmRegistryURL>
                <yarnInheritsProxyConfigFromMaven>false</yarnInheritsProxyConfigFromMaven>
            </configuration>
        </execution>
    </executions>
</plugin>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

image-20250607160335144

提示

通过配置国内镜像,极大提升 Node.js/Yarn/npm 包拉取速度,彻底解决离线或半离线环境 npm install 卡住的问题。实际构建时 npmRegistryURL 推荐用 npmmirror,Node/Yarn 镜像均可自定义更换为公司内网源。

#Hadoop#Bigtop#版本适配#Node.js#前端依赖#Maven
Hadoop_3.3.4 编译实战
[O]Hadoop版本适配改造(二)

← Hadoop_3.3.4 编译实战 [O]Hadoop版本适配改造(二)→

最近更新
01
Pandoc 缺失导致 SparkR 构建失败
06-08
02
Cyrus SASL/GSASL 缺失解决
06-07
03
Hadoop_3.3.4 编译实战 1.0.0+
06-06
更多文章>
Theme by Vdoing | Copyright © 2017-2025 JaneTTR | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式