更新说明
# 📢 更新日志 🎉
# 🚀 v1.0.7（最新版本）
📅 发布时间：2025/05
- 🌐 集成 Superset 可视化平台，支持数据分析与多源报表自助搭建，Web 端体验全面提升
- 🗂 升级元数据管理组件 Atlas，优化与 Ambari/Bigtop 的适配能力，提升集群管理与血缘分析效率
- ⚡ Spark & Flink 全面升级，提升批处理与流处理性能，兼容主流大数据开发生态
- 🔧 全环境基于 Bigtop 构建，支持一键部署、自动依赖管理，适配性和可维护性更强
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Superset | 4.1.2 | 1.0.7 | 轻量级数据可视化与报表平台，支持多数据源分析与仪表盘搭建 |
| Atlas | 2.4.0 | 1.0.7 | 元数据管理、数据血缘分析，提升数据治理能力 |
| Spark | 3.5.5 | 1.0.7 | 分布式批处理框架，适合海量数据计算、机器学习任务 |
| Flink | 1.17.2 | 1.0.7 | 高性能流处理引擎，支持实时数据计算与流批一体应用 |
# 🔹 v1.0.6
📅 发布时间：2025/04
- 🚀 引入 Trino 统一查询引擎，支持跨数据源高性能联邦查询（替代部分 Hive 场景）
- 🧊 新增湖仓引擎 Paimon 与 Hudi，支持高并发写入、流批一体数据管理
- 💡 优化 Trino 与 Hudi/Paimon 的集成适配，提升湖仓联邦查询能力
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Trino | 474 | 1.0.6 | 联邦查询引擎，支持跨库查询 Hudi、Hive、Kafka、MySQL 等数据源 |
| Paimon | 1.0.1 | 1.0.6 | 流批一体的湖仓格式，支持表级 ACID 管理，提升实时分析与 CDC 能力 |
| Hudi | 1.1.0 | 1.0.6 | 事务型数据湖方案，支持近实时写入与快照查询，适用于日志数据、数据同步等场景 |
# 🔹 v1.0.5
📅 发布时间：2025/01
- ✨ 增强大数据监控体系，新增 Nightingale、Categraf、VictoriaMetrics，优化可观测性
- 📊 Ozone 1.4.1，提供现代化对象存储，增强 HDFS 扩展性
- 📈 进一步优化兼容性，完善 CentOS 7.9 适配，提升组件稳定性
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Nightingale | 7.7.2 | 1.0.5 | 现代化可观测性平台，提供监控、告警、日志分析等功能 |
| Categraf | 0.4.1 | 1.0.5 | 轻量级指标采集器，支持 Prometheus，适用于高性能数据收集 |
| VictoriaMetrics | 1.109.1 | 1.0.5 | 高效时序数据库，支持高吞吐率数据存储与分析，优化系统监控 |
| Celeborn | 0.5.3 | 1.0.5 | 分布式缓存与数据加速组件，提高 Spark、Flink 等计算框架的数据处理速度 |
| Cloudbeaver | 24.3.3 | 1.0.5 | Web 数据库管理工具，支持多种数据库，提供可视化操作界面 |
| Ozone | 1.4.1 | 1.0.5 | Hadoop 生态中的对象存储系统，支持 PB 级存储，适用于大规模数据存储与管理 |
# 🔹 v1.0.4
📅 发布时间：2025/01
- ✅ Bigtop 3.2.0 魔改版本，提升 Hadoop 生态稳定性
- 📦 新增 Doris 作为分布式 OLAP 数据库，优化数据查询性能
- 🛠️ 修复部分组件依赖问题
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Doris | 2.1.7 | 1.0.4 | 分布式 OLAP 引擎，专注于高性能分析查询，适用于大规模数据分析与 BI 报表生成 |
# 🔹 v1.0.3
📅 发布时间：2024/10
- 🏆 兼容
kylin-v10，适配国产化环境（本版本唯一支持） - 📊 Phoenix 5.1.2，提升 HBase 交互性能
- 📋 DolphinScheduler 3.2.2，增强任务调度能力
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Phoenix | 5.1.2 | 1.0.3 | 基于 HBase 的 SQL 引擎，提供低延迟查询，适用于大数据实时计算 |
| DolphinScheduler | 3.2.2 | 1.0.3 | 分布式任务调度系统，支持 DAG 任务编排，提高 ETL 作业管理效率 |
# 🔹 v1.0.2
📅 发布时间：2024/09
- 📦 Redis 7.4.0，增强缓存能力，减少数据库查询压力
- 🛠️ 进一步优化环境变量配置，减少手动调整
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Redis | 7.4.0 | 1.0.2 | 高性能内存数据库，支持缓存、消息队列、分布式锁等功能 |
# 🔹 v1.0.1
📅 发布时间：2024/08
- 📦 增强数据同步能力，支持 Sqoop 1.4.7
- 🛡️ Ranger 2.4.0，提供更强的数据访问权限控制
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Sqoop | 1.4.7 | 1.0.1 | 关系型数据库与 Hadoop 之间的数据传输工具，提高数据同步效率 |
| Ranger | 2.4.0 | 1.0.1 | 统一的访问控制管理系统，增强大数据平台的安全性 |
# 🔹 v1.0.0（初始版本，基于 Bigtop 3.2.0）
📅 发布时间：2024/08
- 🌐 兼容 Bigtop 3.2.0，完整的 Hadoop 生态集群
- 📦 支持 Ambari 2.8.0 及相关组件
- 🛠️ 一键部署脚本，简化集群安装和管理
| 组件名称 | 组件版本 | env 版本 | 用途 |
|---|---|---|---|
| Zookeeper | 3.5.9 | 1.0.0 | 分布式协调服务，负责管理节点状态，确保一致性 |
| Hadoop | 3.3.4 | 1.0.0 | 分布式存储与计算框架，HDFS + YARN |
| Flink | 1.15.3 | 1.0.0 | 流式计算引擎，支持实时数据处理 |
| HBase | 2.4.13 | 1.0.0 | 基于 HDFS 的分布式 NoSQL 数据库 |
| Hive | 3.1.3 | 1.0.0 | 数据仓库，提供 SQL 查询能力 |
| Kafka | 2.8.1 | 1.0.0 | 高吞吐消息队列，支持实时数据流处理 |
| Spark | 3.2.3 | 1.0.0 | 高效批处理与流处理计算框架 |
| Solr | 8.11.2 | 1.0.0 | 分布式搜索引擎，支持全文检索 |
| Tez | 0.10.1 | 1.0.0 | 提供高效数据处理 DAG 引擎，提高 Hive 性能 |
| Zeppelin | 0.10.1 | 1.0.0 | 交互式数据分析工具，支持多种计算引擎 |
| Livy | 0.7.1 | 1.0.0 | Spark 任务远程提交接口 |
| Ambari | branch-2.8 | 1.0.0 | 大数据集群管理工具，支持 Web UI |
| Ambari-metrics | branch-3.0 | 1.0.0 | 集群监控工具，收集 CPU、内存、磁盘等运行指标 |
| Ambari-infra | master | 1.0.0 | 提供日志管理与索引搜索能力，集成 Solr |