更新日志 · v1.0.62025/04
# v1.0.6 湖仓能力引入版本
发布时间:2025 / 04
v1.0.6 为湖仓与联邦查询能力引入版本,在保持原有 Hadoop 生态架构不变的前提下,引入统一查询引擎与湖仓组件,扩展数据分析与数据管理能力。
# 一、版本概述
在 v1.0.5 的基础上,本版本主要围绕 统一查询能力 与 湖仓架构补齐 两个方向进行增强:
- 引入统一的联邦查询引擎,用于跨数据源高性能查询
- 新增湖仓引擎组件,支持流批一体的数据写入与管理
- 优化查询引擎与湖仓组件之间的集成适配能力
本次更新不涉及底层资源管理与存储架构调整,属于能力扩展型更新。
# 二、版本变更说明
# 新增组件
Trino 474 统一联邦查询引擎,用于跨数据源高性能查询,支持访问 Hive、Hudi、Paimon、Kafka、MySQL 等多种数据源,在部分场景下可替代传统 Hive 查询链路。
Paimon 1.0.1 流批一体的湖仓格式,支持表级 ACID 管理,适用于高并发写入、实时分析与 CDC 数据处理场景。
Hudi 1.1.0 事务型数据湖方案,支持近实时写入与快照查询,适用于日志数据、数据同步与增量计算场景。
# 集成与适配优化
- 优化 Trino 与 Paimon / Hudi 的连接与元数据适配逻辑
- 提升湖仓表在联邦查询场景下的稳定性与查询性能
- 改善多数据源混合查询时的执行效率与一致性表现
说明
Trino 在本版本中作为统一查询引擎引入,用于扩展查询能力,不会替代现有 Hive 组件的基础数据管理职责。
# 三、组件版本清单(新增)
| 组件名称 | 组件版本 | env 版本 | 用途说明 |
|---|---|---|---|
| Trino | 474 | 1.0.6 | 联邦查询引擎,支持跨数据源统一查询 |
| Paimon | 1.0.1 | 1.0.6 | 流批一体湖仓格式,支持高并发写入与 ACID 管理 |
| Hudi | 1.1.0 | 1.0.6 | 事务型数据湖方案,支持近实时写入与快照查询 |
升级说明
v1.0.6 可在 v1.0.5 集群环境上平滑升级;湖仓与联邦查询能力为扩展组件,不影响原有组件的部署与运行方式。
- 03
- Ranger Admin 证书快速导入脚本02-15