当前位置：首页 > java >正文

Unity Catalog 三大升级：Data+AI 时代的统一治理再进化

java 2025/6/30 13:04:06

在刚刚落幕的 2025 Databricks Data + AI Summit 上，Databricks 重磅发布了多项 Lakehouse 相关功能更新。其中，面向数据湖治理场景的统一数据访问与管理方案 —— Unity Catalog，迎来了三大关键升级：全面支持 Apache Iceberg、面向业务用户的全新使用体验，以及数据治理与安全能力的持续增强。

过去 Unity Catalog 更加依赖 Delta Lake，如今对 Apache Iceberg 的全面支持，意味着用户可通过 StarRocks、Trino、EMR、Flink、Spark 等多种引擎访问和共享同一份数据，真正摆脱格式锁定。同时，外部 Iceberg Catalog 联邦功能也让用户无需复制或迁移数据，即可统一治理 Glue、HMS、Snowflake 等系统中的 Iceberg 表。

对于采用多工具、多团队或多云环境的企业来说，这些能力的提升，标志着开放湖仓生态正在加速走向成熟。

作为 Lakehouse 架构中的关键基础设施，Unity Catalog 也为 Data + AI 提供了统一的数据治理与访问控制框架，打造可信、可控、可共享的数据基础，加速 AI 应用的规模化落地。

在本文中，我们将借由这条新闻，带大家认识 Unity Catalog，解释它对你的工作意味着什么，以及为什么现在正是采用更开放基础设施策略的最佳时机。

什么是 Unity Catalog ？

在了解 Unity Catalog 之前，我们需要先认识当前数据目录（Catalog）所面临的三大挑战：

首先，多数云数据平台缺乏开放的访问方式。许多云数仓采用专有表格式和元数据目录，限制了外部系统的访问与集成，且往往依赖持续运行的计算资源来支持查询，不仅成本高，也缺乏灵活性。其次，数据与 AI 资产长期割裂，形成数据孤岛，难以共享和复用。最后，缺乏统一的数据治理框架，企业难以在权限控制、安全合规、数据血缘等方面，对数据和 AI 资产进行集中管理。

Unity Catalog 正是为解决这些问题而生。它是一个统一的元数据与数据治理平台，能够集中管理数据湖和湖仓中的所有数据资产，支持跨多引擎（如 Spark、Trino、StarRocks）与多格式（如 Delta Lake、Iceberg、Hudi）的访问控制、权限管理、血缘分析和审计。通过统一治理、安全合规和高效共享，Unity Catalog 显著简化了元数据管理，并支持企业级多租户与细粒度的访问策略，是构建开放、高效、可扩展湖仓架构的关键组件。

它带来了两大核心价值：一是灵活性更强，摆脱厂商锁定，让用户真正拥有数据与元数据，自由选择最佳技术路径；二是强大的互操作性，在不同数据格式与计算引擎间实现无缝协作，尤其适配多样化的 AI 应用场景，既提升集成效率，又保障一致的用户体验。

StarRocks x Unity Catalog：打破格式壁垒，加速湖仓进化

自 Databricks 于 2024 年 6 月宣布开源 Unity Catalog 起，StarRocks 作为首批开源生态合作伙伴，积极参与生态建设，助力全球用户无缝接入开放湖仓体系。在统一治理、安全控制与多引擎互操作的基础上，StarRocks 充分发挥其高性能分析引擎的优势，成为开放数据架构中的关键计算支撑。

在 Unity Catalog 构建的开放湖仓生态中，StarRocks 提供三方面价值：

加速湖上分析：StarRocks 可通过 Iceberg REST 去查 Unity Catalog 管理的数据，支持高速、低延迟的多维即席分析，让数据无需迁移即可高效使用。
简化架构、拓展场景：通过与 Unity Catalog 的无缝集成，用户可在湖上数据上直接构建 BI 报表，减少数据搬移与 ETL 成本，提升分析效率与实时性。
推动开放生态发展：作为开源计算引擎，StarRocks 与 Unity Catalog 的互操作性增强了企业对计算引擎的选择自由，加速构建去中心化、可持续的湖仓生态系统。

StarRocks 与 Unity Catalog 的融合，不仅降低了用户在多种解决方案间的迁移门槛，推动了计算引擎的专业化与差异化发展，也进一步夯实了开源基础，打破厂商锁定，构建出一个更开放、多元、灵活的技术生态，赋能企业实现更高效、更可靠的数据分析能力。