越来越多的企业正在通过实时数据处理能力构建核心竞争力——用户期待 APP 精准捕捉需求并实时响应，企业员工追求业务系统的秒级反馈，这些场景背后是千亿级数据资产的敏捷调度。
据 IDC 预测，2025 年全球数据量将突破 175 ZB，非结构化数据占比超过 80%，到 2027 年全球数据生成量更将突破 300 ZB。
企业正迎来数据价值释放的黄金阶段，而湖仓(Lakehouse)成为其中的关键引擎：
多模态数据融合：随着 AI 应用深入，结构化、半结构化与非结构化数据的协同分析正创造新的业务场景。湖仓架构原生支持多源异构数据统一管理，让视频分析、文档解析等跨模态分析成为可能。
性价持续突破：采用存算分离架构(如 S3/OSS 对象存储)，企业存储成本可降至传统数仓的 10%，同时通过弹性计算资源调度，实现实时查询与批量处理的灵活成本控制。
据资料统计，全球实时 Lakehouse 市场规模预计将从 2025 年的 2.85 亿美元增长到 2031 年的 12.41 亿美元，这一些数据进一步印证了湖仓架构的战略价值。
元数据层竞争：Unity Catalog 与 Polaris Catalog 开源，标志着元数据管理从“私有协议”走向“开放协作”，企业可跨引擎统一管理权限、血缘与模型。
在数字化转型深水区，湖仓架构为公司可以提供了“弹性扩展-性能突出-成本可控”三重价值的解决方案。
存储层实现了“Single Source Of Truth”，支撑 AI 训练、BI 分析等场景的统一存储与用数，避免了传统架构中数据流转产生的损耗，明显降低企业存储成本。
通过开放表格式，存储层支持的数据类型也从结构化扩展到 JSON 等半结构化数据，以及面向 AI 场景的视频、音频等非结构化数据。
另外，存储层还引入了主键索引、向量倒排索引等多级索引体系来提升数据访问效率，同时支持从批量操作到流式实时读写的多种处理模式，满足企业全方位数据需求。
计算引擎层呈多元融合发展的新趋势，典型的如 Spark(批处理)、Flink(流处理)、StarRocks(实时分析)等引擎正在积极拓展自身功能便捷，打破传统细分界限，向统一引擎进化。
同时，引擎层更看重性价比的提升，通过支持 ARM 架构、GPU 等新型硬件，以及引入全局缓存等创新机制，优化计算效率，在保持引擎专业特性的同时也有更高的资源利用率。
以 StarRocks 为例，作为查询引擎，性能和性价比仍是 StarRocks 优化重点，并将持续增强对湖生态支持，让原本需要多个引擎才能完成的任务用一个统一引擎完成，数据处理更便捷和智能：
跟进存储层新演进，支持半结构化类型、DELETE Vector 等实时场景优化功能。
开展数据存储优化工作，如 Compaction 服务和数据自动布局优化。
元数据层的管理范围已从传统的表、视图扩展到 AI 模型、特征、指标等多维度数据资产。通过提供统一的元数据服务，实现对不同计算引擎的无缝对接。在数据治理方面，元数据层也提供了全方位的权限管理、调度编排和数据血缘分析能力。
另外，元数据层也开始与 AI、BI 技术深层次地融合，支持数据资产的智能发现与管理。目前市场上 Unity Catalog、Gravitino 等解决方案都在积极完善产品能力，推动着元数据管理向更智能化方向发展。
随着 Lakehouse 架构在 2024 年获得国际主流认可，2025 年将进入更深层次的发展阶段。基于对市场动态和用户实践的调研，我们大家都认为接下来将有以下四大关键趋势：
随着慢慢的变多企业选择将传统架构(如 Hadoop、ClickHouse 等)迁移到基于开放表格式的湖仓上来，全球市场的开放表格式呈现出“双轨并行”的竞争格局。
海外市场中，Apache Iceberg 凭借其成熟的生态系统和主流云厂商的支持，已确立主导地位，成为开放湖格式的事实标准。而在国内市场，Apache Paimon 则是一部分头部互联网公司的首要技术选择。
二者竞合关系类似于 Spark 与 Flink 的市场格局，两者将在不同场景下相互补充。有必要注意一下的是，Paimon 也已支持生成 Iceberg 兼容的元数据，为用户更好的提供更灵活的技术选择。
随着开放标准的确立与生态成熟，模块化湖仓架构将获得更多企业(尤其是头部企业)认可。公司能够根据业务需求，通过存储、引擎、元数据的灵活组合，实现最优性价比。
特别是有一定技术实力的头部企业，更倾向于通过灵活组合存储、计算引擎和元数据管理能力，构建最适合自身需求的数据架构，而非选择单一厂商的一体化解决方案。
实时数据处理需求正从“T+1”和小时级向秒级分析演进，这使得实时湖仓成为企业数据架构升级的首选切入点。相比传统架构，实时湖仓方案具有两大优势：满足业务实时性要求和明显降低 TCO(总体拥有成本)。
凭借其出色的流批一体特性，Paimon 在实时场景中表现突出，正获得慢慢的变多国内企业青睐， Paimon+StarRocks 的组合也成为公司实现实时湖仓的选择之一。
镜舟汇总和梳理了过去 1-2 年 StarRocks 在互联网、金融等行业的标杆案例，观察到湖仓技术在中国落地仍需经历三个阶段：
短期：企业会选择以实时湖仓为切入点，通过 Paimon+StarRocks 组合完成快速部署，以响应业务侧需求。同时这一阶段，存算分离将作为重点方案并行发展。
中期：随着生态系统逐步完善，开放湖格式将覆盖更多场景，企业会将选择近实时及部分离线业务迁移到湖仓上来，向统一数据存储与应用靠拢。
长期：传统数仓将逐步被湖仓替代，形成真正统一的 Lakehouse 架构，并支持将 AI 和数据分析场景深层次地融合，进一步实现数据智能。
湖仓正在成为企业 AI 基础设施的重要组成部分。据毕马威人工智能报告数据显示，86%的海外企业计划统一其分析数据以支持 AI 开发。而在国内，这一趋势同样明显，诸如腾讯、Bilibili、小红书等头部互联网公司的湖仓架构均涉及了不同程度的 AI 应用。
AI 训练数据需求将推动更多企业从传统数仓迁移到 Lakehouse 架构，例如非结构化数据处理、向量检索等能力诉求。湖仓一体能够支持实时流处理与机器学习，满足模型训练需求。
这四大趋势相互影响、相互促进，一同推动着湖仓技术的演进。不过无论是不是考虑选择湖仓架构，企业都需要对自身技术现在的状况进行全面评估。
首先，企业要分析当前的数据规模和增长趋势，判断是否面临存储成本过高的问题，是否对实时分析着迫切诉求，以此衡量现有架构对经营与效率产生的影响。其次，要评估现存技术栈的能力和局限性，包括查询性能瓶颈、运维复杂度、上下游拓展适配，以及对新兴 AI 应用的支持能力等。
同时，迁移成本也是一大考量因素。除了基础设施投入成本，还涉及技术、运维团队培训成本、业务中断风险等方面。
通过综合评估，企业能够更清晰地认识到湖仓架构是否真正对自己最合适，以及迁移方案。
镜舟科技基于过去在湖仓领域的实践经验，梳理了不同业务需求下的技术选型方向，供企业参考：
有此类场景需求的企业，可以优先关注 StarRocks+Paimon 的组合架构，这种方案不仅仅可以满足秒级查询需求，还能通过流批一体化处理提供更实时的数据洞察。
以饿了么为例，饿了么从离线数仓 + 实时的 Lamda 架构，升级到 Flink + Paimon + StarRocks Lakehouse 方案，支撑实时交易补贴自助分析、以及客户满意程度服务大屏等场景。相比实时数仓，在增加 15% 查询延时下，减少约 90%的存储成本，减少约 50% Flink 计算开销。
以降本增效为主要目标的企业，选型时可优先考虑存算分离架构配合智能缓存策略，成本优势显著，且性能接近存算一体。通过弹性的资源调度和完善的数据生命周期管理，公司能够在满足实时场景需求、保证性能的同时大幅度降低运营成本。
开放湖格式(如 Iceberg)在这一场景下具备一定优势，它能够支持多引擎访问，满足多种 AI 训练场景的数据需求，同时通过统一的数据管理降低存储成本，这也解释了为什么慢慢的变多的互联网公司开始将 AI 相关的数据迁移到湖仓架构。
架构升级不仅需要技术选型，更需要深入理解业务需求，并在实践中一直在优化和调整。
小红书作为国内领先的互联网公司，通过采用 StarRocks + Iceberg 的湖仓架构，实现了显著的技术突破：
通过一系列创新性的技术方案，包括实现 DataCache 本地回写、引入 Z-Order 智能排序、支持灵活的 Join 策略等，将 P90 查询响应时间提升了 3 倍。同时，通过数据跳过(Data Skipping)机制的优化，他们在存储效率上也取得了突破性进展，相比原架构节省了 50%的存储空间。
在数据要素价值化与 AI 爆发的双重驱动下，湖仓一体(Lakehouse)已从技术概念演进为支撑企业数字化转型的核心底座。建议企业关注三个重点方向：
2. 将实时湖仓能力建设纳入战略优先级，借助 StarRocks 等实时引擎释放流式数据价值；
3. 在 AI 基础设施规划中，预留非结构化数据处理能力，构建支持多模态数据应用的未来架构。
作为开源项目 StarRocks 的主要贡献者，镜舟科技也凭借对其深度优化和全栈技术整合能力，将 StarRocks 的高性能 OLAP 引擎与现代湖仓架构相结合，助力企业以低成本、高 ROI 投入湖仓浪潮。
