Databricks在年度Data + AI峰会上发布湖仓事务与分析处理(LTAP)架构,旨在将事务型与分析型数据统一至单一存储层,消除对ETL管道和数据复制的依赖。该架构针对AI智能体需同时访问实时操作数据与历史分析上下文的需求而设计,有别于传统OLTP/OLAP分离模式。分析师认为,相比此前失败的HTAP方案,LTAP的存算分离设计更具可行性,还可简化治理并降低数据工程成本。LTAP将作为Lakebase的一部分发布,具体时间尚未公布。
Databricks在旧金山Data + AI峰会上发布全新数据架构LTAP(湖上事务/分析处理),旨在消除企业计算中事务数据库与分析系统长期分离的瓶颈。LTAP基于Lakebase平台,将运营与分析工作负载统一在数据湖的单一数据副本上,支持PostgreSQL兼容性,并以Delta Lake和Apache Iceberg等开放列式格式存储数据,无需ETL或CDC管道。此外,Databricks还推出实时分析引擎Lakehouse//RT,其底层执行引擎Reyden可实现最低10毫秒的查询响应时间,性能较现有架构提升最高16倍。
当前AI系统具备强大推理能力,却缺乏类似人类元认知的感知反馈机制——即在不确定时主动聚焦细节的能力。现有数据格式多为单体结构,迫使AI每次都要加载并解码全量数据,效率低下且制约感知精度。V-Nova认为,下一代AI数据架构应具备层次化、并行化与计算感知特性,让模型能先获取"概要",再按需查询关键细节区域,将数据从静态文件转变为可交互的感知接口,这对视觉AI与物理AI尤为关键。
随着AI技术快速演进,工业领域的数据架构正面临前所未有的挑战与机遇。本文深入评估当前数据存储技术格局,探讨企业如何在海量数据管理、实时处理与智能分析之间寻求平衡。从边缘计算到云端存储,从结构化数据到非结构化数据的统一管理,文章为工业企业提供构建高弹性、可扩展数据基础设施的策略参考,助力企业为AI驱动的未来做好充分准备。
Snowflake宣布扩展其开放数据架构战略,推出一系列互操作性增强功能,核心包括:支持Apache Iceberg V3开放表格式,新增半结构化数据类型、地理空间数据支持及行级溯源追踪等特性;通过Apache Polaris实现治理策略跨平台可移植;借助pg_lake扩展消除ETL管道;并推进OpenLineage与开放语义交换标准,帮助AI系统获取一致、可治理的数据,降低架构复杂度与成本。
Ctera Networks推出新产品Fusion Direct,统一传统网络附加存储和对象存储两个独立存储域,创建高性能数据结构。该产品消除了文件到对象的转换瓶颈,支持人类以传统文件方式访问数据,同时机器通过对象存储方式处理相同数据。新架构支持S3等高性能标准,AI集群和GPU可实现最大带宽读写,为企业AI应用提供统一数据平台。
随着AI技术快速发展,传统数据仓库和数据湖难以满足AI驱动分析的灵活性和速度要求。Google重新设计BigQuery为统一的数据和AI平台,能够整合结构化和非结构化数据,实现与AI代理的无缝连接。该平台采用代理式AI方法,超越传统机器学习模型嵌入,实现自动化、情境感知的洞察生成,提升分析的速度、质量和可访问性,帮助企业构建适应AI时代的现代化数据架构。