微软和谷歌正在加入一个项目,该项目旨在为跨数据、分析和AI平台交换语义模型创建一套开放规范。该项目已获得超过60家公司的支持,包括Databricks、Informatica、Mistral AI、英伟达、甲骨文、Salesforce和Snowflake。

分析师表示,这些厂商对Ossie的支持让未来分析平台实现互操作性变得更有可能,但并不能保证供应商锁定问题会彻底消失。

该项目最初名为开放语义交换(OSI),今年6月被Apache孵化器接受后更名为Apache Ossie。它使用JSON和YAML来表示语义模型,包括数据集、字段、关系、指标和AI上下文,使这些内容能够在Snowflake、Databricks、Tableau、ThoughtSpot和Sigma等平台之间实现互操作。

Ossie采用轮毂辐射式模型来实现互操作性,作为通用语义格式,同时由转换器在其与各厂商具体语义实现之间进行转换。这意味着企业可以在兼容平台之间迁移语义模型,而不需要为每一对厂商单独开发点对点转换器。

微软对Ossie的支持包括开发Power BI语义模型与Ossie之间的双向转换器,使Power BI中定义的语义上下文能够以通用格式表示,同时Ossie模型也能转换回Power BI,该公司在一篇博客文章中写道。

微软还在推动Ossie规范增加对其本体论的更多支持,并希望Ossie认可的查询语言中包含DAX——这是Power BI用于定义计算和业务指标的表达式语言。

该公司写道,这意味着企业在支持Ossie的平台之间迁移时,能够将赋予语义模型业务含义的计算逻辑与底层模型一起带走。

与此同时,谷歌正在加入Apache Ossie的过程中,该公司一名代表通过邮件回复表示。谷歌尚未提供其计划贡献或已经贡献的具体细节。

Ossie规范将BigQuery/GoogleSQL列为支持的方言,这名代表表示,这是"早期社区贡献"的结果,这些贡献认可了BigQuery在企业数据堆栈中的覆盖范围。

超市巨头H-E-B高级数据工程师阿迪蒂亚·兰詹表示,两大科技巨头对该项目的支持,可以减轻企业团队在不同平台间迁移分析工作负载时反复进行语义工程的负担。

HFS Research执行研究主管阿希什·查图尔韦迪表示,这种工程负担的减少还有助于避免"指标漂移",这通常是在不同平台上重新创建和维护相同业务定义所带来的后果。他说,有了Ossie,开发者可以一次性定义某个指标,并将其视为一个可版本化、可审查的代码构件,而不必为每个平台单独重建和维护它。

兰詹表示,另一个潜在好处是,当开发者在接入新的分析工具或部署新的分析或AI应用时,如果能减少为每个平台翻译和验证语义定义所花费的时间,生产力就有可能提升。

HyperFrame Research AI堆栈实践负责人斯蒂芬妮·沃尔特表示,这也能让开发者更容易构建具有一致业务上下文的智能体应用,因为在各平台间维持单一的指标定义,可以降低不同智能体对同一指标做出不同解读的风险。她补充说,这能让首席信息官们对扩大智能体部署规模更有信心。

Moor Strategy and Insights首席分析师迈克尔·利昂认为,微软和谷歌支持Ossie带来的更大好处,是让企业通过提高语义模型的可移植性,从而对自身语义模型拥有更多掌控权。

沃尔特表示,这种可移植性让买家拥有更大的话语权,因为更换BI或数据平台将不再需要从零开始重建语义层。

然而,沃尔特指出,可移植性并不一定意味着完全的互操作性,因为企业能在多大程度上跨平台迁移语义模型,将取决于Ossie能够表示多少特定厂商的逻辑和功能,以及目标平台能够多准确地解读这些内容。

"可移植的结构并不能保证行为上的等效性。一个指标在语法上可能顺利完成转换,但由于目标平台对连接、空值、时间计算或过滤器的解读方式不同,仍可能产生不同的结果。"

查图尔韦迪表示,这一挑战对Power BI尤为突出,因为其DAX中的时间智能函数、计算组和上下文转换并不总能干净地映射到ANSI SQL,这意味着一个复杂的Power BI模型在转换过程中可能会丢失部分行为特性。

因此,兰詹建议,首席信息官们在将转换后的模型投入生产之前,仍需验证其是否保留了预期的计算结果、业务逻辑和运行结果,尤其是对于复杂模型而言。

查图尔韦迪表示,治理方面也存在空白:"核心规范涵盖了数据集、关系、字段和指标,但并未将行级安全性、访问策略或认证状态列为一等要素。"

这意味着企业仍需在每个平台上重新设置这些内容。

此外,Ossie的稳定性和长期采用情况仍是悬而未决的问题。该项目目前仍处于"孵化"阶段,这意味着它还不是一个完整的Apache软件基金会项目,尚未证明自己符合社区规范。沃尔特表示,当前的规范版本0.2被明确标注为开发草案,这意味着其架构和功能在演进过程中仍可能发生变化,这让首席信息官们对其作为长期互操作层的适用性缺乏足够的确定性。

查图尔韦迪表示:"目前的草案还移除了早期的文档结构,尚未定义捆绑包或跨模型引用,而这些能力正是拥有互联模型的大型企业可能需要的。"

即便Ossie获得广泛采用,也不太可能彻底消除供应商锁定问题。

查图尔韦迪表示:"新形式的锁定很可能会出现。执行引擎将保留任何交换格式都无法捕获的专有行为,而厂商扩展功能将承载越来越有价值的特性。"

他补充说,对企业而言,这意味着定义本身变得可移植,但围绕这些定义的行为表现仍将是平台专属的。

本文首发于CIO网站。

Q&A

Q1:Apache Ossie是什么?

A:Apache Ossie是一个开放规范项目,旨在创建统一格式以便在不同数据、分析和AI平台之间交换语义模型,包括数据集、字段、关系、指标和AI上下文等内容,使这些信息能跨Snowflake、Databricks、Tableau等平台互通。

Q2:微软和谷歌对Ossie项目分别做了哪些贡献?

A:微软开发了Power BI语义模型与Ossie之间的双向转换器,并推动规范支持DAX查询语言;谷歌正在加入该项目,其BigQuery/GoogleSQL已被列为Ossie支持的方言之一。

Q3:Ossie能否彻底解决企业的供应商锁定问题?

A:不能完全解决。虽然Ossie能让语义模型的定义变得可移植,但执行引擎的专有行为和厂商扩展功能仍会带来新的锁定形式,企业迁移时仍需验证转换后的模型是否保留原有计算逻辑和结果准确性。

InfoWorld