数据工程 关键字列表
如何筛选数据工程服务商:并排评估指南

如何筛选数据工程服务商:并排评估指南

企业在筛选数据工程服务商时,往往陷入价格竞争的误区,忽视了数据治理与低延迟架构等核心能力。本文提供一套系统性评估框架,涵盖工作负载定义、云生态匹配、合规硬性要求、实时流处理能力及成本治理五大维度,帮助企业识别真正具备业务逻辑理解能力的技术合作伙伴,避免花费高额成本却构建出无法支撑AI战略的"数据管道"。

Databricks推出数据工程副驾驶并收购智能体评估初创公司Quotient AI

Databricks推出数据工程副驾驶并收购智能体评估初创公司Quotient AI

Databricks今日发布人工智能代理Genie Code,旨在自动化复杂的数据工程和分析任务,将代理技术从软件工程扩展到企业数据工作流。同时宣布收购专注于AI代理评估和故障诊断的初创公司Quotient AI。Genie Code通过深度集成企业数据系统和治理层,能够解释组织数据上下文、历史查询模式,将用户意图转化为生产数据工作流。该系统正在改变数据专业人员的角色,将工作重心从编写代码转向监督和编排AI代理。

Snowflake扩展Cortex Code CLI支持dbt和Airflow以简化数据工程工作流

Snowflake扩展Cortex Code CLI支持dbt和Airflow以简化数据工程工作流

Snowflake将其终端AI编码代理Cortex Code CLI的支持扩展至dbt和Apache Airflow,帮助数据工程师简化工作流程。该集成为开发者提供安全的上下文感知AI助手,支持在首选数据工程系统中工作。此前开发者需要在不同环境间切换并手动调整代码,效率较低。这一举措被视为Snowflake在数据工作流开发体验方面的战略布局,将加剧与Databricks等公司在AI原生数据栈领域的竞争。

微软收购Osmos数据平台,强化Fabric智能数据工程能力

微软收购Osmos数据平台,强化Fabric智能数据工程能力

微软收购了成立于2019年的AI数据工程平台Osmos,以增强其Fabric数据平台功能。Osmos基于Apache Spark技术,已在Fabric上提供数据管道和上传产品。微软表示此次收购将支持Fabric统一数据分析平台的使命,通过AI代理简化ETL数据工程任务,帮助客户减少50%的开发和维护工作。这一收购标志着微软数据平台战略的转变,从依赖Databricks转向自主技术发展。

Pure Storage谈AI数据挑战超越硬件层面

Pure Storage谈AI数据挑战超越硬件层面

Pure Storage AI基础设施副总裁Par Botes强调,成功应对AI工作负载不仅需要足够的计算和存储资源,更关键的是确保AI训练数据的质量。企业需要捕获、组织、准备和对齐数据,因为数据往往不完整或不适合AI要解决的问题。他建议企业思考数据工程流程,利用数据湖仓对数据进行清理和准备,并建立持续的数据管理discipline。

Astronomer 发布新平台,数据可靠性成为 AI 发展最大障碍

Astronomer 发布新平台,数据可靠性成为 AI 发展最大障碍

Astronomer 公司推出了 Astro Observe,标志着其从单一产品公司向竞争激烈的数据操作平台市场的扩展。随着企业在实现 AI 计划和维护可靠的数据管道方面面临挑战,该平台旨在通过将编排和可观察性功能结合在一个解决方案中,帮助组织更有效地监控和排查数据工作流。

SAP 宣布与 Databricks 合作,用商业数据云助力 AI 发展

SAP 宣布与 Databricks 合作,用商业数据云助力 AI 发展

SAP SE今天推出了商业数据云(Business Data Cloud),这是一种新的数据解决方案,旨在统一组织内所有SAP数据和第三方数据,为洞察和人工智能应用提供基础。SAP还推出了一系列即用型Joule代理,这些人工智能代理可以在财务、销售等多个行业中进行决策和操作,几乎无需人工干预。对于当前即用型人工智能代理无法处理的用例,SAP还推出了新的代理构建器,客户可以使用最相关的数据和业务上下文定制自己的人工智能代理,以处理引导工作流。

生成式 AI 时代的数据:我们需要更多知识工程师

生成式 AI 时代的数据:我们需要更多知识工程师

在生成式 AI 时代,数据的重要性日益凸显。随着 AI 项目从概念验证走向生产,组织需要更加关注用于训练和推理的数据质量。专家们强调了解数据背景的重要性,以确保 AI 模型使用正确的数据。这突出了知识工程师的重要性 - 他们能够理解数据的上下文,并引导我们找到正确的数据。知识工程在 AI 时代将发挥关键作用。

数据分析工具公司 Dbt Labs 如何将开源工具打造成十亿美元级企业

数据分析工具公司 Dbt Labs 如何将开源工具打造成十亿美元级企业

Dbt Labs 从一个小型咨询公司的副业项目,发展成为年经常性收入超过1亿美元的快速增长企业。该公司的数据管理工具 Dbt Cloud 和开源工具 Dbt Core 现已被 5 万多个团队使用,帮助企业简化和格式化数据,从中获取新的洞察。人工智能的兴起为公司带来新的增长机遇。

Prophecy 获得 4700 万美元融资,利用生成式 AI 实现数据管道开发自动化

Prophecy 获得 4700 万美元融资,利用生成式 AI 实现数据管道开发自动化

预言科技公司获得4700万美元B轮融资,旨在利用生成式AI革新企业数据访问和处理方式。该公司开发了首个Databricks协作工具,通过AI简化数据准备流程。预言科技的解决方案可自动创建数据管道,帮助企业加速AI项目落地,解决数据工程师短缺问题。公司收入增长迅速,客户包括德州游骑兵棒球队等。