数据管道与工作流编排工具Prefect宣布收购同类产品Dagster,将两家最具影响力的Apache Airflow竞争者合并为一家公司。此次交易尚未正式完成,但Dagster的开源编排工具及其全托管云服务Dagster+将保留原有名称、定价和产品路线图,Dagster团队约40名员工将随交易一同并入Prefect。
这不只是一场数据管道的整合
Prefect创始人兼CEO杰里迈亚·洛温在领英上发文阐释了此次收购的战略逻辑:这是一次押注——押注AI智能体可靠运行所需的各项能力。智能体需要明确的目标定义,同时也需要在执行路径脱离预设轨道时灵活应变。
在洛温的构想中,三款工具各司其职:Dagster负责定义和追踪执行目标,充当"目标设定"的角色;Prefect负责实际运行工作流,承担"灵活执行"的功能;Prefect旗下用于连接智能体与外部系统的工具FastMCP,则负责管控智能体在整个过程中可以调用的资源范围。
"现代编排领域迎来了新的重心。"洛温写道。
从竞争对手到一家公司
Prefect与Dagster均创立于约七年前,彼时两家公司同时以挑战者姿态出现,共同对抗当时被大多数团队用于调度和运行数据管道的主流工具Airflow。
Prefect的定位是为Python开发者简化生产级工作流编排、提升可靠性;Dagster则更注重数据管道的定义、理解与校验,强调管道应产出什么结果,而非仅仅执行一系列任务。
"多年来,Prefect和Dagster相互激励、共同提升了整个领域的水准,"洛温写道,"这种竞争催生了两款出色的产品,也孕育了数据生态中两个最具活力的开源社区。"
两款产品各自积累的能力,如今正被延伸到一个更宏大的使命上——Prefect相信,这些能力恰恰是AI智能体工作负载接下来所需要的。
两家公司都已转型布局智能体
事实上,两家公司在向AI智能体方向转型方面均已有所动作。2024年,Prefect 3.0正式发布,明确将支持智能体工作流作为核心方向。一年后,Dagster推出了Components功能,以可复用的YAML构建块替代手写Python来构建数据管道。随后,Dagster又推出Compass工具,允许分析师通过Slack发送自然语言提示来查询数据,无需编写SQL。
不过,这些功能在影响力上均不及Prefect通过FastMCP所建立的生态。FastMCP基于模型上下文协议(MCP)构建,这一开放标准由Anthropic于2024年底发布,允许AI模型发现并调用外部工具和数据。FastMCP让开发者只需编写普通Python函数,便可构建MCP服务器,无需直接对协议进行手动编码。Prefect在MCP发布的同月推出了FastMCP,Anthropic随后将其采纳为MCP的官方Python SDK。
创始人的告别
此次收购除了产品层面的整合,也意味着一段个人旅程的终结。Dagster创始人尼克·施罗克曾于2022年从CEO职位转任CTO,为彼特·亨特让位。官方收购公告中,两人均被列为将继续担任Prefect战略顾问,并在开源社区保持活跃。
然而,施罗克本人在同日发布的博文中,措辞更像是一次彻底的告别。"我想告诉大家,我将离开这个项目和公司。"他写道。
施罗克的离开为Dagster翻过了一页。而这场收购本身,则开启了新的篇章——Prefect押注于此:两家公司多年来为数据编排所打磨的理念,将在AI智能体进入生产部署的浪潮中同样大放异彩。
电商平台Redo的首席数据工程师兰登·贝利也在领英发文感慨这次合并:多年来,Prefect和Dagster是人们想从Airflow出走时最常转向的两个"小众选择"。他认为,两者合并后,将有更大的胜算向这个行业巨头发起挑战。
"Prefect借此向Airflow市场份额发起真正挑战的潜力,值得期待,"贝利写道,"单打独斗时,两款工具都难以撼动那个行业巨头,但现在,真正撕开缺口的机会来了。"
Q&A
Q1:Prefect为什么要收购Dagster?
A:Prefect收购Dagster的核心逻辑是押注AI智能体编排市场。Prefect CEO洛温认为,Dagster擅长定义和追踪执行目标,Prefect擅长灵活运行工作流,FastMCP负责管控智能体可调用的外部资源,三者结合可以构建一套完整的智能体运行基础设施。此次收购并非单纯的数据管道整合,而是为AI智能体工作负载做好准备。
Q2:收购之后Dagster产品还会继续存在吗?
A:会继续存在。根据收购协议,Dagster的开源编排工具和全托管云服务Dagster+将保留原有名称、定价和产品路线图,不会被合并或下线,Dagster团队约40名员工也将随交易并入Prefect继续参与产品开发。
Q3:FastMCP是什么,和MCP有什么关系?
A:FastMCP是Prefect开发的一款工具,基于Anthropic于2024年底发布的模型上下文协议(MCP)构建。MCP是一种开放标准,允许AI模型发现并调用外部工具和数据。FastMCP简化了MCP服务器的构建方式,开发者只需编写普通Python函数即可,无需手动实现协议细节。Prefect在MCP发布的同月推出了FastMCP,Anthropic后来将其采纳为MCP的官方Python SDK。
