AI承诺以极快的速度生成代码,让应用程序快速推向市场。今年5月,arXiv上发表的一项研究显示,82%的应用程序开发者表示在AI的帮助下,编写代码所花费的时间明显减少。
然而问题随之而来:质量保障(QA)流程的发展远未跟上AI的步伐。AI让开发者能够并行构建多个功能模块,但QA的验证工作仍基本停留在串行模式。新AI应用的功能在不断改变底层测试数据,导致测试结果出现偏差,错误也随之增多。
AI开发工具提供商Build This Now向我分享了其内部基准测试数据。
"我们发现,并行运行超过约四个功能时,情况就会陷入混乱,"他们表示,"构建智能体的速度没问题,但验证环节,也就是QA,根本跟不上。"
Build This Now进一步解释称,当并发功能数量超过四个左右时,通常会出现三类问题:测试数据相互干扰、验证结果出现偏差,以及错误难以准确溯源定位。
尽管如此,开发者和QA团队仍可以采取一系列措施,提升QA的速度与准确性,以更好地适应AI编码的节奏。
开发团队与QA团队的应对之策在于,将测试流程模块化,使各功能的验证工作尽可能独立;同时引入AI辅助测试工具,自动识别数据依赖关系;此外,建立专门针对并行开发场景的测试数据管理机制,也是减少相互干扰、提升整体验证效率的关键。
您的组织是如何平衡AI开发速度与QA流程的?欢迎与我们分享。
Q&A
Q1:为什么AI应用开发中的QA流程会跟不上开发速度?
A:AI让开发者可以并行构建多个功能模块,但QA验证环节仍以串行方式运作。与此同时,新AI应用的功能会不断改变底层测试数据,导致测试结果出现偏差和错误。当并发功能数量超过约四个时,测试数据相互干扰、验证结果失真、错误难以溯源等问题会集中爆发,使整个QA流程陷入混乱。
Q2:并行开发超过四个功能时,QA会出现哪些具体问题?
A:根据Build This Now的基准测试数据,当并发功能数量超过约四个时,通常会出现三类问题:测试数据相互干扰,导致验证结果出现偏差;错误来源难以准确定位和溯源;整体验证流程效率大幅下降,构建智能体虽然跟得上,但验证环节明显滞后。
Q3:开发团队可以采取哪些措施来改善QA流程与AI开发速度不匹配的问题?
A:主要有三个方向:一是将测试流程模块化,让各功能的验证工作尽量独立运行,减少相互干扰;二是引入AI辅助测试工具,自动识别不同功能模块之间的数据依赖关系;三是建立专门针对并行开发场景的测试数据管理机制,从源头上降低数据污染风险,提升整体验证效率。
