人工智能相关术语对照说明已在文中体现。本文原发布于Geisel Software官网,经该公司授权转载。
摘要:在使用AI协助重写一套工业嵌入式系统六个月之后,我认为这次经历总体上是成功的,但有几个重要的前提条件需要说明。AI在实现代码、编写脚本、分析日志和撰写文档方面确实很有用,但它往往会基于错误的假设构建大量代码,而且经常忽略全局问题。理解并验证这些工作所花费的精力,远远超出了代码生成速度所带来的那种"快"的表象。
当AI承担大部分编码工作会发生什么
一位同事将AI形容为"一个拥有百科全书式知识、却毫无智慧的软件实习生"。在几乎完全依靠AI进行开发的六个月之后,我理解了他这句话的含义。AI可以极为详细地解释陌生的代码,但随后却会忽略一个有经验的工程师会质疑的决策后果。
我在一家大型公司(名字你一定听说过)从事一套工业控制系统的开发工作。我们团队使用大语言模型以及Kiro等工具,将用领域专用语言编写的软件转换为C++。实际上我们是在重写现有软件,而大部分实现工作都由AI完成。
在这段时间里的大部分时候,我几乎很少打开代码编辑器。我的工作重心转向了指导AI、评估它做出的决策,以及调查过程中遇到的问题。
让我屡屡"中招"的是:AI能够多么迅速地把一个假设转化为具体实现。一个功能表面上看起来已经完成,但实际设计却是一场灾难。这种落差体现在方方面面,从设备文档到架构设计,再到实时控制。
一个令人信服的AI回答如何把我们带向了错误方向
有一次调查涉及一个拥有两种不同复位机制的设备。我们需要弄清楚这两种机制是否实现了相同的效果,还是说其中一种能清除另一种无法清除的故障。有人估计这项调查只需要15分钟,而我从一开始就觉得这个估计过于乐观。
我平时使用的AI工具给出了一个解释,但无法访问相关的技术手册。它建议了一个在代码注释中找到的手册编号,但那条线索最终没有结果。在搜索过程中,我看到了一个Gemini给出的回答,看起来更有希望。
Gemini自信而详细地解释说,这种复位会重启设备固件,需要逐步重新初始化,并与状态机进行协调。这个说法听起来在技术上是合理的,我也把这个解释分享给了同事。
其实当时已经出现了警示信号。当我进一步追问时,Gemini最终推荐了两个网页,而这两个网页显然与当前情况毫无关联。我本应更加留意这一点,但由于解释中的技术细节过于详尽,反而让这个说法显得比实际证据所能支撑的更加可信。
随后我把Gemini的回答输入到我常用的AI工具中,它发现了一些我之前忽略的矛盾之处。这促使我去查看实际运行中触发复位路径的日志。结果发现,设备根本没有执行硬复位,也没有Gemini所描述的任何类似的流程。在没有故障的情况下,这次复位实际上被系统忽略了。
最终,我找到了正确的技术手册,其中的描述几乎把我们的理解推向了相反的方向。即便如此,由于之前已经吃过亏,我仍然不太敢完全认定问题已经解决。
这次调查之所以让我印象深刻,是因为那个错误的答案是如此令人信服。它给出了一套关于设备行为的连贯说法,但当我们用日志和文档去核对这套说法时,结论发生了实质性的变化。请教另一个模型帮助揭示了问题所在;而观察系统实际行为、找到正确的手册,才给了我们更可靠的依据。
当代码控制硬件时,AI会遗漏什么
同一个复位功能也暴露出了一个架构层面的问题。这个操作始于用户界面,经过协调中间件,最终通过网络总线事务设置一个寄存器位来完成。AI把特定于硬件的复位逻辑实现在了中间件层,而这个寄存器操作本应该属于设备驱动层。
它只是沿着功能路径走,却没有顾及各层之间应有的职责划分。这个实现确实完成了请求,但代码所处的位置在我们的架构中是错误的。
另一个功能则暴露出了一个后果更严重的疏漏。AI从一个非实时线程中调用了代码,而这段代码会获取一个实时线程所需要的互斥锁。尽管它能够访问源代码,却没有考虑到这种竞争关系,结果扰乱了硬实时周期,并导致了物理运动方面的问题。
这个调用单独来看是合理的。要理解这个问题,需要顺着共享资源一直追溯到控制循环中,并考虑究竟哪个线程需要这个互斥锁、什么时候需要,以及它不得不等待时会发生什么。
这些经历让我更加注意审视一个实现背后的推理过程。对于嵌入式软件而言,仅仅审查某个功能本身是不够的。你还需要理解这个操作应该属于哪里、它可能阻塞什么,以及它会如何影响系统其他部分的行为。
当AI在一个你并不熟悉的领域生成复杂代码时,这一点就会变得很困难。我从它的解释中学到了很多,但其中仍有一些细微之处需要人类的专业领域知识。其他审查人员也面临类似的困境,因此很难有人能够自信地为所有逻辑的正确性担保。
我们最终开始使用AI工具来把AI生成的代码解释成更便于审查的形式。这些解释确实有帮助,但并没有解决一个更根本的问题:我们是否具备足够的领域知识来评估这种设计。
为什么看似已完成的功能总是变成更多的返工
有一部分返工来自AI对自己已经实现的决策重新考虑。我把这种现象称为"松鼠效应"。戴夫·科弗利(Dave Coverly)有一幅《减速带》(Speed Bump)漫画很巧妙地呈现了这一点:画面中一只松鼠站在路边,旁边原本应该是"通行/禁止通行"的标志,但上面写的却是"跑。停。再跑!跑。停。再跑!转身。跑!不,停住!"
观察一次推理过程有时会很有意思:模型沿着一条思路推进,然后突然说"等等……",接着掉头,或许会反复来回好几次。如果这种情况发生在实现之前,看到这种不确定性反而是有用的。但如果发生在一个功能已经构建完成之后,就会让人更加沮丧。测试会暴露出问题,我把问题反馈给模型,它会承认之前的假设有误,然后提出一个完全不同的设计方案。
人类开发者也会改变主意。真正令人头疼的是,在我们发现某个假设需要进一步调查之前,AI已经能够产出大量代码了。
还有一部分返工来自那些看似有帮助、但其实不符合需求的额外添加。比如在一个磁盘空间监控功能中,我们需要固定的警告和严重阈值。AI却添加了环境变量,让这些阈值变得可配置,我当时觉得这很有用,尤其是在测试场景下。但后来这个功能不得不被移除,因为它不符合系统的既有约定。
类似的问题也出现在我要求AI监控一个上游网络连接、并在连接断开时发出警报的任务中。它提出了一套判断"断开"的算法,我没有核实这套算法是否满足保留原系统行为这一要求,就直接接受了。
原系统的行为并没有文档记录,而AI提出的算法看起来也合情合理。但要保留原有行为,就必须先弄清楚现有系统实际上是如何检测连接丢失的,然后才能接受这个新实现。
此外还存在一种持续精细化改进的倾向。模型会不断建议增加某个抽象层或配置选项,而由于它能很快地生成相应的改动,这种添加看起来成本很低。但每一项"改进"最终都变成了我们必须理解、测试和维护的代码。"你用不上它"这条原则,即便在AI负责敲代码的情况下,依然同样适用。
自动化审查也带来了它自身的复杂性。我们的CI/CD分析确实捕捉到了真实的缺陷,其中一些还相当隐蔽,但它同时也提出了一些无关紧要的问题,或者给出的反馈并不特别有用。我修复了三个问题并重新提交,结果却收到了三个此前根本没出现过的、毫不相关的新问题。
在一轮审查中被接受的内容,到了下一轮可能又会被质疑。每一轮审查都可能把实现引向一个新的方向,最后还得由我来判断哪些问题值得去改,以及代码到底什么时候才算准备就绪。这种审查确实能发现真实的缺陷,但要完整走完连续几轮反馈,往往要花费数个小时。
AI在哪些方面持续让开发工作变得更轻松
一些最明显的成效来自那些目的明确、结果可以直接验证的小任务。有一天,我需要在某条特定日志出现后的五秒内终止一个应用程序。由于日志量极大,手动测试这种行为并不现实。
我请AI编写这个脚本,效果很好,为我提供了一种实用的方法,去测试那些我无法可靠地手动检查的行为。我还用它来构建一个更大的脚本,用于检索和分析某项特定任务所需的AWS数据,以及一些后来成为我日常工作流程一部分的开发工具。
日志分析是AI另一个表现出色的领域。它能够处理大量输出内容,识别其中的模式,并为根因调查提出有价值的线索。它偶尔也会追逐一些没有成效的猜测方向,所以我仍然需要核实它的结论,但总体而言它通常能帮助我取得进展。
我们还广泛使用它来撰写文档、工单说明和绘制图表。它的初稿有时会过于冗长,或者引入一些不够清晰的术语。但如果给它指定一个具体的受众,结果就会明显改善。比如,要求它给出适合管理层阅读的解释,往往能把一份晦涩的技术说明变成真正有用的东西。
当我遇到不熟悉的代码时,我会利用AI来追踪逻辑、检查依赖关系,并在自己的分析过程中借助它来理清各种疑问。甚至是为工时记录总结当天的工作内容,它也能帮我省下不少精力。
这些用途相比让AI跨越多个软件层去实现一个完整功能要保守得多,但它们确实带来了实实在在的差别。它们减少了理解系统、调查问题以及撰写文档所需的工作量。
团队应如何判断AI编码是否真正有帮助
代码生成的速度是显而易见的。但要为这些代码建立起信心所需付出的努力,却不那么容易被看见,而这也影响了我们团队的预期。
AI可以很快地产出实现代码,即便是在那些需要专业知识的系统部分也是如此。但审查其设计、核实其假设、验证其行为,仍然需要大量工作,有时甚至会把我们原本以为节省下来的时间重新消耗掉。
我们被要求以超高速度交付软件,但我常常觉得我们需要更多时间来验证AI所构建的东西。这对我来说是整个经历中最艰难的部分:一个实现看起来已经准备就绪,但关于它将如何表现——尤其是在与硬件交互时——的问题可能仍然悬而未决。
即便如此,我依然会把这六个月称为一次成功的经历。AI帮助我理解了陌生的代码、构建了有用的工具,并处理了大量日常事务性工作。它也教会了我更加仔细地审视那些表面看起来已经完成的方案,尤其是在其底层假设尚未经过核实的情况下。
如果你的团队正在扩大AI辅助软件开发的使用范围,不妨挑选一个最近完成的功能,追溯它从最初需求到实现、审查、修正,再到实际观察到的行为的整个过程。看看AI在哪些地方节省了精力,又在哪些地方制造了更多的工作,以及哪些决策必须依靠有经验的工程师来把关。
利用你从中发现的经验来调整下一个功能的工作流程,给工程师留出时间去解决那些真正重要的问题,然后再让代码继续向前推进。这样做的回报,就是能够更早地达到可以放心交付的软件质量。
工程师们对AI辅助软件开发常问的问题
AI对嵌入式软件开发有用吗?
有用。在这个项目中,AI帮助我们完成了代码实现、开发脚本编写、日志分析、文档撰写以及代码解释等工作。但硬件行为、架构边界以及实时交互方面,仍然需要人工仔细审查和独立验证。
AI能够审查AI生成的代码吗?
AI可以解释生成的代码,并发现潜在的缺陷。但在我们的工作流程中,自动化审查也会遗漏一些问题,或者在不同提交之间给出前后不一致的结论。它的反馈在配合人类领域专业知识以及对系统实际行为的测试时,才真正发挥出价值。
团队应该如何衡量AI编码的生产力?
应该衡量交付一项经过验证的变更所需的总体工作量,包括实现、审查、调查、修正和测试在内的全部环节。同时还要考虑团队是否真正理解所生成的代码,以至于能够长期维护它。
埃里克·埃万科(Eric Ewanco)
Geisel Software高级软件工程师
