"所见即所得"是许多软件工程师遵循的一项指导原则——创建的程序应确保用户编辑时看到的内容与最终成品一致。但当用户使用生成式人工智能系统来3D打印一个马克杯时，很可能得到的成品根本无法用来装咖啡。这是为什么呢？
问题在于，AI模型理解物体应该呈现什么样子，却不理解它应该如何运作，这就导致设计出的物品虽然外观不错，却无法满足其本应具备的实际用途。即便用户想要修正这些错误，这些模型通常也很难编辑，对于刚接触3D设计的新手来说更是如此。
一种名为"InstructMesh"的新方法，让用户设计和打印家居用品、配饰以及机器人变得容易得多，且打印出的成品在现实中能够真正发挥作用。这款设计软件由麻省理工学院计算机科学与人工智能实验室（CSAIL）、谷歌和东北大学的研究人员共同开发，可以通过提示生成例如一副眼镜的3D设计，随后用户可以标出设计图中需要细化的具体部位，再进行3D打印。这是一个由AI驱动的交互界面，旨在理解这些设计应该呈现的样子，以及专家和普通用户各自想要进行的修改，帮助他们打造出真正想要的物品。
CSAIL的研究人员利用InstructMesh为原本普通的物品增添了个性化的创意设计。例如，该工具制作出了一个仿佛被巨龙环绕的马克杯，龙尾巴正好充当杯柄。它还制作出一个形似贝壳的闪亮蓝色哨子，以及一副在镜片上方展开蝴蝶翅膀的眼镜。更有创意的是，它还制作出一个类似章鱼形状的分液器，液体从每条触手中流出，可以同时向多个杯子分发饮料。
是什么让InstructMesh能够如此出色地响应这些独特的提示要求？它将微软的TRELLIS系统（该系统能够根据文本和图像提示创建3D模型）与支持ChatGPT的大语言模型GPT-4相结合——也就是将视觉与文本知识融合在一起。
"我们希望将3D生成器的能力与大语言模型的推理能力结合到一个交互空间中，从而制作出人们真正想要的物品，"项目论文的第一作者法拉兹·法鲁基（Faraz Faruqi）说道，他是电气工程与计算机科学系2022年硕士、2026年博士毕业生，也是CSAIL最近的研究人员。"大语言模型擅长处理文本和图像，而TRELLIS的长处在于创建3D模型的能力，因为它已经见过大量的模型案例。"
InstructMesh的优势在其他更令人意外的领域也发挥了作用。麻省理工学院的科学家们利用该程序制作出一款外观类似牛仔布的护膝，以便与患者的牛仔裤相搭配。InstructMesh甚至可以帮助制作机器人——即容纳无线组件的巧妙外壳。研究人员制作了一个外形酷似彩色虾子的"刷毛机器人"来展示这一点。它内部隐藏着一个马达，开启后能够像上了弦的玩具一样在表面上滑动。
法鲁基和他的同事们发现，InstructMesh能够轻松制作出他们想要的物品。但是，一个从未进行过3D建模的人会如何评价这款程序呢？他们真的能够在制作之前识别出设计缺陷吗？
为了解答这个问题，研究团队让TRELLIS重新创建了Thingiverse平台上的热门3D模型，该平台收录了数百万个可3D打印的模型。结果显示，它生成的模型中近80%存在某种结构缺陷。随后，CSAIL的研究人员请新手在InstructMesh中识别并修复这些问题——经专家审核，他们在大约90%的情况下都能够成功完成这两项任务。这些新手虽然缺乏专业知识，但凭借直觉弥补了这一不足。
InstructMesh为实际的建模过程提供了支撑框架，而这一过程此前需要具备3D建模工具方面的专业知识。"由于操作发生在生成模型的潜在空间中，InstructMesh支持用自然语言描述问题，并对几何形状做出可解释的改动，供用户评估和确认，"法鲁基说道。
用户随后制作出诸如手机支架、花瓶等物品，并反馈称InstructMesh非常易于使用。他们还发现，InstructMesh使他们能够表达广泛的创意想法，而滑动条功能则为他们提供了更高的精确度，可以进行特定的微调，例如放大或拉伸模型的某个特定部位。
"用户得到了他们所提示要求的成品，并能够轻松地对设计进行所需的调整，"法鲁基补充说道。"可以说，他们所见即所得，制作出的物品也确实能够正常使用。"
虽然用户们很喜欢使用InstructMesh，但法鲁基对这个项目有着更宏大的设想。他现在在谷歌工作，可能很快会将InstructMesh整合进一个增强现实（AR）平台中。这个想法是：用户结合周围环境的实际情况说明自己的需求，然后系统便能快速完成3D打印（例如，制作一个与钱包相匹配的手机壳）。
InstructMesh未来还可能开始纳入物理模拟功能，以模拟设计在特定使用场景下可能出现的反应，比如一个碗掉落时是否会碎裂，以及哪种材料最适合制作该物品。该软件也可能整合更新的TRELLIS.2版本，从而精细化处理3D模型中更细小的特征。
麻省理工学院电气工程与计算机科学系（EECS）及机械工程系副教授、CSAIL成员斯特凡妮·穆勒（Stefanie Mueller）是该论文的资深作者。法鲁基和穆勒与谷歌研究人员艾哈迈德·卡塔里（Ahmed Katary，2023届）、法比安·曼哈特（Fabian Manhardt）、弗鲁山克·法德尼斯（Vrushank Phadnis，2013年工程硕士、2020年博士）、鲁菲·杜（Ruofei Du）以及费德里科·托姆巴里（Federico Tombari）共同撰写了这篇论文。其他合著者还包括东北大学助理教授梅根·霍夫曼（Megan Hofmann），以及多位CSAIL的同事：电气工程与计算机科学及建筑学博士生德米尔坎·塔斯（Demircan Tas，2024年理学硕士及建筑研究硕士）；前访问研究员特雷莎·赫拉迪拉克（Theresa Hradilak）；电气工程与计算机科学研究生宁·张（Ning Zhang，2025届）；博士后季佳（Jiaji Li）；以及马丁·尼瑟（Martin Nisser，2019年理学硕士、2024年博士）。
该研究部分得到了谷歌和麻省理工学院-HPI联合研究项目的支持。研究人员将于11月在ACM用户界面软件与技术研讨会上展示这项成果。
Q&A
Q1：InstructMesh是什么？它能做什么？
A：InstructMesh是由麻省理工学院CSAIL、谷歌和东北大学研究人员共同开发的一款3D设计软件，它能够结合AI生成的3D模型与大语言模型的推理能力，让用户轻松修复生成式AI模型中存在的结构缺陷，并按个人需求定制物品后再进行3D打印。
Q2：InstructMesh是如何实现的？用到了哪些技术？
A：InstructMesh将微软的TRELLIS系统（用于根据文本和图像生成3D模型）与支持ChatGPT的大语言模型GPT-4相结合，通过融合视觉与文本知识，理解设计应有的样子以及用户想要进行的修改。
Q3：没有3D建模经验的新手能用好InstructMesh吗？
A：可以。研究团队测试发现，即使是从未进行过3D建模的新手，在InstructMesh的帮助下，也能以约90%的成功率识别并修复生成模型中的结构缺陷，凭借直觉就能完成专业级的修改工作。
