Adobe多年来一直投资于创意工作的生成式AI技术,现在研究人员已经开始使用AI模型实现微小而精准的编辑——可以说这与AI幻觉现象恰恰相反。
以下是将在本周三Adobe Max大会Sneaks环节展示的三个项目。你可以关注CNET的实时更新,但这里是独家抢先看。
Deep Brush项目:情境感知绘画
Deep Brush项目由高级研究科学家Iliyan Georgiev开发,推出了一种情境感知数字画笔,能够在墙壁、织物、皮肤等不平整表面上无缝绘制。该工具不会将文字、颜料或物体作为平面、独立的图层应用,而是自动根据场景的自然几何形态和物理规律对其进行弯曲和适配。自动化这一过程,省去了原本需要耗费大量时间和高超手工技巧才能完成的任务。
该工具能自动匹配图像的光照,使阴影呈现符合逻辑的效果。你可以让绘制的图案在已有物体后方弯曲延伸,比如一个消失在衬衫领口下方的纹身图案。你还可以在平面、倾斜和扭曲等不同模式间切换,以最佳方式贴合项目中物体的实际几何形态。
Hands-On项目:无需文字的AI提示方式
尽管AI爱好者可能乐于撰写完美的AI提示词,但Hands-On项目让创作者能够通过全新的动态用户界面,直接"动手"操作场景中的物体。
首席研究设计师Celso Gomes告诉我,这是一个简短的两步流程。程序首先对项目进行图像分析,识别场景中的物体及其特征。随后AI会为可调整的元素生成一份简短的组件列表——例如,对一瓶香水的分析会包括瓶子形状、材质、颜色以及照片风格等。接着,借助叠加在物体上的动态用户界面,你可以调整并编辑每个物体的不同组成部分,直到效果达到理想状态。
你可以在运行更改之前一次性应用多项编辑,这对那些不想在每次生成之间等待的专业人士来说,是一个不错的省时功能。该程序背后是多种AI模型的混合运用,将用户界面知识与AI图像知识结合,打造出一款全新的编辑工具。
Scene Sweep项目:多镜头视频精准编辑
Scene Sweep项目是我接触过的最令人印象深刻的AI视频工具之一。借助这款工具,你可以上传原始影片,选定某个角色,写下提示词来调整某项细节(例如改变发型或夹克),AI便会在每个镜头中识别出该角色,并在整条时间线上一致地应用这一改动。而且你可以进行多项编辑。
负责展示该项目的研究工程师Hyeonho Jeong告诉我,这款视频编辑工具并非用来改变作品的叙事内容,而是旨在帮助编辑人员充分利用现有素材,避免代价高昂的重新拍摄。
大局观:Adobe研究的未来方向
贯穿这三个项目的共同主线,是利用AI实现精准编辑。总体而言,生成式AI并非总是最精确的工具——这也是为什么我们会遇到AI图像中出现幻觉内容或七根手指人物之类的问题。但过去一年中该技术取得的新进展,在这些项目中得到了印证,已经帮助为创作者带来了这种级别的控制力和精确度。
负责图像与设计研究的高级首席科学家Hailin Jin表示,目标是打造能够理解用户意图的技术。"这不仅仅是为了让某张特定图像获得最佳或最有趣的调整效果,"Jin说道,"而是要简化整个流程,让用户不必再处理重复性工作……这样用户就能专注于创意部分。"
目前尚无法保证Sneaks环节展示的这些项目都会公开发布,不过其中两个项目——Deep Brush和Hands-On——将于本周在重新上线的Adobe Labs网站上首次向公众开放。Adobe Labs这一体验平台今后将为精选研究预览版提供早期访问权限。
负责视频与音频研究的高级首席科学家Gautham Mysore表示,目标是探索融合科学与艺术的全新方式。
"将新的技术方法构建出来,把科学与艺术结合在一起,"Mysore说道,"这就是我们将要走的路。"
