多年来,Adobe致力于将生成式AI应用于创意工作。如今,其研究人员正利用AI模型实现微小且精确的编辑,这与常见的“AI幻觉”现象截然相反。

Project Deep Brush:具备上下文感知的数字绘画

由高级研究科学家Iliyan Georgiev开发的Project Deep Brush,引入了一种具备上下文感知能力的数字画笔。该工具能在墙壁、织物和皮肤等不平整表面上无缝绘制,不再将文本、颜料或物体视为扁平的独立图层,而是自动将其弯曲并贴合至场景的自然几何结构与物理特性中。这一自动化流程消除了原本需耗费大量时间及高阶手动技能的操作。

该工具可自动匹配图像照明,确保阴影逻辑合理。用户可使绘画曲线隐藏在现有物体后方,例如让纹身消失于衬衫领口之下。此外,用户可选择平面、倾斜和扭曲等不同模式,以最佳契合项目中物体的物理几何形状。

Project Hands-On:无需文字提示的AI交互

相较于编写复杂的提示词,Project Hands-On通过全新的动态用户界面,让创作者能直接与场景中的对象互动。首席研究设计师Celso Gomes表示,这是一个简短的两步过程:程序首先分析项目图像,识别场景中的对象及其特征,并列出可调整元素的控件列表(如香水瓶的瓶身形状、材质、颜色及照片风格);随后,用户可通过覆盖在对象上的动态界面调整各组件,直至达到理想效果。

用户可在运行更改前一次性应用多次编辑,这对不希望每次生成都需等待的专业人士而言,是节省时间的有效方法。该程序融合多种AI模型,将UI设计与AI图像知识结合为一种新型编辑工具。

Project Scene Sweep:精确的多镜头视频编辑

Project Scene Sweep展示了AI在视频编辑领域的潜力。用户上传原始影片并选择一个角色后,可输入提示词调整特定内容(如改变发型或夹克)。AI将在每个镜头中识别该角色,并在整个时间线上一致地应用更改,支持多次编辑。

研究工程师Hyeonho Jeong指出,该视频编辑器并非旨在改变作品叙事,而是帮助编辑人员充分利用现有素材,避免昂贵的重拍成本。

宏观视角:Adobe研究的未来方向

这三个项目的共同主线是利用AI进行精确编辑。尽管生成式AI常因“AI幻觉”等问题被诟病不够精确,但过去一年的技术进步在这些项目中得以体现,为创作者带来了更高水平的控制力与精度。

负责图像和设计研究的高级首席科学家Hailin Jin表示,目标是创建理解用户意图的技术。“这不仅仅是为了获得最佳或最有趣的特定图像调整,”Jin称,“而是简化整个过程,使用户不必处理重复性工作……从而让用户专注于创造性部分。”

虽然不能保证所有Sneaks项目都会公开发布,但Deep Brush和Hands-On两个项目将于本周在重新推出的Adobe Labs网站上进行初步公开测试。Adobe Labs的实验空间将为早期访问者提供精选的研究预览。

负责视频和音频研究的高级首席科学家Gautham Mysore表示,目标是寻找融合科学与艺术的新途径。“构建新的技术方法论,将科学与艺术结合起来,这就是我们要走的路。”Mysore称。