人工智能工具助力图像编辑：高斯斑点的新应用
波兰和英国的研究者们联手提出了一种新颖的方法，利用高斯斑点（Gaussian Splatting）技术来编辑图像。这个过程是通过暂时将图像的一部分转化为三维空间，用户可以对这个3D模型进行修改和操作，然后将这些变化应用回原图。比如，要改变猫咪头部的角度，只需将相关部分拉入三维，调整后返回二维，就像Adobe软件中的某些高级模式，锁定界面直到复杂操作完成。
不同于Adobe的Firefly系统，它基于Adobe Stock（前称Fotolia）的训练，MiraGe系统不依赖生成式AI，如Latent Diffusion Models（LDMs）。新系统MiraGe通过将选择的部分转化为3D网格，并创建镜像来推断几何形状，从而实现对图像的精细操控。它结合了物理引擎，能捕捉自然运动，无论是动态动画还是静态图像的微调。
这项研究没有涉及生成式AI，而是专注于将二维图像的选定区域重建为高质量的3D模型，并应用软体物理效果。研究论文提到，他们的模型模拟了人类观察照片或纸张的方式，将二维视为三维空间中的扁平物体，这样编辑就既直观又灵活，能够捕捉到人类感知的微妙之处。
来自克拉科夫雅盖隆大学和剑桥大学的研究人员共同撰写了这篇名为《MiraGe：使用高斯斑点编辑二维图像》的论文，他们已经将系统的完整代码发布在GitHub上。研究人员通过高斯网格斑点参数化（GaMeS）技术，让高斯斑点像传统的CGI网格一样可变形，可以应用各种图像处理技巧。
编辑时，MiraGe会先在二维空间中理解“扁平”的高斯斑点，然后用GaMeS将其“拉”入临时的三维空间。每个斑点由三角形云中的三个点表示，这使得图像变得可操纵。
研究团队还开发了一种创新的双摄像头系统，通过镜像反射增强图像的真实感。他们提供了两种基于高斯斑点的变形方法——无定形（Amorphous）和石墨（Graphite），前者更自由，后者更约束。
尽管无定形方法在处理复杂形状时表现更好，但可能会产生“撕裂”或边缘不连续的问题。因此，他们引入了镜像系统来减少这些问题。MiraGe还能与Blender等流行的开源3D程序集成，用于AI驱动的工作流程，特别是图像到图像的应用。
实验结果显示，MiraGe在图像质量和性能上超越了先前的解决方案。未来，高斯斑点技术可能成为图像编辑的一个有趣替代选择，尤其是在使用扩散模型进行图像修改时，因为它能更直接地控制图像部分，而不仅仅是依赖文字描述。
总的来说，MiraGe展示了高斯斑点在图像编辑领域的潜力，尽管它还在发展阶段，但它提供了一种有前景的方法，挑战了基于扩散模型的图像修改方式。随着技术的进步，高斯斑点可能会成为图像编辑领域的一个重要工具。