Inpaint Anything-修复删除替换图像、视频和3D 场景中的任何内容

项目简介

Inpaint Anything 是由国内团队开源的、可以修复图像、视频和3D 场景中内容的工具。

用户可以通过点击来选择图像中的任何对象，借助强大的视觉模型，例如SAM、LaMa和Stable Diffusion (SD)，Inpaint Anything能够平滑地移除对象（即Remove Anything）。此外，在用户输入文本的提示下，Inpaint Anything 可以用任何所需的内容填充对象（即Fill Anything）或任意替换其背景（即Replace Anything）。

技术亮点

支持任意纵横比支持2K分辨率可用arXiv 技术报告可用于网站可用本地网络用户界面支持多种模式（即图像、视频和 3D 场景）

功能一、删除任何物体

点击图像中的某个对象，“修复任何内容”将立即将其删除！

点击一个对象；分段任意模型(SAM) 将对象分段；修复模型（例如，LaMa）填补了“漏洞”。

功能二、填充任何物体

点击一个对象，输入您想要填充的内容，Inpaint Anything 就会填充它！

单击一个对象；SAM将对象分割出来；输入文字提示；文本提示引导的修复模型（例如，稳定扩散）根据文本填充“洞”。

功能三、替换任何物体

点击一个对象，输入您要替换的背景，Inpaint Anything 将替换它！

单击一个对象；SAM将对象分割出来；输入文字提示；文本提示引导的修复模型（例如，稳定扩散）根据文本替换背景。

功能四、删除任何3D内容

只需点击源视图第一个视图中的对象，Remove Anything 3D 就可以从整个场景中删除该对象！

单击源视图第一个视图中的对象；SAM将对象分割出来（使用三种可能的掩码）；选择一个mask；利用诸如OSTrack之类的跟踪模型来跟踪这些视图中的对象；SAM根据跟踪结果将每个源视图中的对象分割出来；利用LaMa等修复模型来修复每个源视图中的对象。利用NeRF等新颖的视图合成模型来合成没有对象的场景的新颖视图。

功能五、删除任何视频