Blog

MimicBrush是什么

MimicBrush是由阿里巴巴、香港大学和蚂蚁集团的研究人员推出的AI图像编辑融合框架，允许用户通过简单的操作，在源图像上指定需要编辑的区域，并提供一个包含期望效果的参考图像进行图片编辑。MimicBrush能够自动识别和模仿参考图像中的视觉元素，将其应用到源图像的相应区域，支持如对象替换、样式转换、纹理调整等图像编辑操作。该技术特别适用于产品定制、角色设计和特效制作等场景，极大地简化了传统图像编辑的复杂流程，提高了编辑效率和灵活性。

MimicBrush的功能特色

• 参考图像模仿：用户在源图像上圈定希望编辑的特定区域，提供一张包含所需样式或对象的参考图像。MimicBrush便能分析并模仿参考图像中的特定视觉特征，将这些特征无缝应用到源图像的指定区域，实现风格或内容的一致性。
• 自动区域识别：MimicBrush利用先进的图像识别技术可自动检测和确定编辑区域。用户无需手动绘制遮罩或进行繁琐的选择，简化了编辑前的准备工作。
• 一键编辑应用：用户只需点击一个按钮，即可启动编辑过程。MimicBrush将自动执行从区域识别到特征模仿的整个编辑流程，编辑操作变得快速且用户友好，无需多步操作。
• 多样化编辑效果：支持对象替换，如将一种物体替换为另一种物体；可实现样式转换，比如改变服装的图案或颜色。还能进行纹理调整，如将一种材质的纹理应用到另一物体表面。
• 实时反馈：在编辑过程中，MimicBrush提供即时的预览功能。用户可以实时看到编辑效果，及时进行调整和优化，确保了编辑结果更符合用户的预期和需求。
• 灵活性和适应性：MimicBrush能够适应不同的图像内容，包括复杂场景和多样风格，提供多种编辑选项，使用户能够根据个人喜好进行个性化调整。

MimicBrush的官网入口

• 官方项目主页：https://xavierchen34.github.io/MimicBrush-Page/
• GitHub代码库：https://github.com/ali-vilab/MimicBrush
• Hugging Face Demo：https://huggingface.co/spaces/xichenhku/MimicBrush
• ModelScope模型：https://www.modelscope.cn/models/xichen/MimicBrush/summary
• arXiv技术论文：https://arxiv.org/abs/2406.07547

MimicBrush的技术原理

• 自我监督学习：MimicBrush通过自我监督的方式进行训练，利用视频帧之间的自然一致性和视觉变化。在训练过程中，系统随机选择视频中的两帧，一帧作为源图像，另一帧作为参考图像，学习如何使用参考图像的信息来补全源图像中被遮罩的部分。
• 双扩散UNets结构：MimicBrush采用了两个UNet网络，即“imitative U-Net”和“reference U-Net”。这两个网络分别处理源图像和参考图像，并通过共享注意力层中的键（keys）和值（values）进行信息交互，帮助系统定位参考图像中与源图像编辑区域相对应的部分。
• 注意力机制：在MimicBrush中，参考U-Net提取的注意力键和值被注入到模仿U-Net中，这种机制有助于模仿U-Net更准确地完成遮罩区域的生成，确保生成的区域与源图像的背景和其他元素和谐地融合。
• 数据增强：为了增加源图像和参考图像之间的变化性，MimicBrush在训练过程中应用了强烈的数据增强技术，包括颜色抖动、旋转、缩放和翻转等，以提高模型对不同姿态、光照和视角下图像的泛化能力。
• 遮罩策略：MimicBrush采用了一种智能的遮罩策略，通过SIFT特征匹配来确定源图像中的关键区域，并增加这些区域被遮罩的可能性，从而促使模型学习如何从参考图像中找到并模仿更有意义的视觉元素。
• 深度模型：MimicBrush还利用深度模型来预测源图像的深度图，作为形状控制的可选条件，这使得MimicBrush能够在纹理转移任务中保持源对象的形状，同时仅将参考图像的纹理或图案应用到源对象上。
• 评估基准：为了全面评估MimicBrush的性能，研究人员构建了一个包含部分合成和纹理转移任务的高质量基准，涵盖了多种实际应用场景，如时尚、产品设计等。

MimicBrush的应用场景

• 产品设计：设计师可以使用MimicBrush快速修改产品设计图，例如改变产品的颜色、纹理或形状，以匹配设计概念或满足特定需求。
• 时尚和服装：在时尚界，MimicBrush可以用来改变服装的图案、颜色或风格，帮助设计师和营销人员快速预览不同设计选项。
• 美容和肖像编辑：个人用户可以利用MimicBrush来美容肖像，例如改变发型、妆容或肤色，而无需专业的图像编辑技能。
• 广告和营销材料：营销人员可以快速调整广告图像，以适应不同的市场或促销活动，例如更改产品展示或背景元素。
• 社交媒体内容创作：社交媒体用户可以利用MimicBrush来增强或个性化他们的照片和视频，使其内容更加吸引眼球。
• 电子商务：在线零售商可以使用MimicBrush来定制产品图像，展示不同选项或变化，为客户提供更丰富的视觉体验。

6月12日晚间消息，人工智能初创公司Stability AI宣布正式开源发布其最新的文本到图像生成模型——Stable Diffusion 3 Medium（SD3 Medium）。Stable Diffusion 3 Medium 包含 20 亿个参数，是 Stability AI 迄今为止最先进的文本到图像开放模型，更小的 VRAM 占用空间旨在使其更适合在消费级 GPU 以及企业级 GPU 上运行。

Hugging Face模型地址：https://huggingface.co/stabilityai/stable-diffusion-3-medium

Stable Diffusion 3 Medium的基本信息

• 先进性：SD3 Medium 拥有20亿参数，是Stability AI 迄今为止最为复杂的图像生成模型，代表了生成式AI进化的重要里程碑。
• 适用性：这一模型的尺寸适中，使其成为在消费级PC、笔记本电脑以及企业级GPU上运行的理想选择，有望成为文本到图像模型的新标准。
• 开放性：SD3 Medium 的权重现已在非商业许可和低成本创作者许可下开放，鼓励专业艺术家、设计师、开发者和AI爱好者进行商业使用。
• 多平台支持：支持API试用，可在Stability平台、Stable Assistant（免费三天试用）和通过Discord的Stable Artisan上尝试。

Stable Diffusion 3 Medium的改进

• 照片级真实感：SD3 Medium 通过减少手部和面部的常见伪影，提供无需复杂工作流程即可生成的高质量图像。
• 提示遵循：模型能够理解并生成涉及空间关系、构图元素、动作和风格的复杂提示。
• 排版能力：借助Diffusion Transformer架构，SD3 Medium 在生成文本时实现了无伪影和拼写错误。
• 资源效率：模型设计考虑了资源效率，即使在标准消费级GPU上也能保持高性能，不牺牲性能。
• 微调能力：SD3 Medium 能够从小数据集中吸收细节，为定制化提供了强大支持。

合作伙伴

• NVIDIA：Stability AI 与NVIDIA 的合作，通过NVIDIA® RTX™ GPU和TensorRT™，为所有Stable Diffusion模型，包括SD3 Medium，提供了性能上的显著提升。
• AMD：AMD 对SD3 Medium 进行了优化，确保在AMD的最新APU、消费级GPU和MI-300X企业级GPU上提供高效推理。

开放与安全

• Stability AI 坚定地致力于开放的生成性AI，SD3 Medium 在Stability NonCommercial Research Community License下发布，同时推出了新的Creator License，以支持商业用途。
• 公司采取了全面的安全措施，从模型训练到部署，确保了SD3 Medium 的安全和负责任的使用。

未来计划

Stability AI 计划根据用户反馈持续改进SD3 Medium，扩展其功能，提高性能。公司的目标是为AI生成艺术设定新的标准，使SD3 Medium 成为专业人士和爱好者的重要工具。

（消息来源：Stability AI）