Author: Chimy

MimicBrush是什么

MimicBrush是由阿里巴巴、香港大学和蚂蚁集团的研究人员推出的AI图像编辑融合框架，允许用户通过简单的操作，在源图像上指定需要编辑的区域，并提供一个包含期望效果的参考图像进行图片编辑。MimicBrush能够自动识别和模仿参考图像中的视觉元素，将其应用到源图像的相应区域，支持如对象替换、样式转换、纹理调整等图像编辑操作。该技术特别适用于产品定制、角色设计和特效制作等场景，极大地简化了传统图像编辑的复杂流程，提高了编辑效率和灵活性。

MimicBrush的功能特色

• 参考图像模仿：用户在源图像上圈定希望编辑的特定区域，提供一张包含所需样式或对象的参考图像。MimicBrush便能分析并模仿参考图像中的特定视觉特征，将这些特征无缝应用到源图像的指定区域，实现风格或内容的一致性。
• 自动区域识别：MimicBrush利用先进的图像识别技术可自动检测和确定编辑区域。用户无需手动绘制遮罩或进行繁琐的选择，简化了编辑前的准备工作。
• 一键编辑应用：用户只需点击一个按钮，即可启动编辑过程。MimicBrush将自动执行从区域识别到特征模仿的整个编辑流程，编辑操作变得快速且用户友好，无需多步操作。
• 多样化编辑效果：支持对象替换，如将一种物体替换为另一种物体；可实现样式转换，比如改变服装的图案或颜色。还能进行纹理调整，如将一种材质的纹理应用到另一物体表面。
• 实时反馈：在编辑过程中，MimicBrush提供即时的预览功能。用户可以实时看到编辑效果，及时进行调整和优化，确保了编辑结果更符合用户的预期和需求。
• 灵活性和适应性：MimicBrush能够适应不同的图像内容，包括复杂场景和多样风格，提供多种编辑选项，使用户能够根据个人喜好进行个性化调整。

MimicBrush的官网入口

• 官方项目主页：https://xavierchen34.github.io/MimicBrush-Page/
• GitHub代码库：https://github.com/ali-vilab/MimicBrush
• Hugging Face Demo：https://huggingface.co/spaces/xichenhku/MimicBrush
• ModelScope模型：https://www.modelscope.cn/models/xichen/MimicBrush/summary
• arXiv技术论文：https://arxiv.org/abs/2406.07547

MimicBrush的技术原理

• 自我监督学习：MimicBrush通过自我监督的方式进行训练，利用视频帧之间的自然一致性和视觉变化。在训练过程中，系统随机选择视频中的两帧，一帧作为源图像，另一帧作为参考图像，学习如何使用参考图像的信息来补全源图像中被遮罩的部分。
• 双扩散UNets结构：MimicBrush采用了两个UNet网络，即“imitative U-Net”和“reference U-Net”。这两个网络分别处理源图像和参考图像，并通过共享注意力层中的键（keys）和值（values）进行信息交互，帮助系统定位参考图像中与源图像编辑区域相对应的部分。
• 注意力机制：在MimicBrush中，参考U-Net提取的注意力键和值被注入到模仿U-Net中，这种机制有助于模仿U-Net更准确地完成遮罩区域的生成，确保生成的区域与源图像的背景和其他元素和谐地融合。
• 数据增强：为了增加源图像和参考图像之间的变化性，MimicBrush在训练过程中应用了强烈的数据增强技术，包括颜色抖动、旋转、缩放和翻转等，以提高模型对不同姿态、光照和视角下图像的泛化能力。
• 遮罩策略：MimicBrush采用了一种智能的遮罩策略，通过SIFT特征匹配来确定源图像中的关键区域，并增加这些区域被遮罩的可能性，从而促使模型学习如何从参考图像中找到并模仿更有意义的视觉元素。
• 深度模型：MimicBrush还利用深度模型来预测源图像的深度图，作为形状控制的可选条件，这使得MimicBrush能够在纹理转移任务中保持源对象的形状，同时仅将参考图像的纹理或图案应用到源对象上。
• 评估基准：为了全面评估MimicBrush的性能，研究人员构建了一个包含部分合成和纹理转移任务的高质量基准，涵盖了多种实际应用场景，如时尚、产品设计等。

MimicBrush的应用场景

• 产品设计：设计师可以使用MimicBrush快速修改产品设计图，例如改变产品的颜色、纹理或形状，以匹配设计概念或满足特定需求。
• 时尚和服装：在时尚界，MimicBrush可以用来改变服装的图案、颜色或风格，帮助设计师和营销人员快速预览不同设计选项。
• 美容和肖像编辑：个人用户可以利用MimicBrush来美容肖像，例如改变发型、妆容或肤色，而无需专业的图像编辑技能。
• 广告和营销材料：营销人员可以快速调整广告图像，以适应不同的市场或促销活动，例如更改产品展示或背景元素。
• 社交媒体内容创作：社交媒体用户可以利用MimicBrush来增强或个性化他们的照片和视频，使其内容更加吸引眼球。
• 电子商务：在线零售商可以使用MimicBrush来定制产品图像，展示不同选项或变化，为客户提供更丰富的视觉体验。

6月12日晚间消息，人工智能初创公司Stability AI宣布正式开源发布其最新的文本到图像生成模型——Stable Diffusion 3 Medium（SD3 Medium）。Stable Diffusion 3 Medium 包含 20 亿个参数，是 Stability AI 迄今为止最先进的文本到图像开放模型，更小的 VRAM 占用空间旨在使其更适合在消费级 GPU 以及企业级 GPU 上运行。

Hugging Face模型地址：https://huggingface.co/stabilityai/stable-diffusion-3-medium

Stable Diffusion 3 Medium的基本信息

• 先进性：SD3 Medium 拥有20亿参数，是Stability AI 迄今为止最为复杂的图像生成模型，代表了生成式AI进化的重要里程碑。
• 适用性：这一模型的尺寸适中，使其成为在消费级PC、笔记本电脑以及企业级GPU上运行的理想选择，有望成为文本到图像模型的新标准。
• 开放性：SD3 Medium 的权重现已在非商业许可和低成本创作者许可下开放，鼓励专业艺术家、设计师、开发者和AI爱好者进行商业使用。
• 多平台支持：支持API试用，可在Stability平台、Stable Assistant（免费三天试用）和通过Discord的Stable Artisan上尝试。

Stable Diffusion 3 Medium的改进

• 照片级真实感：SD3 Medium 通过减少手部和面部的常见伪影，提供无需复杂工作流程即可生成的高质量图像。
• 提示遵循：模型能够理解并生成涉及空间关系、构图元素、动作和风格的复杂提示。
• 排版能力：借助Diffusion Transformer架构，SD3 Medium 在生成文本时实现了无伪影和拼写错误。
• 资源效率：模型设计考虑了资源效率，即使在标准消费级GPU上也能保持高性能，不牺牲性能。
• 微调能力：SD3 Medium 能够从小数据集中吸收细节，为定制化提供了强大支持。

合作伙伴

• NVIDIA：Stability AI 与NVIDIA 的合作，通过NVIDIA® RTX™ GPU和TensorRT™，为所有Stable Diffusion模型，包括SD3 Medium，提供了性能上的显著提升。
• AMD：AMD 对SD3 Medium 进行了优化，确保在AMD的最新APU、消费级GPU和MI-300X企业级GPU上提供高效推理。

开放与安全

• Stability AI 坚定地致力于开放的生成性AI，SD3 Medium 在Stability NonCommercial Research Community License下发布，同时推出了新的Creator License，以支持商业用途。
• 公司采取了全面的安全措施，从模型训练到部署，确保了SD3 Medium 的安全和负责任的使用。

未来计划

Stability AI 计划根据用户反馈持续改进SD3 Medium，扩展其功能，提高性能。公司的目标是为AI生成艺术设定新的标准，使SD3 Medium 成为专业人士和爱好者的重要工具。

（消息来源：Stability AI）

6月12日消息，国家网信办今日发布公告，根据《互联网信息服务深度合成管理规定》，现公开发布第六批境内深度合成服务算法备案信息。

《互联网信息服务深度合成管理规定》第十九条明确规定，具有舆论属性或者社会动员能力的深度合成服务提供者，应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续。深度合成服务技术支持者应当参照履行备案和变更、注销备案手续。请尚未履行备案手续的深度合成服务提供者和技术支持者尽快申请备案。

AI工具集从《境内深度合成服务算法备案清单（2024 年 6 月）》文件获悉，本次共有 492 个算法通过备案，其中包括腾讯混元大模型多模态算法（应用产品为腾讯元宝）、零一万物大模型多模态生成算法、天翼数字生活智能应用算法、kreadoAI生成内容算法、PSAI内容深度合成类算法（虹软科技）、浪潮海岳大模型算法、科沃斯机器人大模型算法、喜马拉雅语音识别算法、腾讯音乐未伴虚拟人合成算法、理想汽车MindDiffusion图像生成算法、蝉镜数字人算法（应用产品为蝉镜）、天工图生文算法、影石Insta360-人工智能生成式算法、有道小P大模型算法、出门问问数字人合成算法、快手快意大模型生成合成算法、商汤V-ME视频合成算法、钉钉AI助理智能生成算法等、绘蛙电商模特试装图像合成算法。

更多已备案的算法请查看AI工具集推出的：深度合成服务算法备案清单和在线查询

（消息来源：中国网信网）

ToonCrafter是什么

ToonCrafter是由腾讯AI实验室、香港中文大学和香港城市大学的研究人员开源的卡通动画视频中间帧生成工具，突破了传统卡通动画制作中线性运动的假设限制，采用创新的生成式插值技术，仅需两张关键帧图片，即可自动生成中间动态帧，创造出流畅的动画效果。与需要逐帧绘制的传统动画制作方法相比，ToonCrafter极大地提高了动画制作的效率，减少了动画师的工作量，缩短了制作时间，同时保持了动画的质量和创意性。

ToonCrafter的功能特色

• 生成式卡通插值：ToonCrafter利用深度学习模型，通过给定的两张关键帧图片，自动推算并生成中间帧，实现卡通动画的平滑过渡和动态效果。该插值方法不仅填补了帧与帧之间的空白，还能够模拟复杂的运动模式，如角色动作和场景变化。
• 细节保持与增强：ToonCrafter采用先进的双参考3D解码器技术，确保在生成新帧的过程中，图像的细节得到保留甚至增强。这种机制特别适用于卡通动画，因为它们通常包含清晰的线条和鲜明的色彩，需要在插值过程中避免细节的模糊和失真。
• 支持草图指导动画：ToonCrafter提供了一个草图编码器，允许用户通过简单的草图输入来指导动画的生成。用户可以指定动画的某些方面，如角色的运动轨迹或特定风格的强调，从而实现个性化的动画效果。
• 遮挡区域处理：ToonCrafter能够有效识别和处理动画中的遮挡情况，例如当一个角色或对象部分或完全遮挡另一个时。该工具能够合理推断遮挡区域的运动和变化，生成符合视觉逻辑的帧。
• 多应用场景：ToonCrafter的应用范围广泛，不仅可以用于生成完整的卡通动画视频，还适用于从卡通素描线稿生成动画，以及对现有动画进行上色和风格化处理，提供了动画制作的多样性。
  

ToonCrafter的官网入口

• 官方项目主页：https://doubiiu.github.io/projects/ToonCrafter/
• GitHub代码库：https://github.com/ToonCrafter/ToonCrafter
• Hugging Face Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter
• arXiv技术论文：https://arxiv.org/abs/2405.17933v1

ToonCrafter的技术原理

1. 生成式插值框架：ToonCrafter采用了一种新颖的生成式插值方法，与传统的基于对应关系的插值方法不同，它不依赖于显式的帧间对应关系，而是通过学习视频数据的潜在表示来进行帧的生成。
2. 领域适配（Toon Rectification Learning）：通过领域适配策略，ToonCrafter能够将真实视频的运动先验适配到卡通视频领域，解决了领域差异问题，避免了非卡通内容的意外合成。
3. 双参考3D解码器：利用双参考3D解码器，ToonCrafter能够补偿由于潜在空间压缩导致的细节丢失。这种解码器通过混合注意力残差学习机制（HAR），将输入图像的细节信息注入到生成帧的潜在表示中。
4. 混合注意力残差学习机制（HAR）：在解码过程中，HAR通过交叉注意力机制将输入图像的特征注入到解码器的浅层，同时在深层使用残差学习来增强细节的恢复。
5. 伪3D卷积（Pseudo-3D Convolution）：为了增强时间上的连贯性，ToonCrafter在解码器中引入了伪3D卷积，这有助于改善时间序列帧之间的一致性。
6. 草图编码器（Sketch Encoder）：提供了一个独立的草图编码器，允许用户通过输入草图来控制生成动画的运动和风格，增加了生成过程的交互性和可控性。
7. 扩散模型（Diffusion Models）：ToonCrafter基于扩散模型，这是一种从数据中逐步添加噪声，然后学习逆过程以去除噪声并恢复数据的生成模型。在视频生成中，这允许从随机噪声中生成连续的视频帧。
8. 迭代去噪过程：在生成每一帧时，ToonCrafter通过迭代去噪过程逐步精细化生成的图像，从噪声中恢复出清晰的帧。
9. 端到端的训练和优化：ToonCrafter的各个组件通过端到端的方式进行训练和优化，确保整个插值过程的协同工作和最终生成视频的质量。
10. 多模态输入支持：除了起始和结束帧，ToonCrafter还支持如草图、参考图像等多模态输入，以增强生成动画的表现力和控制性。

如何使用和体验ToonCrafter

方法一、在线版Demo体验

1. 访问Hugging Face版的在线Demo，https://huggingface.co/spaces/Doubiiu/tooncrafter
2. 在Input Image添加输入图像
3. 输入提示词并调节Seed值、步长、FPS等
4. 最后点击Generate按钮进行生成视频

方法二、本地代码部署

开发人员可以选择本地部署和运行ToonCrafter，具体步骤如下：

1. 获取代码：访问ToonCrafter的项目页面，或使用Git命令克隆或下载代码到本地。git clone https://github.com/ToonCrafter/ToonCrafter.git
2. 环境准备：通过Anaconda安装所需的Python环境和依赖库

   conda create -n tooncrafter python=3.8.5
   conda activate tooncrafter
   pip install -r requirements.txt

3. 下载预训练模型：下载预先训练好的ToonCrafter_512模型并将其model.ckpt放入checkpoints/tooncrafter_512_interp_v1/model.ckpt。
4. 命令行运行 sh scripts/run.sh
5. 运行本地Gradio版界面：你也可以选择运行本地Gradio UI，运行指令 python gradio_app.py
6. 然后按照上方在线版的操作步骤输入图片并设置参数进行生成即可

Follow-Your-Emoji是什么

Follow-Your-Emoji是由香港科技大学、腾讯混元和清华大学的研究人员推出的一个基于扩散模型的人像动画框架，利用扩散模型为参考肖像添加目标表情序列，实现动态动画效果。该技术通过表情感知标志点精确对齐表情与肖像，避免身份信息泄露，同时使用面部精细损失函数强化模型对微妙表情变化的捕捉能力。Follow-Your-Emoji支持多种风格的人像动画，包括真人、卡通、雕塑甚至动物，展现出高度的控制性和表现力。

Follow-Your-Emoji的功能特色

• 动态表情同步：利用扩散模型技术，Follow-Your-Emoji能够将预定义或实时捕获的表情序列精确同步到静态参考肖像上，实现如眨眼、微笑、皱眉等复杂表情的动态变化。
• 身份特征保持：在动画化过程中，框架特别设计了机制来确保参考肖像的关键身份特征得以保留，即使在表情变化剧烈时也能防止身份信息的失真或泄露。
• 夸张表情表现：通过表情感知标志点技术，框架能够捕捉并再现夸张的表情动作，例如在卡通或漫画风格中常见的大幅度瞳孔扩张或收缩，增强动画的表现力。
• 多风格适应：Follow-Your-Emoji框架不仅限于现实风格的肖像，还能够适应并动画化卡通、雕塑、动物等不同艺术风格和表现形式的肖像，显示出其广泛的适用性。
• 时间连贯性：通过面部精细损失函数，框架在生成每一帧动画时都考虑到了与前后帧的连贯性，确保整个动画序列在时间上的自然过渡和流畅表现。
• 长期动画生成：采用渐进式生成策略，Follow-Your-Emoji能够生成不仅在短期内连贯，而且在长期播放中也能保持稳定性和高质量的动画效果。
• 高度控制性：用户可以细致地控制表情序列，从而对动画输出进行精确调整，允许用户根据特定需求定制动画效果，实现个性化创作。

Follow-Your-Emoji的官网入口

• 官方项目主页：https://follow-your-emoji.github.io/
• arXiv技术论文：https://arxiv.org/abs/2406.01900

Follow-Your-Emoji的技术原理

1. 基于扩散模型的框架：使用扩散模型（Stable Diffusion）作为基础，这是一种先进的深度学习模型，能够生成高质量的图像和视频内容。
2. 表情感知标志点（Expression-Aware Landmark）：利用MediaPipe等工具从动态视频中提取3D关键点，然后将其投影到2D平面，形成用于指导动画过程的表情感知标志点。这些标志点特别关注于表情变化的关键区域，如眼睛（瞳孔点）和嘴巴，以实现更精确的表情同步。
3. 面部精细损失（Facial Fine-Grained Loss Function）：引入一种新的损失函数，通过面部遮罩和表情遮罩来指导模型在训练过程中更加关注面部表情的细节。该损失函数通过计算预测结果与真实结果在遮罩区域内的差异，帮助模型学习如何更好地捕捉微妙的表情变化。
4. 多风格适应性：框架设计为能够适应不同风格的肖像，无论是真人、卡通、雕塑还是动物，都能够实现自然的动画效果。
5. 渐进式生成策略：为了生成长期动画，采用从粗糙到精细的渐进式生成策略，首先生成关键帧，然后通过插值生成中间帧，以保持动画的连贯性和稳定性。
6. 时间注意力机制：在UNet网络中加入时间注意力层，以保持动画帧之间的时间一致性和动态连贯性。
7. 预训练与微调：使用大量的表达训练数据集对模型进行预训练，然后针对特定的动画任务进行微调，以提高模型的表现力和准确性。
8. 数据集和基准建设：团队构建了EmojiBench基准，包含多种风格和表情的肖像视频，用于评估和验证模型的性能。
9. 推理与动画生成：在推理阶段，模型结合表情感知标志点和时间注意力机制，生成动态的肖像动画，同时保持参考肖像的身份特征。
10. 用户控制与定制：用户可以通过提供不同的输入表情序列来控制动画的输出，实现高度定制化的动画效果。