Category: AI项目和框架

琴乐大模型是什么

琴乐大模型是由腾讯AI Lab与腾讯TME天琴实验室共同研发的人工智能音乐创作大模型，该模型通过输入中英文关键词、描述性语句或音频，能够直接生成立体声音频或多轨乐谱。琴乐大模型支持自动编辑，如续写、重新生成指定音轨或小节，以及修改乐器类型和节奏。目前，琴乐大模型的技术已经上线腾讯音乐启明星平台，用户可以免费注册体验。未来，研究团队还计划在模型中加入人声、歌词等要素的生成能力，以更好地服务音乐创作需求。

琴乐大模型的功能特色

• 音乐生成：模型能够根据用户提供的中英文关键词、描述性语句或音频输入，智能生成音乐。这种生成不仅基于文本描述，还能够理解音频内容，实现音乐的自动创作。
• 乐谱生成：除了生成音频，「琴乐大模型」还能生成详细的乐谱，这些乐谱包含旋律、和弦、伴奏和打击乐等多个轨道，为用户提供了丰富的音乐结构。
• 自动编辑：模型支持对生成的乐谱进行一系列自动编辑操作，包括但不限于续写乐谱、重新生成特定的音轨或小节、调整配器、修改乐器类型和节奏，这大大提高了创作的灵活性和效率。
• 音频文本对齐：通过对比学习技术，模型构建了一个共享特征空间，将音频标签或文本描述与音频本身进行对齐，为生成模型提供条件控制信号，增强了音乐生成的相关性和准确性。
• 乐谱/音频表征提取：模型能够将乐谱或音频转换成一系列离散的特征（token）序列，这些序列为大语言模型的预测提供了基础。
• 大语言模型预测：使用decoder-only结构，模型通过特征预测（next token prediction）训练，预测出的序列可以转换回乐谱或音频，实现了从文本到音乐的转换。
• 音频恢复：通过流匹配和声码器技术，模型能够将预测出的音频表征序列恢复成可听音频，增强了音频的真实感和质量。
• 音乐理论遵循：在生成音乐的过程中，「琴乐大模型」遵循音乐理论，确保旋律、和弦、节拍等元素符合音乐逻辑和人类审美。

如何体验和使用琴乐大模型

1. 注册与登录：访问腾讯音乐启明星平台（https://y.qq.com/venus/#/venus/aigc/ai_compose），并注册一个账户或使用现有账户登录。
2. 输入创作条件：在体验页面上，输入音乐关键词、语句或描述，这些将作为模型生成音乐的依据。
3. 选择音乐模型：目前仅有琴乐音乐生成大模型v1.0供选择。
4. 选择音乐时长：可选择10秒至30秒的音乐时长
5. 生成音乐：点击开始生成，等待1分钟左右音乐即可生成，生成后的音乐可以进行播放和下载

琴乐大模型的技术原理

• 音频文本对齐模型：这一模块使用对比学习构建音频标签或文本描述与音频之间的共享特征空间。通过这种方式，模型能够理解文本和音频之间的语义关系，并在生成过程中使用这些信息作为条件控制信号。
• 乐谱/音频表征提取：模型将乐谱或音频转换为离散的特征序列，这些序列可以是MIDI属性的表征，也可以是预先训练的音频频谱的编码和压缩后的表征。
• 大语言模型：使用decoder-only结构的大语言模型，进行特征预测（next token prediction）训练。这种模型能够根据输入的特征序列预测下一个特征，从而生成连续的音乐元素。
• 流匹配与声码器技术：在生成音频的过程中，模型使用流匹配技术与声码器模块，将预测出的音频表征序列转换为可听音频，增强音频的真实感。
• 多模块协同工作：「琴乐大模型」包含了多个模块，这些模块协同工作以实现音乐生成的效果。例如，音频文本对齐模型在训练过程中提供条件控制信号，而在推理过程中则使用文本表征作为控制信号。
  
• 音乐理论遵循：在生成音乐的过程中，模型需要遵循音乐理论，包括旋律、和弦、节奏等元素的合理性，以确保生成的音乐符合人类的听觉习惯和审美标准。
• 自动编辑与调整：模型支持对生成的乐谱进行自动编辑操作，如续写、重新生成指定轨或小节，以及修改乐器类型和节奏，这使得音乐创作过程更加灵活。
• 端到端的生成流程：从文本输入到音频输出，「琴乐大模型」实现了端到端的生成流程，减少了人工干预，提高了音乐创作的效率。
• 大规模双盲听测：通过大规模双盲听测，模型的生成质量得到了验证，其多维度主观评分超越了业内标准。

Unique3D是什么

Unique3D是清华大学团队开源的一个单张图像到3D模型转换的框架，通过结合多视图扩散模型和法线扩散模型，以及一种高效的多级上采样策略，能够从单张图片中快速生成具有高保真度和丰富纹理的3D网格。Unique3D结合ISOMER算法进一步确保了生成的3D模型在几何和色彩上的一致性和准确性，仅需30秒即可完成从单视图图像到3D模型的转换，生成效果优于InstantMesh、CRM、OpenLRM等图像转3D模型。

Unique3D的功能特色

• 单图像3D网格生成：Unique3D能够从单个2D图像自动生成3D网格模型，将平面图像转换为具有空间深度的三维形态。
• 多视角视图生成：系统使用多视图扩散模型生成同一物体的四个正交视图图像，这些视图从不同方向捕捉物体的特征，为3D重建提供全面的视角信息。
• 法线贴图生成：Unique3D为每个多视角图像生成对应的法线贴图，这些贴图记录了物体表面的朝向信息，对于后续的3D模型渲染至关重要，能够模拟光线如何与表面相互作用，增强模型的真实感。
• 多级分辨率提升：通过多级上采样过程逐步提高生成图像的分辨率，从低分辨率到高分辨率（如从256×256到2048×2048），使得3D模型的纹理和细节更加清晰。
• 几何和纹理细节整合：在重建过程中，Unique3D将颜色信息和几何形状紧密结合，确保生成的3D模型在视觉上与原始2D图像保持一致，同时具有复杂的几何结构和丰富的纹理细节。
• 高保真度输出：生成的3D模型在形状、纹理和颜色上与输入的2D图像高度一致，无论是在几何形态的准确性还是纹理的丰富性上都达到了高保真度的标准。

Unique3D的官网入口

• 官方项目主页：https://wukailu.github.io/Unique3D/
• GitHub代码库：https://github.com/AiuniAI/Unique3D
• 在线Demo体验：https://u45213-bcf9-ef67553e.westx.seetacloud.com:8443/
• Hugging Face Demo：https://huggingface.co/spaces/Wuvin/Unique3D
• 模型权重下载：https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
• arXiv技术论文：https://arxiv.org/abs/2405.20343

Unique3D的技术原理

• 多视图扩散模型：利用扩散模型从单视图图像生成多视角（通常是四个正交视图）图像。这些模型通过训练学习2D图像的分布，并将其扩展到3D空间，生成具有不同视角的图像。
• 法线扩散模型：与多视图扩散模型协同工作，为每个生成的视图图像生成对应的法线贴图，这些法线贴图包含了表面法线的方向信息，对后续的3D重建至关重要。
• 多级上采样过程：采用多级上采样策略逐步提高生成图像的分辨率。初始生成的图像分辨率较低，通过上采样技术逐步提升至更高的分辨率，以获得更清晰的细节。
• ISOMER网格重建算法：一种高效的网格重建算法，用于从高分辨率的多视图RGB图像和法线图中重建3D网格。ISOMER算法包括：
  • 初始网格估计：快速生成3D对象的粗糙拓扑结构和初始网格。
  • 粗糙到精细的网格优化：通过迭代优化过程，逐步改善网格的形状，使其更接近目标形状。
  • 显式目标优化：为每个顶点指定一个优化目标，解决由于视角不一致导致的问题，提高几何细节的准确性。
• 颜色和几何先验整合：在网格重建过程中，将颜色信息和几何形状的信息整合到网格结果中，以提高最终模型的视觉真实性和准确性。
• 显式目标（ExplicitTarget）：为每个顶点定义一个优化目标，这是一个从顶点集合到颜色集合的映射函数，用于指导顶点颜色的优化，提高模型的多视图一致性。
• 扩展正则化（Expansion Regularization）：在优化过程中使用的一种技术，通过在顶点的法线方向上移动顶点来避免表面塌陷，确保模型的完整性。
• 颜色补全算法：针对不可见区域的颜色补全，使用一种高效的算法，将可见区域的颜色平滑地传播到不可见区域，确保整个模型颜色的一致性。

Hallo是什么

Hallo是由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究人员共同提出的一个AI对口型肖像图像动画技术，可基于语音音频输入来驱动生成逼真且动态的肖像图像视频。该框架采用了基于扩散的生成模型和分层音频驱动视觉合成模块，提高了音频与视觉输出之间的同步精度。Hallo的网络架构整合了UNet去噪器、时间对齐技术和参考网络，以增强动画的质量和真实感，不仅提升了图像和视频的质量，还显著增强了唇动同步的精度，并增加了动作的多样性。

Hallo的功能特色

• 音频同步动画：Hallo利用先进的音频分析技术，将输入的语音音频与肖像图像相结合，生成动态的面部动画。通过精确的唇动同步算法，确保视频动画中的嘴唇动作与音频中的声音同步，从而创造出逼真的说话效果。
• 面部表情生成：根据音频信号中的情感和语调变化，Hallo能够自动识别并生成相应的面部表情，包括微笑、皱眉、惊讶等表情，使视频动画角色的“表演”更加自然和富有情感。
• 头部姿态控制：Hallo允许对视频动画中的头部姿态进行细致的调整，如头部的倾斜、转动等，使得视频动画能够更好地反映音频内容的意图和情感，增强视觉与听觉的协调性。
• 个性化动画定制：用户可以根据不同的应用场景和个人特征，对动画的风格、表情和动作进行定制。Hallo的个性化定制功能支持用户创造出独一无二的角色，满足特定的视觉和情感表达需求。
• 时间一致性维护：Hallo通过时间对齐技术，确保动画中的动作和表情在时间上流畅过渡，避免突兀和不自然的变化。
• 动作多样性：除了同步音频的基本动作外，Hallo还支持生成多样化的动作和风格。用户可以根据需要选择不同的动作库，为动画角色添加更多动态元素，如手势、眨眼等，从而丰富视频的表现力。

Hallo的官网入口

• 官方项目主页：https://fudan-generative-vision.github.io/hallo/#/
• GitHub代码库：https://github.com/fudan-generative-vision/hallo
• Hugging Face模型库：https://huggingface.co/fudan-generative-ai/hallo
• arXiv技术论文：https://arxiv.org/abs/2406.08801

Hallo的技术原理

• 分层音频驱动视觉合成：Hallo采用分层的方法来处理音频和视觉信息。这种分层结构允许模型分别处理嘴唇动作、面部表情和头部姿态，然后通过自适应权重将这些元素融合在一起。
• 端到端扩散模型：Hallo使用基于扩散的生成模型，一种从潜在空间生成数据的方法。在训练阶段，数据逐渐被加入噪声，然后在逆过程中去除噪声以重建清晰的图像。
• 交叉注意力机制：通过交叉注意力机制，Hallo能够在音频特征和视觉特征之间建立联系。该机制使得模型能够集中注意力于与当前音频输入最相关的面部区域。
• UNet去噪器：Hallo利用基于UNet的去噪器来逐步去除图像中的噪声，生成清晰的动画帧。UNet结构因其在图像分割任务中的有效性而闻名，通过跳跃连接使用低层特征图来提高生成质量。
• 时间对齐技术：为了保持动画在时间上的连贯性，Hallo采用了时间对齐技术，这有助于确保连续帧之间的平滑过渡和一致性。
• 参考网络（ReferenceNet）：ReferenceNet用于编码全局视觉纹理信息，以实现一致且可控的角色动画，可帮助模型在生成过程中参考现有的图像，以增强输出的视觉质量。
• 面部和音频编码器：Hallo使用预训练的面部编码器来提取肖像的身份特征，同时使用音频特征编码器（如wav2vec）来将音频信号转换为可以驱动动画运动的信息。
• 自适应权重调整：Hallo允许调整不同视觉组件（如嘴唇、表情、姿态）的权重，以控制动画的多样性和细节。
• 训练与推理：在训练阶段，Hallo通过优化面部图像编码器和空间交叉注意力模块的参数来提高单帧生成能力。在推理阶段，模型结合参考图像和驱动音频来生成动画视频序列。

MimicBrush是什么

MimicBrush是由阿里巴巴、香港大学和蚂蚁集团的研究人员推出的AI图像编辑融合框架，允许用户通过简单的操作，在源图像上指定需要编辑的区域，并提供一个包含期望效果的参考图像进行图片编辑。MimicBrush能够自动识别和模仿参考图像中的视觉元素，将其应用到源图像的相应区域，支持如对象替换、样式转换、纹理调整等图像编辑操作。该技术特别适用于产品定制、角色设计和特效制作等场景，极大地简化了传统图像编辑的复杂流程，提高了编辑效率和灵活性。

MimicBrush的功能特色

• 参考图像模仿：用户在源图像上圈定希望编辑的特定区域，提供一张包含所需样式或对象的参考图像。MimicBrush便能分析并模仿参考图像中的特定视觉特征，将这些特征无缝应用到源图像的指定区域，实现风格或内容的一致性。
• 自动区域识别：MimicBrush利用先进的图像识别技术可自动检测和确定编辑区域。用户无需手动绘制遮罩或进行繁琐的选择，简化了编辑前的准备工作。
• 一键编辑应用：用户只需点击一个按钮，即可启动编辑过程。MimicBrush将自动执行从区域识别到特征模仿的整个编辑流程，编辑操作变得快速且用户友好，无需多步操作。
• 多样化编辑效果：支持对象替换，如将一种物体替换为另一种物体；可实现样式转换，比如改变服装的图案或颜色。还能进行纹理调整，如将一种材质的纹理应用到另一物体表面。
• 实时反馈：在编辑过程中，MimicBrush提供即时的预览功能。用户可以实时看到编辑效果，及时进行调整和优化，确保了编辑结果更符合用户的预期和需求。
• 灵活性和适应性：MimicBrush能够适应不同的图像内容，包括复杂场景和多样风格，提供多种编辑选项，使用户能够根据个人喜好进行个性化调整。

MimicBrush的官网入口

• 官方项目主页：https://xavierchen34.github.io/MimicBrush-Page/
• GitHub代码库：https://github.com/ali-vilab/MimicBrush
• Hugging Face Demo：https://huggingface.co/spaces/xichenhku/MimicBrush
• ModelScope模型：https://www.modelscope.cn/models/xichen/MimicBrush/summary
• arXiv技术论文：https://arxiv.org/abs/2406.07547

MimicBrush的技术原理

• 自我监督学习：MimicBrush通过自我监督的方式进行训练，利用视频帧之间的自然一致性和视觉变化。在训练过程中，系统随机选择视频中的两帧，一帧作为源图像，另一帧作为参考图像，学习如何使用参考图像的信息来补全源图像中被遮罩的部分。
• 双扩散UNets结构：MimicBrush采用了两个UNet网络，即“imitative U-Net”和“reference U-Net”。这两个网络分别处理源图像和参考图像，并通过共享注意力层中的键（keys）和值（values）进行信息交互，帮助系统定位参考图像中与源图像编辑区域相对应的部分。
• 注意力机制：在MimicBrush中，参考U-Net提取的注意力键和值被注入到模仿U-Net中，这种机制有助于模仿U-Net更准确地完成遮罩区域的生成，确保生成的区域与源图像的背景和其他元素和谐地融合。
• 数据增强：为了增加源图像和参考图像之间的变化性，MimicBrush在训练过程中应用了强烈的数据增强技术，包括颜色抖动、旋转、缩放和翻转等，以提高模型对不同姿态、光照和视角下图像的泛化能力。
• 遮罩策略：MimicBrush采用了一种智能的遮罩策略，通过SIFT特征匹配来确定源图像中的关键区域，并增加这些区域被遮罩的可能性，从而促使模型学习如何从参考图像中找到并模仿更有意义的视觉元素。
• 深度模型：MimicBrush还利用深度模型来预测源图像的深度图，作为形状控制的可选条件，这使得MimicBrush能够在纹理转移任务中保持源对象的形状，同时仅将参考图像的纹理或图案应用到源对象上。
• 评估基准：为了全面评估MimicBrush的性能，研究人员构建了一个包含部分合成和纹理转移任务的高质量基准，涵盖了多种实际应用场景，如时尚、产品设计等。

MimicBrush的应用场景

• 产品设计：设计师可以使用MimicBrush快速修改产品设计图，例如改变产品的颜色、纹理或形状，以匹配设计概念或满足特定需求。
• 时尚和服装：在时尚界，MimicBrush可以用来改变服装的图案、颜色或风格，帮助设计师和营销人员快速预览不同设计选项。
• 美容和肖像编辑：个人用户可以利用MimicBrush来美容肖像，例如改变发型、妆容或肤色，而无需专业的图像编辑技能。
• 广告和营销材料：营销人员可以快速调整广告图像，以适应不同的市场或促销活动，例如更改产品展示或背景元素。
• 社交媒体内容创作：社交媒体用户可以利用MimicBrush来增强或个性化他们的照片和视频，使其内容更加吸引眼球。
• 电子商务：在线零售商可以使用MimicBrush来定制产品图像，展示不同选项或变化，为客户提供更丰富的视觉体验。

6月12日晚间消息，人工智能初创公司Stability AI宣布正式开源发布其最新的文本到图像生成模型——Stable Diffusion 3 Medium（SD3 Medium）。Stable Diffusion 3 Medium 包含 20 亿个参数，是 Stability AI 迄今为止最先进的文本到图像开放模型，更小的 VRAM 占用空间旨在使其更适合在消费级 GPU 以及企业级 GPU 上运行。

Hugging Face模型地址：https://huggingface.co/stabilityai/stable-diffusion-3-medium

Stable Diffusion 3 Medium的基本信息

• 先进性：SD3 Medium 拥有20亿参数，是Stability AI 迄今为止最为复杂的图像生成模型，代表了生成式AI进化的重要里程碑。
• 适用性：这一模型的尺寸适中，使其成为在消费级PC、笔记本电脑以及企业级GPU上运行的理想选择，有望成为文本到图像模型的新标准。
• 开放性：SD3 Medium 的权重现已在非商业许可和低成本创作者许可下开放，鼓励专业艺术家、设计师、开发者和AI爱好者进行商业使用。
• 多平台支持：支持API试用，可在Stability平台、Stable Assistant（免费三天试用）和通过Discord的Stable Artisan上尝试。

Stable Diffusion 3 Medium的改进

• 照片级真实感：SD3 Medium 通过减少手部和面部的常见伪影，提供无需复杂工作流程即可生成的高质量图像。
• 提示遵循：模型能够理解并生成涉及空间关系、构图元素、动作和风格的复杂提示。
• 排版能力：借助Diffusion Transformer架构，SD3 Medium 在生成文本时实现了无伪影和拼写错误。
• 资源效率：模型设计考虑了资源效率，即使在标准消费级GPU上也能保持高性能，不牺牲性能。
• 微调能力：SD3 Medium 能够从小数据集中吸收细节，为定制化提供了强大支持。

合作伙伴

• NVIDIA：Stability AI 与NVIDIA 的合作，通过NVIDIA® RTX™ GPU和TensorRT™，为所有Stable Diffusion模型，包括SD3 Medium，提供了性能上的显著提升。
• AMD：AMD 对SD3 Medium 进行了优化，确保在AMD的最新APU、消费级GPU和MI-300X企业级GPU上提供高效推理。

开放与安全

• Stability AI 坚定地致力于开放的生成性AI，SD3 Medium 在Stability NonCommercial Research Community License下发布，同时推出了新的Creator License，以支持商业用途。
• 公司采取了全面的安全措施，从模型训练到部署，确保了SD3 Medium 的安全和负责任的使用。

未来计划

Stability AI 计划根据用户反馈持续改进SD3 Medium，扩展其功能，提高性能。公司的目标是为AI生成艺术设定新的标准，使SD3 Medium 成为专业人士和爱好者的重要工具。

（消息来源：Stability AI）

ToonCrafter是什么

ToonCrafter是由腾讯AI实验室、香港中文大学和香港城市大学的研究人员开源的卡通动画视频中间帧生成工具，突破了传统卡通动画制作中线性运动的假设限制，采用创新的生成式插值技术，仅需两张关键帧图片，即可自动生成中间动态帧，创造出流畅的动画效果。与需要逐帧绘制的传统动画制作方法相比，ToonCrafter极大地提高了动画制作的效率，减少了动画师的工作量，缩短了制作时间，同时保持了动画的质量和创意性。

ToonCrafter的功能特色

• 生成式卡通插值：ToonCrafter利用深度学习模型，通过给定的两张关键帧图片，自动推算并生成中间帧，实现卡通动画的平滑过渡和动态效果。该插值方法不仅填补了帧与帧之间的空白，还能够模拟复杂的运动模式，如角色动作和场景变化。
• 细节保持与增强：ToonCrafter采用先进的双参考3D解码器技术，确保在生成新帧的过程中，图像的细节得到保留甚至增强。这种机制特别适用于卡通动画，因为它们通常包含清晰的线条和鲜明的色彩，需要在插值过程中避免细节的模糊和失真。
• 支持草图指导动画：ToonCrafter提供了一个草图编码器，允许用户通过简单的草图输入来指导动画的生成。用户可以指定动画的某些方面，如角色的运动轨迹或特定风格的强调，从而实现个性化的动画效果。
• 遮挡区域处理：ToonCrafter能够有效识别和处理动画中的遮挡情况，例如当一个角色或对象部分或完全遮挡另一个时。该工具能够合理推断遮挡区域的运动和变化，生成符合视觉逻辑的帧。
• 多应用场景：ToonCrafter的应用范围广泛，不仅可以用于生成完整的卡通动画视频，还适用于从卡通素描线稿生成动画，以及对现有动画进行上色和风格化处理，提供了动画制作的多样性。
  

ToonCrafter的官网入口

• 官方项目主页：https://doubiiu.github.io/projects/ToonCrafter/
• GitHub代码库：https://github.com/ToonCrafter/ToonCrafter
• Hugging Face Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter
• arXiv技术论文：https://arxiv.org/abs/2405.17933v1

ToonCrafter的技术原理

1. 生成式插值框架：ToonCrafter采用了一种新颖的生成式插值方法，与传统的基于对应关系的插值方法不同，它不依赖于显式的帧间对应关系，而是通过学习视频数据的潜在表示来进行帧的生成。
2. 领域适配（Toon Rectification Learning）：通过领域适配策略，ToonCrafter能够将真实视频的运动先验适配到卡通视频领域，解决了领域差异问题，避免了非卡通内容的意外合成。
3. 双参考3D解码器：利用双参考3D解码器，ToonCrafter能够补偿由于潜在空间压缩导致的细节丢失。这种解码器通过混合注意力残差学习机制（HAR），将输入图像的细节信息注入到生成帧的潜在表示中。
4. 混合注意力残差学习机制（HAR）：在解码过程中，HAR通过交叉注意力机制将输入图像的特征注入到解码器的浅层，同时在深层使用残差学习来增强细节的恢复。
5. 伪3D卷积（Pseudo-3D Convolution）：为了增强时间上的连贯性，ToonCrafter在解码器中引入了伪3D卷积，这有助于改善时间序列帧之间的一致性。
6. 草图编码器（Sketch Encoder）：提供了一个独立的草图编码器，允许用户通过输入草图来控制生成动画的运动和风格，增加了生成过程的交互性和可控性。
7. 扩散模型（Diffusion Models）：ToonCrafter基于扩散模型，这是一种从数据中逐步添加噪声，然后学习逆过程以去除噪声并恢复数据的生成模型。在视频生成中，这允许从随机噪声中生成连续的视频帧。
8. 迭代去噪过程：在生成每一帧时，ToonCrafter通过迭代去噪过程逐步精细化生成的图像，从噪声中恢复出清晰的帧。
9. 端到端的训练和优化：ToonCrafter的各个组件通过端到端的方式进行训练和优化，确保整个插值过程的协同工作和最终生成视频的质量。
10. 多模态输入支持：除了起始和结束帧，ToonCrafter还支持如草图、参考图像等多模态输入，以增强生成动画的表现力和控制性。

如何使用和体验ToonCrafter

方法一、在线版Demo体验

1. 访问Hugging Face版的在线Demo，https://huggingface.co/spaces/Doubiiu/tooncrafter
2. 在Input Image添加输入图像
3. 输入提示词并调节Seed值、步长、FPS等
4. 最后点击Generate按钮进行生成视频

方法二、本地代码部署

开发人员可以选择本地部署和运行ToonCrafter，具体步骤如下：

1. 获取代码：访问ToonCrafter的项目页面，或使用Git命令克隆或下载代码到本地。git clone https://github.com/ToonCrafter/ToonCrafter.git
2. 环境准备：通过Anaconda安装所需的Python环境和依赖库

   conda create -n tooncrafter python=3.8.5
   conda activate tooncrafter
   pip install -r requirements.txt

3. 下载预训练模型：下载预先训练好的ToonCrafter_512模型并将其model.ckpt放入checkpoints/tooncrafter_512_interp_v1/model.ckpt。
4. 命令行运行 sh scripts/run.sh
5. 运行本地Gradio版界面：你也可以选择运行本地Gradio UI，运行指令 python gradio_app.py
6. 然后按照上方在线版的操作步骤输入图片并设置参数进行生成即可

Follow-Your-Emoji是什么

Follow-Your-Emoji是由香港科技大学、腾讯混元和清华大学的研究人员推出的一个基于扩散模型的人像动画框架，利用扩散模型为参考肖像添加目标表情序列，实现动态动画效果。该技术通过表情感知标志点精确对齐表情与肖像，避免身份信息泄露，同时使用面部精细损失函数强化模型对微妙表情变化的捕捉能力。Follow-Your-Emoji支持多种风格的人像动画，包括真人、卡通、雕塑甚至动物，展现出高度的控制性和表现力。

Follow-Your-Emoji的功能特色

• 动态表情同步：利用扩散模型技术，Follow-Your-Emoji能够将预定义或实时捕获的表情序列精确同步到静态参考肖像上，实现如眨眼、微笑、皱眉等复杂表情的动态变化。
• 身份特征保持：在动画化过程中，框架特别设计了机制来确保参考肖像的关键身份特征得以保留，即使在表情变化剧烈时也能防止身份信息的失真或泄露。
• 夸张表情表现：通过表情感知标志点技术，框架能够捕捉并再现夸张的表情动作，例如在卡通或漫画风格中常见的大幅度瞳孔扩张或收缩，增强动画的表现力。
• 多风格适应：Follow-Your-Emoji框架不仅限于现实风格的肖像，还能够适应并动画化卡通、雕塑、动物等不同艺术风格和表现形式的肖像，显示出其广泛的适用性。
• 时间连贯性：通过面部精细损失函数，框架在生成每一帧动画时都考虑到了与前后帧的连贯性，确保整个动画序列在时间上的自然过渡和流畅表现。
• 长期动画生成：采用渐进式生成策略，Follow-Your-Emoji能够生成不仅在短期内连贯，而且在长期播放中也能保持稳定性和高质量的动画效果。
• 高度控制性：用户可以细致地控制表情序列，从而对动画输出进行精确调整，允许用户根据特定需求定制动画效果，实现个性化创作。

Follow-Your-Emoji的官网入口

• 官方项目主页：https://follow-your-emoji.github.io/
• arXiv技术论文：https://arxiv.org/abs/2406.01900

Follow-Your-Emoji的技术原理

1. 基于扩散模型的框架：使用扩散模型（Stable Diffusion）作为基础，这是一种先进的深度学习模型，能够生成高质量的图像和视频内容。
2. 表情感知标志点（Expression-Aware Landmark）：利用MediaPipe等工具从动态视频中提取3D关键点，然后将其投影到2D平面，形成用于指导动画过程的表情感知标志点。这些标志点特别关注于表情变化的关键区域，如眼睛（瞳孔点）和嘴巴，以实现更精确的表情同步。
3. 面部精细损失（Facial Fine-Grained Loss Function）：引入一种新的损失函数，通过面部遮罩和表情遮罩来指导模型在训练过程中更加关注面部表情的细节。该损失函数通过计算预测结果与真实结果在遮罩区域内的差异，帮助模型学习如何更好地捕捉微妙的表情变化。
4. 多风格适应性：框架设计为能够适应不同风格的肖像，无论是真人、卡通、雕塑还是动物，都能够实现自然的动画效果。
5. 渐进式生成策略：为了生成长期动画，采用从粗糙到精细的渐进式生成策略，首先生成关键帧，然后通过插值生成中间帧，以保持动画的连贯性和稳定性。
6. 时间注意力机制：在UNet网络中加入时间注意力层，以保持动画帧之间的时间一致性和动态连贯性。
7. 预训练与微调：使用大量的表达训练数据集对模型进行预训练，然后针对特定的动画任务进行微调，以提高模型的表现力和准确性。
8. 数据集和基准建设：团队构建了EmojiBench基准，包含多种风格和表情的肖像视频，用于评估和验证模型的性能。
9. 推理与动画生成：在推理阶段，模型结合表情感知标志点和时间注意力机制，生成动态的肖像动画，同时保持参考肖像的身份特征。
10. 用户控制与定制：用户可以通过提供不同的输入表情序列来控制动画的输出，实现高度定制化的动画效果。

Qwen2是什么

Qwen2是由阿里云通义千问团队开源的新一代大语言模型，该系列涵盖了从0.5B到72B不等的五个规模模型，在中文和英文基础上增加了27种语言的高质量数据，大幅提升了模型的自然语言理解、代码编写、数学解题和多语言处理能力。Qwen2支持最长达128K tokens的上下文长度，优化了模型的泛化性和应用潜力。该系列模型在多个评测基准上表现优异，赶超Meta的Llama-3-70B，目前已在Hugging Face和ModelScope平台开源。

Qwen2的模型信息

• 参数量：模型总的参数数量，以B（十亿）为单位。
• 非Embedding参数量：除去词嵌入（Embedding）部分的参数数量。
• 是否使用GQA：模型是否采用了GQA（Generalized Query Answering）技术。
• 是否Tie Embedding：模型是否使用了输入和输出层共享参数的技术。
• 上下文长度：模型能够处理的最大上下文长度，以tokens为单位。

Qwen2的官网入口

• 官方博客介绍：https://qwenlm.github.io/zh/blog/qwen2/
• GitHub地址：https://github.com/QwenLM/Qwen2
• Hugging Face地址：https://huggingface.co/Qwen
• ModelScope地址：https://modelscope.cn/organization/qwen
• Hugging Face在线Demo：https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct

Qwen2的模型评测

• Qwen2系列在多个评测基准上表现出色，特别是在Qwen2-72B模型上，实现了大幅度的效果提升。
• 在自然语言理解、知识、代码、数学和多语言等多项能力上，Qwen2-72B显著超越了当前领先的模型，如Llama-3-70B和Qwen1.5的110B模型。
• 在16个基准测试中，Qwen2-72B-Instruct展现了在基础能力和对齐人类价值观方面的平衡，超越了Qwen1.5的72B模型，并与Llama-3-70B-Instruct相匹敌。

Qwen2的模型亮点

• 代码 & 数学：Qwen2在代码和数学方面的能力显著提升，成功融合了CodeQwen1.5的经验，并在多种编程语言上实现效果提升。数学能力通过大规模高质量数据支持，实现了解题能力的飞跃。
  
• 长文本处理：Qwen2系列的Instruct模型在32k上下文长度上训练，并通过技术如YARN扩展至更长上下文，Qwen2-72B-Instruct能完美处理128k上下文长度的信息抽取任务。
• 安全性：在多语言不安全查询类别中，Qwen2-72B-Instruct在安全性方面与GPT-4相当，且显著优于Mistral-8x22B模型，减少了生成有害响应的比例。
• 多语言能力：Qwen2在多语言评测中表现优异，增强了27种语言的处理能力，并优化了语言转换问题，降低了模型发生语言转换的概率。

Seed-TTS是什么

Seed-TTS是由字节跳动开发的高级文本到语音（Text to Speech，TTS）模型，能够生成与人类语音极为相似的高质量语音，具备出色的上下文学习能力和自然度。Seed-TTS支持对情感、语调、说话风格等语音属性的精细控制，适用于有声读物、视频配音等多种场景。此外，该模型还具备零样本学习能力，即使在没有训练数据的情况下也能生成高质量语音，并且支持内容编辑和多语种翻译功能。

Seed-TTS的主要功能

• 高质量语音生成： Seed-TTS采用了先进的自回归模型和声学声码器技术，能够生成接近人类自然语音的高质量语音。模型在大量数据上进行训练，学习到丰富的语音特征和语言模式，从而能够合成清晰、流畅、自然的语音输出。
• 上下文学习： 该模型具备出色的上下文学习能力，可以在理解给定文本的上下文基础上，生成与上下文风格和语义相匹配的语音。无论是连续的对话还是单独的句子，Seed-TTS都能够保持语音的连贯性和一致性。
• 情感控制： Seed-TTS能够根据文本内容或额外的情感标签，控制生成语音的情感色彩。用户可以指定语音中应表达的情感，如愤怒、快乐、悲伤或惊讶等，模型会相应地调整语音的音调、强度和节奏，以匹配所选情感。
• 语音属性可控： 除了情感，Seed-TTS还允许用户控制其他语音属性，包括语调、节奏和说话风格。用户可以根据应用场景的需求，调整语音使其更正式或非正式，或者更具戏剧化效果。
• 零样本学习能力（Zero-shot Learning）： 即使没有特定说话者的训练数据，Seed-TTS也能够利用其在大量数据上训练得到的泛化能力，生成高质量的语音。此能力使得Seed-TTS能够快速适应新的说话者或语言，而无需额外的训练过程。
• 语音编辑： Seed-TTS支持对生成的语音进行编辑，包括内容编辑和说话速度编辑。用户可以根据需要修改语音中的特定部分，或调整语速以适应不同的听众或应用场景。
• 多语种支持： 模型设计支持多种语言的文本输入，能够生成相应语言的语音，使得Seed-TTS可以服务于全球化的应用，满足不同语言用户的需求。
• 语音分解： Seed-TTS通过自我蒸馏方法实现了语音的属性分解，例如可以将语音的音色与其他属性（如内容和情感）分离，为语音合成提供了更高的灵活性和控制力，允许用户独立地修改和重组语音的不同组成部分。

Seed-TTS的官网入口

• 官方项目入口：https://bytedancespeech.github.io/seedtts_tech_report/
• arXiv技术论文：https://arxiv.org/pdf/2406.02430

Seed-TTS的工作原理

1. 语音分词（Speech Tokenization）： 首先，Seed-TTS使用一个语音分词器将输入的语音信号转换成一系列离散的语音标记（tokens）。这些标记是语音合成的基础，类似于文本中的字符或单词。
2. 条件文本和语音处理： 接下来，Seed-TTS的自回归语言模型根据输入的文本和语音标记生成目标语音的标记序列。这个过程依赖于模型对语言结构和语音特性的理解，确保生成的语音标记序列在语义和语法上与输入文本相匹配。
3. 语音表示生成： 生成的语音标记序列随后被送入一个扩散变换器（diffusion transformer）模型。这个模型负责将离散的语音标记转换成连续的语音表示，这个过程是逐步细化的，从粗糙到精细，以生成平滑且自然的语音波形。
4. 声学声码器（Acoustic Vocoder）： 最后，连续的语音表示被送入声学声码器，该组件负责将这些表示转换成可听的高质量语音。声码器通常使用深度学习技术来模拟人类声道产生语音的过程。
5. 训练和微调： Seed-TTS模型在大量数据上进行预训练，以学习语言和语音的基本规律。之后，可以通过微调来适应特定的说话者或语音风格，进一步提升语音的自然度和表现力。
6. 自我蒸馏和强化学习： Seed-TTS还采用了自我蒸馏方法来实现语音属性的分解，如音色分离，以及使用强化学习技术来增强模型的鲁棒性、说话者相似性和可控性。
7. 端到端处理： 对于非自回归的变体Seed-TTSDiT，它采用完全基于扩散的架构，直接从文本到语音的端到端处理，不依赖预先估计的音素持续时间。

如何使用Seed-TTS

Seed-TTS目前只提供了技术论文和官方Demo，暂未开放使用地址，感兴趣的用户可以前往官网查看官方演示。

Seed-TTS的应用场景

• 虚拟助手：Seed-TTS可以为虚拟助手提供自然、流畅的语音交互能力，提升用户体验。
• 有声读物和音频书籍：利用Seed-TTS生成高质量语音，可以将电子书籍转换成有声读物，供用户聆听。
• 视频配音：Seed-TTS可以用于视频内容的配音，特别是在需要特定情感表达或语调的场景下。
• 客户服务自动化：在客户服务领域，Seed-TTS可以提供自动语音回复功能，处理常规咨询和信息查询。
• 电影和游戏配音：在电影制作和视频游戏开发中，Seed-TTS可以用于角色配音，提供多样化的声音选择。
• 新闻和播客制作：Seed-TTS可以自动将文本新闻或播客稿件转换成语音，快速制作音频内容。
• 辅助残障人士：Seed-TTS可以为有语言障碍的人士提供语音合成服务，帮助他们更好地进行沟通。

ChatTTS是什么

ChatTTS是一款专为对话场景设计的支持中英文的文本转语音（TTS）模型，基于约10万小时的中英文数据进行训练，能够生成高质量、自然流畅的对话语音。ChatTTS针对对话式任务进行了优化，实现了更自然、流畅的语音合成，同时支持多说话人，还具备细粒度控制能力，能够预测和控制韵律特征，如笑声、停顿等，超越了大部分开源TTS模型。

ChatTTS的功能特色

• 文本转语音：ChatTTS能够将用户输入的文本信息实时转换成自然流畅的语音输出，适用于多种语言环境。
• 多语言支持：除了支持中文，ChatTTS还能够处理英文文本，使其能够服务于更广泛的用户群体。
• 情感和韵律调整：ChatTTS不仅能够转换文本，还能够根据文本内容调整语音的情感色彩和韵律特征，如语速、语调、停顿等，使得语音更加贴近真实人类说话的自然节奏。
• 语音角色选择：用户可以根据应用场景的需要，从多个预设的语音角色中选择最合适的声音，增加语音的个性化和表现力。
• 交互式Web界面：通过直观的Web界面，用户可以直接在浏览器中输入文本并获取语音输出，无需编写代码。
• 实时语音交互：ChatTTS支持实时语音合成，非常适合需要即时反馈的对话系统和交互式应用。
• 语音文件导出：用户可以将合成的语音导出为常见的音频文件格式，方便进行后续的编辑、分享或作为多媒体内容的一部分。
• 集成与兼容性：ChatTTS支持集成到各种平台和应用中，可以无缝集成到Web应用、移动应用、桌面软件等多种环境中。
• 情感标记系统：ChatTTS支持在文本中嵌入情感标记，允许用户精细控制语音输出的情感表达，如在文本中插入[laugh]标记来模拟笑声。

ChatTTS的官网入口

• 官方GitHub源码库：https://github.com/2noise/ChatTTS
• Hugging Face模型地址：https://huggingface.co/2Noise/ChatTTS
• ModelScope模型地址：https://www.modelscope.cn/models/pzc163/chatTTS/summary

如何运行ChatTTS

方法一、在线体验Demo

普通用户可以在ModelScope和Hugging Face上运行社区提供的在线ChatTTS WebUI版的Demo直接体验

• ModelScope版Demo：https://www.modelscope.cn/studios/AI-ModelScope/ChatTTS-demo/summary
• Hugging Face版Demo：https://huggingface.co/spaces/Dzkaka/ChatTTS

方法二、本地部署运行

1. 安装环境：确保你的计算机上安装了Python和Git。
2. SDK下载：安装ModelScope和SDK模型下载

   #安装ModelScope
   pip install modelscope

   #SDK模型下载
   from modelscope import snapshot_download
   model_dir = snapshot_download('pzc163/chatTTS')

3. 获取源码：通过Git版本控制系统，从ModelScope的代码仓库克隆ChatTTS的源码到本地。

   #Git模型下载
   git clone https://www.modelscope.cn/pzc163/chatTTS.git

4. 安装依赖：进入到项目目录，使用pip命令安装所需的Python依赖包。

   pip install -r requirement.txt
   pip install Ipython
   pip install soundfile
   

5. 模型推理：可使用魔搭社区免费算力，完成模型推理

   from ChatTTS import Chat
   from IPython.display import Audio
   #下载模型
   from modelscope import snapshot_download
   
   model_dir = snapshot_download('pzc163/chatTTS')
   
   chat = Chat()
   chat.load_models(source='local', local_path=model_dir)
   
   texts = ["你好,我是ChatTTS,很高兴认识大家",]
   
   wavs = chat.infer(texts, use_decoder=True)
   Audio(wavs[0], rate=24_000, autoplay=True)
   
   # save audio
   import soundfile as sf
   audio_data = wavs[0]
   if len(audio_data.shape) > 1:  
       audio_data = audio_data.flatten()
   
   output_file = './output_audio2.wav'
   sf.write(output_file, audio_data, 24000)
   print(f"Audio saved to {output_file}")

6. 搭建WebUI并运行

   git clone https://www.modelscope.cn/studios/AI-ModelScope/ChatTTS-demo.git
   cd ChatTTS
   pip install -r requirements.txt
   python app.py

ChatTTS的应用场景

• 虚拟助手和客服机器人：ChatTTS可以为虚拟助手和在线客服机器人提供自然、流畅的语音输出，提升用户体验。
• 有声读物和电子书：将文本内容转换为语音，为有声书和电子书提供语音朗读功能，方便用户在通勤或做家务时收听。
• 社交媒体和内容创作：在社交媒体平台或内容创作中，ChatTTS可以生成吸引人的语音内容，增加互动性和趣味性。
• 新闻和播客：自动将新闻稿或博客文章转换成语音，用于播客或新闻广播。
• 无障碍辅助：为视障人士或有阅读困难的用户提供语音辅助，使他们能够通过听来获取信息。