Category: AI项目和框架

FunAudioLLM是什么

FunAudioLLM是阿里巴巴通义实验室推出的开源语音大模型项目，包含SenseVoice和CosyVoice两个模型。SenseVoice擅长多语言语音识别和情感辨识，支持超过50种语言，特别在中文和粤语上表现优异。CosyVoice则专注于自然语音生成，能够控制音色和情感，支持中英日粤韩五种语言。FunAudioLLM适用于多语言翻译、情绪语音对话等场景。相关模型和代码已在Modelscope和Huggingface平台开源。

FunAudioLLM的主要功能

• SenseVoice模型：
  • 专注于多语言的高精度语音识别。
  • 支持超过50种语言，特别是在中文和粤语上识别效果优于现有模型。
  • 具备情感识别功能，能够辨识多种人机交互事件。
  • 提供轻量级和大型两个版本，适应不同应用场景。
• CosyVoice模型：
  • 专注于自然语音生成，支持多语言、音色和情感控制。
  • 能够根据少量原始音频快速生成模拟音色，包括韵律和情感细节。
  • 支持跨语种语音生成和细粒度的情感控制。

FunAudioLLM的项目地址

• 项目官网：https://fun-audio-llm.github.io/
• CosyVoice 在线体验：https://www.modelscope.cn/studios/iic/CosyVoice-300M
• SenseVoice 在线体验：https://www.modelscope.cn/studios/iic/SenseVoice
• GitHub仓库：https://github.com/FunAudioLLM
• arXiv技术论文：https://arxiv.org/abs/2407.04051

FunAudioLLM的应用场景

• 开发者和研究人员：使用FunAudioLLM进行语音识别、语音合成、情感分析等领域的研究和开发。
• 企业用户：在客户服务、智能助手、多语言翻译等业务场景中应用FunAudioLLM，提高效率和用户体验。
• 内容创作者：使用FunAudioLLM生成有声读物或播客，丰富内容形式，吸引更多听众。
• 教育领域：用于语言学习、听力训练等教育应用，提高学习效率和兴趣。
• 残障人士：帮助视障人士通过语音交互获取信息，提升生活便利性。

EchoMimic是什么

EchoMimic是阿里蚂蚁集团推出的AI数字人开源项目，赋予静态图像以生动语音和表情。通过深度学习模型结合音频和面部标志点，创造出高度逼真的动态肖像视频。不仅支持单独使用音频或面部特征生成视频，还能将两者结合，实现更自然、流畅的对口型效果。EchoMimic支持多语言，包括中文和英语，适用于唱歌等多种场景，为数字人技术带来革命性的进步，广泛应用于娱乐、教育和虚拟现实等领域。

EchoMimic的诞生，不仅仅是阿里在数字人领域的一次尝试，更是对现有技术的一次革新。传统的肖像动画技术，要么依赖音频驱动，要么依赖面部关键点驱动，各有利弊。而EchoMimic则巧妙地结合了这两种驱动方式，通过音频和面部关键点的双重训练，实现了更加逼真、自然的动态肖像生成。

EchoMimic的功能特色

• 音频同步动画：通过分析音频波形，EchoMimic能够精确地生成与语音同步的口型和面部表情，为静态图像赋予生动的动态表现。
• 面部特征融合：项目采用面部标志点技术，捕捉并模拟眼睛、鼻子、嘴巴等关键部位的运动，增强动画的真实感。
• 多模态学习：结合音频和视觉数据，EchoMimic通过多模态学习方法，提升了动画的自然度和表现力。
• 跨语言能力：支持中文普通话和英语等多种语言，不同语言区域的用户都能利用该技术制作动画。
• 风格多样性：EchoMimic能够适应不同的表演风格，包括日常对话、歌唱等，为用户提供广泛的应用场景。

EchoMimic的官网入口

• 项目官网：https://badtobest.github.io/echomimic.html
• GitHub仓库：https://github.com/BadToBest/EchoMimic
• Hugging Face模型库：https://huggingface.co/BadToBest/EchoMimic
• arXiv技术论文：https://arxiv.org/html/2407.08136
• EchoMimicV2：EchoMimicV2 在前代 EchoMimicV1 生成逼真人头动画的基础上，效果得到进一步提升，现在能生成完整的数字人半身动画，实现从中英文语音到动作的无缝转换。

EchoMimic的技术原理

• 音频特征提取：EchoMimic首先对输入的音频进行深入分析，利用先进的音频处理技术提取出语音的节奏、音调、强度等关键特征。
• 面部标志点定位：通过高精度的面部识别算法，EchoMimic能够精确地定位面部的关键区域，包括嘴唇、眼睛、眉毛等，为后续的动画生成提供基础。
• 面部动画生成：结合音频特征和面部标志点的位置信息，EchoMimic运用复杂的深度学习模型来预测和生成与语音同步的面部表情和口型变化。
• 多模态学习：项目采用多模态学习策略，将音频和视觉信息进行深度融合，生成的动画不仅在视觉上逼真，而且在语义上与音频内容高度一致。
• 深度学习模型应用：
  • 卷积神经网络（CNN）：用于从面部图像中提取特征。
  • 循环神经网络（RNN）：处理音频信号的时间动态特性。
  • 生成对抗网络（GAN）：生成高质量的面部动画，确保视觉效果的逼真性。
• 创新训练方法：EchoMimic采用了创新的训练策略，允许模型独立地或结合地使用音频和面部标志点数据，以提高动画的自然度和表现力。
• 预训练和实时处理：项目使用了在大量数据上预训练的模型，EchoMimic能够快速适应新的音频输入，并实时生成面部动画。

Moshi是什么

Moshi是由法国的的人工智能研究实验室Kyutai推出的一款端到端实时音频多模态AI模型，拥有听、说、看的能力，并能模拟70种不同的情绪和风格进行交流。作为平替GPT-4o的开源模型，Moshi在普通笔记本上即可运行，具有低延迟特性，支持本地设备使用，保护用户隐私。Moshi的开发和训练流程简单高效，由8人团队在6个月内完成，将很快开源模型的代码、权重和技术论文，免费供全球用户使用和进一步研究开发。

Moshi的功能特色

• 多模态交互：Moshi作为一个多模态AI模型，不仅能够处理和生成文本信息，还能够理解和生成语音，使得Moshi可以与用户进行更加自然和直观的交流，就像与真人对话一样。
• 情绪和风格表达：Moshi可以模拟70种不同的情绪和风格进行对话，让AI对话更加生动和真实。无论是表达喜悦、悲伤还是严肃，Moshi都能够通过语音的变化来传达相应的情感，增强交流的体验。
• 实时响应低延迟：Moshi的响应具备低延迟特性，能够快速地处理用户的输入，并几乎0延迟地给出回应。对于需要即时反馈的应用场景非常有帮助，比如客户服务或实时翻译。
• 语音理解与生成：Moshi能够同时处理听和说的任务，可以在听用户说话的同时生成回答，提高了交互的效率和流畅性，提供了一个自然无缝的对话体验。
• 文本和音频混合预训练：Moshi通过结合文本和音频数据进行预训练，使得模型在理解和生成语言时能够更好地捕捉到语义和语境信息，提高了模型的准确性和可靠性。
• 本地设备运行：作为一款完全端到端的音频模型，Moshi可以在用户的本地设备上运行，普通笔记本电脑或消费级GPU即可满足运行要求。

如何使用Moshi

1. 访问Moshi平台：访问Moshi的官方网站https://moshi.chat/?queue_id=talktomoshi。
2. 提供邮箱：进入网站后只需要提供一个邮箱地址，点击Join queue即可免费开始使用。
3. 检查设备兼容性：确保你的设备（无论是手机还是电脑）配备有麦克风和扬声器，因为Moshi的交互主要依赖语音输入和输出。
4. 开始语音交互：提供邮箱后即可开始与Moshi进行语音交互，系统会提示你使用麦克风进行语音输入。
5. 提问或发出指令：对着麦克风提出问题或发出指令，Moshi将通过语音识别技术理解您的问题或指令。
6. 听取回答：Moshi会根据你的提问生成回答，并通过语音合成技术将文本转换为语音，然后通过设备的扬声器播放出来。

目前，Moshi主要支持英语和法语，暂不支持中文普通话。此外，Kyutai团队表示后续很快将开源Moshi，公布代码、模型权重和论文。

Moshi的应用场景

• 虚拟助手：Moshi可以作为个人或企业的虚拟助手，提供语音交互服务，帮助用户完成日常任务，如设置提醒、搜索信息等。
• 客户服务：在客户服务领域，Moshi可以作为智能客服，通过语音与客户进行交流，解答咨询，提供即时帮助。
• 语言学习：Moshi能够模拟不同口音和情绪，有助于语言学习者练习听力和口语，提高语言能力。
• 内容创作：Moshi可以生成不同风格和情绪的语音，为视频、播客或动画制作提供配音服务。
• 辅助残障人士：对于视力或听力有障碍的人士，Moshi可以提供语音到文本或文本到语音的服务，帮助他们更好地获取信息。
• 研究和开发：研究人员可以使用Moshi进行语音识别、自然语言处理和机器学习等领域的研究。
• 娱乐和游戏：在游戏和娱乐应用中，Moshi可以作为角色与用户进行互动，提供更加丰富的用户体验。

Fish Speech是什么

Fish Speech是一款由Fish Audio开源的文本到语音（TTS）工具，支持中文、英文和日文。通过约15万小时的多语种数据训练，实现了接近人类水平的语音合成效果，目前已更新到1.2版本。该工具特点包括低显存需求（仅需4GB）、快速推理速度、高自定义性和灵活性，用户可快速进行语音克隆而无需复杂训练。Fish Speech还支持多种语音生成模型，如VITS2、Bert-VITS2等，适用于智能助手、自动客服、语言学习等场景。

Fish Speech的功能特色

• 高效的文本到语音转换： Fish Speech利用先进的算法，能够迅速将输入的文本信息转换成听起来自然、流畅的语音。通过优化的声学模型和语言模型，确保语音的自然度和准确性，使其在多种场景下都能提供高质量的语音输出。
• 多语言支持：支持中文、英文和日文，Fish Speech的多语言能力可以跨越语言障碍，为不同国家和地区的用户提供服务，为全球化的应用场景提供了便利。
• 语音克隆能力：用户可以上传自己或他人的一段语音作为参考，Fish Speech通过深度学习技术，学习并模仿该语音的特征，实现个性化的语音克隆。该功能在个性化语音助手、有声读物制作等领域具有广泛的应用潜力。
• 低显存需求：仅需4GB显存即可运行，大大降低了硬件门槛，使得更多的用户能够在自己的电脑上使用Fish Speech，而不必投资昂贵的硬件设备。
• 快速推理速度： Fish Speech优化了推理过程，减少了等待时间，提高了语音合成的效率。用户可以在短时间内获得所需的语音输出，提升了整体的使用体验。
• 多种语音生成模型： Fish Speech支持包括VITS2、Bert-VITS2、GPT VITS、MQTTS、GPT Fast和GPT-SoVITS等多种模型，用户可以根据自己的需求选择合适的模型，以获得最佳的语音合成效果。
• 易于使用： Fish Speech的设计注重用户体验，简化了安装和配置流程。用户无需深入了解技术细节，即可通过一键启动程序快速开始使用，大大降低了使用门槛。
• 微调能力： LORA微调技术允许用户对模型进行细致的调整，以适应特定的语音风格或表达方式，为用户提供了更多的创造性空间。
• 性能优化： 通过采用gradient checkpointing、causal sampling和flash-attn等先进技术，Fish Speech在模型训练和推理过程中实现了性能的显著提升，确保了处理大规模数据时的高效性和稳定性。

Fish Speech的官网入口

• 官方项目主页：https://speech.fish.audio/
• GitHub源码库：https://github.com/fishaudio/fish-speech
• Hugging Face模型地址：https://huggingface.co/fishaudio/fish-speech-1.2

如何安装和使用Fish Speech

运行要求

• GPU 内存：4GB (用于推理)、16GB (用于微调)
• 系统：Linux、Windows

Windows配置

Windows 专业用户可以考虑 WSL2 或 docker 来运行代码库。

Windows 非专业用户可考虑以下为免 Linux 环境的基础运行方法（附带模型编译功能，即 torch.compile）：

1. 解压项目压缩包。
2. 点击 install_env.bat 安装环境。
   • 可以通过编辑 install_env.bat 的 USE_MIRROR 项来决定是否使用镜像站下载。
   • USE_MIRROR=false 使用原始站下载最新稳定版 torch 环境。USE_MIRROR=true 为从镜像站下载最新 torch 环境。默认为 true。
   • 可以通过编辑 install_env.bat 的 INSTALL_TYPE 项来决定是否启用可编译环境下载。
   • INSTALL_TYPE=preview 下载开发版编译环境。INSTALL_TYPE=stable 下载稳定版不带编译环境。
3. 若第2步 INSTALL_TYPE=preview 则执行这一步（可跳过，此步为激活编译模型环境）
   1. 使用如下链接下载 LLVM 编译器。
      • LLVM-17.0.6（原站站点下载）
      • LLVM-17.0.6（镜像站点下载）
      • 下载完 LLVM-17.0.6-win64.exe 后，双击进行安装，选择合适的安装位置，最重要的是勾选 Add Path to Current User 添加环境变量。
      • 确认安装完成。
   2. 下载安装 Microsoft Visual C++ 可再发行程序包，解决潜在 .dll 丢失问题。
      • MSVC++ 14.40.33810.0 下载
   3. 下载安装 Visual Studio 社区版以获取 MSVC++ 编译工具, 解决 LLVM 的头文件依赖问题。
      • • Visual Studio 下载
        • 安装好Visual Studio Installer之后，下载Visual Studio Community 2022
        • 如下图点击修改按钮，找到使用C++的桌面开发项，勾选下载

      

4. 双击 start.bat, 进入 Fish-Speech 训练推理配置 WebUI 页面。
   • (可选) 想直接进入推理页面？编辑项目根目录下的 API_FLAGS.txt, 前三行修改成如下格式:

     --infer
     # --api
     # --listen ...
     ...

   • (可选) 想启动 API 服务器？编辑项目根目录下的 API_FLAGS.txt, 前三行修改成如下格式:

     --infer
     # --api
     # --listen ...
     ...

5. （可选）双击 run_cmd.bat 进入本项目的 conda/python 命令行环境

Linux配置

# 创建一个 python 3.10 虚拟环境, 你也可以用 virtualenv
conda create -n fish-speech python=3.10
conda activate fish-speech

# 安装 pytorch
pip3 install torch torchvision torchaudio

# 安装 fish-speech
pip3 install -e .

# (Ubuntu / Debian 用户) 安装 sox
apt install libsox-dev

FreeAskInternet是什么

FreeAskInternet是一个免费开源的本地AI搜索引擎，整合了GPT-3.5等先进的大型语言模型（LLM）和SearXNG元搜索引擎，为用户提供搜索和智能答案生成服务。该项目完全免费开源、本地化运行，不需要GPU支持，确保了用户数据的私密性和安全性。FreeAskInternet支持自定义LLM，如Ollama，并通过Docker Compose简化了部署过程，使得用户可以快速在自己的计算机上搭建起一个功能强大的AI搜索和问答系统。

FreeAskInternet的功能特色

• 本地化搜索聚合：结合SearXNG元搜索引擎，FreeAskInternet能够在本地进行多引擎搜索，聚合不同来源的信息。
• 智能答案生成：利用集成的大型语言模型（如ChatGPT3.5、Kimi、Qwen、ZhipuAI等），根据搜索结果生成准确的答案。
• 完全免费：用户无需支付任何费用即可使用FreeAskInternet的全部功能。
• 隐私保护：所有数据处理在本地完成，不上传用户数据，确保隐私安全。
• 无需GPU：与通常需要高性能GPU支持的AI模型不同，FreeAskInternet可以在普通计算机上运行，降低了硬件要求。
• 自定义支持：用户可以根据自己的需要，通过Ollama使用自定义的大型语言模型，增加个性化选项。
• 易于部署：通过Docker Compose实现快速部署，简化了安装和配置过程。
• 多语言模型支持：除了内置的免费API，FreeAskInternet还支持多种语言模型，提供更广泛的选择。
• 用户界面友好：提供基于搜索的聊天对话框，用户可以自然地输入问题并获取答案。

如何使用FreeAskInternet

1. 环境准备：确保您的计算机上已安装Docker和Docker Compose，这是运行FreeAskInternet的前提条件。
2. 获取项目代码：打开终端或命令提示符，使用Git克隆FreeAskInternet的GitHub仓库到本地：git clone https://github.com/nashsu/FreeAskInternet.git
3. 进入项目目录：cd FreeAskInternet
4. 启动服务：运行Docker Compose来启动FreeAskInternet服务：docker-compose up -d，这将自动下载所需的Docker镜像，并在后台启动服务。
5. 访问Web界面：服务启动后，在浏览器中访问http://localhost:3000，将看到FreeAskInternet的Web界面。
6. 提问和获取答案：在Web界面的聊天对话框中输入你的问题，FreeAskInternet将使用集成的搜索引擎和语言模型为您搜索并生成答案。

MimicMotion是什么

MimicMotion是腾讯的研究人员推出的一个高质量的人类动作视频生成框架，利用置信度感知的姿态引导技术，确保视频帧的高质量和时间上的平滑过渡。此外，MimicMotion通过区域损失放大和手部区域增强，显著减少了图像失真，提升了人像手部动作的细节表现。该框架还能通过渐进式潜在融合策略生成长视频，能够生成高质量、长时间且符合特定动作指导的人类动作视频，同时显著提高了视频生成的控制性和细节丰富度。

MimicMotion的功能特点

• 生成多样化视频：MimicMotion能够根据用户提供的姿态指导生成各种动作的视频内容。无论是舞蹈、运动还是日常活动，只要提供相应的姿态序列，MimicMotion都能够创造出相应的动态视频。
• 控制视频长度：用户可以根据自己的需求指定视频的持续时间，MimicMotion能够生成从几秒钟的短片段到几分钟甚至更长的完整视频，提供灵活性以适应不同的应用场景。
• 姿态引导控制：框架使用参考姿态作为条件，确保生成的视频内容在动作上与指定的姿态保持一致。MimicMotion允许用户对视频的动作进行精确控制，实现高度定制化的视频生成。
• 细节质量保证：MimicMotion特别关注视频中的细节，尤其是手部等容易失真的区域。通过置信度感知的策略，系统能够在这些区域提供更清晰的视觉效果。
• 时间平滑性：为了提供更自然的观看体验，MimicMotion确保视频帧之间的过渡平滑，避免出现卡顿或不连贯的现象，使得视频看起来更加流畅自然。
• 减少图像失真：通过置信度感知的姿态引导，MimicMotion能够识别并减少由于姿态估计不准确导致的图像失真，尤其是在人物手部区域。
• 长视频生成：MimicMotion采用渐进式潜在融合技术，允许系统在生成长视频时保持高时间连贯性。该技术通过在视频段之间融合潜在特征，有效避免了闪烁和不连贯现象。
• 资源消耗控制：在生成视频时，MimicMotion优化算法以确保资源消耗保持在合理范围内。即使在生成较长视频时，也能有效地管理计算资源，避免过高的成本。

MimicMotion的官网入口

• 官方项目主页：https://tencent.github.io/MimicMotion/
• GitHub源代码库：https://github.com/Tencent/MimicMotion
• arXiv技术论文：https://arxiv.org/abs/2406.19680

MimicMotion的技术原理

• 姿态引导的视频生成：MimicMotion利用用户提供的姿态序列作为输入条件，引导视频内容的生成，允许模型根据姿态的变化合成相应的动作。
• 置信度感知的姿态指导：框架引入了置信度的概念，通过分析姿态估计模型提供的置信度分数，对姿态序列中的每个关键点进行加权。这样，模型可以更加信赖那些置信度高的关键点，减少不准确姿态估计对生成结果的影响。
• 区域损失放大：特别针对手部等容易失真的区域，MimicMotion通过提高这些区域在损失函数中的权重，增强模型对这些区域的训练，从而提高生成视频的手部细节质量。
• 潜在扩散模型：MimicMotion使用潜在扩散模型来提高生成效率和质量，模型通过在低维潜在空间中进行扩散过程，而不是直接在像素空间操作，从而减少了计算成本。
• 渐进式潜在融合：为了生成长视频，MimicMotion采用了一种渐进式潜在融合策略。在视频段之间，通过逐步融合重叠帧的潜在特征，实现了视频段之间的平滑过渡，避免了生成长视频时可能出现的闪烁和不连贯现象。
• 预训练模型的利用：MimicMotion基于一个预训练的视频生成模型（如Stable Video Diffusion, SVD），减少了从头开始训练模型所需的数据量和计算资源。
• U-Net和PoseNet的结构：MimicMotion的模型结构包括一个用于空间时间交互的U-Net和一个用于提取姿态序列特征的PoseNet。这些网络结构共同工作，以实现高质量的视频生成。
• 跨帧平滑性：MimicMotion在生成过程中考虑了帧之间的时间关系，确保了视频帧之间的连贯性和平滑性。

Gemma 2是什么

Gemma 2是谷歌DeepMind推出的新一代开源人工智能模型，包含90亿和270亿参数版本。该模型以卓越的性能、高效的推理速度和广泛的硬件兼容性为特点，能够与参数量更大的模型（如Llama 3、Claude 3 Sonnet）相媲美。Gemma 2设计易于集成到开发者的工作流程中，支持多种AI框架，并通过Google Cloud、Kaggle和Hugging Face等平台免费提供。

Gemma 2的特点

• 参数规模：Gemma 2目前提供两种参数规模的模型，分别是90亿（9B）和270亿（27B）参数版本，以适应不同的应用需求和资源限制。后续还会发布26亿参数（2.6B）模型。
• 性能优化：27B版本的Gemma 2在性能上能够与参数量超过其两倍的模型相媲美，显示出极高的性能效率比，在LMSYS Chatbot Arena中，270亿参数的Gemma 2指令微调模型击败了拥有700亿参数的Llama 3，并超过Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，在所有开源权重的模型中位列第一。
  
• 推理效率：Gemma 2特别优化了推理过程，能够在单个高端GPU或TPU上以全精度运行，无需额外的硬件资源，从而大幅降低了使用成本。
• 硬件兼容性：Gemma 2能够在多种硬件平台上快速运行，包括个人电脑、工作站、游戏笔记本以及云服务器等。
• 开放许可：Gemma 2采用商业友好的许可协议，允许开发者和研究人员自由地分享、使用和商业化他们的应用。
• 框架支持：Gemma 2与多个主流AI框架兼容，包括Hugging Face Transformers、JAX、PyTorch和TensorFlow，使得开发者可以根据自己的偏好选择合适的工具。
• 部署工具：谷歌提供了Gemma Cookbook，这是一个包含实用示例和指南的资源库，帮助用户构建应用程序和微调Gemma 2模型。
• 负责任的AI：谷歌提供了一系列工具和资源，如Responsible Generative AI Toolkit和LLM Comparator，以支持开发者和研究人员负责任地构建和部署AI。

如何使用Gemma 2

Gemma 2可与用户常用的工具和工作流程轻松配合使用，与Hugging Face Transformers、JAX、PyTorch 和 TensorFlow 等主流 AI 框架兼容，可通过原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama实现。此外，Gemma 还通过NVIDIA TensorRT-LLM进行了优化，可在 NVIDIA 加速基础设施上运行或作为NVIDIA NIM推理微服务运行，并将针对NVIDIA 的 NeMo进行优化。

Gemma 2现已在Google AI Studio中推出，用户可以在无需硬件要求的情况下以 27B 的速度测试其全部性能。开发人员还可以从Kaggle和Hugging Face Models下载Gemma 2的模型权重，Vertex AI Model Garden即将推出。

为了便于研究和开发，Gemma 2 还可通过Kaggle或 Colab 笔记本免费使用。首次使用 Google Cloud 的客户有资格获得300美元的信用额度。学术研究人员可以申请Gemma 2学术研究计划，以获得 Google Cloud 信用额度，以加速他们使用 Gemma 2 的研究。申请开放时间为即日起至 8 月 9 日。