Blog

ChatTTS是什么

ChatTTS是一款专为对话场景设计的支持中英文的文本转语音（TTS）模型，基于约10万小时的中英文数据进行训练，能够生成高质量、自然流畅的对话语音。ChatTTS针对对话式任务进行了优化，实现了更自然、流畅的语音合成，同时支持多说话人，还具备细粒度控制能力，能够预测和控制韵律特征，如笑声、停顿等，超越了大部分开源TTS模型。

ChatTTS的功能特色

• 文本转语音：ChatTTS能够将用户输入的文本信息实时转换成自然流畅的语音输出，适用于多种语言环境。
• 多语言支持：除了支持中文，ChatTTS还能够处理英文文本，使其能够服务于更广泛的用户群体。
• 情感和韵律调整：ChatTTS不仅能够转换文本，还能够根据文本内容调整语音的情感色彩和韵律特征，如语速、语调、停顿等，使得语音更加贴近真实人类说话的自然节奏。
• 语音角色选择：用户可以根据应用场景的需要，从多个预设的语音角色中选择最合适的声音，增加语音的个性化和表现力。
• 交互式Web界面：通过直观的Web界面，用户可以直接在浏览器中输入文本并获取语音输出，无需编写代码。
• 实时语音交互：ChatTTS支持实时语音合成，非常适合需要即时反馈的对话系统和交互式应用。
• 语音文件导出：用户可以将合成的语音导出为常见的音频文件格式，方便进行后续的编辑、分享或作为多媒体内容的一部分。
• 集成与兼容性：ChatTTS支持集成到各种平台和应用中，可以无缝集成到Web应用、移动应用、桌面软件等多种环境中。
• 情感标记系统：ChatTTS支持在文本中嵌入情感标记，允许用户精细控制语音输出的情感表达，如在文本中插入[laugh]标记来模拟笑声。

ChatTTS的官网入口

• 官方GitHub源码库：https://github.com/2noise/ChatTTS
• Hugging Face模型地址：https://huggingface.co/2Noise/ChatTTS
• ModelScope模型地址：https://www.modelscope.cn/models/pzc163/chatTTS/summary

如何运行ChatTTS

方法一、在线体验Demo

普通用户可以在ModelScope和Hugging Face上运行社区提供的在线ChatTTS WebUI版的Demo直接体验

• ModelScope版Demo：https://www.modelscope.cn/studios/AI-ModelScope/ChatTTS-demo/summary
• Hugging Face版Demo：https://huggingface.co/spaces/Dzkaka/ChatTTS

方法二、本地部署运行

1. 安装环境：确保你的计算机上安装了Python和Git。
2. SDK下载：安装ModelScope和SDK模型下载

   #安装ModelScope
   pip install modelscope

   #SDK模型下载
   from modelscope import snapshot_download
   model_dir = snapshot_download('pzc163/chatTTS')

3. 获取源码：通过Git版本控制系统，从ModelScope的代码仓库克隆ChatTTS的源码到本地。

   #Git模型下载
   git clone https://www.modelscope.cn/pzc163/chatTTS.git

4. 安装依赖：进入到项目目录，使用pip命令安装所需的Python依赖包。

   pip install -r requirement.txt
   pip install Ipython
   pip install soundfile
   

5. 模型推理：可使用魔搭社区免费算力，完成模型推理

   from ChatTTS import Chat
   from IPython.display import Audio
   #下载模型
   from modelscope import snapshot_download
   
   model_dir = snapshot_download('pzc163/chatTTS')
   
   chat = Chat()
   chat.load_models(source='local', local_path=model_dir)
   
   texts = ["你好,我是ChatTTS,很高兴认识大家",]
   
   wavs = chat.infer(texts, use_decoder=True)
   Audio(wavs[0], rate=24_000, autoplay=True)
   
   # save audio
   import soundfile as sf
   audio_data = wavs[0]
   if len(audio_data.shape) > 1:  
       audio_data = audio_data.flatten()
   
   output_file = './output_audio2.wav'
   sf.write(output_file, audio_data, 24000)
   print(f"Audio saved to {output_file}")

6. 搭建WebUI并运行

   git clone https://www.modelscope.cn/studios/AI-ModelScope/ChatTTS-demo.git
   cd ChatTTS
   pip install -r requirements.txt
   python app.py

ChatTTS的应用场景

• 虚拟助手和客服机器人：ChatTTS可以为虚拟助手和在线客服机器人提供自然、流畅的语音输出，提升用户体验。
• 有声读物和电子书：将文本内容转换为语音，为有声书和电子书提供语音朗读功能，方便用户在通勤或做家务时收听。
• 社交媒体和内容创作：在社交媒体平台或内容创作中，ChatTTS可以生成吸引人的语音内容，增加互动性和趣味性。
• 新闻和播客：自动将新闻稿或博客文章转换成语音，用于播客或新闻广播。
• 无障碍辅助：为视障人士或有阅读困难的用户提供语音辅助，使他们能够通过听来获取信息。

Codestral是什么

Codestral是法国人工智能初创公司Mistral AI推出的一款代码生成AI模型，专为提高软件开发效率而设计，支持超过80种编程语言，包括但不限于Python、Java、C、C++等主流语言，以及Swift、Fortran等特定领域语言。Codestral能够理解自然语言指令，帮助开发者快速完成编程任务，如编写代码、生成测试用例和补全部分代码。作为一个220亿参数的模型，Codestral在性能和响应时间方面超越了以往的代码生成模型。

Codestral的基本信息

模型名称	Codestral-22B-v0.1
模型参数量	220亿
上下文窗口	32k
模型许可	MNPL（非生产许可），即非商业用途的研究和测试目的
支持的编程语言	80+

Codestral的主要功能

• 代码补全：Codestral能够理解开发者正在编写的代码，并预测接下来可能需要的代码片段进行自动补全。不仅节省了开发者敲击键盘的时间，还减少了因手动输入造成的错误。
• 代码生成：开发者可以通过向Codestral提供一段自然语言描述，请求生成特定功能的代码。Codestral能够理解这些描述，并生成符合要求的代码段。
• 编写测试：Codestral可以帮助开发者自动生成测试代码，这有助于确保新编写的功能按预期工作，并且没有引入新的错误。
• 多语言兼容：Codestral支持80多种编程语言，无论开发者使用哪种语言，Codestral都能提供相应的帮助。
• 错误检测与修复：在代码编写过程中，Codestral能够识别潜在的错误和bug，并提供修复建议或自动修复它们，从而提高代码的质量和稳定性。
• 代码理解和解释：Codestral能够分析代码并解释其功能，这对于学习和理解他人的代码尤其有用。
• 交互式编程辅助：Codestral的对话式界面允许开发者与模型进行自然语言交互，提出问题或请求帮助，Codestral能够提供即时的反馈和建议。
• 文档和注释生成：Codestral还能够根据生成的代码自动创建文档和注释，帮助开发者更好地维护和理解代码。
• 代码重构建议：Codestral可以分析现有代码并提出改进建议，帮助开发者优化代码结构，提高代码的可读性和可维护性。

Codestral的性能表现

1. 上下文窗口：Codestral具有32k的上下文窗口，这使得它在处理长距离依赖和复杂代码结构时，相较于其他模型（如CodeLlama 70B的4k、8k或DeepSeek Coder 33B的16k）有更出色的表现。
2. 性能/延迟：作为一个22B参数的模型，Codestral在代码生成的性能和延迟方面设定了新的行业标准，特别是在RepoBench的评估中，它在长距离代码生成任务上优于其他模型。
3. 编程语言评估：
   • Python：在HumanEval pass@1中，Codestral达到了81.1%的通过率，显示出优秀的Python代码生成能力。
     
   • 多语言评估：Codestral在C++、bash、Java、PHP、Typescript和C#等语言上的HumanEval pass@1评估显示，它具有跨语言的代码生成能力，平均通过率为61.5%。
     
4. Fill-in-the-Middle（中间填充）性能：在Python、JavaScript和Java的HumanEvalFIM评估中，Codestral的中间填充性能与DeepSeek Coder 33B相比，显示出高准确率，其中JavaScript和Java的通过率分别为89.4%和95.1%。
   
5. 业界评价：多位专家和开发者对Codestral的性能给予了高度评价，认为它在速度和质量上都达到了前所未有的水平，特别是在与LlamaIndex和LangChain等应用框架的集成中，Codestral显示出快速、准确的代码生成能力。

如何使用Codestral

1. 对话式界面

• 访问Le Chat：通过Mistral AI提供的Le Chat聊天机器人与Codestral进行自然语言交互。
• 自然语言命令：使用自然语言命令向Codestral发出代码生成、解释或测试等请求。

2. 研究和测试

• 下载模型：从HuggingFace平台下载Codestral模型（https://huggingface.co/mistralai/Codestral-22B-v0.1），用于非生产环境下的研究和测试。
• 环境配置：根据下载的模型文件和文档，配置本地开发环境以运行Codestral。

3. 通过专用终端

• 获取API密钥：在Mistral AI的个人账户中生成和管理API密钥。
• 调用API：使用codestral.mistral.ai端点，通过HTTP请求与Codestral交互，执行代码生成和编辑任务。
• Beta测试：在Beta测试期间免费使用API端点，并加入等待列表以获得访问权限。

4. 使用Mistral平台API

• 创建账户：在Mistral AI的平台上注册账户。
• 构建应用：按照指南使用Codestral构建应用程序，利用平台提供的API和工具。
• 计费使用：根据实际使用的token数量进行计费。

5. 集成开发环境(IDE)插件

• 安装插件：在VSCode或JetBrains等IDE中安装Codestral支持的插件，如Continue.dev或Tabnine。
• 配置插件：根据插件文档配置Codestral的使用，包括API密钥和偏好设置。
• 代码生成和交互：在IDE中直接使用插件生成代码、补全代码或与Codestral进行交互。

6. 应用框架集成

• 集成框架：利用Codestral与LlamaIndex和LangChain等应用框架的集成，快速构建智能应用程序。
• 使用框架工具：根据框架提供的文档和工具，结合Codestral的功能开发应用程序。

更多信息详见Mistral AI的博客：https://mistral.ai/news/codestral/