Blog

Phi-3是什么

Phi-3是微软研究院推出的新一代系列先进的小语言模型，包括phi-3-mini、phi-3-small和phi-3-medium三个不同规模的版本。这些模型在保持较小的参数规模的同时，通过精心设计的训练数据集和优化的算法，实现了与大型模型相媲美的语言理解和推理能力。特别是phi-3-mini模型，仅3.8亿参数，却能在多项基准测试中超越参数量更大的模型，并且由于其小巧的体积，甚至可以在智能手机上运行。Phi-3系列模型的研发，展示了在数据工程和模型优化方面的最新进展，为未来小型化、高效能AI模型的发展提供了新的可能性。

技术报告：https://arxiv.org/abs/2404.14219

Hugging Face Phi-3模型地址：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Ollama Phi-3模型地址：https://ollama.com/library/phi3

Phi-3的模型系列

• phi-3-mini：最小的语言模型，拥有3.8亿参数。尽管体积小巧，但它在多项语言理解任务上的基准测试表现却能与参数量更大的模型如Mixtral 8x7B和GPT-3.5相媲美。它的设计允许在手机上部署，且在iPhone 14 Pro和iPhone 15使用的A16芯片上能够达到每秒12个token的处理速度。
• phi-3-small：该模型的参数量为7亿，它使用了tiktoken分词器以支持多语言，并额外增加了10%的多语种数据。phi-3-small在MMLU测试中的得分为75.3%，表现出色，超越了Meta最近发布的Llama 3 8B Instruct模型。
• phi-3-medium：拥有14亿参数的中型模型，在更多数据上进行了训练，并且在多数测试中超越了GPT-3.5和Mixtral 8x7b MoE。该模型在MMLU测试中的得分达到78.2%，显示了其强大的语言处理能力。

Phi-3的训练方法

• 高质量数据集：Phi-3模型的训练使用了3.3万亿至4.8万亿tokens的大规模数据集，这些数据集经过了严格的筛选和过滤，以确保数据的教育水平和质量。
• 合成数据生成：利用大型语言模型（LLM）生成合成数据，这些合成数据用于教授模型逻辑推理和多种专业技能。
• 分阶段训练：训练过程分为两个阶段，第一阶段主要使用网络数据，目的是让模型掌握通用知识和语言理解；第二阶段则进一步筛选网络数据，并结合合成数据进行训练。
• 数据优化：训练数据被校准以接近“数据最优”状态，这意味着在数据选择上，会优先考虑能够提升模型推理能力的网页数据。
• 后训练优化：模型在预训练之后，还经过了监督指令微调和偏好调整（DPO），以及红队测试和自动化测试，以提高模型的安全性、鲁棒性和对话格式的适应性。
• 安全性和对齐：Phi-3-mini的开发遵循了微软的负责任AI原则，通过后训练阶段的安全性对齐，使用帮助性和无害性偏好数据集进行训练，并通过独立红队的迭代审查来进一步识别改进领域。
• 量化处理：为了使模型能够在手机上运行，Phi-3-Mini可以进行4-bit量化，显著减少了模型的内存占用。
• 多语言支持：尽管Phi-3-Mini主要针对英语，但微软也在探索小型语言模型的多语言能力，Phi-3-Small模型就通过包含更多的多语言数据进行了训练。

Phi-3的性能表现

• 基准测试得分：phi-3-mini 在MMLU（Massive Multitask Language Understanding）基准测试中得分为69%，在MT-bench上得分为8.38。phi-3-small 和 phi-3-medium 分别在MMLU上取得了75.3%和78.2%的得分，显示了模型规模增长带来的性能提升。
  
• 性能对比其他模型：Phi-3系列在性能上与参数量更大的模型如Mixtral 8x7B和GPT-3.5相媲美。特别是phi-3-mini，尽管只有3.8亿参数，却在多项基准测试中超过了8B参数的Llama 3。在与Meta的Llama-3-8B-Instruct模型的对比中，phi-3-small（7B参数）在MMLU上得分更高（75.3% vs 66%），显示了Phi-3系列在较小模型尺寸下的性能优势。
  
  
• 移动设备上的运行：phi-3-mini 特别设计为能够在移动设备上运行，经过4-bit量化后，能够在iPhone 14 Pro和iPhone 15使用的A16芯片上达到每秒12个token的速度，这在之前的大型模型中是难以实现的。
  
• 多语言能力：phi-3-small 通过使用tiktoken分词器和增加10%的多语种数据，增强了模型的多语言处理能力，这在对比中是一个重要的优势。

Phi-3的局限与不足

• 知识存储限制：由于模型大小的限制，特别是phi-3-mini，它在存储大量事实知识方面的能力有限，这在需要广泛背景知识的测试中表现得尤为明显，例如在TriviaQA测试中的低分表现。
• 对搜索功能的依赖：为了缓解知识存储的限制，微软提出可以通过与搜索引擎的结合来增强模型的性能。这表明在没有外部搜索支持的情况下，模型可能无法独立提供最佳的答案或信息。
• 多语言能力的限制：尽管phi-3-small通过增加多语言数据进行了优化，但Phi-3系列模型的主要语言能力仍然主要集中在英语上。对于需要广泛多语言支持的应用场景，这可能是一个限制。
• 特定任务的性能：在某些特定的任务或数据集上，Phi-3模型可能还没有达到最佳性能，这可能需要进一步的训练数据优化和模型调整。
• 安全性挑战：尽管模型在安全性方面进行了优化，但像大多数大型语言模型一样，Phi-3系列模型可能仍然存在产生幻觉、不适当内容、偏见放大或安全性问题的挑战。
• 硬件部署限制：虽然Phi-3-Mini能够在智能手机上运行，但对于一些需要极高计算资源的任务，即使是小型化的模型也可能面临硬件性能的限制。

FunClip是什么

FunClip是阿里达摩院通义实验室推出的一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室的FunASR Paraformer系列模型实现视频的自动化语音识别。用户可以根据识别结果，选择文本片段或特定说话人，快速裁剪出所需视频片段。FunClip的特色包括集成高精度的中文ASR模型、支持热词定制化、说话人识别，以及提供Gradio交互界面，使得视频剪辑变得简单方便。此外，它还支持多段剪辑，并能自动生成SRT字幕文件。

FunClip的主要功能

• 自动化语音识别：利用阿里巴巴通义实验室的FunASR Paraformer系列模型，对视频进行语音识别，将语音转换成文字。
• 热词定制化：通过集成的SeACo-Paraformer模型，用户可以指定一些实体词、人名等作为热词，以提升特定词汇的识别准确率。
• 说话人识别：集成CAM++说话人识别模型，允许用户根据自动识别的说话人ID裁剪出特定说话人的视频段落。
• 视频裁剪：用户可以选择识别结果中的文本片段或指定说话人，通过点击裁剪按钮获取对应视频片段。
• Gradio交互界面：通过Gradio实现的交互界面，简化了视频剪辑的操作流程，用户可以在服务端搭建服务并通过浏览器进行剪辑。
• 多段剪辑支持：FunClip支持用户对视频进行多段剪辑，提供了灵活的编辑能力。
• 自动生成字幕：剪辑后的视频可以自动生成全视频和目标段落的SRT字幕文件，方便用户添加或编辑字幕。
• 命令行调用：除了图形界面，FunClip还支持通过命令行进行视频识别和裁剪，提供了更灵活的使用方式。

FunClip的官网入口

• 官方GitHub源码地址：https://github.com/alibaba-damo-academy/FunClip
• ModelScope魔搭社区在线Demo：https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

如何使用FunClip

方法一：本地部署Gradio版本

首先确定电脑上已安装Python和Git，然后打开终端依次输入并运行以下命令

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirements.txt

python funclip/launch.py

最后浏览器访问localhost:7860即可体验FunClip

方法二：在线体验魔搭社区Demo

访问魔搭社区提供的在线Demo，然后按照下方的步骤操作：

1. 上传视频或音频文件（或使用下方的用例体验），点击「识别」按钮
2. 复制识别结果中所需的文字至右上方，或者右设置说话人标识，设置偏移与字幕配置（可选）
3. 点击「裁剪」按钮或「裁剪并添加字幕」按钮获得结果

方法三：命令行运行相关指令

打开终端依次输入并运行以下命令

# 1. 克隆GitHub源代码
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安装Python依赖
cd FunClip && pip install -r ./requirments.txt
# 3. 添加视频进行识别
python funclip/videoclipper.py --stage 1 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output
# ./output/目录下将输出识别结果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output \
--dest_text '我们把它跟乡村振兴去结合起来，利用我们的设计的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'

Llama 3是什么

Llama 3是Meta公司最新开源推出的新一代大型语言模型（LLM），包含8B和70B两种参数规模的模型，标志着开源人工智能领域的又一重大进步。作为Llama系列的第三代产品，Llama 3不仅继承了前代模型的强大功能，还通过一系列创新和改进，提供了更高效、更可靠的AI解决方案，旨在通过先进的自然语言处理技术，支持广泛的应用场景，包括但不限于编程、问题解决、翻译和对话生成。

Llama 3的系列型号

Llama 3目前提供了两种型号，分别为8B（80亿参数）和70B（700亿参数）的版本，这两种型号旨在满足不同层次的应用需求，为用户提供了灵活性和选择的自由度。

• Llama-3-8B：8B参数模型，这是一个相对较小但高效的模型，拥有80亿个参数。专为需要快速推理和较少计算资源的应用场景设计，同时保持了较高的性能标准。
• Llama-3-70B：70B参数模型，这是一个更大规模的模型，拥有700亿个参数。它能够处理更复杂的任务，提供更深入的语言理解和生成能力，适合对性能要求更高的应用。

后续，Llama 3 还会推出 400B 参数规模的模型，目前还在训练中。Meta 还表示等完成 Llama 3 的训练，还将发布一份详细的研究论文。

Llama 3的官网入口

• 官方项目主页：https://llama.meta.com/llama3/
• GitHub模型权重和代码：https://github.com/meta-llama/llama3/
• Hugging Face模型：https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

Llama 3的改进地方

• 参数规模：Llama 3提供了8B和70B两种参数规模的模型，相比Llama 2，参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。
• 训练数据集：Llama 3的训练数据集比Llama 2大了7倍，包含了超过15万亿个token，其中包括4倍的代码数据，这使得Llama 3在理解和生成代码方面更加出色。
• 模型架构：Llama 3采用了更高效的分词器和分组查询注意力（Grouped Query Attention, GQA）技术，提高了模型的推理效率和处理长文本的能力。
• 性能提升：通过改进的预训练和后训练过程，Llama 3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了进步。
• 安全性：引入了Llama Guard 2等新的信任和安全工具，以及Code Shield和CyberSec Eval 2，增强了模型的安全性和可靠性。
• 多语言支持：Llama 3在预训练数据中加入了超过30种语言的高质量非英语数据，为未来的多语言能力打下了基础。
• 推理和代码生成：Llama 3在推理、代码生成和指令跟随等方面展现了大幅提升的能力，使其在复杂任务处理上更加精准和高效。

Llama 3的性能评估

根据Meta的官方博客，经指令微调后的 Llama 3 8B 模型在MMLU、GPQA、HumanEval、GSM-8K、MATH等数据集基准测试中都优于同等级参数规模的模型（Gemma 7B、Mistral 7B），而微调后的 Llama 3 70B 在 MLLU、HumanEval、GSM-8K 等基准测试中也都优于同等规模的 Gemini Pro 1.5 和 Claude 3 Sonnet 模型。

此外，Meta还开发了一套新的高质量人类评估集，包含 1800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。通过与Claude Sonnet、Mistral Medium和GPT-3.5等竞争模型的比较，人类评估者基于该评估集进行了偏好排名，结果显示Llama 3在真实世界场景中的性能非常出色，最低都有52.9%的胜出率。

Llama 3的技术架构

• 解码器架构：Llama 3采用了解码器（decoder-only）架构，这是一种标准的Transformer模型架构，主要用于处理自然语言生成任务。
• 分词器和词汇量：Llama 3使用了具有128K个token的分词器，这使得模型能够更高效地编码语言，从而显著提升性能。
• 分组查询注意力（Grouped Query Attention, GQA）：为了提高推理效率，Llama 3在8B和70B模型中都采用了GQA技术。这种技术通过将注意力机制中的查询分组，减少了计算量，同时保持了模型的性能。
• 长序列处理：Llama 3支持长达8,192个token的序列，使用掩码（masking）技术确保自注意力（self-attention）不会跨越文档边界，这对于处理长文本尤其重要。
• 预训练数据集：Llama 3在超过15TB的token上进行了预训练，这个数据集不仅规模巨大，而且质量高，为模型提供了丰富的语言信息。
• 多语言数据：为了支持多语言能力，Llama 3的预训练数据集包含了超过5%的非英语高质量数据，涵盖了超过30种语言。
• 数据过滤和质量控制：Llama 3的开发团队开发了一系列数据过滤管道，包括启发式过滤器、NSFW（不适合工作场所）过滤器、语义去重方法和文本分类器，以确保训练数据的高质量。
• 扩展性和并行化：Llama 3的训练过程中采用了数据并行化、模型并行化和流水线并行化，这些技术的应用使得模型能够高效地在大量GPU上进行训练。
• 指令微调（Instruction Fine-Tuning）：Llama 3在预训练模型的基础上，通过指令微调进一步提升了模型在特定任务上的表现，如对话和编程任务。

如何使用Llama 3

开发人员

Meta已在GitHub、Hugging Face、Replicate上开源其Llama 3模型，开发人员可使用torchtune等工具对Llama 3进行定制和微调，以适应特定的用例和需求，感兴趣的开发者可以查看官方的入门指南并前往下载部署。

• 官方模型下载：https://llama.meta.com/llama-downloads
• GitHub地址：https://github.com/meta-llama/llama3/
• Hugging Face地址：https://huggingface.co/meta-llama
• Replicate地址：https://replicate.com/meta

普通用户

不懂技术的普通用户想要体验Llama 3可以通过以下方式使用：

• 访问Meta最新推出的Meta AI聊天助手进行体验（注：Meta.AI会锁区，只有部分国家可使用）
• 访问Replicate提供的Chat with Llama进行体验https://llama3.replicate.dev/
• 使用Hugging Chat（https://huggingface.co/chat/），可手动将模型切换至Llama 3

VASA-1是什么

VASA-1是由微软亚洲研究院提出的一个将静态照片转换为对口型动态视频的生成框架，能够根据单张静态人脸照片和一段语音音频，实时生成逼真的3D说话面部动画。该技术通过精确的唇音同步、丰富的面部表情细节和自然的头部动作，创造出高度真实感和活力的虚拟角色。VASA-1的核心创新在于其全貌面部动态和头部运动生成模型，该模型在面部潜在空间中工作，能够高效地生成高分辨率的视频，同时支持在线生成和低延迟。

VASA-1的功能特性

• 逼真的唇音同步：VASA-1能够生成与输入语音音频精确同步的唇部动作，提供高度逼真的说话效果。
• 丰富的面部表情：除了唇部动作，VASA-1还能捕捉并再现一系列复杂的面部表情和微妙的情感细节，增加动画的真实感。
• 自然头部运动：模型能够模拟自然的头部动作，如转动和倾斜，使得生成的说话面部视频更加生动。
• 高效视频生成：VASA-1支持在线生成高达40 FPS的512×512分辨率视频，且具有极低的初始延迟，适合实时应用。
• 灵活可控生成：通过接受可选信号作为条件，如主要目光方向、头部距离和情感偏移，VASA-1能够控制生成过程，提高输出的多样性和适应性。
• 处理不同输入：VASA-1能够处理训练分布之外的照片和音频输入，如艺术照片、歌唱音频和非英语语音。

VASA-1的官网入口

• 官方项目主页：https://www.microsoft.com/en-us/research/project/vasa-1/
• arXiv研究论文：https://arxiv.org/abs/2404.10667

VASA-1的工作原理

• 输入准备：VASA-1接受两个主要输入：一张任意个体的静态面部图像和一个来自任何个人的语音音频剪辑。
• 面部特征提取：使用面部编码器从输入的静态面部图像中提取3D外观体积、身份代码、头部姿态和面部动态代码等特征。
• 面部潜在空间建模：构建一个面部潜在空间，该空间能够高度解耦面部动态和其他因素（如身份和外观），并具有丰富的表情细节和动态细微差别的表达能力。
• 扩散模型训练：训练一个基于扩散的模型（Diffusion Transformer），该模型能够在面部潜在空间中生成全面的面部动态和头部运动，条件是给定的音频和可选的控制信号。
• 条件信号整合：将主要目光方向、头部距离和情感偏移等控制信号作为条件，输入到扩散模型中，以指导面部动态的生成。
• 面部动态和头部运动生成：利用训练好的扩散模型，根据输入的音频特征和条件信号，生成面部动态和头部运动的潜在代码序列。
• 视频帧生成：使用面部解码器和从编码器中提取的外观及身份特征，根据生成的面部动态和头部运动潜在代码，产生最终的视频帧。