Category: AI项目和框架

Aligner是什么

Aligner是北京大学团队提出的大语言模型对齐技术，通过学习对齐答案与未对齐答案之间的修正残差来提升模型性能。采用自回归的 seq2seq 模型，在问题-答案-修正后的答案（Query-Answer-Correction, Q-A-C）数据集上训练，无需依赖复杂的强化学习从人类反馈（RLHF）流程。 Aligner 的核心优势在于高效性和灵活性。作为即插即用的模块，可以直接应用于各种开源和基于 API 的模型，无需访问模型参数。

Aligner的主要功能

• 修正残差学习：Aligner 作为自回归的 seq2seq 模型，在问题-答案-修正后的答案（Query-Answer-Correction, Q-A-C）数据集上训练，学习对齐与未对齐答案之间的差异，实现了更精准的模型对齐。
• 弱到强泛化：使用小参数量的 Aligner 模型对大参数量的 LLMs 进行微调，可以显著提升强模型的性能。
• 即插即用：Aligner 能对齐如 GPT3.5、GPT4 和 Claude2 等无法获取参数的模型。
• 训练过程：
  • 数据收集：从各种开源数据集中获取问题（Query），生成原始答案。
  • 答案修正：使用 GPT-4、Llama2-70B-Chat 和人工标注来修正原始答案，符合人类价值观。
  • 模型训练：基于修正后的数据集，训练 Aligner 模型，能将原始答案修正为对齐的答案。

Aligner的性能表现

• 提升帮助性和安全性：实验表明，使用 Aligner-7B 能提高 GPT-4 的帮助性和安全性，分别增加了 17.5% 和 26.9%。
• 弱到强泛化：基于 Aligner-13B 监督下微调 Llama2-70B，帮助性和安全性分别提升了 8.2% 和 61.6%。
• 多模型兼容性：Aligner-7B 对齐提升了包括闭源、开源及安全 / 未安全对齐模型在内的 11 种模型的帮助性和安全性。

Aligner的项目地址

• 项目官网：https://pku-aligner.github.io/
• GitHub仓库：https://github.com/PKU-Alignment/aligner
• HuggingFace模型库：https://huggingface.co/aligner/aligner-7b-v1.0
• arXiv技术论文：https://arxiv.org/pdf/2402.02416

Aligner的应用场景

• 多轮对话场景：在多轮对话中，Aligner 可以改善对话的对齐效果，在稀疏奖励的挑战下。
• 人类价值向奖励模型的对齐：Aligner 可以通过特定语料训练，修正前置模型的输出以反映特定的价值观。
• MoE-Aligner 的流式化和并行处理：通过将 Aligner 专门化处理并集成，可以创建更强大且全面的混合专家（MoE）Aligner。

LalaEval是什么

LalaEval是香港中文大学和货拉拉数据科学团队共同推出的面向特定领域大语言模型（LLMs）的人类评估框架，框架通过一套完整的端到端协议，涵盖领域规范、标准建立、基准数据集创建、评估规则构建以及评估结果的分析和解释。核心特点是通过争议度和评分波动分析，自动纠正人工主观错误，生成高质量的问答对。LalaEval采用了单盲测试原理，确保评分的客观性和公正性。已在物流领域成功应用。

LalaEval的主要功能

• 领域范围界定：明确特定领域的范围和边界，与组织的目标或业务需求相关。在物流领域，从最底层的子领域（如同城货运）逐步上升到更广泛的子域。
• 能力指标构建：定义评估LLMs性能、效果或适用性的能力维度，包括通用能力和领域能力。通用能力如语义理解、上下文对话、事实准确性等；领域能力则涉及概念和术语理解、行业政策知识等。
• 评测集生成：开发标准化测试并从经过审查的信息源中收集数据，在一致的条件下进行评估。
• 评测标准制定：设计详细的评分方案，为人类评估者提供结构化框架，确保评估的科学性和可靠性。
• 结果统计分析：系统地检查评估过程中的数据，通过评分争议度、题目争议度、评分波动性等分析框架，自动化实现评分结果质检、低质量QA对二次识别和评分波动原因量化归因。

LalaEval的技术原理

• 单盲测试原理：在评估过程中，模型的响应被匿名化并以随机顺序呈现给至少三名人类评估者。
• 争议度和评分波动分析：LalaEval通过建立评分争议度、题目争议度和评分波动性三大分析框架，自动检测和纠正人工评分中的主观性错误。
• 结构化评估流程：LalaEval采用端到端的评估流程，涵盖领域范围界定、能力指标构建、评测集生成、评测标准制定以及结果统计分析。
• 动态交互的部署结构：LalaEval的部署结构强调模块化和动态交互，能根据不同的业务场景灵活调整评估流程，确保框架在不同领域的可扩展性。

LalaEval的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2408.13338

LalaEval的应用场景

• 物流领域大模型评估：LalaEval针对同城货运等具体业务场景。通过明确领域范围、构建能力指标、生成评测集和制定评估标准，LalaEval能对大语言模型在物流行业的表现进行科学评估，帮助企业优化物流业务流程。
• 邀约大模型的评测：在司机邀约场景中，LalaEval通过模拟真实对话场景，评估大模型在自动邀约任务中的表现。
• 企业内部大模型的定制与优化：LalaEval为企业提供了一种标准化的评估方法，能根据企业自身的业务需求动态生成评测集，通过自动化分析减少人工主观性。
• 跨领域应用的扩展性：设计遵循模块化和动态交互原则，能灵活扩展到其他领域。

SpeechGPT 2.0-preview是什么

SpeechGPT 2.0-preview 是复旦大学 OpenMOSS 团队推出的拟人化实时交互系统，基于百万小时级中文语音数据训练，采用端到端架构，实现了语音与文本模态的高度融合。模型具有拟人口语化表达、百毫秒级低延迟响应，支持自然流畅的实时打断交互。能精准控制语速、情感、风格和音色，实现智能切换。SpeechGPT 2.0-preview 具备多种语音才艺，如诗歌朗诵、故事讲述、说方言等。

SpeechGPT 2.0-preview的主要功能

• 情感与风格控制：支持多情感（如虚弱、欢快）、多音色（男女切换）及多风格（诗歌朗诵、方言模仿）的精准控制，角色扮演能力突出。
• 实时打断交互：百毫秒级响应速度支持自然对话中的即时打断与续接。
• 文本能力集成：在语音表现力基础上，保留文本模型的智商，支持工具调用、联网搜索、外挂知识库接入等功能。
• 多任务兼容性：可处理长文档解析、多轮对话等场景，兼容短文本任务的性能未因长上下文能力而降低。

SpeechGPT 2.0-preview的技术原理

• 端到端语音建模
  • 超低比特率流式语音 Codec：自研的超低比特率流式语音 Codec，能够处理 24khz 的语音输入，将语音压缩至每秒 75 个 token，支持流式输入输出，实现 200ms 以内延迟的实时交互。
  • 语义-声学联合建模：通过语义-声学联合建模，直接处理语音输入并生成语音或文本输出，无需传统级联式 ASR（语音识别）和 TTS（语音合成）模块。
• 语音-文本混合建模
  • Codec Patchify：通过 Codec Patchify 技术聚合相邻时间步的语音 token 为统一向量，有效减小语音和文本序列之间的模态差异，缓解跨模态建模中的冲突问题。
  • 多阶段训练流程：包括模态适应预训练、跨模态指令微调和链式模态微调，兼顾文本能力与语音能力，避免模型在学习语音能力时降低智商。
• 语音文本对齐预训练：通过充分的语音文本对齐预训练，模型可以“涌现”出语音风格的泛化性，例如无需语速调整数据即可控制语速，或模仿未见过的角色语气风格。
• 模型架构设计
  • 语音文本联合建模：speech-text LLM 会同时输入和输出语音和文本表示，LLM 的隐藏状态同时用于语音和文本的解码任务。
  • 多解码头的自回归语言模型：设计了具有多解码头的自回归语言模型作为 patch decoder，能通过自回归方式逐步解码，每次生成一个时间步的多个 RVQ codec token，输出语音。

SpeechGPT 2.0-preview的项目地址

• 项目官网：https://www.open-moss.com/cn/speechgpt2-preview/
• GitHub仓库：https://github.com/OpenMOSS/SpeechGPT-2.0-preview
• HuggingFace模型库：https://huggingface.co/fnlp/SpeechGPT-2.0-preview-7B
• 在线体验Demo：https://sp2.open-moss.com/

SpeechGPT 2.0-preview的应用场景

• 智能助手：可用于客服、教育或医疗等领域的智能助手，提供实时口语练习、情感陪伴等服务。
• 内容创作：自动生成有声书、诗歌朗诵或方言内容，丰富多媒体创作形式。
• 无障碍通信：为听障或言语障碍者提供实时语音转文字及合成服务。

CityDreamer4D是什么

CityDreamer4D是南洋理工大学 S-Lab 团队开发的用于生成无边界 4D 城市的组合生成模型。将动态物体（如车辆）与静态场景（如建筑和道路）分离，通过三个模块——建筑实例生成器、车辆实例生成器和城市背景生成器，基于高效的鸟瞰图场景表示法来生成城市场景。模型构建了包括 OSM、GoogleEarth 和 CityTopia 在内的多个数据集，涵盖多视角和多光照条件。CityDreamer4D 能生成逼真的 4D 城市，支持城市风格化、局部编辑和城市模拟等应用。

CityDreamer4D的主要功能

• 无边界 4D 城市生成：通过分离动态物体（如车辆）和静态场景（如建筑和道路），CityDreamer4D 能生成包含时间和空间维度的动态城市场景。支持生成无限扩展的城市布局，同时保持多视角一致性。
• 实例编辑与局部修改：CityDreamer4D 支持对建筑和车辆实例进行局部编辑，例如修改车辆的位置和风格，或调整建筑的高度和外观，不影响其他场景元素。
• 城市风格化：模型支持对生成的城市进行风格化处理，例如将城市风格转换为《我的世界》或赛博朋克风格，保持多视角一致性。
• 城市模拟：CityDreamer4D 可以作为强大的城市模拟工具，生成逼真的 4D 城市场景，支持街景和航拍视角，适用于自动驾驶、城市规划和虚拟现实等应用。
• 数据集支持：开发团队构建了多个数据集，包括 OSM（OpenStreetMap）、GoogleEarth 和 CityTopia，涵盖多视角和多光照条件。

CityDreamer4D的技术原理

• 分离动态与静态元素：CityDreamer4D 将动态物体（如车辆）与静态场景（如建筑和道路）分离，分别由不同的生成器处理。
• 模块化生成：模型由三个主要模块组成：
  • 建筑实例生成器（Building Instance Generator）：负责生成建筑实例，使用对象中心坐标空间来捕捉建筑的紧凑形状。
  • 车辆实例生成器（Vehicle Instance Generator）：生成车辆实例，采用对象规范坐标空间，结合周期性位置编码。
  • 城市背景生成器（City Background Generator）：生成背景元素（如道路、植被等），使用生成性哈希网格来处理背景的不规则纹理。
• 鸟瞰图场景表示法：为了提高效率和可扩展性，CityDreamer4D 采用了高效的鸟瞰图（BEV）场景表示法。通过紧凑的 BEV 地图来描述城市布局，结合高度图来表示建筑高度，支持无边界扩展。
• 神经场组合：模型基于面向背景和面向实例的神经场来生成背景元素和实例（建筑和车辆）。能有效捕捉城市中不同元素的多样性和独特性。

CityDreamer4D的项目地址

• 项目官网：https://www.infinitescript.com/project/city-dreamer-4d
• GitHub仓库：https://github.com/hzxie/CityDreamer4D
• arXiv技术论文：https://arxiv.org/pdf/2501.08983

CityDreamer4D的应用场景

• 城市模拟与规划：CityDreamer4D 可以作为强大的城市模拟工具，生成逼真的 4D 城市场景，支持动态物体（如车辆）和详细环境的生成。
• 局部编辑与定制化：借助其组合式架构，CityDreamer4D 支持对建筑和车辆实例的局部编辑。可以独立修改车辆的位置和风格，或调整建筑的高度和外观，不会影响其他场景元素。
• 城市风格化：CityDreamer4D 支持城市风格化处理，能将《我的世界》（Minecraft）或赛博朋克（Cyberpunk）等不同风格无缝应用于整个城市。
• 多视角一致性：在生成的 4D 城市中，CityDreamer4D 能确保多视角一致性，支持街景和航拍视角的生成。

VARGPT是什么

VARGPT是创新的多模态大语言模型，专注于视觉理解和生成任务。基于自回归框架，将视觉生成与理解统一在一个模型中，避免任务切换的复杂性。VARGPT在LLaVA架构基础上进行扩展，通过next-token预测实现视觉理解，通过next-scale预测实现视觉生成，能高效处理混合模态输入和输出。 VARGPT采用三阶段训练策略：预训练阶段学习语言和视觉特征，混合视觉指令微调阶段进一步对齐视觉和文本特征并增强指令遵循能力。使模型在视觉问答、推理等任务上表现优异，同时在视觉生成任务中展现出强大的能力，能自然地生成高质量图像。

VARGPT的主要功能

• 视觉理解与生成的统一：VARGPT是多模态大语言模型，能在单一的自回归框架内实现视觉理解和视觉生成。通过next-token预测范式完成视觉理解任务，如视觉问答和推理，基于next-scale预测范式实现视觉生成。
• 混合模态输入与输出：VARGPT支持文本和图像的混合模态输入，能同时输出文本和图像。在处理复杂的视觉-语言任务时更加灵活和高效。
• 高效视觉生成：VARGPT配备了专门的视觉解码器，包含20亿参数，用于高质量的视觉生成。能根据文本指令生成图像，在自回归过程中逐步构建图像内容。
• 多模态任务的广泛适用性：VARGPT在多个视觉中心的基准测试中表现优于其他模型，能自然地支持指令到图像的合成，适用于多种视觉-语言任务。

VARGPT的技术原理

• 统一的自回归框架：VARGPT将视觉理解和生成任务统一在一个自回归框架内。对于视觉理解，模型采用next-token预测范式，即通过预测下一个文本标记来完成视觉问答和推理任务；对于视觉生成，采用next-scale预测范式，逐步预测图像的下一个尺度信息。使模型能在单一框架内高效处理视觉和语言任务。
• 视觉解码器与特征映射：VARGPT包含一个专门的视觉解码器，拥有20亿参数，用于高质量的视觉生成。解码器由30个Transformer块组成，每个块包含30个注意力头，宽度为1920，采用自适应归一化（AdaLN）。
• 多尺度标记化：为了支持视觉生成，VARGPT使用了多尺度变分自编码器（VAE）架构，类似于VAR模型。架构通过多尺度量化方案将图像分解为不同尺度的标记，词汇表大小为4090，训练数据为OpenImages数据集。
• 混合模态输入与输出：VARGPT支持文本和图像的混合模态输入，能同时输出文本和图像。模型通过特殊的标记和提示格式，灵活地在文本和视觉模态之间切换，实现混合模态生成。
• 三阶段训练策略
  • 预训练阶段：学习文本和视觉特征之间的映射关系。
  • 混合视觉指令微调阶段：通过构造视觉生成指令数据集，结合多轮对话指令数据集进行混合训练，增强模型在视觉问答和指令到图像合成任务中的能力。

VARGPT的项目地址

• 项目官网：https://vargpt-1.github.io/
• GitHub仓库：https://github.com/VARGPT-family/VARGPT
• arXiv技术论文：https://arxiv.org/pdf/2501.12327

VARGPT的应用场景

• 视觉问答与推理：VARGPT能处理复杂的视觉问答任务，通过理解图像内容并生成准确的文本回答。
• 指令到图像生成：VARGPT支持根据文本指令生成高质量图像。可以通过简单的文字描述来生成特定场景的图像。
• 多模态内容创作：VARGPT能处理混合模态输入和输出，支持文本与图像的无缝切换。输入文本描述，模型生成相应的图像，或者根据图像生成相关的文本内容。
• 创意与娱乐：VARGPT的图像生成能力可以应用于创意和娱乐领域，生成个性化的艺术作品、虚拟角色等。

YuE是什么

YuE 是香港科技大学和 Multimodal Art Projection 团队联合开发的开源 AI 音乐生成模型。能将歌词转化为完整的歌曲，支持多种音乐风格，包括流行、金属、爵士、嘻哈等，并且支持英语、中文、日语和韩语等多种语言。YuE 通过语义增强音频分词器、双分词技术、歌词链式思维生成和三阶段训练方案，解决了音乐生成中的长上下文、复杂音乐信号、语言内容失真等挑战，生成的歌曲具有连贯的音乐结构和吸引人的声乐旋律。模型完全开源，用户可以自由使用和修改代码。提供了灵活的生成选项，用户可以通过简单的命令行参数调整生成歌曲的风格、声乐类型等细节。

YuE的主要功能

• 歌词转歌曲：能将输入的歌词转化为完整的歌曲，包含主唱和伴奏。
• 多种音乐风格支持：支持流行、金属、爵士、嘻哈等多种音乐风格。
• 高质量生成：通过多种技术优化，确保生成的歌曲连贯且高质量。
• 多语言支持：支持英语、中文、日语和韩语等多种语言。
• 长时间音乐创作：可以生成长达 5 分钟的完整歌曲。
• 开源与可定制：代码和模型完全开源，用户可以自由使用和修改。
• 情感和风格匹配：能根据歌词的情感基调生成匹配的音乐风格。
• 跨模态应用：可以与其他多模态模型结合，用于多媒体艺术创作。

YuE的技术原理

• 语义增强音频分词器：YuE 使用语义增强音频分词器来降低训练成本并加速收敛。能更好地理解歌词的语义信息，与音乐信号相结合，生成更符合歌词内容的音乐。
• 双分词技术：YuE 提出了一种双分词技术，用于在不修改 LLaMa 解码器-only 架构的情况下实现音轨同步的声乐-乐器建模。模型可以在生成主唱部分的同时，同步生成合适的伴奏，确保两者在节奏和旋律上的协调性。
• 歌词链式思维生成：YuE 引入了歌词链式思维生成技术，支持模型在遵循歌词条件的情况下逐步生成整首歌曲。使模型能更好地处理长上下文信息，确保生成的歌曲在整体结构上保持连贯性。
• 三阶段训练方案：YuE 采用了三阶段训练方案，确保更好的可扩展性、音乐性和歌词可控性。具体来说：
  • 第一阶段：基础模型训练，学习音乐生成的基本模式。
  • 第二阶段：风格和情感对齐，通过大量样本来调整模型，能生成特定风格和情感的音乐。
  • 第三阶段：偏好纠正，通过强化学习等技术进一步优化生成结果，确保生成的音乐更符合人类的审美标准。

YuE的项目地址

• 项目官网：https://map-yue.github.io/
• GitHub仓库：https://github.com/multimodal-art-projection/YuE
• HuggingFace模型库：https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot

YuE的应用场景

• 音乐创作：音乐创作者可以用 YuE 快速生成旋律和伴奏，激发创作灵感。根据用户提供的歌词，生成符合其情感和风格需求的个性化歌曲。
• 影视与视频制作：为电影、电视剧和短视频生成背景音乐，匹配不同场景的情感和氛围。为广告制作朗朗上口的铃声，有效传达品牌信息。
• 游戏音乐：为游戏生成匹配场景的背景音乐，增强游戏的沉浸感。
• 社交媒体内容：为 TikTok 和 Instagram 等平台上的短视频生成独特的背景音乐。

MobileVD是什么

MobileVD（Mobile Video Diffusion）是首个针对移动设备优化的视频扩散模型，Qualcomm AI Research团队开发。模型基于Stable Video Diffusion（SVD）的时空UNet架构，通过降低帧分辨率、引入多尺度时间表示以及采用两种新颖的剪枝方案来减少通道数和时间块数量，显著降低了内存和计算成本。MobileVD基于对抗微调技术，将去噪过程简化为一步完成，进一步提高了模型的效率。

MobileVD的主要功能

• 降低帧分辨率：将视频帧的分辨率从1024×576降低到512×256，减少了计算量。
• 多尺度时间表示：引入多尺度时间表示，以更好地处理视频的时间动态。
• 通道和时间块剪枝：通过两种新颖的剪枝方案，减少了UNet中的通道数和时间块数量。
• 对抗微调：采用对抗微调技术，将去噪过程简化为一步完成，进一步提高了模型的效率。

MobileVD的项目地址

• 项目官网：https://qualcomm-ai-research.github.io/mobile-video-diffusion/
• arXiv技术论文：https://arxiv.org/pdf/2412.07583

MobileVD的应用场景

• 短视频生成：用户可以用MobileVD在手机上快速生成高质量的短视频，用于社交媒体分享。
• 视频编辑：在视频编辑应用中，MobileVD可以作为背景视频生成器，为用户提供丰富的视频素材。
• 游戏视频：在游戏开发中，MobileVD可以用于生成游戏内的视频内容，如开场动画和过场视频。
• 娱乐应用：在娱乐应用中，MobileVD可以生成有趣的视频内容，如搞笑视频和特效视频。
• 定制化视频：用户可以根据自己的需求，通过MobileVD生成个性化的视频内容，如添加自定义文本和配音。
• 互动视频：在互动视频应用中，MobileVD可以实时生成与用户互动相关的视频内容，增强用户体验。

Qwen2.5-Max是什么

Qwen2.5-Max是阿里云推出的超大规模MoE（Mixture of Experts）模型，使用超过20万亿tokens的预训练数据。模型在多个基准测试中表现卓越，超越了DeepSeek V3、Llama-3.1-405B等领先模型。支持指令模型和基座模型，适用于知识问答、编程辅助等多种场景。用户可以通过Qwen Chat平台直接对话，或调用API集成使用。

Qwen2.5-Max的主要功能

• 强大的语言处理能力：Qwen2.5-Max能处理复杂的自然语言任务，包括文本生成、知识问答、文本润色、摘要提取等。
• 编程辅助：模型具备编程支持功能，能帮助用户编写和优化代码。
• 多语言支持：支持包括中文、英文、法文、西班牙文、俄文、日文等在内的29种以上语言。
• 长文本处理：支持高达128K的上下文长度，最多可生成8K的内容。
• 多模态处理能力：Qwen2.5-Max具备视觉理解能力，能处理图片和视频内容。

Qwen2.5-Max的技术原理

• 超大规模预训练数据：Qwen2.5-Max使用了超过20万亿tokens的预训练数据，为模型提供了丰富的知识基础，能处理复杂的自然语言处理任务。
• 先进的MoE架构：模型基于MoE架构，通过智能选择适当的“专家”模型来优化计算资源，提高推理速度和效率。支持模型在保持高性能的同时，更高效地处理大规模数据。
• 后训练方法：Qwen2.5-Max基于后训练方案，包括监督微调（SFT）和强化学习从人类反馈（RLHF）。增强模型对人类偏好的对齐程度，改进了长文本生成、结构化数据分析和指令遵循等能力。
• 多阶段训练策略：在处理长上下文方面，Qwen2.5-Max采用多阶段训练策略，逐步扩展上下文长度，最终支持高达128K的上下文长度。模型能更好地处理长文本和复杂任务。
• 优化推理速度：通过引入稀疏注意力机制和优化技术，Qwen2.5-Max显著提高了长上下文处理的推理速度。

Qwen2.5-Max的项目地址

• 项目官网：访问Qwen Chat 官方网站进行体验。

Qwen2.5-Max的应用场景

• 智能客服：Qwen2.5-Max能通过精准的语言理解与应答，实现更高效的客户服务。能快速理解用户的问题提供准确的解答，提升客户满意度。
• 内容创作：在内容创作领域，Qwen2.5-Max可以生成高质量的文本内容，如新闻报道、产品文案、创意写作等，帮助企业节省大量人力物力。
• 教育行业：Qwen2.5-Max可用于在线辅导，快速理解学生的问题并生成详细的解释与反馈，提高学习效率。
• 金融行业：Qwen2.5-Max能帮助银行提升风控模型的准确性，通过智能分析海量交易数据，及时识别风险信号。
• 编程辅助：Qwen2.5-Max支持编程辅助功能，能帮助开发者编写和优化代码。

QVQ-72B-Preview是什么

QVQ-72B-Preview 是阿里云通义千问团队开源的多模态推理模型，专注于提升视觉推理能力。模型在多个基准测试中表现出色，在多模态理解和推理任务上展现了强大的能力。能准确理解图像内容，进行复杂的逐步推理，支持从图片中推断物体高度、数量等具体信息，能识别图片的深层含义，如“梗图”内涵。

QVQ-72B-Preview的主要功能

• 强大的视觉推理能力：QVQ-72B-Preview 能准确理解图像内容，进行复杂的逐步推理。支持从图片中推断物体的高度、数量等具体信息，能识别图片的深层含义，如“梗图”内涵。
• 多模态处理：模型能同时处理图像和文本信息，进行深度推理。能将语言信息与视觉信息无缝对接，让 AI 的推理进程更加高效。
• 科学级推理表现：QVQ-72B-Preview 在处理复杂的科学问题时表现出色，能像科学家一样思考并给出准确答案。通过质疑假设和优化推理步骤，提供更可靠、更智能的结果。

QVQ-72B-Preview的性能评测

QVQ-72B-Preview 在以下四个数据集上进行了评估：

• MMMU：一个大学级别的多学科多模态评估数据集，评估模型与视觉相关的综合理解和推理能力，视觉推理得分 70.3，达到大学水准。
• MathVista：一个以数学为中心的视觉推理测试集，用于评估使用拼图测试图形进行逻辑推理、使用函数图进行代数推理以及使用学术论文数字进行科学推理等功能，超越 OpenAI o1，展现出强大的数学与图形推理能力。
• MathVision：源自真实数学竞赛的高质量多模态数学推理测试集，与 MathVista 相比，具有更大的问题多样性和学科广度，表现超越 GPT-4o 和 Claude 3.5。
• OlympiadBench：奥林匹克竞赛级别的双语多模态科学基准测试集，包含来自奥林匹克数学和物理比赛（包括中国高考）的 8476 道题目，表现超越 GPT-4o 和 Claude 3.5。。

QVQ-72B-Preview的项目地址

• 项目官网：Qwen Chat
• HuggingFace模型库：https://huggingface.co/Qwen/QVQ-72B-Preview

QVQ-72B-Preview的应用场景

• 教育领域：在知识的传授与学习场景中，QVQ-72B-Preview 能帮助师生解决复杂的数学公式推导、科学实验原理剖析等难题。
• 科研探索：在需要深度钻研的科研难题面前，如物理学中对量子力学现象的解读、天文学里对星系演化模型的构建，QVQ-72B-Preview 能协助科学家们挖掘隐藏在数据与现象背后的真理。
• 多模态交互：在智能客服应对用户图文并茂的咨询诉求，或社交媒体平台对海量图文信息的精准分类管理中，QVQ-72B-Preview 能完美融合图像与文本信息，给出契合用户需求的理想回应。

Qwen2.5-VL是什么

Qwen2.5-VL是阿里通义千问团队开源的旗舰视觉语言模型，具有3B、7B和72B三种不同规模。模型在视觉理解方面表现出色，能识别常见物体，分析图像中的文本、图表等元素。Qwen2.5-VL具备作为视觉Agent的能力，可以推理并动态使用工具，能初步操作电脑和手机。在视频处理上，能理解超过1小时的长视频，精准定位相关片段捕捉事件。模型支持发票、表单等数据的结构化输出。在性能测试中，Qwen2.5-VL-72B-Instruct在多个领域和任务中表现优异，在文档和图表理解方面优势明显。7B模型在多项任务中超越了GPT-4o-mini。

Qwen2.5-VL的主要功能

• 视觉理解：能识别常见物体，如花、鸟、鱼和昆虫，能分析图像中的文本、图表、图标、图形和布局。
• 视觉Agent能力：可以直接作为一个视觉Agent，推理并动态地使用工具，初步具备使用电脑和使用手机的能力。
• 理解长视频和捕捉事件：能理解超过1小时的视频，精准定位相关视频片段来捕捉事件。
• 视觉定位：可以通过生成bounding boxes或者points来准确定位图像中的物体，能为坐标和属性提供稳定的JSON输出。
• 结构化输出：对于发票、表单、表格等数据，支持其内容的结构化输出。

Qwen2.5-VL的技术原理

• 模型结构：Qwen2.5-VL 延续了上一代 Qwen-VL 中 ViT 加 Qwen2 的串联结构，三个不同规模的模型都采用了 600M 规模大小的 ViT，支持图像和视频统一输入。使模型能更好地融合视觉和语言信息，提高对多模态数据的理解能力。
• 多模态旋转位置编码（M-ROPE）： Qwen2.5-VL 采用的 M-ROPE 将旋转位置编码分解成时间、空间（高度和宽度）三部分，使大规模语言模型能同时捕捉和整合一维文本、二维视觉和三维视频的位置信息，赋予了模型强大的多模态处理和推理能力。
• 任意分辨率图像识别：Qwen2.5-VL 可以读懂不同分辨率和不同长宽比的图片，对图像的清晰度或大小能轻松识别。基于 naive dynamic resolution 支持，能将任意分辨率的图像映射成动态数量的视觉 token，保证了模型输入和图像信息的一致性。
• 网络结构简化：与 Qwen2-VL 相比，Qwen2.5-VL 增强了模型对时间和空间尺度的感知能力，进一步简化了网络结构以提高模型效率。
• 模型推理能力提升：Qwen2.5-VL 在多个权威测评中创造了同等规模开源模型的最佳成绩，在文档理解方面优势尤其明显。与 GPT-4O 和 Claude3.5-Sonnet 等闭源模型相比，Qwen2.5-VL 在大部分指标上都达到了最优。

Qwen2.5-VL的项目地址

• 项目官网：https://qwenlm.github.io/blog/qwen2.5-vl
• GitHub仓库：https://github.com/QwenLM/Qwen2.5-VL
• HuggingFace模型库：https://huggingface.co/collections/Qwen/qwen25-vl

Qwen2.5-VL的应用场景

• 文档理解：Qwen2.5-VL 在理解文档和图表方面具有优势，能作为视觉Agent进行操作，无需特定任务的微调。
• 智能助手：模型可以作为智能助手，帮助用户完成各种任务，如预订机票、查询天气等。
• 数据处理：Qwen2.5-VL 支持对发票、表单、表格等数据的结构化输出。
• 设备操作：模型能操作手机、网络平台和电脑，为创建真正的视觉代理提供了有价值的参考点。
• 物体定位：Qwen2.5-VL 可以通过生成 bounding boxes 或者 points 来准确定位图像中的物体，能为坐标和属性提供稳定的 JSON 输出。