Category: AI工具

InternVLA·M1是什么

InternVLA·M1 是上海人工智能实验室开发的具身操作“大脑”，是面向指令跟随的双系统操作大模型。构建了覆盖“思考-行动-自主学习”的完整闭环，负责高阶的空间推理与任务规划。模型采用两阶段训练策略，先通过空间感知预训练，增强空间推理与规划能力；再以隐式空间推理方式实现高效的动作后训练。仅需“空间规划提示”即可高效训练，大幅降低成本。在 SimplerEnv 等公开操作基准测试中，InternVLA·M1 达到国际领先水平，其指令跟随与未见物体泛化能力显著优于其他同类模型。依托自研仿真平台 InternData-M1 完成大规模预训练，适用于复杂场景及长程任务。

InternVLA·M1的主要功能

• 高阶空间推理与任务规划：负责复杂环境下的空间推理和任务规划，能理解指令并生成相应的操作序列。
• 双系统操作架构：采用两阶段训练策略，先进行空间感知预训练，再进行动作后训练，提升模型的推理和规划能力。
• 高效训练与成本控制：通过“空间规划提示”实现高效训练，大幅降低训练成本和时间。
• 指令跟随与泛化能力：在多种公开基准测试中表现优异，尤其在指令跟随和未见物体泛化方面表现突出。
• 自主学习与闭环控制：构建了“思考-行动-自主学习”的完整闭环，能够通过自主学习不断优化操作策略。
• 复杂场景适应性：在真机复杂场景及长程任务中表现出色，适用于多种实际应用场景。

InternVLA·M1的技术原理

• 双系统架构：结合空间感知预训练和动作后训练，增强模型对空间环境的理解和操作能力。
• 空间感知预训练：通过大规模仿真数据，训练模型对空间关系的感知和推理能力，为后续任务规划奠定基础。
• 动作后训练：利用隐式空间推理方式，使模型能高效地学习具体动作的执行，提升操作精度。
• 空间规划提示：引入空间规划提示机制，帮助模型更高效地进行任务规划和动作生成，降低训练复杂度。
• 闭环控制：构建“思考-行动-自主学习”的闭环系统，使模型能在实际操作中不断学习和优化，适应复杂环境。
• 大规模仿真数据：依托自研仿真平台 InternData-M1，生成大量高质量的训练数据，支持模型的大规模预训练。
• 指令驱动：模型能接收自然语言指令，解析指令内容，生成相应的操作序列，实现指令跟随功能。

InternVLA·M1的项目地址

InternVLA·M1的应用场景

• 工业自动化：在工厂环境中，用于自动化生产线上的复杂任务，如零部件组装、物料搬运和质量检测，提高生产效率和精准度。
• 物流与仓储：优化物流中心的货物分拣、搬运和存储操作，实现自动化仓库管理，提升物流效率和准确性。
• 服务机器人：在家庭、酒店、医院等场景中，为人们提供清洁、送餐、护理等服务，提升生活质量和服务效率。
• 智能安防：用于安防监控中的异常行为检测、区域巡逻和安全检查，增强安防系统的智能化水平。
• 教育与科研：作为教学和科研工具，帮助学生和研究人员探索机器人技术、人工智能和自动化控制等领域。
• 灾难救援：在地震、火灾等灾害现场，执行搜索、救援和物资运输任务，减少人员伤亡和提高救援效率。
• 农业自动化：用于农作物种植、采摘和灌溉等环节，实现农业生产的自动化和智能化，提高农业生产力。

通义DeepResearch是什么

通义DeepResearch 是阿里巴巴推出的开源深度研究智能体，专为长周期、深度信息检索任务设计。拥有 300 亿参数，每次激活 30 亿参数，支持 ReAct 模式和深度模式（Heavy Mode），后者通过迭代研究范式（IterResearch）提升复杂推理能力。智能体采用全流程合成数据方案，无需人工干预即可生成高质量数据集，突破智能体能力上限。训练流程涵盖智能体持续预训练（Agentic CPT）、监督微调（SFT）和强化学习（RL），形成完整的端到端训练链路。通义 DeepResearch 已赋能阿里巴巴内部多个应用，如高德地图的 AI 原生出行 Agent 和法律领域的“通义法睿”。

通义DeepResearch的主要功能

• 长周期深度信息检索：专为复杂、长周期的信息检索任务设计，能处理多步骤的推理和规划，适用于学术研究、市场分析、政策制定等场景。
• 多模式推理支持：支持 ReAct 模式和深度模式（Heavy Mode）。ReAct 模式严格遵循“思考-行动-观察”循环，适合评估模型的核心能力；深度模式通过迭代研究范式（IterResearch）提升复杂推理能力。
• 全流程合成数据生成：采用自研的全流程合成数据方案，无需人工干预即可生成高质量数据集，突破智能体能力上限，支持从预训练到微调再到强化学习的完整训练链路。
• 端到端强化学习：通过定制化的强化学习算法（如 Group Relative Policy Optimization, GRPO），确保智能体的行为与高阶目标保持一致，提升模型在动态环境中的适应性和稳定性。
• 实际应用赋能：已成功应用于阿里巴巴内部多个场景，如高德地图的 AI 原生出行 Agent 和法律领域的“通义法睿”，展现出强大的实用性和价值。
• 开源共建：项目完全开源，提供完整的代码、模型和数据，鼓励开发者参与共建，推动深度研究智能体的发展和创新。

通义DeepResearch的技术原理

• 全流程合成数据方案：无需人工干预，自动生成高质量数据集，支持从预训练到微调再到强化学习的完整训练链路，突破智能体能力上限。
• 迭代研究范式（IterResearch）：将复杂任务分解为多个研究回合，每个回合动态重构精简工作区，通过“思考-综合-行动”流程，提升复杂推理能力和决策质量。
• 端到端强化学习：采用定制化的强化学习算法，如 Group Relative Policy Optimization (GRPO)，确保学习信号与模型当前能力精准匹配，提升模型在动态环境中的适应性和稳定性。
• 大规模持续预训练：利用持续更新的知识文档、爬虫数据、知识图谱等构建开放世界知识记忆，生成多风格的（问题，答案）对，持续扩展模型能力。
• 自动化数据管理：在训练动态的指导下实时优化数据，通过全自动数据合成和数据漏斗动态调整训练集，确保训练的稳定性和性能提升。
• 稳定高效的工具沙盒：开发统一的沙盒环境，处理并发和故障，确保工具调用的稳定性和可靠性，为智能体提供快速且鲁棒的交互环境。

通义DeepResearch的项目地址

• 项目官网：https://tongyi-agent.github.io/blog/introducing-tongyi-deep-research/
• Github仓库：https://github.com/Alibaba-NLP/DeepResearch
• HuggingFace模型库：https://huggingface.co/Alibaba-NLP/Tongyi-DeepResearch-30B-A3B

通义 DeepResearch 的家族成员

• WebWalker：专注于网页遍历任务，用于评估语言模型在网页导航中的表现。
• WebDancer：致力于实现自主信息寻求能力，推动智能体在信息检索中的自主性。
• WebSailor：用于导航复杂的网页环境，提升智能体的超人级推理能力。
• WebShaper：通过信息寻求的形式化，实现智能体数据的合成，提升数据质量和模型性能。
• WebWatcher：探索视觉语言智能体的新边界，结合视觉和语言能力进行深度研究。
• WebResearcher：释放长周期智能体的无界推理能力，提升其在复杂任务中的表现。
• ReSum：通过上下文总结解锁长周期搜索智能，优化智能体的信息管理能力。
• WebWeaver：利用动态提纲结构化网络规模的证据，支持开放式的深度研究。
• WebSailor-V2：通过合成数据和可扩展的强化学习，缩小与专有智能体的差距。

通义DeepResearch的应用场景

• 学术研究：能快速整理文献综述，帮助学者们高效完成复杂的学术研究任务，提升研究效率。
• 市场分析：为企业提供竞争对手分析、行业趋势报告等，助力企业制定精准的市场策略。
• 法律研究：在法律领域，如“通义法睿”应用，自动检索法条、类案和裁判文书，进行深度归纳分析，为法律从业者提供强大的生产力工具。
• 出行规划：与高德地图合作，推出 AI 原生出行 Agent，结合实时数据为用户提供精准的出行建议和规划。
• 复杂信息检索：适用于需要多步骤推理和规划的复杂信息检索任务，如跨领域研究、政策制定等，帮助用户快速获取和整合信息。

RustGPT是什么

RustGPT 是用 Rust 编写的 Transformer 架构语言模型。RustGPT从零开始构建，不依赖任何外部机器学习框架，仅用 ndarray 进行矩阵运算。项目包括事实文本补全的预训练、用于会话 AI 的指令微调及交互式聊天模式测试。RustGPT模块化架构确保关注点的清晰分离，便于理解和扩展。RustGPT 适合对 Rust 和机器学习感兴趣的开发者，是一个优秀的学习项目。

RustGPT的主要功能

• 事实文本补全：RustGPT 能根据输入的文本片段，生成合理的后续内容。
• 指令微调：模型经过指令微调，能理解和生成符合人类指令的文本。
• 交互式聊天模式：RustGPT 支持交互式聊天模式，用户输入问题或提示，模型能生成相应的回答。
• 动态词汇表：模型支持动态构建词汇表，能根据输入数据自动扩展词汇表，适应不同的文本内容。

RustGPT的技术原理

• 基于 Transformer 的架构：RustGPT 使用 Transformer 架构，一种基于注意力机制的神经网络架构，能处理长序列数据、捕捉长距离依赖关系。Transformer 架构包括多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Neural Network）。
• 自定义分词：模型使用自定义的分词方法，将文本分割成标记（tokens），标记包括单词、子单词或字符。分词后的文本被嵌入到高维向量空间中，用在模型的输入。
• 矩阵运算：模型的计算主要依赖于矩阵运算，用 ndarray 库实现。矩阵运算包括嵌入层的矩阵乘法、多头自注意力机制中的矩阵运算、前馈网络中的矩阵运算等。
• 预训练和微调：
  • 预训练：模型首先在大量文本数据上进行预训练，学习语言的基本模式和结构。预训练的目标是最大化预测下一个标记的概率。
  • 指令微调：在预训练的基础上，模型进一步进行指令微调，学习如何生成符合人类指令的文本。微调过程中，模型根据特定的任务或指令进行优化。

RustGPT的项目地址

• GitHub仓库：https://github.com/tekaratzas/RustGPT

RustGPT的应用场景

• 文本补全：根据用户输入的部分文本，自动生成合理的后续内容，帮助用户快速完成写作或输入。
• 创意写作：为作家和内容创作者提供灵感，生成故事、诗歌、文章等创意文本。
• 聊天机器人：构建智能聊天机器人，用于客服、虚拟助手等场景，理解和生成自然语言对话。
• 机器翻译：将一种语言的文本翻译成另一种语言，帮助跨越语言障碍。
• 多语言对话：支持多语言交互，帮助用户进行跨语言交流。

VLAC是什么

VLAC是上海人工智能实验室发布的具身奖励大模型。以InternVL多模态大模型为基础，融合互联网视频数据和机器人操作数据，为机器人在真实世界中的强化学习提供过程奖励和任务完成情况估计。VLAC能有效区分正常推进与异常/停滞行为，支持通过in-context learning实现小样本快速泛化。具备局部平滑性和负向奖励机制，确保强化学习的稳定性和有效性。VLAC不仅输出奖励信号，还能输出机器人动作指令，助力机器人在真实世界中自主学习和快速适应新场景。VLAC支持人机协作模式，进一步提升训练效率。

VLAC的主要功能

• 提供过程奖励和完成情况估计：为机器人在真实世界的强化学习提供连续、可信的监督信号，判断任务是否完成并估计完成进度。
• 区分正常与异常行为：有效识别机器人操作中的正常推进、异常或停滞行为，避免无效探索。
• 支持小样本快速泛化：通过in-context learning，实现小样本快速泛化，提升模型在新场景下的适应能力。
• 输出机器人动作指令：在提供奖励信号的同时，还能输出机器人执行的动作指令，助力机器人自主学习和调整行为。
• 搭建强化学习框架：围绕VLAC搭建的VLA强化学习框架，使机器人在真实世界交互中快速适应新场景，提升任务成功率。
• 支持人机协作模式：通过多种人机协作范式，进一步提升训练灵活性和强化学习效率。

VLAC的技术原理

• 多模态融合：基于InternVL多模态大模型，融合视觉、语言等多种模态数据，提升对任务和环境的综合理解能力。
• 数据驱动奖励生成：利用互联网视频数据和机器人操作数据，通过学习生成密集的奖励信号，为强化学习提供稳定反馈。
• 任务进度估计：通过模型对任务的实时理解，估计任务的完成进度，为强化学习提供过程奖励。
• 异常行为检测：通过分析机器人操作数据，识别异常或停滞行为，避免无效探索，提高学习效率。
• 上下文学习机制：支持in-context learning，通过少量样本快速适应新任务，提升模型的泛化能力。
• 动作指令生成：在提供奖励信号的同时，生成机器人动作指令，实现从感知到行动的闭环控制。
• 强化学习框架集成：搭建VLA强化学习框架，结合过程奖励和任务完成情况，提升机器人在真实世界中的学习和适应能力。
• 人机协作增强：通过人机协作模式，如专家数据回放和手动协助探索，进一步优化模型的训练过程。

VLAC的项目地址

• 项目官网：https://vlac.intern-ai.org.cn
• Github仓库：https://github.com/InternRobotics/VLAC
• HuggingFace模型库：https://huggingface.co/InternRobotics/VLAC

VLAC的应用场景

• 机器人强化学习：为机器人在真实世界中的强化学习提供过程奖励和任务完成情况估计，助力机器人快速适应新任务和环境。
• 人机协作任务：支持人机协作模式，通过专家数据回放、手动协助探索等方式，提升机器人训练的灵活性和效率。
• 多机器人协同学习：在多机器人环境中，通过VLA强化学习框架，实现多个机器人同时在真实世界交互和学习，提高任务成功率。
• 复杂任务分解与学习：将复杂任务分解为多个子任务，为每个子任务提供奖励信号，帮助机器人逐步完成复杂任务。
• 新场景快速适应：通过小样本快速泛化能力，使机器人在新场景下能快速学习并适应，提升任务完成率。

PromptEnhancer是什么

PromptEnhancer是腾讯混元团队开源的用在提升文本到图像（T2I）模型的提示重写框架，通过思维链（Chain-of-Thought，CoT）提示重写和专用的奖励模型AlignEvaluator，显著提升T2I模型对复杂用户指令的理解和图像生成的准确性。框架无需修改T2I模型的权重，具有通用性和即插即用的特性，适用多种预训练模型。PromptEnhancer通过两阶段训练（监督微调和强化学习）优化提示，使生成图像更符合用户意图。

PromptEnhancer的主要功能

• 提升文本到图像模型的准确性和对齐精度：PromptEnhancer通过优化用户输入的文本提示，显著提升文本到图像（T2I）模型生成图像的准确性和与用户意图的对齐精度，能更好地处理复杂的用户指令，包括属性绑定、否定指令和复杂的关系描述。
• 通用性和即插即用：无需修改任何预训练T2I模型的权重，能作为通用模块适配多种预训练模型，如HunyuanImage、Stable Diffusion、Imagen等，降低优化成本。
• 提供高质量基准测试数据集：开源包含6000条Prompt及对应多维度精细标注的高质量基准测试数据集，为研究人员提供重要的参考资源，推动提示优化技术的可解释性和可复现性研究。

PromptEnhancer的技术原理

• 思维链（Chain-of-Thought，CoT）提示重写：引入思维链机制，模拟人类设计师的思考过程，将简洁的用户指令拆解为“核心元素-潜在歧义-细节补充”三步骤。
• 专用奖励模型AlignEvaluator：构建一个覆盖6大类别、24个关键维度的评价体系，通过大规模标注数据训练AlignEvaluator，能针对每个维度给出生成图像的“精准分数”。维度包括语言理解（如否定指令、代词指代）、视觉属性（如物体数量、材质、表情）和复杂关系（如包含关系、相似关系、反事实场景）等。
• 两阶段训练
  • 第一阶段：监督微调（SFT）：通过监督微调初始化CoT重写器，能生成符合语法逻辑的精细化提示。用大模型生成的大量“原始提示-思维链-精细化提示”数据进行训练。
  • 第二阶段：基于生成奖励的策略优化（GRPO）：将重写器生成的多个候选提示输入冻结的T2I模型，用AlignEvaluator对生成图像打分。通过“奖励越高的提示越受重视”的逻辑，优化重写器的策略，使其生成的提示能最大化图像与用户意图的对齐。

PromptEnhancer的项目地址

• 项目官网：https://hunyuan-promptenhancer.github.io/
• GitHub仓库：https://github.com/Hunyuan-PromptEnhancer/PromptEnhancer
• HuggingFace模型库：https://huggingface.co/tencent/HunyuanImage-2.1/tree/main/reprompt
• arXiv技术论文：https://www.arxiv.org/pdf/2509.04545

PromptEnhancer的应用场景

• 广告设计：快速生成高质量的广告海报和宣传材料，提升设计效率。
• 插画创作：帮助插画师快速生成创意草图，节省时间和精力。
• 游戏设计：为游戏开发者快速生成游戏角色、场景和道具的概念图，加速游戏开发流程。
• 社交媒体内容：快速生成吸引人的社交媒体图片和视频，提升内容的吸引力。
• 视频制作：在视频内容创作中，生成高质量的视频帧或概念图，辅助视频剪辑和特效制作。