Author: Chimy

OneRec是什么

OneRec 是快手推出的新型端到端生成式推荐系统。采用编码器-解码器架构，通过稀疏 Mixture-of-Experts（MoE）技术提升模型容量，保持高效的计算性能。与传统级联推荐系统不同，OneRec 使用会话式生成方法，能生成上下文连贯的推荐结果，通过迭代偏好对齐模块结合直接偏好优化（DPO），进一步提升推荐质量。在训练过程中，OneRec 将多模态表征量化为 token 序列输入模型，采用两阶段训练策略：先进行基础的 item 预测任务训练，再通过 DPO 进行偏好对齐。

OneRec的主要功能

• 端到端生成式架构：OneRec 采用编码器-解码器架构，将推荐问题转化为序列生成任务。编码器整合用户的历史行为序列，解码器通过稀疏混合专家（MoE）架构逐步生成用户可能感兴趣的视频。
• 会话式生成方法：与传统的逐点预测不同，OneRec 提出会话式生成方法，能生成整个推荐列表，更好地捕捉上下文信息。
• 实验验证与效果提升：OneRec 在快手平台的在线 A/B 测试中实现了 1.6% 的观看时间提升，显著优于传统方法。

OneRec的技术原理

• 编码器-解码器架构：neRec 采用 Encoder-Decoder 架构，将推荐问题转化为序列生成任务。编码器负责将用户的全生命周期行为序列压缩成兴趣向量，解码器则通过稀疏混合专家（MoE）架构逐步生成用户可能感兴趣的视频。能更好地捕捉用户兴趣的变化，并生成连贯的推荐列表。
• 多模态分词器：OneRec 首创了协同感知的多模态分词方案，融合视频的标题、标签、语音转文字、图像识别等多维信息，转化为分层的语义 ID。能更精准地建模用户兴趣。
• 强化学习偏好对齐：OneRec 引入了基于奖励机制的偏好对齐方法，通过强化学习增强模型效果。模型利用偏好奖励、格式奖励和业务奖励构建综合奖励系统，优化生成结果。能使模型更好地感知用户的细粒度偏好，提升推荐的精准度。
• 性能优化：OneRec 通过架构重构，将关键算子数量大幅压缩，通过稀疏 MoE 架构扩展模型容量，显著提升了计算效率。通过训练和推理优化，实现了更高的模型浮点运算利用率（MFU），使得算力效率大幅提升。

OneRec的项目地址

• arXiv技术论文：https://export.arxiv.org/pdf/2502.18965

OneRec的应用场景

• 短视频推荐：OneRec 在快手的短视频推荐主场景中表现突出，承担了约 25% 的请求（QPS）。通过生成式架构和强化学习偏好对齐，OneRec 在用户停留时长、点赞、关注、评论等交互指标上均取得了显著提升。
• 本地生活服务：OneRec 在快手的本地生活服务场景中也取得了显著成效。AB 对比实验表明，推动了交易总额（GMV）增长 21.01%，订单量提升 17.89%，购买用户数增长 18.58%，新客获取效率提升了 23.02%。
• 直播内容匹配：OneRec 被应用于直播内容匹配，通过动态生成推荐序列，能更好地匹配用户的实时兴趣，提升用户在直播场景中的参与度和互动率。
• 广告投放：在广告投放领域，OneRec 的生成式架构能根据用户的兴趣和行为动态生成广告推荐，提高广告的精准度和转化率。

SongGeneration是什么

SongGeneration是腾讯AI Lab推出的AI音乐生成大模型。模型支持解决音乐AIGC领域中的音质、音乐性与生成速度等关键问题，SongGeneration基于LLM-DiT融合架构，显著提升音质表现和生成速度，生成歌曲的质量在多个维度上优于多数开源模型，部分指标媲美商业闭源模型。SongGeneration支持文本控制、多轨合成、风格跟随等功能，满足创作者的可玩性，具备商业应用的稳定性和拓展性。SongGeneration广泛应用在短视频配乐、游戏音效、虚拟人演出、商业广告及个人音乐创作等场景，推动AI音乐创作从“辅助工具”迈向“智能共创”的新阶段。

SongGeneration的主要功能

• 文本控制：输入关键词文本，如“开心 流行”，AI快速生成对应风格和情绪的完整音乐作品。
• 风格跟随：上传10秒以上参考音频，支持生成风格一致的全长新曲，涵盖多种流派。
• 多轨生成：自动生成分离的人声与伴奏轨道，保证旋律、结构、节奏与配器高度匹配。
• 音色跟随：基于参考音频的音色跟随，实现“音色克隆”级别的人声表现，自然且有情感。

SongGeneration的技术原理

• LeLM（Language Model）：混合标记（Mixed Tokens）代表人声和伴奏的组合音频，用在捕捉歌曲的整体结构和节奏，确保人声与伴奏的和谐。双轨标记（Dual-Track Tokens）分别编码人声和伴奏，用在生成高质量的音频细节。LeLM 能并行预测混合标记和双轨标记，避免不同标记类型之间的干扰，提高生成质量和效率。
• 音乐编解码器（Music Codec）：编码器（Encoder）将音乐音频提取为混合标记和双轨标记。解码器（Decoder）将双轨标记重建为高保真的音乐音频，确保生成的歌曲具有高质量的音频表现。
• 多偏好对齐（Multi-Preference Alignment）：直接偏好优化（DPO）基于半自动数据构建和 DPO 后训练，处理多样化的人类偏好，提高模型在音乐性、指令遵循和人声与伴奏和谐方面的表现。多维度偏好支持歌词对齐、提示一致性、音乐性等多个维度的偏好对齐，提升生成歌曲的整体质量。
• 三阶段训练范式：
  • 预训练（Pre-training）：在大规模音乐数据上进行预训练，对齐不同输入模态和混合标记。
  • 模块扩展训练（Modular Extension Training）：进一步训练 AR 解码器，建模双轨标记，提升音质和音乐性。
  • 多偏好对齐（Multi-Preference Alignment）：基于 DPO 后训练，优化模型在多维度偏好上的表现。

SongGeneration的项目地址

• GitHub仓库：https://github.com/tencent-ailab/SongGeneration
• HuggingFace模型库：https://huggingface.co/tencent/SongGeneration
• arXiv技术论文：https://arxiv.org/pdf/2506.07520
• 在线体验Demo：https://huggingface.co/spaces/tencent/SongGeneration

SongGeneration的核心优势

• 低比特率音乐编解码：实现25Hz极低码率和0.35kbps超低比特率下的高质量音乐重建，减轻语言模型建模负担。
• 多类别token并行预测：基于“混合优先，双轨其次”策略，避免token相互干扰，提升音质和音乐性。
• 多维度人类偏好对齐：对齐音乐性、歌词对齐、提示一致性偏好，提升模型效果和鲁棒性。
• 三阶段训练范式：预训练、模块化扩展训练、多偏好对齐训练，优化音乐生成效果。

SongGeneration的性能表现

• 主客观整体测评：在与三款商业模型（Suno v4.5、海绵音乐、Mureka O1）和四款开源模型（YuE、DiffRhythm、ACE-Step、SongGen）的全方位主客观评测对比中，SongGeneration在开源模型中稳居第一，在商业模型中位列前茅，展现出显著的竞争优势。
• 客观测评（第三方开源模型评测）：在客观测评横向对比中中，SongGeneration在内容欣赏度（CE）、内容实用性（CU）和制作质量（PQ）三个关键维度上均位列榜首，制作复杂度（PC）处于领先位置。
• 主观评测（普通用户 + 专业音乐人评测）：在主观评测中，SongGeneration在歌词准确度上超越包括Suno在内的众多大模型，体现模型在语音与文本对齐能力上的显著优势，及在内容生成细节处理方面的成熟度。

SongGeneration的应用场景

• 音乐创作：SongGeneration为音乐人和制作人提供高质量歌曲草稿，节省创作时间，助力专注核心创作，激发创意。
• 娱乐产业：在影视、游戏、广告等娱乐领域，SongGeneration快速生成契合需求的配乐，增强作品沉浸感与吸引力，丰富音乐内容。
• 教育领域：作为音乐教育工具，SongGeneration帮助学生理解音乐基础知识，激发创造力，辅助在线课程提供示例歌曲，提升教学效果。
• 广告和营销：SongGeneration为广告和品牌生成贴合主题的音乐，提升广告吸引力和品牌认同感，助力品牌营销。
• 个人娱乐：普通用户用SongGeneration创作个性化歌曲，表达情感，分享社交平台，增添娱乐互动乐趣。

Self Forcing是什么

Self Forcing 是 Adobe Research 与德克萨斯大学奥斯汀分校联合推出的新型自回归视频生成算法，解决传统生成模型在训练与测试时的暴露偏差问题。通过在训练阶段模拟自生成过程，以先前生成的帧为条件生成后续帧，而非依赖真实帧，弥合训练与测试分布的差异。Self Forcing 引入滚动 KV 缓存机制，支持理论上无限长的视频生成，在单个 H100 GPU 上实现 17 FPS 的实时生成能力，延迟低于一秒。突破为直播、游戏和实时交互应用提供了新的可能性，例如实时生成虚拟背景或特效。Self Forcing 的高效性和低延迟成为未来多模态内容创作的重要工具。

Self Forcing的主要功能

• 高效实时视频生成：Self Forcing 能在单个 GPU 上实现高效的实时视频生成，帧率达到 17 FPS，延迟低于一秒。
• 无限长视频生成：通过滚动 KV 缓存机制，Self Forcing 支持理论上无限长的视频生成。可以持续生成视频内容，不会因长度限制而中断，为动态视频创作提供了强大的支持。
• 弥合训练与测试差距：Self Forcing 在训练阶段模拟自生成过程，以生成的帧为条件生成后续帧，而非依赖真实帧。有效解决了自回归生成中的暴露偏差问题，弥合了训练与测试阶段的分布差异，提高了生成视频的质量和稳定性。
• 低资源需求：Self Forcing 优化了计算资源的使用，能在单张 RTX 4090 显卡上实现流式视频生成，降低了对硬件资源的依赖，更易于在普通设备上部署和使用。
• 支持多模态内容创作：Self Forcing 的高效性和实时性使其能够为多模态内容创作提供支持，例如在游戏直播中实时生成背景或特效，或者在虚拟现实体验中动态生成视觉内容，为创作者提供了更广阔的应用空间。

Self Forcing的技术原理

• 自回归展开与整体损失监督：Self Forcing 在训练阶段模拟了推理时的自回归生成过程，即每一帧的生成都基于模型自身之前生成的帧，而非真实帧。通过视频级别的整体分布匹配损失函数对整个生成序列进行监督，不仅是逐帧评估。模型能直接从自身预测的错误中学习，有效减轻暴露偏差。
• 滚动 KV 缓存机制：为了支持长视频生成，Self Forcing 引入了滚动键值（KV）缓存机制。该机制维护一个固定大小的缓存区，存储最近几帧的 KV 嵌入。当生成新帧时，缓存区会移除最旧的条目并添加新的嵌入。
• 少步扩散模型与梯度截断策略：为了提高训练效率，Self Forcing 采用了少步扩散模型，结合随机梯度截断策略。具体来说，模型在训练时随机选择去噪步骤的数量，并仅对最终去噪步骤执行反向传播。
• 动态条件生成机制：在生成每一帧时，Self Forcing 动态结合两类条件输入：过去时间步已生成的清晰帧和当前时间步的噪声帧。通过迭代去噪完成生成，确保了生成过程的连贯性和自然性。

Self Forcing的项目地址

• 项目官网：https://self-forcing.github.io/
• Github仓库：https://github.com/guandeh17/Self-Forcing
• arXiv技术论文：https://arxiv.org/pdf/2506.08009

Self Forcing的应用场景

• 直播与实时视频流：Self Forcing 能在单个 GPU 上实现 17 FPS 的实时视频生成，延迟低于一秒。适合用于直播场景，例如在直播中实时生成虚拟背景、特效或动态场景，为观众带来全新的视觉体验。
• 游戏开发：在游戏开发中，Self Forcing 可以实时生成游戏场景和特效，无需预先制作大量的视频资源。根据玩家的实时操作生成动态的环境变化或特效，增强游戏的沉浸感和交互性。
• 虚拟现实与增强现实：Self Forcing 的低延迟和高效生成能力能为虚拟现实（VR）和增强现实（AR）应用提供实时的视觉内容。在 VR 体验中实时生成逼真的虚拟场景，或在 AR 应用中实时叠加虚拟元素。
• 内容创作与视频编辑：Self Forcing 可以用于短视频创作工具，帮助创作者快速生成高质量的视频内容。
• 世界模拟与训练：Self Forcing 可以用于世界模拟和训练场景，例如生成逼真的自然环境或城市景观，用于军事训练、城市规划或环境模拟。

Skywork-SWE-32B是什么

Skywork-SWE-32B是昆仑万维开源的32B规模的软件工程（SWE）自主代码智能体基座模型。模型专注于软件工程任务，特别是仓库级代码修复能力，能在多轮交互和长文本处理的复杂场景中表现出色。通过构建超过1万个可验证的GitHub仓库任务实例，打造了目前最大规模的可验证GitHub仓库级代码修复的数据集，在SWE-bench Verified基准测试中取得了38.0%的pass@1准确率，刷新了同参数规模模型的最佳成绩。引入测试时扩展技术后，准确率进一步提升至47.0%，显著超越了现有32B以下的开源模型，接近甚至超越部分闭源模型的性能。

Skywork-SWE-32B的主要功能

• 仓库级代码修复：能定位GitHub仓库中的代码问题（如Bug），生成修复代码，验证修复效果，完成从问题理解到解决的全流程闭环。
• 多轮交互能力：支持超过50轮的交互，模拟真实开发场景中的多次调试与修复过程，逐步解决问题。
• 长文本处理：能处理超过32k tokens的长文本，满足复杂代码文件和多文件依赖的处理需求。
• 自动化验证：通过构建专用的运行时环境和单元测试验证机制，确保生成的修复代码在实际运行环境中有效。

Skywork-SWE-32B的技术原理

• 大规模数据集构建
  • 自动化数据收集与验证：通过三阶段的自动化流程（数据采集与预筛选、基于执行的验证、智能体轨迹生成），构建了包含10,169个真实Python任务实例的数据集，覆盖2,531个不同的GitHub仓库。
  • 运行时环境支持：每个任务实例都配备了专用的Docker运行时环境镜像，支持自动化单元测试验证，确保生成的修复代码在实际运行环境中有效。
  • 高质量训练轨迹：通过智能体在任务求解过程中的多轮交互轨迹，生成高质量的训练样本，用于模型的微调。
• 模型训练与优化
  • 基于OpenHands框架：采用OpenHands代码智能体框架，支持多轮交互和长文本处理，能模拟真实开发场景中的代码修复过程。
  • 数据缩放定律：通过系统性验证，发现随着训练数据规模的增加，模型性能持续提升，验证了数据缩放定律在软件工程任务中的适用性。
  • 测试时扩展技术（TTS）：在推理阶段，通过增加独立rollout的数量（如N=8），进一步提升模型的性能，充分利用模型的推理能力。

Skywork-SWE-32B的项目地址

• HuggingFace模型库：https://huggingface.co/Skywork/Skywork-SWE-32B
• 技术论文：https://huggingface.co/Skywork/Skywork-SWE-32B/resolve/main/assets/Report.pdf

Skywork-SWE-32B的应用场景

• 优化代码质量：模型可以分析代码中的潜在问题，提出优化建议，帮助开发者提高代码质量和可维护性。
• 单元测试自动化：通过构建专用的运行时环境和单元测试验证机制，Skywork-SWE-32B能自动化执行测试用例，验证生成的修复代码是否有效。
• 教学辅助：在软件工程和编程课程中，Skywork-SWE-32B可以作为教学工具，帮助学生理解代码问题的解决过程，提高编程能力。
• 研究支持：为研究人员提供了强大的实验平台，用于探索大语言模型在软件工程任务中的应用，验证数据缩放定律等理论。
• 内部开发工具：企业可以将Skywork-SWE-32B集成到内部开发工具中，自动化处理代码问题，减少人工干预，提高开发效率和代码质量。