Blog

OpenELM是什么

OpenELM是Apple苹果公司最新推出的系列高效开源的语言模型，包括OpenELM-270M、OpenELM-450M、OpenELM-1_1B和OpenELM-3B不同参数规模的版本（分为预训练版和指令微调版）。该大模型利用层间缩放策略在Transformer模型的每一层中进行参数的非均匀分配，以此提高模型的准确度和效率。该模型在公共数据集上进行了预训练，并且在多个自然语言处理任务上展现出了优异的性能。OpenELM的代码、预训练模型权重以及训练和评估流程全部开放，旨在促进开放研究和社区的进一步发展。

OpenELM的基本信息

• 参数规模：OpenELM总共有八个模型，其中四个是预训练的，四个是指令微调的，涵盖了 2.7 亿到 30 亿个参数之间的不同参数规模（270M、450M、1.1B和3B）。
• 技术架构：OpenELM采用了基于Transformer的架构，使用了层间缩放（layer-wise scaling）策略，通过调整注意力头数和前馈网络（FFN）的乘数来实现参数的非均匀分配。该模型采用了分组查询注意力（Grouped Query Attention, GQA）代替多头注意力（Multi-Head Attention, MHA），使用SwiGLU激活函数代替传统的ReLU，以及RMSNorm作为归一化层。
• 预训练数据：OpenELM使用了多个公共数据集进行预训练，包括RefinedWeb、deduplicated PILE、RedPajama的子集和Dolma v1.6的子集，总计约1.8万亿个token。
• 开源许可：OpenELM的代码、预训练模型权重和训练指南都是在开放源代码许可证下发布的。此外，苹果还发布了将模型转换为 MLX 库的代码，从而在苹果设备上进行推理和微调。

OpenELM的官网入口

• arXiv研究论文：https://arxiv.org/abs/2404.14619
• GitHub模型权重和训练配置：https://github.com/apple/corenet
• 指令微调版模型Hugging Face地址：https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca
• 预训练版模型Hugging Face地址：https://huggingface.co/collections/apple/openelm-pretrained-models-6619ac6ca12a10bd0d0df89e

OpenELM的技术架构

• Transformer架构：OpenELM采用了仅解码器（decoder-only）的Transformer模型架构，这是一种在自然语言处理中广泛使用的架构，特别适用于处理序列数据。
• 层间缩放（Layer-wise Scaling）：OpenELM通过层间缩放技术有效地在模型的每一层分配参数。这意味着模型的早期层（接近输入端）使用较小的注意力维度和前馈网络维度，而接近输出端的层则逐渐增加这些维度的大小。
• 分组查询注意力（Grouped Query Attention, GQA）：OpenELM使用了GQA代替传统的多头注意力（Multi-Head Attention, MHA）。GQA是一种注意力机制的变体，旨在提高模型处理长距离依赖的能力。
• RMSNorm归一化：OpenELM使用了RMSNorm作为其归一化层，一种有助于稳定训练过程的技术。
• SwiGLU激活函数：在前馈网络（Feed Forward Network, FFN）中，OpenELM使用了SwiGLU激活函数，一种门控激活函数，有助于模型捕捉复杂的模式。
• RoPE位置编码：为了编码位置信息，OpenELM使用了旋转位置编码（Rotary Positional Embedding, RoPE），一种可以处理序列中元素顺序的编码方式。
• Flash注意力：在计算缩放点积注意力（scaled dot-product attention）时，OpenELM使用了Flash注意力，这是一种快速且内存高效的注意力计算方法。

OpenELM的性能表现

研究人员将OpenELM与PyThia、Cerebras-GPT、TinyLlama、OpenLM、MobiLlama和OLMo等模型进行了比较。在相似的模型大小下，OpenELM在ARC、BoolQ、HellaSwag、PIQA、SciQ和WinoGrande等主流的任务测试中的多数任务上展现出了更高的准确度。尤其是，与OLMo模型相比，OpenELM在参数数量和预训练数据更少的情况下，准确率依然更高。

Arctic是什么

Arctic是由云计算巨头Snowflake的AI研究团队开发的一款高效、开源的企业级大型语言模型，该大模型是一个拥有480亿（480B）的参数规模，由128个细粒度的专家构成的混合专家模型（MoE）模型。在成本效益、训练效率和推理效率方面具有显著优势，特别适合执行企业任务，如SQL生成、编程和指令遵循。Arctic采用Apache 2.0许可，提供对模型权重和代码的开放访问，并开源了数据集和研究洞察。

Arctic的主要特点

• 参数规模：Arctic拥有480亿参数，但在推理时仅激活170亿参数，以提高效率。
• 技术架构：采用混合架构，结合了密集变换器（Dense Transformer）和128个专家的MoE模型，每个专家有3.66亿参数。
• 上下文窗口：模型训练时使用4K的注意力上下文窗口，并计划扩展至32K，以支持更长序列的处理。
• 训练成本：Arctic的训练计算预算大约在200万美元以下（即少于3000个GPU周）即可达到顶级大模型的能力
• 模型许可：Arctic在开放的Apache 2.0许可下发布，允许自由使用和修改。
• 主要用途：专为企业设计，擅长执行SQL生成、编程和指令遵循等任务，适合创建定制企业模型。

Arctic的模型架构

• 架构组成：Arctic采用了Dense-MoE Hybrid Transformer架构，这种架构结合了密集变换器（Dense Transformer）和混合专家模型（MoE）的特点。
• 密集变换器规模：模型包含一个具有10B（10 billion，即10亿）参数的密集变换器模型。
• MoE架构规模：在MoE部分，Arctic设计了128个细粒度的专家，每个专家拥有3.66B（3.66 billion，即36.6亿）参数。因此，MoE部分的总参数量为128×3.66B，即约470B（470 billion，即4700亿）参数。
• 总参数量：结合密集变换器和MoE部分，Arctic的总参数量达到了480B（480 billion，即4.8万亿）参数。
• 活跃参数选择：在推理过程中，Arctic使用top-2门控机制从128个专家中选择两个最合适的专家，这意味着在任何给定时间，大约有17B（17 billion，即170亿）的参数是活跃的。
• 通信与计算重叠：为了提高训练效率，Arctic的架构设计允许在训练过程中将专家间的通信开销与计算任务重叠，从而隐藏了通信开销。
• 推理效率：在小批量（如批量大小为1）的交互式推理中，Arctic模型的内存读取次数比Code-Llama 70B少4倍，比Mixtral 8x22B少2.5倍，这有助于提高推理性能。
• 系统优化：Arctic与NVIDIA合作，利用TensorRT-LLM和vLLM团队的技术，为Arctic提供了初步的推理实现，并通过FP8量化技术，使得Arctic可以在单个GPU节点上运行。
• 注意力上下文窗口：Arctic训练时使用的注意力上下文窗口为4K，团队正在开发基于attention-sinks的滑动窗口实现，以支持无限序列生成能力，未来计划扩展到32K注意力窗口。

Arctic的性能表现

Snowflake将Arctic与DBRX、Llama、Mixtral等模型在企业指标和学术指标方面的基准测试进行了对比，Arctic在企业智能指标上表现更好，在如MMLU等通用知识基准上的性能可能略低于一些最新模型，但它在这些基准上仍然保持了竞争力。

企业指标：与所有其他开源模型相比，Arctic 都表现出顶级性能，这些任务包括：

• 编码（Coding）：通过HumanEval+ 和 MBPP+ 基准测试编码能力。
• SQL生成（SQL Generation）：使用Spider基准测试SQL查询生成能力。
• 指令遵循（Instruction Following）：IFEval基准测试遵循复杂指令的能力。

如何使用Arctic

Snowflake Arctic 现已可从 Hugging Face、Replicate 等平台使用，后续将在包括 Snowflake Cortex、Amazon Web Services (AWS)、Microsoft Azure、NVIDIA API Catalog、Lamini、Perplexity 和 Together 等在内的平台陆续上线。

• 官方模型主页：https://www.snowflake.com/en/data-cloud/arctic/
• Hugging Face模型空间：https://huggingface.co/Snowflake/snowflake-arctic-instruct
• Replicate模型地址：https://replicate.com/snowflake/snowflake-arctic-instruct
• GitHub仓库：https://github.com/Snowflake-Labs/snowflake-arctic

Hyper-SD是什么

Hyper-SD是由字节跳动的研究人员推出的一个高效的图像合成框架，旨在解决现有扩散模型在多步推理过程中计算成本高昂的问题。Hyper-SD通过轨迹分割一致性蒸馏（TSCD）技术，在不同时间段内保持数据的一致性，从而有效保留了原始的ODE（常微分方程）轨迹。此外，它还融入了人类反馈学习，优化了在低步数推理情况下的模型性能，并利用分数蒸馏进一步提升了单步推理的图像质量。该框架能够在保持高图像质量的同时，大幅减少必要的推理步骤，实现快速生成高分辨率图像，进一步推动了生成AI领域的发展。

Hyper-SD的官网入口

• 官方项目主页：https://hyper-sd.github.io/
• Hugging Face模型地址：https://huggingface.co/ByteDance/Hyper-SD
• arXiv研究论文：https://arxiv.org/abs/2404.13686
• Hyper-SD T2I版Demo：https://huggingface.co/spaces/ByteDance/Hyper-SDXL-1Step-T2I
• Hyper-SD 涂鸦版Demo：https://huggingface.co/spaces/ByteDance/Hyper-SD15-Scribble

Hyper-SD的工作原理

• 轨迹分割一致性蒸馏（TSCD）：将训练时间步长范围[0, T]划分为k个均匀的时间段。在每个时间段内部执行一致性蒸馏，使用原始模型作为教师，学生模型逐步学习教师模型的行为。通过逐步减少时间段的数量（如8 → 4 → 2 → 1），训练学生模型以逼近教师模型的全局行为。
• 人类反馈学习（ReFL）：利用人类对图像的偏好反馈来优化模型。训练奖励模型，使其能够识别并奖励更符合人类审美的图像。通过迭代去噪和直接预测，结合奖励模型的反馈，微调学生模型。
• 分数蒸馏：使用真实分布和假分布的得分函数来指导单步推理过程。通过最小化两个分布之间的KL散度，优化学生的单步生成性能。
• 低秩适应（LoRA）：使用LoRA技术来适配和训练学生模型，使其成为一个轻量级的插件，可以快速部署和使用。
• 训练和损失函数优化：定义损失函数，结合一致性损失、人类反馈损失和分数蒸馏损失。使用梯度下降等优化算法来训练学生模型，同时更新LoRA插件。
• 推理和图像生成：在训练完成后，使用学生模型进行图像生成的推理过程。根据应用场景的需求，选择适当的推理步骤数量，以平衡生成质量和效率。
• 性能评估：使用定量指标（如CLIP分数、美学分数）和定性指标（如用户研究）来评估生成图像的质量。根据评估结果，进一步调整和优化模型参数。