Category: AI项目和框架

ZenCtrl是什么

ZenCtrl 是 Fotographer AI 推出的 AI 图像生成工具，支持从单张图像生成高质量、多视角和多样化场景的图像，无需额外训练数据。基于先进算法和图像处理技术，支持实时元素再生，适用于产品摄影、虚拟试穿、人物肖像控制、插画等场景。ZenCtrl 为创意和商业领域中高效、灵活的视觉内容生成解决方案。

ZenCtrl的主要功能

• 多视角和多样化场景生成：从单张主题图像生成高质量、多视角和多样化场景的图像，无需额外训练数据。
• 实时元素再生：基于先进的图像处理技术，实时重新生成对象和主题，支持高分辨率和多场景生成。
• 高精度控制：提供对形状、姿势、相机角度和上下文的精确控制，确保图像生成的准确性和一致性。
• 多功能性：支持生成多种类型的图像，包括产品拍摄、CG 渲染、时尚图像、插画等，满足不同创意需求。
• 预处理与后处理：提供背景移除、抠图、去模糊、颜色校正等功能，提升图像生成的整体质量。

ZenCtrl的技术原理

• 主体驱动的生成：基于先进的 AI 模型生成多视角和多样化场景的图像。在不同的背景和视角下保持主题的一致性。
• 控制框架：基于控制框架，用户基于形状、姿势、相机角度等参数精确控制图像生成过程。
• 深度学习模型：基于深度学习模型实现高质量的图像生成。这些模型经过优化，在不依赖大规模训练数据的情况下生成高质量图像。
• 模块化设计：ZenCtrl 的架构是模块化的，支持多种任务，如背景生成、主体一致的上下文感知生成、多对象合并与融合等。让 ZenCtrl 灵活应用在不同的创意场景。

ZenCtrl的项目地址

• 项目官网：https://fotographer.ai/zenctrl
• GitHub仓库：https://github.com/FotographerAI/ZenCtrl
• HuggingFace模型库：https://huggingface.co/fotographerai/zenctrl
• 在线体验Demo：https://huggingface.co/spaces/fotographerai/ZenCtrl

ZenCtrl的应用场景

• 产品摄影：快速生成不同角度的产品图像，支持背景替换，节省拍摄成本。
• 虚拟试穿：实现服装、配饰等的虚拟试穿效果，适用时尚和电商领域。
• 人物肖像控制：精确调整人物姿势、表情和背景，适合创意摄影和广告制作。
• 插画与动画：生成高质量插画和动画素材，支持多样化场景。
• 广告与营销：快速创作广告图像和视频，提升内容创作效率。

PixelHacker是什么

PixelHacker 是华中科技大学和 VIVO AI Lab联合推出的图像修复（Image Inpainting）模型。基于引入潜在类别引导（Latent Categories Guidance, LCG）范式，分别对前景和背景进行编码，基于线性注意力将特征注入去噪过程中，实现结构和语义的一致性。模型基于大规模数据集（包含 1400 万图像 – 掩码对）进行预训练，在多个开源基准数据集（如 Places2、CelebA-HQ 和 FFHQ）上微调，展现出卓越的修复效果。

PixelHacker的主要功能

• 高质量图像修复：在自然场景、人脸图像等多种数据集上表现出色，生成逼真的修复内容。
• 结构和语义一致性：确保修复区域与周围环境在纹理、形状和颜色上自然过渡，逻辑上符合场景。
• 适应多种场景：对不同类型的图像（如风景、人脸、复杂背景）具有良好的适应性，支持多种分辨率和掩码类型。

PixelHacker的技术原理

• 潜在类别引导（LCG）：将图像分为前景和背景两部分，分别用在两个固定大小的嵌入（embeddings）编码潜在特征。方法避免对具体类别标签的依赖。在训练时，用多种掩码（如随机笔刷掩码、对象语义掩码、场景语义掩码等）构造图像-掩码对，分配到前景或背景嵌入中。
• 扩散模型架构：基于扩散模型（Diffusion Model）作为其生成框架。扩散模型基于逐步去噪的过程生成图像内容，生成高质量且多样化的图像。在去噪过程中，基于线性注意力（Linear Attention）将前景和背景的潜在特征注入到模型中。
• 训练和微调：在包含 1400 万图像掩码对的大规模数据集上进行预训练，学习到丰富的图像分布和语义信息。在预训练的基础上，PixelHacker 在多个开源基准数据集（如 Places2、CelebA-HQ 和 FFHQ）上进行微调，适应特定任务和数据分布，进一步提升性能。
• 多步交互：在去噪的每一步中，基于线性注意力将前景和背景的潜在特征与当前的图像特征进行交互，确保生成内容在结构和语义上与周围环境保持一致。
• 分类器自由引导（CFG）：在推理阶段，用分类器自由引导（Classifier-Free Guidance）技术，调整引导规模（guidance scale）平衡生成内容的多样性和一致性。

PixelHacker的项目地址

• 项目官网：https://hustvl.github.io/PixelHacker/
• GitHub仓库：https://github.com/hustvl/PixelHacker
• arXiv技术论文：https://arxiv.org/pdf/2504.20438

PixelHacker的应用场景

• 修复老旧照片：自动填补划痕、污渍或缺失部分，恢复照片完整性。
• 移除无关对象：从图像中去除不需要的元素（如行人、杂物），保持背景自然。
• 创意内容生成：辅助艺术家和设计师快速生成高质量图像，用于广告、海报或艺术创作。
• 医学影像修复：填补医学图像中的缺失或损坏区域，提升诊断准确性。
• 文化遗产保护：修复文物和古籍图像，填补缺失部分，助力文化传承。

LTXV-13B是什么

LTXV-13B 是Lightricks推出的开源 AI 视频生成模型，拥有 130 亿参数。具备极高的生成速度，比同类产品快 30 倍，能在普通消费级显卡（如 4090/5090）上运行，推理速度快且成本低。LTXV-13B基于多尺度渲染技术，生成视频流畅、细节丰富，适合影视、广告等创作者快速迭代和大规模生产。

LTXV-13B的主要功能

• 高效生成：速度提升30倍，支持消费级硬件运行。
• 多关键帧调节：支持对起始帧和结束帧进行精细调整。
• 文本转视频：根据文本描述生成对应的视频内容。
• 图像转视频：基于图像为基础生成动态视频。
• 摄像机控制：模拟推拉、变焦、摇臂、轨道等摄像机操作。
• 面部表情控制：对视频中人物的面部表情进行调整。

LTXV-13B的技术原理

• 多尺度渲染技术：基于多种空间分辨率分析场景，保留细节和理解整体结构。
• 高压缩率：用Video-VAE和去噪Transformer的无缝融合，实现1:192的压缩比，降低计算成本。
• 改进的GAN技术：引入GAN减少高压缩率下的模糊问题，用多层噪声注入、统一对数方差和视频DWT损失等技术，确保高频细节的重建。
• 整体式Latent Diffusion方法：将Video-VAE和去噪Transformer的任务无缝融合，共享去噪目标，提升生成效率。
• 文本和图像条件生成：支持文本和图像作为输入条件，基于预训练的T5-XXL文本编码器和扩散时间步作为条件指示器，简化生成流程。

LTXV-13B的项目地址

• 项目官网：https://www.lightricks.com/
• GitHub仓库：https://github.com/Lightricks/LTX-Video
• HuggingFace模型库：https://huggingface.co/Lightricks/LTX-Video

LTXV-13B的应用场景

• 影视制作：快速生成视频概念、特效和风格转换，提升制作效率。
• 广告与营销：快速生成创意广告视频，实现个性化内容定制。
• 游戏开发：生成游戏过场动画、角色动作和虚拟环境。
• 教育与培训：制作教育视频和虚拟培训场景，辅助教学与实践。
• 个人创作与娱乐：快速创作短视频、虚拟旅行视频和个性化故事。

BILIVE是什么

BILIVE 是基于 AI 技术的开源工具，专为 B 站直播录制与处理设计。工具支持自动录制直播、渲染弹幕和字幕，支持语音识别、自动切片精彩片段，生成有趣的标题和风格化的视频封面。BILIVE 能自动将处理后的视频投稿至 B 站，综合多种模态模型，兼容超低配置机器，无需 GPU 即可运行，适合个人用户和小型服务器使用。

BILIVE的主要功能

• 直播录制：自动录制B站直播，支持多房间同时录制，包含弹幕和礼物信息。
• 弹幕与字幕：自动渲染弹幕，支持语音识别生成字幕。
• 自动切片：根据弹幕密度提取精彩片段，生成标题。
• 封面生成：自动生成风格化的视频封面。
• 自动投稿：支持将视频投稿至B站，兼容分P上传。
• 低硬件需求：无需GPU，适合超低配置机器运行。

如何使用BILIVE

• 克隆项目：在终端中运行以下命令，克隆项目、初始化子模块：

git clone --recurse-submodules https://github.com/timerring/bilive.git
cd bilive

• 安装依赖：在项目目录下安装Python依赖，确保安装了ffmpeg：

pip install -r requirements.txt

• 配置与启动：
  • 核心配置：设置语音识别（ASR）、切片模型（MLLM）、封面生成（Image Gen）的API Key和模式。配置视频上传信息（标题、简介模板、分区tid等）。
  • 录制配置：添加要录制的房间号room_id。设置录制时长duration_limit等参数。
  • 登录：
    • 使用bilitool登录：

bilitool login --export

• • • 或者在子模块中登录：

cd src/upload/bilitool
python -m bilitool.cli login

• • 设置录制页面密码：设置环境变量RECORD_KEY。

export RECORD_KEY=your_password

• • 启动录制：

./record.sh

• • 启动处理和上传：

./upload.sh

BILIVE的项目地址

• GitHub仓库：https://github.com/timerring/bilive

BILIVE的应用场景

• UP主内容创作：自动录制直播，生成弹幕、字幕、切片和封面，快速投稿至B站。
• 多平台推流：支持7×24小时循环推流，同时管理多个直播间。
• 精彩片段提取：智能识别高能片段，生成吸引人标题，助力内容推广。
• 低配置友好：无需GPU，适合老旧设备运行，自动清理节省空间。
• 学习研究：录制数据可用于分析，开源代码便于技术学习。

LegoGPT是什么

LegoGPT 是卡内基梅隆大学推出的乐高积木设计模型，支持基于文本提示生成物理稳定且能构建的乐高积木模型。LegoGPT 基于自回归语言模型和大规模乐高设计数据集进行训练，根据用户输入的文本描述逐步生成乐高结构，确保设计的稳定性和可组装性。LegoGPT 支持为乐高模型添加纹理和颜色，生成的模型能手动组装或用机器人自动组装。LegoGPT 为乐高设计提供高效且富有创意的生成方式，推动AI在物理世界中的应用。

LegoGPT的主要功能

• 文本生成乐高设计：根据用户输入的文本描述（如“一个带有四个直腿的椅子”），生成物理稳定且能构建的乐高积木模型。
• 物理稳定性验证：实时检查生成的乐高结构是否稳定，若不稳定则自动回滚重新生成。
• 纹理和上色功能：为生成的乐高模型添加纹理和颜色。
• 自动组装支持：生成的乐高设计适合手工组和机器人自动组装。

LegoGPT的技术原理

• 自回归语言模型：基于自回归语言模型作为基础架构。将乐高设计任务转化为一个序列生成问题，基于预测下一个积木的放置位置和尺寸逐步构建乐高结构。
• 物理感知的回滚机制：在生成过程中，实时检查生成的乐高结构是否符合物理稳定性要求。如果发现不稳定的部分，模型回滚到最近的稳定状态，重新生成后续的积木，确保最终设计的稳定性。
• 文本到乐高的映射：基于自然语言处理技术理解文本中的几何和结构信息，转化为乐高积木的放置指令。
• 大规模数据集训练：LegoGPT 的训练数据集包含大量的乐高结构和对应的文本描述。基于在这些数据上进行训练，模型能学习到如何从文本生成稳定且多样化的乐高设计。

LegoGPT的项目地址

• 项目官网：https://avalovelace1.github.io/LegoGPT/
• GitHub仓库：https://github.com/AvaLovelace1/LegoGPT/
• arXiv技术论文：https://arxiv.org/pdf/2505.05469
• 在线体验Demo：https://huggingface.co/spaces/cmu-gil/LegoGPT-Demo

LegoGPT的应用场景

• 创意设计：帮助设计师快速生成乐高原型，验证创意。
• 教育工具：激发学生创造力，学习物理和空间知识。
• 玩具开发：为乐高爱好者生成个性化模型。
• 自动化组装：支持机器人自动组装乐高，提高效率。
• 虚拟现实：为 VR 和游戏生成逼真的乐高模型。

Seed-Coder是什么

Seed-Coder是字节跳动开源的8B规模代码模型系列，提升代码生成与理解能力。包含Base、Instruct和Reasoning三个版本，分别适用于代码补全、指令遵循和复杂推理任务。模型采用“模型中心”数据处理方式，通过自身生成和筛选高质量数据，减少人工预处理工作量。上下文长度达32K，性能在同等规模开源模型中领先。Seed-Coder使用宽松的MIT开源协议，代码已发布在Hugging Face，方便开发者使用和研究。

Seed-Coder的主要功能

• 代码补全：Seed – Coder 的 Base 版本能根据已有的代码片段预测后续代码。例如在编写一个函数时，当输入了部分函数定义如函数名和部分参数，能自动补全剩余的参数和函数体的初步框架。
• 代码填充：对于一些有缺失部分的代码（比如在一个代码模板中有预留的空白区域），模型可以生成合适的代码来填充这些空白。比如在一个 Web 开发框架的代码模板中，可以根据上下文逻辑生成对应的 HTML 渲染代码片段或者后端逻辑代码片段，使代码模板能完整地工作。
• 代码注释生成：能理解代码的功能，为其生成相应的注释。对于代码的可读性和维护性非常重要。例如，给定一段复杂的算法代码，Seed – Coder 可以生成描述算法主要步骤、输入输出等关键信息的注释，帮助其他开发者更快地理解代码逻辑。
• 代码相似性判断：可以判断两段代码在逻辑上是否相似。在软件开发过程中用于检测代码抄袭、重复代码片段等场景很有用。通过比较不同模块的代码相似性，可以优化代码结构，避免冗余代码的产生。
• 多步推理编程：在解决复杂的编程问题，如算法竞赛中的难题或者需要多步逻辑推理的数据处理问题时，Seed – Coder 的 Reasoning 版本能进行长链条的思维推理。会逐步分析问题，生成中间的逻辑步骤代码，最终得到完整的解决方案。
• 代码优化建议：基于对代码逻辑的深入理解。模型可以为现有代码提供优化建议。包括改进算法效率、优化数据结构使用等方面。

Seed-Coder的技术原理

• 基于 Llama 3 结构：Seed-Coder 采用 Llama 3 架构，参数量为 8.2B，包含 6 层，隐藏层大小为 4096，采用分组查询注意力（GQA）机制。
• 长上下文支持：通过仓库级代码拼接，模型能处理 32K 超长代码文件，轻松应对复杂项目。
• “模型中心” 数据处理：Seed-Coder 提出了一种“模型中心”的数据处理方式，使用模型自身来策划和筛选数据。
• 数据来源与分类：
  • 文件级代码：来自 GitHub 的单个代码文件，经过处理后保留高质量代码内容。
  • 仓库级代码：基于仓库结构的代码文件，保留项目结构信息，使模型能学习到代码间的关系。
  • Commit 数据：包含提交信息、仓库元数据、相关文件和代码补丁，涵盖 14 万个高质量仓库的 7400 万次提交。
  • 代码相关网络数据：从网络存档中提取的包含代码块或高度相关的文档。
• 预处理：在仓库和文件两个层级实施去重，使用 SHA256 哈希进行精确去重，通过 MinHash 算法进行近似去重。用 Tree-sitter 等语法解析器检查剩余文件，丢弃包含语法错误的文件。
• 质量过滤：使用经过 22 万 + 份代码文档特殊训练的评分模型来过滤低质量代码文件。评分模型以 DeepSeek-V2-Chat 为基础，评价指标包括可读性、模块性、清晰度和可重用性。
• 训练方法
  • 常规预训练：使用文件级代码和代码相关网络数据，构建模型的基础能力。
  • 持续预训练：使用所有四个类别的数据，并额外引入高质量数据集和长上下文数据集，以增强性能并进行对齐。
  • 填空训练法（FIM）：把代码随机拆成前缀、中缀、后缀，让模型学会“补全中间缺漏”，提升代码补全能力。
  • 推理能力训练：推理模型采用长链条思维（LongCoT）强化学习训练，让模型先写解题思路，再生成代码，并通过反复试错优化逻辑链。

• 指令模型（-Instruct）：增强模型的指令遵循能力，训练分为监督微调（SFT）和直接偏好优化（DPO）两个阶段。
• 推理模型（-Reasoning）：提升模型在复杂编程任务中的多步推理能力。

Seed-Coder的项目地址

• 项目官网：https://bytedance-seed-coder.github.io/
• Github仓库：https://github.com/ByteDance-Seed/Seed-Coder
• HuggingFace模型库：https://huggingface.co/collections/ByteDance-Seed/seed-coder

Seed-Coder的应用场景

• 编程开发：在编程开发过程中，Seed-Coder 可以根据开发者的意图生成代码片段，或自动完成代码，提高开发效率。
• 编程教育辅助 ：在编程教育领域，Seed-Coder 可以作为一个强大的辅助工具，帮助学生更好地理解编程概念，提供实时反馈和指导。
• 错误检测与修复 ：Seed-Coder 可以检测代码中的错误，并提供修复建议，减少开发过程中的调试时间。
• 软件开发效率提升 ：企业可以用 Seed-Coder 在软件开发过程中，快速生成和优化代码，提高开发效率，缩短项目周期。

Scenethesis是什么

Scenethesis 是 NVIDIA 推出的创新框架，用在从文本生成交互式 3D 场景。框架结合大型语言模型（LLM）和视觉感知技术，基于多阶段流程实现高效生成，用 LLM 进行粗略布局规划，基于视觉模块细化布局生成图像指导，用优化模块调整物体姿态确保物理合理性，基于判断模块验证场景的空间连贯性。Scenethesis 能生成多样化的室内外场景，具有高度的真实感和物理合理性，广泛应用在虚拟内容创作、仿真环境和具身智能研究等领域。

Scenethesis的主要功能

• 文本生成3D场景：用户输入文本描述，AI自动生成对应的3D场景。
• 物理合理性：生成的场景物体不会相互穿透，能稳定放置，符合物理规则。
• 用户交互：用户能调整物体位置、大小等，场景实时更新。
• 多样化场景与物体库：支持多种室内外场景，包含丰富3D模型供选择。
• 场景验证：自动检查场景质量，必要时重新生成优化，确保高质量输出。

Scenethesis的技术原理

• 粗略布局规划（LLM模块）：用户输入文本描述后，LLM对文本进行解析，理解场景的主题和关键元素。LLM从预定义的3D模型库中选择与场景描述相关的物体，生成一个粗略的布局计划。LLM生成详细的提示，描述场景中物体的初步位置和关系，为后续的视觉细化提供基础。
• 视觉细化（视觉模块）：根据LLM生成的提示，视觉模块（如基于扩散模型的图像生成器）生成详细的图像，作为场景布局的视觉指导。基于预训练的视觉基础模型（如Grounded-SAM和DepthPro）对生成的图像进行分割和深度估计，提取场景图，包括物体的3D边界框和空间关系。根据场景图和提示，从3D模型库中检索与场景描述匹配的3D物体模型。
• 物理优化（物理优化模块）：基于语义对应匹配技术（如RoMa）对3D模型和图像指导中的物体进行姿态对齐，确保物体的位置、尺寸和方向与图像指导一致。用有符号距离场（SDF）技术检测物体之间的碰撞，调整物体的位置和尺寸，避免碰撞。
• 场景验证（场景验证模块）：基于预训练的语言模型评估生成场景的空间连贯性，确保物体的位置和关系符合常识。如果评估结果不满足要求，系统将触发重新规划和优化过程，直到生成的场景达到高质量标准。

Scenethesis的项目地址

• 项目官网：https://research.nvidia.com/labs/dir/scenethesis/
• arXiv技术论文：https://arxiv.org/pdf/2505.02836

Scenethesis的应用场景

• 虚拟现实（VR）/增强现实（AR）：创建沉浸式虚拟环境，如虚拟旅游或展厅。
• 游戏开发：快速生成游戏关卡和虚拟世界，提高开发效率。
• 具身智能：为AI训练提供逼真的虚拟场景，如家庭环境。
• 虚拟内容创作：生成电影、动画或广告的场景原型，加速创作流程。
• 教育和培训：模拟实验室或培训场景，用于教学和技能练习。

Mogao是什么

Mogao是字节跳动Seed团队推出的交错多模态生成全基础模型。在架构上采用了双视觉编码器，结合变分自编码器（VAE）和视觉变换器（ViT），能更好地进行视觉理解并改善图像生成的上下文对齐。Mogao引入了交错旋转位置嵌入（IL-RoPE），用于捕捉图像的二维空间位置信息和多模态数据的时间位置关系，通过多模态无分类器引导技术进一步提升生成质量和一致性。

Mogao的主要功能

• 多模态理解和生成：Mogao 能处理文本和图像的交错序列，实现高质量的多模态理解和生成。可以在给定文本描述的情况下生成高质量图像，能在给定图像的情况下生成相关的文本内容。在多模态理解任务中，文本标记会关注历史序列中的视觉变换器（ViT）标记和文本标记，更好地理解图像内容。
• 零样本图像编辑与组合生成：Mogao 展现出强大的零样本图像编辑能力，能在没有额外训练的情况下对图像进行编辑和修改。具备组合生成能力，可以将不同的元素组合在一起生成新的图像，具有很强的一致性和连贯性。
• 高质量图像生成：Mogao 在图像生成方面表现出色，在真实感、图形设计、动漫、插图等多个风格分类上表现优异。支持最高 2K 分辨率的图像生成，能生成具有高细节和高质量的图像。
• 文本渲染能力：Mogao 在文本渲染方面有显著提升，文本可用率高达 94%，有效解决以往图像生成中中文字渲染难题。

Mogao的技术原理

• 双视觉编码器：Mogao 使用变分自编码器（VAE）和视觉变换器（ViT）作为视觉编码器。当图像作为条件输入时，同时提取 VAE 和 ViT 的视觉特征，将它们附加到历史序列中。对于多模态理解任务，文本标记仅关注 ViT 标记和文本标记；对于多模态生成任务，噪声 VAE 标记会关注历史序列中的所有标记。
• 深度融合架构：基于预训练的大语言模型（LLM），Mogao 使用统一的自注意力层同时处理视觉和文本序列，在前馈网络（FFN）中使用不同的多层感知机（MLP）来分别处理视觉和文本模态。
• 交错旋转位置嵌入（IL-RoPE）：用于捕捉图像的二维空间位置信息和多模态数据的时间位置关系，模型能更好地处理交错的文本和图像序列。
• 混合分辨率训练：在不同宽高比和分辨率的图像上进行预训练和微调，从低分辨率（如 256²）到高分辨率（如 2048²），引入尺寸嵌入使模型能够感知目标分辨率。
• 跨模态 RoPE：将文本 token 视为二维 token，应用二维 RoPE，进一步增强视觉和文本 token 的对齐效果。
• 后训练阶段：包括持续训练（CT）、监督微调（SFT）、人工反馈对齐（RLHF）和提示工程（PE），提升模型的性能和可控性。
• 缺陷感知型训练范式：引入缺陷检测器，精确定位缺陷区域，通过掩码隐含空间优化，有效扩展训练数据集。
• Hyper-SD 和 RayFlow：优化生成路径，引导每个数据点至特定实例的目标分布，减少路径碰撞，提高生成稳定性和样本多样性。
• 重要性采样机制：学习在训练过程中关注最关键的时间步，支持高效的少步数采样，不影响生成质量。

Mogao的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2505.05472

Mogao的应用场景

• 内容创作：Mogao 能根据文本描述生成高质量的图像，也可以根据图像生成相关的文本描述。
• 智能助手：Mogao 可以结合语音、图像和文本等多种模态，实现更自然、更智能的人机交互。
• 图像和文本的相互检索：用户可以通过输入文本描述来查找相关的图像，或者通过上传图像来获取相关的文本描述。
• 虚拟现实与增强现实：Mogao 可以用于生成虚拟环境和互动元素，提升虚拟现实和增强现实的用户体验。
• 医疗影像分析：Mogao 可以将不同模态的医疗影像（如 MRI、CT、超声波等）与文本描述相结合，提高疾病诊断的准确性和早期发现能力。

FlowGram是什么

FlowGram是字节跳动开源的基于节点编辑的可视化工作流搭建引擎，帮助开发者快速构建固定布局或自由连线布局的工作流。支持两种布局模式：固定布局适合顺序工作流和决策树，提供层次化结构和灵活的分支、复合节点；自由布局支持节点自由定位和手动连线，适合网络图和思维导图，支持对齐、自动布局等功能。FlowGram提供丰富的交互功能，如动画过渡、手势缩放、撤销重做等，可将工作流导出为图片或代码。

FlowGram的主要功能

• 双布局模式
  • 固定布局：节点被约束在预设网格中，适合流程标准化、有清晰层级的场景，如企业审批、订单处理等，还能自动生成代码骨架。
  • 自由布局：节点位置更随意，连接线自由，适合思维导图、算法原型等场景，可实现流程图和代码之间的实时双向同步。
• 交互功能
  • 提供 Motion 动画，让节点变化有过渡过程。
  • 支持模块化，可进行分组及分支折叠。
  • 提供批量操作，如框选拖拽、批量复制粘贴。
  • 支持布局切换，包括水平/垂直模式切换。
  • 辅助排版功能，如参考线、吸附对齐、自动整理、缩略图等。
• AI 赋能
  • 具备智能建议功能，例如在做数据清洗节点时，能推荐下一步可能的操作。
  • 能进行风险预测，可在流程测试阶段拦截高达 83% 的类型错误和 64% 的潜在无限循环风险。
  • 搭建好的流程可自动生成文档。
• 扩展性
  • 提供画布引擎、节点引擎、变量引擎等核心组件，开发者可以在此基础上构建自己的业务逻辑和自定义节点。
  • 通过将画布的交互分层及 IOC 依赖注入实现扩展，开发者可通过依赖注入监听自己想要的节点数据。
  • 变量引擎具有作用域约束功能，且内部大量功能都以插件化形式开放。
• 导出功能：工作流可以导出为图片或代码。

FlowGram的技术原理

• 画布引擎（Canvas Engine）：负责文档管理、节点渲染和用户交互，如拖拽、缩放等，为固定布局和自由布局提供基础。
• 节点引擎（Node Engine）：管理节点数据，支持表单渲染、校验和动态表单渲染，实现复杂节点配置。
• 变量引擎（Variable Engine）：管理节点间数据流，通过作用域和类型管理，使用抽象语法树（AST）表示变量及其关系。
• 插件系统（Plugin System）：通过模块化架构扩展编辑器功能，不同布局类型可注册不同插件。
• 基于 Canvas 的自研渲染引擎：针对流程图优化，支持大量节点（200+节点保持60FPS），采用类似 ECS 的数据分割和 MobX 的响应式机制，确保高效渲染。
• Web Worker 并行化：将耗时计算移至后台线程，避免阻塞主线程，保持界面响应。
• 智能缓存：提升加载速度40%，使大型项目快速打开。
• ECS 架构：采用实体组件系统（ECS）架构，将数据（组件）与实体解耦，提高性能和可扩展性。
• 依赖注入（IOC）：使用 Inversify 实现依赖注入，支持动态服务注册，便于插件架构和组件解耦。

FlowGram的项目地址

• 项目官网：flowgram.ai
• Github仓库：https://github.com/bytedance/flowgram.ai

FlowGram的应用场景

• 项目管理：适用于标准化的业务流程，如企业审批流程、订单处理流程等。通过固定布局，可以清晰地展示任务的步骤和分工，确保流程的规范性和一致性。
• 软件开发：适合算法原型设计、代码流程图绘制等场景。节点可以任意放置，连线自由绘制，支持实时流程图与代码双向同步。
• 教学演示：教师可以使用节点式工作流来讲解复杂的概念，如算法逻辑、数据处理流程等，将流程图导出分享给学生，帮助学生更好地理解和学习。
• 企业流程自动化：在企业中，固定布局可以用于构建决策树、自动化任务等，降低人工操作的错误率，提高处理速度。
• AI 和机器学习：适合构建复杂的 AI Bot 对话逻辑、工具调用流程等。自由布局的灵活性使其能够适应多模型组合的复杂调用。

SuperEdit是什么

SuperEdit是字节跳动智能创作团队和佛罗里达中央大学计算机视觉研究中心联合推出的指令引导图像编辑方法，基于优化监督信号提高图像编辑的精度和效果。SuperEdit基于纠正编辑指令，与原始图像和编辑图像对更准确地对齐，引入对比监督信号，进一步优化模型训练。SuperEdit不需要额外的视觉语言模型（VLM）或预训练任务，仅依赖高质量的监督信号，在多个基准测试中实现显著的性能提升。

SuperEdit的主要功能

• 高精度图像编辑：根据自然语言指令对图像进行精确编辑，支持全局、局部、风格等多种类型的编辑任务。
• 高效训练：在少量训练数据和较小模型规模下实现高性能，降低训练成本。
• 保留原始图像质量：在执行编辑任务时，最大限度地保留原始图像的结构和细节，避免不必要的修改。

SuperEdit的技术原理

• 扩散模型的生成属性：基于扩散模型在不同推理阶段的生成属性来指导编辑指令的纠正。扩散模型在早期阶段关注全局布局，在中期阶段关注局部对象属性，在后期阶段关注图像细节，风格变化贯穿整个采样过程。
• 编辑指令纠正：基于输入原始图像和编辑图像对到视觉语言模型（VLM），生成描述两者差异的编辑指令。定义统一的纠正指南，确保生成的编辑指令更准确地反映原始图像和编辑图像之间的实际变化。
• 对比监督信号：引入对比监督信号。通过生成错误的编辑指令，创建正负样本对，用三元组损失函数训练模型，更好地区分正确的编辑指令和错误的指令。
• 高效训练策略：SuperEdit在训练过程中用少量高质量的编辑数据，避免大规模数据集带来的计算负担。基于优化监督信号，在少量数据和较小模型规模下实现与复杂架构相当甚至更好的性能。
• 模型架构：基于InstructPix2Pix框架，用预训练的扩散模型（如Stable Diffusion）作为基础模型，基于纠正编辑指令和对比监督信号进行微调。

SuperEdit的项目地址

• 项目官网：https://liming-ai.github.io/SuperEdit/
• GitHub仓库：https://github.com/bytedance/SuperEdit
• HuggingFace模型库：https://huggingface.co/datasets/limingcv/SuperEdit
• arXiv技术论文：https://arxiv.org/pdf/2505.02370

SuperEdit的应用场景

• 内容创作与设计：用在广告设计、社交媒体图像创作等，快速生成符合特定风格或主题的图像，提升内容吸引力。
• 影视与娱乐：在影视特效制作、角色设计中，快速调整场景和角色外观，加速影视制作流程。
• 游戏开发：快速编辑游戏角色和场景，生成概念艺术，提高游戏开发效率。
• 教育与培训：制作教学材料、虚拟实验室图像，辅助教学和研究，增强学习效果。
• 医疗与健康：处理医学图像、制作健康宣传材料，支持医疗教学和健康推广。