Blog

CogVideoX是什么

CogVideoX是智谱AI最新推出的开源AI视频生成模型，与智谱AI的商业产品“ 清影 ”同源。CogVideoX支持英文提示词，能生成6秒长、每秒8帧、分辨率为720*480的视频。模型推理需7.8-26GB显存，目前不支持量化推理和多卡推理。项目还包括3D Causal VAE组件用于视频重建，以及丰富的示例和工具，包括CLI/WEB Demo、在线体验、API接口示例和微调指南。

CogVideoX的主要功能

• AI文生视频：支持用户输入的文本提示词生成视频内容。
• 低显存需求：在 INT8 精度下，推理显存需求仅为 7.8GB，即使用 1080 Ti 显卡也可以完成推理。
• 视频参数定制：可以定制视频长度、帧率和分辨率，目前支持6秒长视频，8帧/秒，分辨率为720*480。
• 3D Causal VAE技术：使用3D Causal VAE技术，实现视频内容的高效重建。
• 推理与微调：模型支持基本的推理生成视频，同时提供了微调能力，以适应不同需求。

CogVideoX的技术原理

• 文本到视频生成：CogVideoX使用深度学习模型，特别是基于Transformer的架构，来理解输入的文本提示并生成视频内容。
• 3D Causal VAE：CogVideoX采用了3D Causal Variational Autoencoder（变分自编码器），一种用于视频重建和压缩的技术，能够几乎无损地重构视频，减少存储和计算需求。
• 专家Transformer：CogVideoX使用专家Transformer模型，一种特殊的Transformer，通过多个专家处理不同的任务，例如空间和时间信息的处理，以及控制信息流动等。
• 编码器-解码器架构：在3D VAE中，编码器将视频转换成简化的代码，而解码器根据这些代码重建视频，潜在空间正则化器确保编码和解码之间的信息传递更准确。
• 混合时长训练：CogVideoX的训练过程采用混合时长训练，允许模型学习不同长度的视频，提高泛化能力。
• 多阶段训练：CogVideoX的训练分为几个阶段，包括低分辨率预训练、高分辨率预训练和高质量视频微调，逐步提升模型的生成质量和细节。
• 自动和人工评估：CogVideoX使用自动评估和人工评估相结合的方式，确保生成的视频质量达到预期。

CogVideoX的项目地址

• 智谱清影体验：https://ai-bot.cn/chatglm-video/
• CogVideoX-2B模型地址：
  • HuggingFace模型库：https://huggingface.co/THUDM/CogVideoX-2b
  • 魔搭社区模型库：https://modelscope.cn/models/ZhipuAI/CogVideoX-2b
• CogVideoX-5B模型地址：
  • HuggingFace模型库：https://huggingface.co/spaces/THUDM/CogVideoX-5B
  • 魔搭社区模型库：https://modelscope.cn/models/ZhipuAI/CogVideoX-5b
• GitHub仓库：https://github.com/THUDM/CogVideo
• arXiv技术论文：https://arxiv.org/pdf/2408.06072

CogVideoX-2B 与 CogVideoX-5B参数对比

CogVideoX的性能评估

为了评估文本到视频生成的质量，我们使用了VBench中的多个指标，如人类动作、场景、动态程度等。我们还使用了两个额外的视频评估工具：Devil 中的 Dynamic Quality 和 Chrono-Magic 中的 GPT4o-MT Score，这些工具专注于视频的动态特性。如下表所示。

CogVideoX的应用场景

• 创意视频制作：为独立视频创作者和艺术家提供工具，快速将创意文本描述转化为视觉视频内容。
• 教育和培训材料：自动化生成教育视频，帮助解释复杂概念或展示教学场景。
• 广告和品牌宣传：企业可以用CogVideoX模型根据广告文案生成视频广告，提高营销效果。
• 游戏和娱乐产业：辅助游戏开发者快速生成游戏内动画或剧情视频，提升游戏体验。
• 电影和视频编辑：辅助视频编辑工作，通过文本描述生成特定场景或特效视频。
• 虚拟现实(VR)和增强现实(AR)：为VR和AR应用生成沉浸式视频内容，增强用户互动体验。

MinerU是什么

MinerU是上海人工智能实验室OpenDataLab团队推出的开源智能数据提取工具，专注于复杂PDF文档的高效解析与提取。MinerU能将包含图片、公式、表格等元素的多模态PDF文档转化为易于分析的Markdown格式，支持从网页和电子书中提取内容，提高AI语料准备效率。MinerU具备高精度的PDF模型解析工具链，支持多种输入模型，自动识别乱码，保留文档结构，转换公式为LaTex，适用于学术、财务、法律等多个领域，支持CPU和GPU，兼容Windows/Linux/Mac平台，性能卓越。

MinerU的主要功能

• PDF到Markdown转换：将包含多种内容类型的PDF文档转换为结构化的Markdown格式，便于进一步的编辑和分析。
• 多模态内容处理：能识别和处理PDF中的图像、公式、表格和文本等多种内容。
• 结构和格式保留：在转换过程中，保留原始文档的结构和格式，如标题、段落和列表。
• 公式识别与转换：特别针对数学公式，能识别并转换成LaTeX格式，方便学术交流和技术文档使用。
• 干扰元素去除：自动删除页眉、页脚、脚注和页码等非内容元素，净化文档信息。
• 乱码识别与处理：自动识别并纠正PDF文档中的乱码，提高信息提取的准确性。
• 高质量解析工具链：集成了先进的PDF解析工具，包括布局检测、公式检测和光学字符识别（OCR），确保提取结果的高准确度。

MinerU的技术原理

• PDF文档分类预处理：在处理PDF文档之前，MinerU首先对文档进行分类，识别其类型（如文本型、图层型或扫描版PDF），并进行相应的预处理，例如检测乱码和识别是否为扫描文档。
• 模型解析与内容提取：
  • 布局检测：使用基于深度学习的模型，如LayoutLMv3，进行区域检测，识别文档中的图像、表格、标题和文本等不同区域。
  • 公式检测：利用基于YOLOv8的自研模型来识别文档中的数学公式，区分行内公式和行间公式。
  • 公式识别：通过自研的UniMERNet模型来识别和解析数学公式，将它们转换成LaTeX格式。
  • 光学字符识别（OCR）：使用PaddleOCR等OCR技术来识别文档中的文本内容。
• 管线处理：将模型解析得到的数据输入到处理管线中，进行后处理，包括：
  • 确定块级别的顺序。
  • 删除无用元素。
  • 根据版面进行内容排序和拼装，以保证正文的流畅性。
  • 进行坐标修复、高iou处理、图片和表格描述合并、公式替换、图标转储、Layout排序等操作。
• 多种格式输出：处理后的文档信息可以转换为统一的中间态格式（middle-json），并根据需求输出为不同的格式，如Layout、Span、Markdown或Content list等。
• PDF提取结果质检：使用人工标注的PDF自测评测集对整个流程进行检测，确保提取效果的优化。使用可视化质检工具进行人工质检与标注，反馈给模型训练，进一步提升模型能力。

MinerU的项目地址

• 项目官网：https://opendatalab.com/OpenSourceTools/Extractor/PDF
• GitHub仓库：https://github.com/opendatalab/PDF-Extract-Kit
• HuggingFace模型库：https://huggingface.co/wanderkid/PDF-Extract-Kit
• 魔搭社区模型库：https://www.modelscope.cn/models/wanderkid/PDF-Extract-Kit

MinerU的应用场景

• 学术研究：研究人员可从学术论文和期刊中提取关键信息，包括文本、公式和图表，支持文献综述和数据分析。
• 法律文档处理：法律专业人士可用MinerU从合同、法律意见书和其他法律文件中提取条款和证据，提高工作效率。
• 技术文档管理：工程师和技术作者可从技术手册和产品文档中提取技术规格和操作步骤，便于知识管理和技术传播。
• 知识管理和信息检索：企业和组织可以用MinerU从内部文档库中提取信息，构建知识库，提高信息检索的效率。
• 数据挖掘和自然语言处理（NLP）：数据科学家和NLP研究人员可用MinerU提取的数据来训练和优化机器学习模型。