Category: AI工具

LOOK是什么

LOOK是实时AI时尚设计工具，专为时尚设计师开发。LOOK基于先进的AIGC技术，将设计概念即时转化为视觉呈现，简化传统设计流程。设计师在Procreate中绘制草图时，基于LOOK的实时设计功能，让AI同步生成视觉效果，实时调整细节。LOOK具备草图转图像、批量生产等功能，能快速生成多种设计变体，激发创意。LOOK集成多种工具，如文生图、图生图、模特试穿等，满足设计师从灵感到成品的全部需求，无需切换多个软件。

LOOK的主要功能

• 实时设计：基于连接Procreate，让设计师在手绘草图的同时，AI即时生成视觉呈现。设计师能在绘画过程中实时调整设计，修改面料图案、颜色、工艺等细节，确保每个细节都能完美呈现。
• 草图转图像：AI根据设计师的草图生成多个创意视觉呈现，激发灵感。
• 批量生产：支持一次性生成多个设计变体，提高设计效率。
• 文生图：基于文字描述生成图像。
• 图生图：基于已有图像生成新的设计。
• 风格扩展：根据现有设计扩展出更多风格。
• 微调：对生成的设计进行精细调整。
• 模特试穿：将设计应用到虚拟模特身上。
• 智能场景：为设计添加虚拟场景。
• 一键背景移除：快速移除图像背景。
• 智能颜色更改：快速调整颜色。
• 智能擦除：智能擦除不需要的部分。
• 模特定制：根据需求定制虚拟模特。

LOOK的官网地址

• 官网地址：lookfashion.ai

LOOK的产品定价

• Starter 套餐：$29/月，无限制生成，普通生成速度，同时生成2张，生成频率30/4小时，高清频率限制8/4小时，高清质量2K，每月即时设计1200分钟。
• Plus 套餐：$59/月，无限制生成，快速生成，同时生成4张，频率限制80/4小时，高清频率限制16/4小时，高清质量3K，每月即时设计3600分钟。
• Pro 套餐：$99/月，无限制生成，超快生成速度，同时生成8张，无生成频率限制，高清频率限制48/4小时，高清质量4K，无即时设计限制。

LOOK的应用场景

• 教育与学习：时尚设计学院的学生和初学者学习和实践设计技能，快速理解和掌握设计流程。
• 创意开发：设计师探索和实验不同的设计概念，激发创意和灵感。
• 产品开发：时尚品牌和制造商在产品开发阶段快速迭代设计，提高从概念到成品的转化效率。
• 市场营销：营销团队创建吸引人的视觉内容，用在社交媒体、广告和品牌推广，吸引目标客户群体。
• 电子商务：电商平台和在线零售商设计和展示商品，提供虚拟试穿和个性化推荐，增强顾客的购物体验。

RAG-FiT是什么

RAG-FiT（曾用名RAG Foundry）是英特尔实验室推出的开源框架，用在微调（fine-tuning）增强大型语言模型（LLMs）在检索增强生成（RAG）任务中的表现。RAG-FiT基于模块化设计，支持数据创建、训练、推理和评估四大功能模块。RAG-FiT能帮助用户快速创建适合RAG任务的数据集，用参数高效微调（PEFT）技术对模型进行优化，用多种RAG特定的评估指标衡量模型性能。RAG-FiT框架有高度的灵活性和扩展性，支持从数据选择、过滤到检索、提示生成等全方位的RAG用例，适用于问答系统、文本生成等多种应用场景。

RAG-FiT的主要功能

• 数据创建与处理：
  • 数据加载：支持从Hugging Face Hub或本地源加载数据集。
  • 数据预处理：包括数据过滤、归一化、聚合、信息检索、模板化提示生成等。
  • 数据保存：处理后的数据以一致的格式保存，方便后续训练和推理。
  • 灵活的处理流程：支持全局操作（如数据聚合、过滤）和局部操作（如单个样本的检索和文本处理）。
• 训练：
  • 参数高效微调（PEFT）：用LoRA等技术对模型进行高效微调。
  • 训练配置：支持自定义学习率、优化器、批量大小等训练参数。
  • 模型推送：训练后的模型支持推送到Hugging Face Hub。
• 推理：
  • 生成预测：在处理后的数据集上生成预测结果。
  • 批量推理：支持对多个输入数据进行批量处理，提高效率。
• 评估：
  • 多维度评估：支持多种评估指标，如EM、F1、ROUGE、BERTScore等。
  • 自定义评估：用户能轻松实现自定义评估指标。
  • 全局与局部评估：支持对每个样本进行局部评估，及对整个数据集进行全局评估。

RAG-FiT的技术原理

• 检索增强：
  • 检索机制：基于检索工具从外部知识库中获取与输入问题相关的上下文信息。工具包括基于向量的检索系统（如Haystack、Qdrant）和其他检索框架。
  • 上下文注入：将检索到的上下文信息注入到LLMs的输入中，帮助模型更好地理解问题背景，从而生成更准确、更有依据的答案。
• 模块化设计：
  • 数据处理模块：负责数据的加载、预处理和保存。支持多种数据源和灵活的处理流程。
  • 训练模块：用PEFT技术对模型进行微调，支持LoRA等高效训练方法。训练后的模型能保存或推送到Hugging Face Hub。
  • 推理模块：在处理后的数据集上生成预测结果，支持批量推理。
  • 评估模块：提供多种评估指标，支持对生成结果的多维度评估。
• 配置驱动的工作流：
  • Hydra配置工具：使用Hydra配置工具实现层次化配置，支持用命令行覆盖配置值，方便远程作业运行。
  • 配置文件：每个模块都有默认配置文件，用户能基于配置文件或命令行参数自定义工作流。
• 实验与评估：
  • 实验环境：提供一个端到端的实验环境，支持快速原型开发和多种RAG技术的实验。
  • 多维度评估：评估模块评估生成结果的准确性，还能评估检索结果的相关性和生成内容的忠实度（Faithfulness）和相关性（Relevancy）。

RAG-FiT的项目地址

• 项目官网：https://intellabs.github.io/RAG-FiT/
• GitHub仓库：https://github.com/IntelLabs/RAG-FiT
• arXiv技术论文：https://arxiv.org/pdf/2408.02545

RAG-FiT的应用场景

• 问答系统：基于检索外部知识库增强语言模型，为用户提供更准确、更相关的答案，适用于医学、法律等专业领域。
• 文本生成：结合最新背景信息生成高质量文本，如新闻报道、创意写作，提升内容的时效性和准确性。
• 知识图谱增强：检索知识图谱中的实体和关系，生成与图谱一致的文本，提高知识表示的准确性和可解释性。
• 多语言生成：跨语言检索知识库，生成多语言文本，满足多语言环境下的内容生成需求。
• 文档摘要：检索文档关键信息生成摘要，提高摘要的准确性和信息覆盖率，适用于科研、商业等领域。

Chatbox AI是什么

Chatbox AI是开源的跨平台AI客户端应用和智能助手，支持 Windows、Mac、Linux、iOS、Android 和网页版，集成多种先进的语言模型（如 ChatGPT、DeepSeek、Claude、Google Gemini Pro 等），支持本地模型（如 Llama2、Mistral 等）。Chatbox AI提供丰富的功能，包括本地数据存储、图像生成（Dall-E-3）、代码高亮、Markdown 和 LaTeX 支持、多语言交互、团队协作等。Chatbox AI基于 GPLv3 开源许可，用户能定制功能、参与社区贡献。

Chatbox AI的主要功能

• 多语言模型支持：兼容多种主流 AI 模型，如 ChatGPT、Claude、Google Gemini Pro、Ollama 等，满足不同场景需求。
• 本地数据存储：所有聊天记录和数据存储在本地设备上，确保隐私和安全，避免数据泄露风险。
• 图像生成：集成 Dall-E-3，支持基于文字描述生成图像，将创意转化为视觉作品。
• 代码辅助：支持代码生成、语法高亮、代码审查、优化等功能，帮助开发者提高编程效率。
• 文档交互：支持与 PDF、Word、Excel 等文档交互，提取内容并提供智能回复。
• 联网搜索：实时联网搜索，获取最新信息，支持内容摘要和事实核查。
• Markdown 和 LaTeX 支持：适合学术写作和技术文档，支持格式化文本和复杂公式。
• 跨平台使用：支持 Windows、Mac、Linux、iOS、Android 和网页版，随时随地使用。
• 多语言支持：支持英语、中文、日语、韩语、法语、德语、俄语等多种语言。
• 团队协作：支持团队共享 API 资源，提升协作效率。

如何使用Chatbox AI

• 下载与安装：访问Chatbox AI的官方网站或GitHub仓库，根据设备类型，选择合适的版本进行下载和安装。
• 配置 API 密钥：
  • 使用特定的 AI 模型（如 OpenAI 的 GPT 系列），需要配置 API 密钥。
  • 注册并登录相关 AI 服务提供商的平台（如 OpenAI、Anthropic 等），获取 API 密钥。
  • 在设置中找到 API 密钥配置选项，填入 API 密钥和接口地址。
• 选择语言模型：在主界面或设置中选择使用的语言模型（如 GPT-3.5、Claude、Google Gemini Pro 等）。根据需要调整模型的参数（如上下文长度等）。
• 开始使用：在主界面的输入框中输入问题或指令，系统自动生成回复。
• Prompt 调试：用 Chatbox AI 提供的 Prompt 管理工具，保存和复用常用的 Prompt，基于调试工具优化 Prompt，获得更好的回复效果。

Chatbox AI的独特优势

• 开源与社区支持：用户能自由查看、修改和扩展代码，用户不仅能获取技术支持，还能基于社区反馈推动功能改进和新功能的开发。
• 本地部署与数据隐私：所有聊天记录和Prompt都保存在本地，确保用户数据的隐私和安全，避免因网络问题或第三方存储导致的数据泄露风险。
• 灵活性与扩展性：Chatbox AI支持多种大语言模型，用户根据需求选择最适合的模型，根据需求开发自定义插件，进一步扩展Chatbox的功能，打造专属的AI助手。
• 免费与低成本：Chatbox AI本身是免费的，相比ChatGPT Plus的固定收费，Chatbox按量付费，使用成本更低，适合个人用户和小团队。

Chatbox AI的应用场景

• 办公效率提升：快速生成和编辑文档，如报告、邮件、会议纪要等，节省时间。
• 学习辅助：帮助学生解答学术问题，涵盖多学科，提升学习效率。
• 代码生成：快速生成代码片段、函数或完整脚本，支持多种编程语言，提高开发效率。
• 图像生成：基于文字描述生成高质量图像，激发创意。
• 信息查询：实时联网搜索，获取最新信息，解答日常问题。

Open Deep Research是什么

Open Deep Research 是开源的 AI 智能体，是Deep Research开源复现项目，基于推理大量网络数据完成复杂的多步骤研究任务。Open Deep Research使用 Firecrawl 的搜索和提取功能，不依赖 OpenAI 的 o3 微调模型。Open Deep Research支持多种语言模型（如 OpenAI、Anthropic、Cohere 等），提供统一的 API 和 Next.js 应用框架，具备实时数据输入、结构化数据提取、服务器端渲染等功能。

Open Deep Research的主要功能

• 数据提取与搜索
  • Firecrawl集成：实时从多个网站获取数据，将其结构化处理，为后续推理提供基础信息。
  • 多源数据整合：从不同类型的网页中提取关键信息，支持多种数据格式，确保数据的多样性和丰富性。
• 推理与分析
  • AI推理引擎：基于强大的推理模型（如OpenAI的GPT-4o或其他LLM），对提取的数据进行深度分析和推理，生成综合性的结论。
  • 多维度分析：对数据进行多维度的分析，包括文本内容理解、数据关联分析、趋势预测等。

Open Deep Research的技术原理

• 数据提取与搜索技术：
  • Firecrawl：基于Firecrawl快速从多个网站抓取数据，模拟浏览器行为，访问目标网站并提取网页内容，将其结构化处理为JSON或其他格式。
  • 实时数据流：提取的数据基于API实时传输到AI模型中，确保分析的时效性。
• AI推理模型：
  • 语言模型：基于先进的语言模型（如OpenAI的GPT系列）作为核心推理引擎。
  • 模型调用：基于AI SDK，用户灵活调用不同的语言模型，根据需求选择合适的模型进行推理。
• 前端与后端集成：
  • Next.js框架：Next.js作为前端框架，结合React Server Components和Server Actions，实现高效的服务器端渲染和动态用户界面。
  • API接口：基于AI SDK提供的统一API接口，前端能方便地调用后端的AI模型和服务。
• 数据持久化与存储：
  • Vercel Postgres：用Vercel Postgres作为数据库，支持结构化数据的存储和查询。
  • Vercel Blob：用在存储文件数据，支持大文件的高效存储和访问。

Open Deep Research的项目地址

• GitHub仓库：https://github.com/nickscamara/open-deep-research

Open Deep Research的应用场景

• 文献综述：帮助研究人员快速收集和整理相关领域的文献资料，生成文献综述报告。
• 行业分析：快速收集和分析特定行业的市场动态、竞争格局、发展趋势等信息，生成行业分析报告。
• 投资研究：分析公司财务报表、行业动态、市场情绪等信息，为投资决策提供数据支持。
• 政策研究：收集和分析国内外相关政策、法规和案例，为政策制定提供参考。
• 新闻报道：快速收集和整理新闻事件的相关信息，生成新闻报道初稿。

Gemini 2.0 Pro是什么

Gemini 2.0 Pro是Google推出的高性能实验版AI模型，专为编程性能和复杂提示处理优化。Gemini 2.0 Pro具备200万tokens的超大上下文窗口，能处理和分析海量信息，支持调用Google搜索和代码执行等工具，增强理解和推理能力。Gemini 2.0 Pro在处理复杂问题和编程任务方面表现出色，是目前Google发布的最强模型之一。Gemini 2.0 Pro目前向Google AI Studio和Vertex AI的开发者以及桌面和移动设备上的Gemini高级用户开放，有望进一步提升多模态交互能力。

Gemini 2.0 Pro的主要功能

• 强大的编程性能：Gemini 2.0 Pro在编程任务方面表现出色，能生成高质量的代码片段、修复代码错误、优化代码结构，提供代码补全建议。且支持多种编程语言，帮助开发者提高开发效率。
• 处理复杂提示：支持理解和生成复杂的自然语言文本，处理多步推理任务、逻辑推理和创造性写作，适合需要深度理解和生成高质量文本的场景。
• 超大上下文窗口：Gemini 2.0 Pro拥有200万tokens的上下文窗口，支持处理和分析海量信息，适合处理长文本、复杂文档和多任务场景。
• 工具调用能力：支持调用外部工具，如Google搜索和代码执行环境，增强其信息获取和问题解决能力，例如实时查询最新信息或验证代码逻辑。
• 多模态输入支持：Gemini 2.0 Pro支持多模态输入（如文本、图像等），并输出文本结果，未来将扩展更多模态功能。

Gemini 2.0 Pro的性能表现

对比 Gemini 1.5 Flash、1.5 Pro、2.0 Flash-Lite、2.0 Flash 和 2.0 Pro Experimental在多个基准测试中的性能表现。

• 综合表现：在所有测试类别中排名第一。
• 具体测试表现：
  • 编码能力：在LiveCodeBench测试中达到36.0%，Bird-SQL转换准确率突破59.3%，表现出色。
  • 数学能力：在MATH测试中达到91.8%，相比1.5版本提升了约5个百分点。
  • 推理能力：GPQA推理能力达到64.7%，SimpleQA世界知识测试达到44.3%。
  • 多语言理解：Global MMLU测试达86.5%，图像理解MMMU达72.7%，视频分析能力达71.9%。
  • 上下文窗口：支持200k的上下文窗口，能处理大量信息。
  • 工具调用：支持调用Google搜索和代码执行等工具，进一步增强了在复杂任务中的表现。
• Gemini 2.0 Flash：拥有更高的速率限制、更强的性能和简化的定价。适用于高频率、大规模任务，支持100万tokens的上下文窗口，低延迟和高性能。现在支持在Google AI Studio和Vertex AI中的Gemini API构建生产级应用。
• Gemini 2.0 Flash-Lite：Gemini 2.0系列中最具性价比的模型，性能优于1.5 Flash，保持相同的速度和成本。支持100万tokens的上下文窗口和多模态输入。
• Gemini 2.0 Flash Thinking Experimental：现在向Gemini应用用户开放，可在桌面端和移动端APP中体验，能直接访问YouTube，搜索、地图等应用程序。

模型全部免费使用，Gemini 2.0 Pro每天50次提问，其他都是1500次免费额度。

Gemini 2.0 Pro的项目地址

• 项目官网：https://blog.google/technology/google-deepmind/gemini-model

Gemini 2.0 Pro的应用场景

• 编程辅助与开发：帮助开发者快速生成代码片段、优化现有代码、调试代码，提供代码执行和搜索工具的集成，适用于各种编程语言和复杂任务，显著提高开发效率。
• 复杂任务与数据分析：数据科学家和分析师生成详细的分析报告，帮助用户快速理解和处理大量数据。
• 学术研究与知识问答：协助研究人员整理文献、分析数据、生成研究假设和撰写论文，作为行业知识问答系统，帮助专业人士快速获取最新的学术和行业信息。
• 教育与学习辅助：在教育领域帮助学生解答学术问题和撰写论文，适用于教育工作者和学生，提高教学和学习效率。
• 创意与内容生成：广告文案撰写者、作家、编剧和设计师快速生成创意内容并优化创作过程。

OpusClip是什么

OpusClip是AI视频剪辑工具，专为将长视频快速转换为适合社交媒体传播的短视频设计。通过先进的AI技术，能自动识别精彩片段并生成短视频，支持一键发布到TikTok、Instagram、YouTube等平台。OpusClip 提供自动字幕生成与翻译功能，支持超过20种语言，字幕准确率高达97%。具备智能人脸追踪、关键词高亮、表情符号添加等功能，能有效提升视频的吸引力。 OpusClip 的操作非常简单，用户只需上传视频，设置参数，点击“一键生成”，可快速获得多个短视频片段。

OpusClip的主要功能

• AI 自动剪辑：OpusClip 可以分析视频内容，自动识别精彩片段并生成短视频。基于ClipAnything AI 技术能通过视觉、音频和情感线索，精准提取关键片段。
• 多平台适配：支持将生成的短视频一键发布到 TikTok、Instagram Reels、YouTube Shorts、Facebook、LinkedIn 等多个社交媒体平台。
• 自动字幕与翻译：支持自动生成字幕，提供超过 20 种语言的字幕翻译，字幕准确率高达 97%。
• 品牌模板：用户可以创建和保存品牌模板，包括字体、颜色、标志和叠加位置等，确保所有视频片段保持一致的品牌风格。
• 视频热度评分：通过 Virality Score 功能，OpusClip 可以分析视频的潜在热度，帮助用户了解哪些片段更有可能走红。
• 智能人脸追踪：能预测移动的人脸，确保人物始终处于视频画面的中心。
• 关键词高亮与表情符号：自动高亮关键词并添加相关表情符号，增加视频的吸引力。
• 团队协作功能：支持团队账户，方便团队成员协作和管理创意项目。
• 专业导出选项：OpusClip 支持将视频导出为 XML 文件，可以在 Adobe Premiere Pro 或 DaVinci Resolve 等专业编辑工具中进行进一步编辑。

OpusClip的官网地址

• 官网地址：opus.pro

OpusClip的应用场景

• 社交媒体内容生产：OpusClip 适合用于制作适合 Instagram、TikTok、YouTube 等平台的短视频。用户可以从长视频中提炼出精彩片段，快速制作并分享到社交媒体上，增加粉丝互动和热度。
• 营销和广告：企业或品牌可以从产品介绍或广告拍摄中快速提取出吸引人的片段，用于营销推广。OpusClip 能帮助用户快速制作出具有吸引力的短视频广告，提高品牌知名度和销售额。
• 教育和培训：教育工作者可以从冗长的讲座或培训视频中提取出关键点，制作出教学摘要或复习材料。有助于学生快速掌握核心知识，提高学习效果。
• 新闻媒体：可以快速将新闻报道或访谈视频剪辑成适合社交媒体传播的短视频，突出关键信息，吸引观众关注。
• 播客和音频内容：可以用 OpusClip 从剧集中提取亮点，转化为引人入胜的短视频，推广完整剧集，增加可见性并吸引新听众。

DynamicFace是什么

DynamicFace是小红书团队推出新型的视频换脸技术，技术通过结合扩散模型和即插即用的时间层，基于3D面部先验知识，实现高质量和一致性的视频换脸效果。 DynamicFace的核心在于引入了四种精细的面部条件：背景、形状感知的法线图、表情相关的地标和去除身份信息的UV纹理图。这些条件相互独立，能提供精确的运动和身份信息。还采用了Face Former和ReferenceNet进行身份注入，确保在不同表情和姿态下保持身份一致性。

DynamicFace的主要功能

• 精细的面部条件分解：DynamicFace基于3D面部先验知识，将面部分解为四种精细的条件，包括背景、形状感知的法线图、表情相关的地标和去除身份信息的UV纹理图。能为换脸提供精确的指导。
• 身份注入与一致性：通过Face Former和ReferenceNet模块，DynamicFace能在不同的表情和姿态下保持身份一致性，确保换脸后的人脸身份与源图像高度一致。
• 时间一致性与视频换脸：引入了时间注意力层，能有效解决视频换脸中的时间一致性问题，使换脸后的视频在不同帧之间保持连贯。
• 高质量图像生成：DynamicFace基于扩散模型（diffusion model），能生成高分辨率和高质量的换脸图像，同时保留目标图像的表情、姿态和背景等细节。
• 广泛的适用性：DynamicFace适用于静态图像换脸，能扩展到视频领域，适用于人像重演、影视制作和虚拟现实等多种应用场景。

DynamicFace的技术原理

• 扩散模型与潜空间生成：DynamicFace基于扩散模型（Diffusion Model）来生成高质量的图像。扩散模型通过逐步逆转一个加噪过程来生成图像。
• 3D面部先验与解耦条件：引入了四种基于3D面部先验的精细条件：背景、形状感知的法线图、表情相关的地标图和去除身份信息的UV纹理图。
• 身份注入模块：DynamicFace采用Face Former和ReferenceNet进行身份注入。Face Former提供高层次的身份特征，ReferenceNet注入详细的纹理信息。两个模块确保在不同表情和姿态下保持身份一致性。
• 时间一致性模块：为了实现视频换脸中的时间一致性，DynamicFace引入了时间注意力层。能确保生成的视频在不同帧之间保持连贯，避免出现跳变或不自然的过渡。
• 多条件引导机制：DynamicFace通过多条件引导机制（Mixture-of-Guiders）来精确控制面部的运动和外观。能更好地保留目标面部的表情、姿态和光照等非身份属性。

DynamicFace的项目地址

• 项目官网：https://dynamic-face.github.io
• arXiv技术论文：https://arxiv.org/pdf/2501.08553v1

DynamicFace的应用场景

• 影视制作：DynamicFace可用于影视后期制作，快速替换演员的面部表情或身份，节省重拍成本，提高制作效率。
• 人像重演与虚拟现实：在人像重演领域，DynamicFace能将一个人的面部表情和姿态转移到另一个人的脸上，实现高度逼真的效果。
• 社交媒体与内容创作：DynamicFace可以帮助创作者在社交媒体上制作有趣、个性化的短视频和图像内容。用户可以将自己的面部特征替换到明星或名人的图像上，生成有趣的创意视频。
• 虚拟会议与直播：用户可以通过虚拟摄像头在直播或虚拟会议中实时替换面部，为观众带来全新的视觉体验。
• 个人娱乐与创意：用户可以将自己的脸替换到各种有趣的情境中，生成个性化的表情包或创意视频。

MnnLlmApp是什么

MnnLlmApp 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用，支持各类大语言模型（LLM）在手机上离线运行。具备多模态功能，能实现文本生成文本、图像生成文本、音频转文本以及文本生成图像等多种任务。应用对 CPU 推理进行了深度优化，预填充速度和解码速度均显著优于同类产品，确保高效的本地运行。 MnnLlmApp 支持多种主流模型，如 Qwen、Gemma、Llama 等，用户可以根据需要选择不同的模型进行任务处理。

MnnLlmApp的主要功能

• 多模态交互：支持多种输入输出方式，包括文本生成文本、图像生成文本、音频转文本以及文本生成图像（基于扩散模型）。用户可以通过文字、图片或语音输入，获取相应的生成结果。
• 模型选择与切换：内置多种主流大语言模型（LLM），如 Qwen、Gemma、Llama、Baichuan 等，用户可以根据需求选择不同的模型。
• 离线运行：所有功能在本地设备上运行，无需联网，确保数据隐私和安全性。
• 性能优化：针对移动端 CPU 推理进行了深度优化，预填充和解码速度显著提升，相比同类应用具有更快的响应速度。
• 本地存储：支持将生成的内容保存到本地，方便用户随时查看和使用。

如何使用MnnLlmApp

• 下载安装：可以通过 Releases 页面直接下载应用，开发者也可以自行构建该应用。
• 自构建编译步骤：
  • 克隆代码库：访问Github仓库：https://github.com/alibaba/MNN。
  • 构建库：进入 project/android 目录，运行构建脚本。
  • 复制到 LLM Android 应用项目。
  • 构建 Android 应用项目并安装。

MnnLlmApp的应用场景

• 内容创作与生成：用户可以用应用生成文本内容，如撰写文章、创作故事、生成文案等。
• 智能助手：作为智能助手，MnnLlmApp 可以与用户进行自然语言交互，回答各种问题，提供信息查询、学习辅导等服务。
• 语言学习：帮助用户练习语言表达、纠正语法错误，甚至提供语言翻译功能。
• 创意与设计：通过文本生成和图像生成功能，为设计师、艺术家等提供创意灵感。自动生成广告文案、社交媒体文案等，提高内容创作效率。

DeepRAG是什么

DeepRAG 是中科院、中科大和腾讯微信AI部联合推出的新型检索增强生成（RAG）框架，提升大型语言模型（LLMs）在推理和检索任务中的性能。通过将检索增强推理建模为马尔可夫决策过程（MDP），引入“检索叙事”和“原子决策”两个关键组件，实现了结构化和自适应的检索流程。DeepRAG 的核心在于动态决策：模型在每一步会根据当前状态决定是否检索外部知识，或者仅依赖自身的参数知识进行推理。

DeepRAG的主要功能

• 动态检索决策：DeepRAG能动态决定在每一步是否需要检索外部知识，或者仅依赖模型自身的参数知识进行推理。避免不必要的检索操作，提高了检索效率，同时减少了噪声和推理延迟。
• 结构化检索流程：通过引入“检索叙事”（Retrieval Narrative），DeepRAG确保检索过程是结构化和自适应的。模型会根据之前检索到的信息生成新的子查询，逐步推进推理过程，更好地处理复杂查询。
• 知识边界校准：DeepRAG通过“校准链”（Chain of Calibration）方法，帮助模型更准确地识别自身知识的边界。模型能更好地判断何时需要检索外部知识，可以依赖自身的知识进行推理，提高答案的准确性和可靠性。
• 提高检索效率和答案准确性：实验表明，DeepRAG在多个开放域问答数据集上显著提高了答案的准确性（平均提升21.99%），同时减少了检索次数，优化了检索效率。
• 泛化能力和鲁棒性：DeepRAG在时间敏感和分布外的问答任务中表现出良好的泛化能力和鲁棒性，能适应不同的问答场景和数据分布。

DeepRAG的技术原理

• 马尔可夫决策过程（MDP）建模：DeepRAG 将检索增强推理过程建模为 MDP，表示对原始问题的部分解决方案。状态 st​ 包括输入问题 x 和到目前为止的子查询及其中间答案。包括两个子决策：
  • 终止决策（Termination Decision）：决定是否继续生成下一个子查询，或者直接生成最终答案。
  • 原子决策（Atomic Decision）：决定是否检索外部知识，或者仅依赖模型的参数知识。
• 转移（Transitions）：根据动作更新状态。如果决定检索，模型会检索相关文档并生成中间答案；如果决定不检索，则直接生成中间答案。
• 奖励（Rewards）：基于答案的正确性和检索成本评估状态。奖励函数最大化答案的正确性，同时最小化检索成本。
• 二叉树搜索（Binary Tree Search）：DeepRAG 使用二叉树搜索方法为每个子查询构建推理路径。对于每个子查询，模型生成两个分支：一个分支基于参数知识直接生成答案，另一个分支通过检索外部知识生成答案。通过这种方式，模型探索不同的检索策略，生成从初始问题到最终答案的完整推理路径。二叉树搜索能分解问题，彻底检查检索选择对最终答案的影响。
• 模仿学习（Imitation Learning）：模仿学习的目的是让模型学习有效的检索模式。使用优先队列高效探索潜在的推理轨迹，优先选择检索成本较低的路径。通过二叉树搜索合成数据，提取到达正确最终答案的推理过程。使用合成数据对模型进行微调，提高其终止决策和原子决策的能力，同时增强查询分解和生成可靠中间答案的能力。
• 校准链（Chain of Calibration）：校准链方法进一步优化模型对自身知识边界的认知。通过合成偏好数据确定何时需要检索。数据基于最优路径生成，指示每个子查询的首选检索策略。使用这些偏好数据对模型进行微调，增强其基于内部知识边界的原子决策能力。通过校准链方法，模型能更准确地识别何时需要检索外部知识，可以依赖自身的知识进行推理。

DeepRAG的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2502.01142

DeepRAG的应用场景

• 开放域问答：DeepRAG能处理复杂的多跳问答任务，通过逐步分解问题并动态检索相关信息，生成准确的答案。
• 知识库问答：在知识库问答中，DeepRAG可以结合外部知识库（如维基百科）和模型自身的知识，提供更准确的答案。
• 智能客服与虚拟助手：DeepRAG可以应用于智能客服系统，通过动态检索和推理，提供更准确、更及时的客户支持。
• 教育与学习辅助：在教育领域，DeepRAG可以帮助学生和教师获取更准确的知识和信息。根据学生的学习进度和需求，动态生成学习材料和练习题。
• 医疗健康咨询：DeepRAG可以用于医疗健康咨询，通过检索最新的医学研究和临床指南，提供准确的健康建议。