Author: Chimy

FreeAskInternet是什么

FreeAskInternet是一个免费开源的本地AI搜索引擎，整合了GPT-3.5等先进的大型语言模型（LLM）和SearXNG元搜索引擎，为用户提供搜索和智能答案生成服务。该项目完全免费开源、本地化运行，不需要GPU支持，确保了用户数据的私密性和安全性。FreeAskInternet支持自定义LLM，如Ollama，并通过Docker Compose简化了部署过程，使得用户可以快速在自己的计算机上搭建起一个功能强大的AI搜索和问答系统。

FreeAskInternet的功能特色

• 本地化搜索聚合：结合SearXNG元搜索引擎，FreeAskInternet能够在本地进行多引擎搜索，聚合不同来源的信息。
• 智能答案生成：利用集成的大型语言模型（如ChatGPT3.5、Kimi、Qwen、ZhipuAI等），根据搜索结果生成准确的答案。
• 完全免费：用户无需支付任何费用即可使用FreeAskInternet的全部功能。
• 隐私保护：所有数据处理在本地完成，不上传用户数据，确保隐私安全。
• 无需GPU：与通常需要高性能GPU支持的AI模型不同，FreeAskInternet可以在普通计算机上运行，降低了硬件要求。
• 自定义支持：用户可以根据自己的需要，通过Ollama使用自定义的大型语言模型，增加个性化选项。
• 易于部署：通过Docker Compose实现快速部署，简化了安装和配置过程。
• 多语言模型支持：除了内置的免费API，FreeAskInternet还支持多种语言模型，提供更广泛的选择。
• 用户界面友好：提供基于搜索的聊天对话框，用户可以自然地输入问题并获取答案。

如何使用FreeAskInternet

1. 环境准备：确保您的计算机上已安装Docker和Docker Compose，这是运行FreeAskInternet的前提条件。
2. 获取项目代码：打开终端或命令提示符，使用Git克隆FreeAskInternet的GitHub仓库到本地：git clone https://github.com/nashsu/FreeAskInternet.git
3. 进入项目目录：cd FreeAskInternet
4. 启动服务：运行Docker Compose来启动FreeAskInternet服务：docker-compose up -d，这将自动下载所需的Docker镜像，并在后台启动服务。
5. 访问Web界面：服务启动后，在浏览器中访问http://localhost:3000，将看到FreeAskInternet的Web界面。
6. 提问和获取答案：在Web界面的聊天对话框中输入你的问题，FreeAskInternet将使用集成的搜索引擎和语言模型为您搜索并生成答案。

MimicMotion是什么

MimicMotion是腾讯的研究人员推出的一个高质量的人类动作视频生成框架，利用置信度感知的姿态引导技术，确保视频帧的高质量和时间上的平滑过渡。此外，MimicMotion通过区域损失放大和手部区域增强，显著减少了图像失真，提升了人像手部动作的细节表现。该框架还能通过渐进式潜在融合策略生成长视频，能够生成高质量、长时间且符合特定动作指导的人类动作视频，同时显著提高了视频生成的控制性和细节丰富度。

MimicMotion的功能特点

• 生成多样化视频：MimicMotion能够根据用户提供的姿态指导生成各种动作的视频内容。无论是舞蹈、运动还是日常活动，只要提供相应的姿态序列，MimicMotion都能够创造出相应的动态视频。
• 控制视频长度：用户可以根据自己的需求指定视频的持续时间，MimicMotion能够生成从几秒钟的短片段到几分钟甚至更长的完整视频，提供灵活性以适应不同的应用场景。
• 姿态引导控制：框架使用参考姿态作为条件，确保生成的视频内容在动作上与指定的姿态保持一致。MimicMotion允许用户对视频的动作进行精确控制，实现高度定制化的视频生成。
• 细节质量保证：MimicMotion特别关注视频中的细节，尤其是手部等容易失真的区域。通过置信度感知的策略，系统能够在这些区域提供更清晰的视觉效果。
• 时间平滑性：为了提供更自然的观看体验，MimicMotion确保视频帧之间的过渡平滑，避免出现卡顿或不连贯的现象，使得视频看起来更加流畅自然。
• 减少图像失真：通过置信度感知的姿态引导，MimicMotion能够识别并减少由于姿态估计不准确导致的图像失真，尤其是在人物手部区域。
• 长视频生成：MimicMotion采用渐进式潜在融合技术，允许系统在生成长视频时保持高时间连贯性。该技术通过在视频段之间融合潜在特征，有效避免了闪烁和不连贯现象。
• 资源消耗控制：在生成视频时，MimicMotion优化算法以确保资源消耗保持在合理范围内。即使在生成较长视频时，也能有效地管理计算资源，避免过高的成本。

MimicMotion的官网入口

• 官方项目主页：https://tencent.github.io/MimicMotion/
• GitHub源代码库：https://github.com/Tencent/MimicMotion
• arXiv技术论文：https://arxiv.org/abs/2406.19680

MimicMotion的技术原理

• 姿态引导的视频生成：MimicMotion利用用户提供的姿态序列作为输入条件，引导视频内容的生成，允许模型根据姿态的变化合成相应的动作。
• 置信度感知的姿态指导：框架引入了置信度的概念，通过分析姿态估计模型提供的置信度分数，对姿态序列中的每个关键点进行加权。这样，模型可以更加信赖那些置信度高的关键点，减少不准确姿态估计对生成结果的影响。
• 区域损失放大：特别针对手部等容易失真的区域，MimicMotion通过提高这些区域在损失函数中的权重，增强模型对这些区域的训练，从而提高生成视频的手部细节质量。
• 潜在扩散模型：MimicMotion使用潜在扩散模型来提高生成效率和质量，模型通过在低维潜在空间中进行扩散过程，而不是直接在像素空间操作，从而减少了计算成本。
• 渐进式潜在融合：为了生成长视频，MimicMotion采用了一种渐进式潜在融合策略。在视频段之间，通过逐步融合重叠帧的潜在特征，实现了视频段之间的平滑过渡，避免了生成长视频时可能出现的闪烁和不连贯现象。
• 预训练模型的利用：MimicMotion基于一个预训练的视频生成模型（如Stable Video Diffusion, SVD），减少了从头开始训练模型所需的数据量和计算资源。
• U-Net和PoseNet的结构：MimicMotion的模型结构包括一个用于空间时间交互的U-Net和一个用于提取姿态序列特征的PoseNet。这些网络结构共同工作，以实现高质量的视频生成。
• 跨帧平滑性：MimicMotion在生成过程中考虑了帧之间的时间关系，确保了视频帧之间的连贯性和平滑性。

Gemma 2是什么

Gemma 2是谷歌DeepMind推出的新一代开源人工智能模型，包含90亿和270亿参数版本。该模型以卓越的性能、高效的推理速度和广泛的硬件兼容性为特点，能够与参数量更大的模型（如Llama 3、Claude 3 Sonnet）相媲美。Gemma 2设计易于集成到开发者的工作流程中，支持多种AI框架，并通过Google Cloud、Kaggle和Hugging Face等平台免费提供。

Gemma 2的特点

• 参数规模：Gemma 2目前提供两种参数规模的模型，分别是90亿（9B）和270亿（27B）参数版本，以适应不同的应用需求和资源限制。后续还会发布26亿参数（2.6B）模型。
• 性能优化：27B版本的Gemma 2在性能上能够与参数量超过其两倍的模型相媲美，显示出极高的性能效率比，在LMSYS Chatbot Arena中，270亿参数的Gemma 2指令微调模型击败了拥有700亿参数的Llama 3，并超过Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，在所有开源权重的模型中位列第一。
  
• 推理效率：Gemma 2特别优化了推理过程，能够在单个高端GPU或TPU上以全精度运行，无需额外的硬件资源，从而大幅降低了使用成本。
• 硬件兼容性：Gemma 2能够在多种硬件平台上快速运行，包括个人电脑、工作站、游戏笔记本以及云服务器等。
• 开放许可：Gemma 2采用商业友好的许可协议，允许开发者和研究人员自由地分享、使用和商业化他们的应用。
• 框架支持：Gemma 2与多个主流AI框架兼容，包括Hugging Face Transformers、JAX、PyTorch和TensorFlow，使得开发者可以根据自己的偏好选择合适的工具。
• 部署工具：谷歌提供了Gemma Cookbook，这是一个包含实用示例和指南的资源库，帮助用户构建应用程序和微调Gemma 2模型。
• 负责任的AI：谷歌提供了一系列工具和资源，如Responsible Generative AI Toolkit和LLM Comparator，以支持开发者和研究人员负责任地构建和部署AI。

如何使用Gemma 2

Gemma 2可与用户常用的工具和工作流程轻松配合使用，与Hugging Face Transformers、JAX、PyTorch 和 TensorFlow 等主流 AI 框架兼容，可通过原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama实现。此外，Gemma 还通过NVIDIA TensorRT-LLM进行了优化，可在 NVIDIA 加速基础设施上运行或作为NVIDIA NIM推理微服务运行，并将针对NVIDIA 的 NeMo进行优化。

Gemma 2现已在Google AI Studio中推出，用户可以在无需硬件要求的情况下以 27B 的速度测试其全部性能。开发人员还可以从Kaggle和Hugging Face Models下载Gemma 2的模型权重，Vertex AI Model Garden即将推出。

为了便于研究和开发，Gemma 2 还可通过Kaggle或 Colab 笔记本免费使用。首次使用 Google Cloud 的客户有资格获得300美元的信用额度。学术研究人员可以申请Gemma 2学术研究计划，以获得 Google Cloud 信用额度，以加速他们使用 Gemma 2 的研究。申请开放时间为即日起至 8 月 9 日。

CriticGPT是什么

CriticGPT是OpenAI发布的一个新型人工智能模型，基于GPT-4构建，专门用于审查和识别大型语言模型（如ChatGPT）生成的代码中的错误。CriticGPT通过人类反馈强化学习（RLHF）技术，提高了代码审查的准确性和效率，能够识别并解释AI输出中的潜在问题，帮助提升代码质量和安全性。使用CriticGPT时，人类评估员在60%的情况下比没有AI辅助的表现更好。CriticGPT的开发是AI领域的一大进步，它不仅增强了AI模型的自我纠错能力，也为AI与人类的协作提供了新的可能性。

CriticGPT的主要功能

• 代码审核：自动审查由其他AI模型生成的代码，识别潜在的逻辑错误和安全漏洞。
• 错误识别：检测代码中的语法错误、运行时错误以及可能的编程失误。
• 安全漏洞分析：专门分析代码，找出可能导致安全问题的漏洞，如路径遍历、注入攻击等。
• 反馈生成：为开发人员提供具体的错误反馈和改进建议，帮助他们理解并修复问题。
• 性能评估：评估AI生成的代码在性能上是否达到预期标准。
• 辅助学习：通过提供错误示例和正确做法，辅助开发人员和AI训练师学习和提高。

CriticGPT的工作原理

1. 错误注入：首先，通过一种称为”篡改”的方法，人类评估员故意在AI生成的代码中插入细微的错误，然后记录下这些错误的详细描述。这个过程类似于代码审查中发现错误并记录错误的方式。
2. 训练数据生成：这些被篡改的代码样本和相应的错误描述被用来训练CriticGPT，使其能够识别和指出各种潜在问题。
3. 评论生成：CriticGPT接收一个问题和相应的回答作为输入，然后生成一个评论，指出回答中的具体错误。评论的结构通常包含多个部分，每个部分都针对原始回答中的特定引用进行评论。
4. 策略优化：使用近端策略优化（PPO）算法来优化CriticGPT的行为策略，允许模型在保持策略更新幅度较小的同时，有效地学习如何改进其输出。
5. 推理采样策略：引入了一种名为”强制采样波束搜索”（FSBS）的技术，通过在生成评论时强制模型产生特定的高亮部分，然后根据奖励模型的评分选择最佳评论。这种方法允许模型在生成更长、更全面的评论时，减少虚假问题的产生。
6. 性能评估：CriticGPT的输出会被评估，以确定其在检测代码错误方面的表现，以及与人类评估员相比的优势。

CriticGPT的优点

• 提高准确性：CriticGPT通过增强RLHF，显著提升了AI模型输出的准确性，尤其在代码审查方面，能找出许多人类难以发现的问题。
• 减少错误：它能够帮助减少在代码中的错误，特别是那些由于模型复杂度增加而变得更加隐蔽的错误。
• 提升效率：CriticGPT可以自动化地审查代码，减少了人工审查所需的时间和工作量。
  
• 增强安全性：通过识别代码中的安全漏洞，CriticGPT有助于提升软件产品的安全性。
• 辅助人类评估员：CriticGPT可以作为人类评估员的辅助工具，提高他们审查代码的效率和质量。
• 自我学习和优化：CriticGPT使用PPO算法进行策略优化，能够不断学习和改进其错误检测的能力。
• 减少幻觉：CriticGPT有助于减少在评估过程中产生的幻觉或虚假错误，提高了评估的可靠性。
• 全面性：通过FSBS技术，CriticGPT能够生成更全面、更详细的评论，同时避免了无关紧要的问题或错误。
• 提升训练数据质量：CriticGPT的使用有助于生成更高质量的训练数据，进一步优化AI模型。
• 适应性强：CriticGPT的设计使其能够适应不同的AI输出和任务，具有较好的通用性。

CriticGPT的短板

• 复杂性限制：CriticGPT在处理极复杂的任务时可能会面临挑战，尤其是当错误分布在代码的多个部分时。
• 短答案训练：该模型主要针对较短的代码片段进行训练，可能在处理更长、更复杂的任务时效果不佳。
• 幻觉问题：尽管CriticGPT减少了幻觉错误的产生，但仍然存在可能输出不正确内容误导人类的风险。
• 单一错误焦点：当前CriticGPT主要关注单点错误，对于跨多个代码段的错误可能识别不够。
• 应用范围：CriticGPT主要针对代码审查，对于其他类型的AI输出（如文本、图像等）可能需要进一步的调整和优化。
• 依赖训练数据：CriticGPT的性能在很大程度上依赖于训练数据的质量和多样性，如果训练数据存在偏差，可能影响模型的准确性。

延伸阅读

• OpenAI – Finding GPT-4’s mistakes with GPT-4
• 论文 – LLM Critics Help Catch LLM Bugs

6月26日，字节跳动在北京发布了基于豆包大模型打造的智能开发工具 – 豆包MarsCode ，面向国内开发者免费开放。本场发布会以“用 AI 激发创造”为主题，在草地露营的轻松氛围中发布了豆包MarsCode 并介绍了其主要功能，同时发布开发者及社区共创计划，吸引了众多业界人士、开发者和科技爱好者的关注。

豆包MarsCode——用 AI 激发创造

字节跳动开发者服务团队、豆包MarsCode 负责人李东江在正式发布之前，分享了一些对 AI 时代开发工具演进趋势的思考。

进入AI 时代，大语言模型在编程语言方面具备强大的优势和潜力，相比起复杂的自然语言，编程语言是更加简洁，更加严谨，更加可预测的。

关于“应当如何构建一款 AI 时代的开发者工具”的命题，豆包MarsCode 团队会更多的从如何赋能开发者的角度入手。李东江认为 AI 不是替代开发者的“竞争者”，而是开发者的“好帮手”，团队更希望打造一款软件，能够助力提升开发者工作效率，让开发者有更多精力和时间用于思考和创造，这也就是为什么发布会的主题是“用 AI 激发创造”。

李东江提到，新的模型、新的算力、新的产品、新的技术每天都在出现，无论是产品还是技术，一切都还处在早期，都在快速更新迭代。在 AI 技术驱动下，一定会衍生出下一代的开发工具。而豆包MarsCode 团队，希望与开发者共同探索、建设，一起打造 AI 时代的新的开发者工具。

豆包MarsCode首发功能揭秘

随后，豆包MarsCode 产品负责人王海建介绍了豆包MarsCode 产品的两种形态 – 编程助手 和 Cloud IDE，同时通过需求开发、修复Bug、开源项目学习三个实际场景，详细演示了豆包MarsCode 的项目问答、代码补全、单测生成、Bug Fix等功能。通过完整场景演示串联各功能的使用配合，展示出豆包MarsCode 在日常工作中的优秀落地能力，无论是新手程序员还是经验丰富的开发者，都能体验到豆包MarsCode 带来的助力和效率提升。

需求开发场景

通过一个翻译机器人构建的实际案例，王海建演示了在 AI 的辅助下，开发者可以如何通过唤起编程助手进行 Chat 提问，分析需求、熟悉代码、编写代码和调试代码。

代码补全不仅仅可以帮助开发者更快地输入代码，更是可以通过不断提供代码建议，给开发者带来灵感和启发。

豆包MarsCode 的创新功能——代码补全 Pro，不同于传统的代码续写，它支持自动根据用户编辑意图预测下一个改动点并给出代码推荐。

除了代码预测与补全，当编码中出现需要修复的代码 Lint 错误时，编程助手会直接在编辑器中主动给出修改代码，我们不需要去查看是什么报错原因，只需要判断修复结果是否正确，如果正确，一键采纳修复后的代码即可。

最后，当我们写完代码，为了保障代码的质量与后续的可维护性，通常还需要写单元测试。这时只需要在编程助手中触发 test，就可以得到这个函数的测试用例。

可以看到，相比于传统的开发方式，豆包MarsCode 编程助手可以帮助开发者更轻松、更专注地编程。

Bug修复场景

在 Debug 场景下，豆包MarsCode 的 AI 修复功能可通过理解报错信息、调用栈的代码、全局的项目代码，去分析错误原因，从而直接给出针对性的修复建议。

除了单轮修复，豆包MarsCode 也在尝试基于 Agent 方式实现多轮自动修复，AI 会自主调用一系列代码查询工具、调试工具获取报错信息、自主规划方案、自主写出代码并应用到项目当中去，来修复 Bug。目前该功能正在字节内部做验证，争取能够尽快发布与大家见面。

开源项目学习场景

第三个场景下，豆包 MarsCode IDE 通过提供开发模版，让开发者能够快速进入项目而无需运维本地环境。借助原生集成的 AI 能力，开发者不再需要自己去理解代码，从而更高效地上手项目。

总的来说，豆包MarsCode在以下两个方面帮助开发者：

• 对于想的阶段，提供更好的信息，例如做代码解释，研发知识的问答，来激发开发者创造；
• 对于做的阶段，帮助开发者更快地完成编码，例如代码的补全、下一步编码动作的预测，代码的错误修复，来提升开发者效率。

开发者与社区共创计划

最后，豆包MarsCode 市场运营负责人赵旭东介绍了豆包MarsCode 开发者与社区共创计划。后续豆包MarsCode 会通过成立用户组、各类系列开发者活动等方式，助力开发者探索 AI 编程新范式。

豆包MarsCode 用户组将由开发者自组织自运营，豆包MarsCode 团队不会参与到用户组的管理，但是会为用户组提供丰富的各类资源支持，支持各地用户组发展，例如场地资源、产品资源、活动物料、专家讲师支持等，帮助促进各地开发者更有效的探索 AI 编程新范式，助力我们的开发者学习成长。

在开发者活动方面，豆包MarsCode 将陆续在北、上、深、杭等城市举办 Meetup ，同开发者走出会议室进入户外，以更加轻松的方式，交流 AI 编程技巧和经验，一起用 AI 激发创造！

豆包MarsCode 还计划协同各开发者社区，将 AI 能力融入到社区使用场景中，将豆包MarsCode 的能力更便捷的提供给开发者。目前，豆包MarsCode 已与掘金社区在 AI 助手、账号打通、专属沸点专区等层面合作。同时我们也希望能够与更多社区进行合作共创，让豆包MarsCode 的 AI 能力普惠到更多的社区场景中，将下一代编程新范式带给更多开发者，助力开发者更快、更强！

（本文转载自：豆包MarsCode）