可以说，自托管人工智能领域正在蓬勃发展。专有巨头仍在基准测试中占据主导地位，但 DeepSeek R1、Mistral Small 3.1 和 JetMoE 等开源模型的性能令人印象深刻，而且成本往往很低。以下是对现有产品的详细介绍，以及哪种型号最适合你的下一个项目。
自托管 "的真正含义
自托管人工智能模型可在本地部署--您可以下载权重，在自己的硬件上运行推理，并控制从延迟到数据隐私的一切。这与调用远程 API 形成鲜明对比，在远程 API 中，您需要按令牌付费、依赖网络正常运行时间并支付云费用。
2025 年的主要竞争者
深度搜索 R1
- 开放权重，MIT 许可
- 在 MATH 和 AIME 等基准测试中表现优于 OpenAI 的 GPT-4o
- 设计高效--使用比竞争对手少得多的资源进行训练
- 非常适合复杂推理和数学
小型 Mistral 3.1 (24B)
- 重型开源版本
- 解析图像并处理长上下文窗口（最多 128K 标记）
- 多模态和文档丰富任务的理想选择
JetMoE-8B
- 专家混合物模型，仅用很少的计算量就击败了 LLaMA-2 7B
- 高效推理--每个标记仅激活完整模型的一部分
DBRX（Databricks/Mosaic）
最重要的是：性能与效率
DeepSeek R1
- **推理速度：**适中
- **硬件需求：**中等 GPU 或高端 CPU
- 上下文窗口~128K 标记（估计值）
- 最佳用例数学繁重、逻辑密集型工作负载
- 授权许可MIT
Mistral Small 3.1
- 推理速度在 GPU 或现代 CPU 上速度很快
- **硬件需求：**无障碍（单个 GPU 或功能强大的 CPU）
- 上下文窗口128K 标记
- 最佳用例多模态任务、长文档
- 授权许可：Apache-2.0Apache-2.0
JetMoE-8B
- **推理速度：**由于采用了 MoE（专家混合物），因此非常高效
- **硬件需求：**最低限度（适合单 GPU 或仅 CPU 设置）
- 上下文窗口标准（~4K-8K 标记，取决于版本）
- 最佳用例资源有限的环境
- **许可：**开放研究
DBRX（Databricks）
- **推理速度：**就规模而言效率高，但需要可靠的硬件
- **硬件需求：**高（通常建议使用 >2 个 GPU）
- 上下文窗口标准
- 最佳应用案例大规模通用应用
- **许可：**开放式数据库
DeepSeek 的 R1 在推理方面遥遥领先，Mistral 是长文档或图片的理想选择，JetMoE 在 GPU 紧张的情况下非常适合，而 DBRX 可胜任一般任务，但需要强大的硬件。
社区和行业观点
- Meta 的 Yann LeCun 说，DeepSeek R1 表明开源正在迎头赶上
- r/LocalLLM上的Reddit用户更喜欢DeepSeek、Qwen和Janus 7B的工作负载
如何选择模型
- 定义您的用例--数学、代码、聊天、图像？关注该领域的基准。
- 检查硬件- 仅 CPU？选择 Mistral Small 或 JetMoE。有 GPU 吗？DeepSeek 或 DBRX 就是不错的选择。
- 评估延迟要求--如果需要快速推理每个标记，较小的模型或 MoE 模型会有所帮助。
- 考虑上下文窗口--对于长对话或文档来说，窗口越大越好。
- 许可证和生态系统- Apache/MIT 易于商业使用；MoE/开放研究可能需要审查。
视频推荐
标题： 2025 年顶级人工智能模型对比/工程师需要了解什么<br>
频道工程智能<br>
最终想法
2025 年，最高效的自托管人工智能模型不再是学术奇观，而是真正强大的工具。DeepSeek R1 是一款逻辑/推理利器，Mistral 可处理长篇和多模态上下文，而 JetMoE 和 DBRX 则提供了高效但功能强大的替代方案。
选择一款适合您的硬件、使用案例和性能需求的工具，您可能再也不需要为每个标记付费或泄露隐私了。
