dInfer

dInfer 是一个专为扩散语言模型设计的高效可扩展推理框架，支持 LLaDA、LLaDA-MoE 和 LLaDA2 等多种模型变体，提供模块化组件和批处理推理能力，显著提升推理吞吐量。

AI编程 └ AI编程助手免费使用 #AI编程助手、AI大模型、AI开发平台、AI开发框架

工具介绍

支持多种扩散语言模型变体，包括 LLaDA2.0-mini、LLaDA2.0-flash、LLaDA-MoE 等；提供批处理推理优化；兼容 vLLM 和 SGLang 后端；支持模型格式转换和量化版本。

模块化架构，将推理分解为模型、扩散迭代管理器、解码器和 KV-cache 管理器；提供灵活 API 用于算法组合；在基准测试中实现高吞吐量（如超过 1100 TPS）；开源且易于扩展。

AI 研究人员、机器学习工程师、开发者，特别是需要部署和优化扩散语言模型推理的团队，适用于学术研究和生产环境。

dInfer 是开源项目，完全免费使用，遵循 Apache-2.0 许可证。