HPC-Ops

HPC-Ops

HPC-Ops是腾讯混元AI Infra团队开源的高性能大模型推理底层算子库,提供Attention、GroupGEMM等核心算子,支持BF16与FP8量化,针对主流硬件优化,旨在提升推理吞吐和降低延迟。

AI编程 └ AI编程工具 免费使用 #AI编程工具、AI大模型、AI开发平台

工具介绍

功能:提供高性能大模型推理算子,如Attention、Router GEMM、FusedMoE、Fused AllReduce+Norm和Sampler,支持动态负载调度、高精度计算和全链路融合,优化推理性能。

特色:开源工业级实现,针对CUDA环境深度优化,多项性能指标超越业界基线,支持真实复杂业务场景,来自腾讯生产实践验证。

适用人群:大模型开发者、AI基础设施工程师、高性能计算研究人员、需要优化推理系统的工程团队。

价格说明:完全免费开源,遵循相关开源协议,可自由使用和参与社区共建。

同分类更多 AI 工具