工具介绍
功能：支持多种大语言模型（如 LLaMA、Mistral、Qwen 等）的推理，提供量化技术以减少内存使用，支持 CPU 和 GPU 加速，并包含命令行工具和 HTTP 服务器。
特色：纯 C/C++ 实现，无外部依赖；跨平台兼容（Windows、macOS、Linux）；开源免费；高性能优化，支持多种硬件后端（如 CUDA、Metal、Vulkan）。
适用人群：AI 开发者、研究人员、希望本地运行 AI 模型的用户，以及对性能调优有需求的进阶用户。
价格说明：完全免费开源，代码托管在 GitHub，可自由使用、修改和分发。
