llama.cpp

核心功能

llama.cpp 是一个基于 C/C++ 实现的高性能 AI 推理引擎，专注于运行 Meta 的 LLaMA 系列大语言模型（如 LLaMA 2、Code LLaMA 等）。其核心功能包括：
- 纯 CPU 推理：无需 GPU 即可在普通电脑甚至树莓派上运行大模型，通过内存映射技术高效利用系统 RAM。
- 量化优化：支持 4-bit、5-bit 等低精度量化（如 Q4_0、Q5_K_M），大幅降低模型体积和内存占用，同时保持较高的推理精度。
- 多平台兼容：提供跨平台编译支持（Windows、macOS、Linux、Android），并适配 ARM 架构的 Apple Silicon 芯片。
- 交互式对话：内置命令行交互模式，支持流式输出、上下文记忆和对话历史管理。

适用场景

该工具特别适合以下场景：
- 本地部署与隐私保护：企业或个人需在无网络环境下运行 AI 助手，避免数据上传至云端，例如医疗、金融等敏感行业。
- 边缘设备推理：在 Raspberry Pi、老旧笔记本电脑或嵌入式系统中部署轻量级对话模型，用于智能家居、离线客服等场景。
- 开发者实验与调试：快速测试不同量化策略对模型效果的影响，或通过 API 接口集成到 Python、Rust 等开发环境。
- 低成本 AI 应用：无需昂贵 GPU，利用现有硬件（如 8GB RAM 的 MacBook）即可运行 7B 参数模型。

主要特点

- 极致轻量：单文件可执行程序，体积仅数 MB，无需 Python 或 PyTorch 依赖，启动速度极快。
- 高性能优化：通过 AVX2、NEON 等指令集加速，在 Apple M2 芯片上可达 30+ tokens/秒的生成速度。
- 丰富的模型支持：除 LLaMA 外，还兼容 Mistral、Falcon、Yi 等社区主流模型，并支持 GGUF 格式的一键加载。
- 开源生态活跃：GitHub 星标超 60k，社区贡献了大量量化工具、Web UI（如 llama.cpp-webui）和 Docker 镜像，降低使用门槛。