CPU架构LLaMA.cpp安装

二进制安装

llama.cpp release 提供了多个版本适配不同的硬件:

以下是windows环境下适配CPU和GPU的版本案例

  • AVX (llama-bin-win-avx-x64.zip): For older CPUs with AVX support.

  • AVX2 (llama-bin-win-avx2-x64.zip): For Intel Haswell (2013) and later.

  • AVX-512 (llama-bin-win-avx512-x64.zip): For Intel Skylake-X and newer.

  • CUDA (llama-bin-win-cuda-cu11.7-x64.zip): If using an NVIDIA GPU.

不过，对于Linux版本较少版本，只提供了 ubuntu 下的 vulkan 和 通用cpu版本，所以一般需要编译。

编译安装

为 本地化部署DeepSeek-R1 CPU架构 准备，本地编译 llama.cpp

编译环境准备
apt-get update
apt-get install build-essential cmake curl libcurl4-openssl-dev -y

  • 下载 llama.cpp 源代码:

下载 llama.cpp 源代码
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

  • 针对CPU架构编译:

针对CPU架构编译
# NOT USE -DGGML_CUDA=ON, ONLY support CPU
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DLLAMA_CURL=ON
# -j 40 for system wich 48 cpu core
cmake --build llama.cpp/build --config Release --clean-first -j 40
#cp llama.cpp/build/bin/llama-* llama.cpp

这里完成编译生成的3个执行程序:

编译生成的llama执行程序
llama-cli
llama-gguf-split
llama-quantize

都被复制到 llama.cpp 目录下待用，并且执行程序是静态编译程序，可以复制到其他相同操作系统环境使用。

参考