Vulkan架构安装LLaMA.cpp

Vulkan支持

• 树莓派Raspberry Pi 4 和 树莓派Raspberry Pi 5 支持Vulkan 1.2

• Intel UHD Graphics 630 支持Vulkan 1.3

有没有可能使用最基本的GPU功能来实现小型LLM推理?

备注

Performance of llama.cpp with Vulkan 可以看到，即使是非常古老的 Intel i5-8350U 也能够使用 Vulkan 支持来运行 Llama ，虽然性能是可怜的 3.23 tg128 t/s ，大约是最新的 AMD Radeon RX 7900 XTX 的 1/50 。

不过，既然有这个功能，我还是准备挑战一下，尝试在我购买的二手 Intel Xeon E-2274G 构建和运行，看看能否运行

理论上 LLaMa(Large Language Model Meta AI) 是支持 Vulkan 加速的，我考虑尝试一下在 树莓派Raspberry Pi 5 构建一个微型推理系统

在树莓派上安装 vulkan

sudo apt install mesa-vulkan-drivers mesa-utils vulkan-tools

然后运行 vkcube 命令查看是否工作

待实践...

参考

• Issues with running Llama.cpp on Raspberry Pi 5 with Vulkan. #5237

• Getting started with Vulkan on RPi?

• How do i install Vulkan drivers? 提供了安装vulkan驱动的信息

• Llama.cpp supports Vulkan. why doesn't Ollama?

• Performance of llama.cpp with Vulkan 不同GPU的Vulkan性能评分列表