在本地运行大语言模型时，AMD Radeon 显卡能够通过 ROCm 为 Ollama 提供 GPU 加速，但实际部署往往比“安装后直接运行”更考验兼容性。显卡架构、Linux 内核、amdgpu 驱动、ROCm 版本与 Ollama 运行库之间只要有一环不匹配，就可能出现 GPU 未识别、自动回退 CPU、推理崩溃或显存利用异常。本文以 Linux 为主，整理一套从部署到故障定位的实用流程。🛠️
一、部署前先核对兼容性
不要仅凭“这是 AMD 显卡”判断能否使用 ROCm。首先执行 lspci -nn | grep -Ei "VGA|Display" 确认显卡型号，再运行 rocminfo | grep -i gfx 查看 GPU 的 gfx 架构标识。随后对照 Ollama 硬件支持列表和 来源链接 Radeon ROCm 兼容性说明，同时核对显卡、操作系统及驱动组合。
官方列表未收录的显卡并不等于绝对无法运行，但这意味着 ROCm 路径可能缺少对应架构的预编译内核，稳定性也无法保证。此时应优先考虑 Ollama 的 Vulkan 后端，而不是直接套用网上流传的架构覆盖参数。⚠️
二、安装驱动、ROCm 与 Ollama
建议使用 AMD 官方仓库提供的 amdgpu 与 ROCm 安装方案，避免混合发行版自带 ROCm、第三方软件源和手工复制的动态库。具体步骤应以 来源链接 原生 Linux 安装文档为准。安装完成后，可依次执行 rocminfo、rocm-smi 和 ls -l /dev/kfd，确认计算栈能够识别显卡且设备节点存在。
安装 Ollama 可执行 curl -fsSL 来源链接 | sh。若采用手动安装方式，除了主程序包，还要安装官方提供的 AMD ROCm 附加包；升级旧版本前应清理残留运行库，避免 Ollama 加载到新旧混杂的文件。完整命令及服务配置参见 Ollama Linux 文档。✅
权限与服务配置
ROCm 通常需要访问 /dev/kfd 与 /dev/dri。应确认启动 Ollama 的用户属于 render 和 video 组，可执行 sudo usermod -aG render,video ollama，随后重启服务或系统。若终端手动启动可以使用 GPU，而 systemd 服务不行，重点检查服务账户、附加组及环境变量，不要只检查当前登录用户。
三、验证是否真正启用 GPU
先运行一个显存能够容纳的小模型，再执行 ollama ps 查看处理器分配。如果显示全部或部分由 GPU 处理，说明硬件加速已经生效；如果显示 100% CPU，则需要继续检查。测试期间还可通过 watch -n 1 rocm-smi 观察显存、GPU 利用率与功耗变化。📊
日志比推理速度更可靠。systemd 环境可执行 journalctl -u ollama --no-pager --follow，手动运行则使用 OLLAMA_DEBUG=1 ollama serve。重点关注 ROCm 库是否加载、检测到的 gfx 架构、可用显存以及回退 CPU 的原因，日志查看方法可参考 官方故障排查页。
四、常见兼容性故障排查
- rocminfo 找不到 GPU：问题通常位于驱动或权限层。检查 lsmod | grep amdgpu、dmesg | grep -i amdgpu、设备节点权限及用户组；在这一层修复前，反复重装 Ollama没有意义。
- ROCm 能识别，Ollama 仍使用 CPU：确认 AMD 附加运行库安装完整，并检查服务实际获得的环境变量。可用 systemctl show ollama --property=Environment 查看配置，修改后执行 sudo systemctl daemon-reload 与 sudo systemctl restart ollama。
- 出现“no compatible GPUs”：通常表示当前 gfx 架构不在该运行库的支持范围内。应先升级到相互匹配的驱动、ROCm 与 Ollama 版本；不要随意设置 HSA_OVERRIDE_GFX_VERSION，该参数属于兼容性绕过手段，错误映射可能导致计算异常或程序崩溃。
- 加载模型时显存不足：选择更小参数量或更高量化程度的模型，缩短上下文，并关闭占用显存的桌面应用。模型文件大小不等于完整运行显存需求，上下文缓存与运行时缓冲区同样会消耗显存。
- 升级后突然失效：记录 ollama -v、内核版本、GPU 型号、gfx 标识和驱动版本，再比较升级前后的变化。必要时安装此前可用的 Ollama 版本进行交叉验证，但应避免长期冻结存在安全问题的系统组件。
- 休眠后回退 CPU：可先重启 Ollama 服务；若 ROCm 工具也无法识别显卡，则重启图形会话或系统，并查看内核日志确认 amdgpu 是否恢复正常。
五、Docker 场景的关键检查
使用容器时需要采用 ROCm 镜像，并映射 GPU 设备。基础方式为 docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm。如果宿主机能够识别 GPU、容器内却不行，应检查设备映射、容器用户权限和安全策略。官方示例可查看 Ollama Docker 文档。🐳
六、推荐的最短排障路径
- 确认准确的显卡型号与 gfx 架构。
- 核对官方支持列表和操作系统要求。
- 使用 rocminfo 与 rocm-smi 验证宿主机。
- 检查 /dev/kfd、/dev/dri 及服务用户权限。
- 启动小模型，并通过 ollama ps 验证处理器分配。
- 结合 Ollama 日志定位库加载或架构错误。
- 最后再尝试 Vulkan、版本回退或架构覆盖方案。
排障原则是从底层向上验证：内核驱动 → ROCm → 设备权限 → Ollama 运行库 → 模型显存需求。跳过底层检查，往往只会把真正的问题隐藏起来。
总结
Ollama 在 AMD Radeon 上能否稳定使用 ROCm，核心不在某一条“万能命令”，而在整套软件栈是否匹配。部署前核对官方兼容性，安装后分别验证 ROCm 与 Ollama，故障时优先阅读日志并区分驱动、权限、运行库和显存问题。对于未正式支持的显卡，Vulkan 通常比强制伪装 gfx 架构更稳妥。保留版本记录并一次只修改一个变量，才能快速找到真正的故障点。🚀
