CUDA

CUDA安装前的准备工作在安装CUDA Toolkit前，需要确认显卡型号、驱动版本和系统兼容性。NVIDIA显卡必须更新到450版本以上的驱动。Windows系统安装步骤下载CUDA Toolkit 11.8安装包，选择自定义安装，取消安装NVIDIA GeForce Experience，只安装CUDA核心组件。Linux系统安装使用runfile方式安装最稳定。先关闭图形界面，停止X Server，然后执行sudo sh cuda_11.8.0_520.61.05_li...

为什么你需要多显卡跑Ollama？单卡的瓶颈到底在哪 很多人用Ollama跑7B模型觉得挺流畅，直到某天心血来潮拉了个70B的模型，才发现8G显存根本塞不下——模型加载到一半直接OOM崩溃。这时候你可能会想：我机箱里明明还插着一张3060，Ollama能不能把两张卡都用上？ 答案是：可以，但默认不会。Ollama底层依赖llama.cpp，而llama.cpp从很早就支持多GPU张量并行（tensor split），只是Ollama的官方文档对这块说得极其含糊，很多人甚至不知...