第一章Ollama 安装与本地推理环境搭建

Windows 环境要求在开始之前建议先确认当前电脑是否满足本地推理的基础要求。虽然 Ollama 对硬件要求并不算特别高但模型推理会持续占用• GPU显存• 系统内存• 硬盘缓存• CPU 调度资源如果配置过低可能会出现• 推理速度过慢• GPU 无法加载模型• 系统卡顿• 长时间运行崩溃推荐配置如下项目推荐配置操作系统Windows 10 / Windows 11 64位内存≥16GB推荐32GB显卡NVIDIA RTX 系列推荐 RTX3060 及以上显存建议 8GB 以上硬盘空间至少 50GB 可用空间显卡驱动最新 NVIDIA 驱动实际测试中RTX2060 虽然能够运行部分 7B 模型但长时间推理时显存压力会比较明显而 RTX3060 12GB 在本地开发环境下会更加稳定。1.2. 检查 NVIDIA 显卡环境在安装 Ollama 之前建议先确认 GPU 是否能够被系统正常识别。打开命令行执行nvidia-smi如果能够看到以下信息• GPU 型号• 显存大小• 驱动版本• CUDA 版本说明当前 GPU 环境基本正常。如果无法识别 GPU则需要优先安装 NVIDIA 驱动。1.3. 安装 OllamaOllama 是目前本地大模型部署中最流行的工具之一。它最大的优势是• 安装简单• 模型管理方便• 支持多种主流模型• API 调用非常友好• 对开发者环境支持较好1.3.0图文示意步骤1.3.1 下载 Ollama访问网站有以下几个文档Docshttps://docs.ollama.com下载页面Download Ollama on macOSGitHub开源代码https://github.com/ollama/ollama访问官网如下所示下载 Windows 版本并安装。1.3.2 安装完成验证安装完成后打开命令行执行ollama -v如果输出版本号说明安装成功如下图所示1.4. 运行第一个本地模型Ollama 支持大量主流开源模型例如• DeepSeek• Qwen• Llama• Gemma• Mistral首次运行模型时系统会自动下载模型文件。不同模型指令图形示意1.4.1 运行 DeepSeek 模型ollama run deepseek-r1:7b首次运行时会自动下载模型请耐心等待。如下图所示1.4.2 运行 Qwen 模型ollama run qwen2.5:7b1.4.3 运行 Llama 模型ollama run llama31.5. 查看已安装模型ollama list可以看到当前本地已下载的模型列表。如下图所示1.6. 模型存储位置WindowsOllama 默认模型存储路径具体取决于安装时候的设置。C:\Users\你的用户名.ollama\models如果后续需要清理空间可以从这里管理模型文件。1.7. 验证 GPU 是否参与推理例如要求写个集装箱算法