Ollama 本地大模型

本页维护模型服务、资源排查与客户端接入。代理模型映射见 LiteLLM，工具执行与记忆见 LangChain Agent。核对日期：2026-10-17。

安装与服务入口

按系统选择 官方下载页 (opens new window) 的安装方式。macOS App 与命令行服务的启动方式不同，不要同时启动多个实例争用默认端口。GPU 是否生效应由实际运行状态判断，不能仅根据安装渠道下结论。

命令	用途
ollama --version	核对 CLI 版本
curl http://localhost:11434/api/tags	检查当前地址的服务与模型列表
open -a Ollama	启动 macOS App
ollama serve	前台启动服务，先确认端口未被其他实例占用
ollama list	列出已下载模型
ollama ps	查看已加载模型、处理器分配等信息

环境变量必须由实际启动服务的进程继承。给终端执行 export 不会修改已经运行的桌面 App。Ollama FAQ (opens new window)

模型管理

以下 qwen3:8b 是命令示例，不代表适合所有硬件；先检查模型说明、量化规格、上下文与本机可用内存。

命令	用途
ollama pull qwen3:8b	下载模型
ollama show qwen3:8b	查看模型信息
ollama run qwen3:8b	交互运行
ollama stop qwen3:8b	卸载运行中的模型
ollama rm qwen3:8b	删除已下载模型

GPU、内存与性能排查

先运行一次请求使模型加载，再看 ollama ps 的处理器分配。macOS 的 GPU 支持参照 硬件说明 (opens new window)；必要时结合服务日志确认实际后端。CPU 占用高本身不足以证明模型完全在 CPU 上运行。

现象	检查方向
连接失败	先确认服务进程、监听地址和端口
模型加载慢	区分首次加载与后续推理，查看是否频繁卸载重载
内存不足	减小模型、上下文长度、并发量和同时加载数量
生成慢	核对处理器分配，在相同模型、量化和上下文下重复测量
改环境变量无效	确认实际运行的是 App、前台服务还是服务管理器启动的进程

num_ctx、并发和模型大小共同影响内存；固定“16GB 必须能跑某个模型”或统一 token/s 数值都不能作为验收标准。旧笔记中安装渠道与速度的对照缺少可复现版本、量化和负载信息，此处改为运行时验证。

API 调用与参数

curl http://localhost:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3:8b",
    "prompt": "用一句话说明什么是工具调用",
    "stream": false,
    "options": {"num_ctx": 4096, "num_predict": 256}
  }'

这是 Ollama 原生 /api/generate 请求。JSON 内不能写注释；流式响应与非流式响应的解析方式不同。生成接口文档 (opens new window)

Claude Code 接入

Ollama 提供 Anthropic 兼容接口。已安装支持相应功能的版本时，可运行：

ollama launch claude

也可显式配置已下载、支持工具调用且资源足够的模型：

ANTHROPIC_AUTH_TOKEN=ollama \
ANTHROPIC_API_KEY='' \
ANTHROPIC_BASE_URL=http://localhost:11434 \
claude --model qwen3:8b

这里的 base URL 是服务根地址，不能照搬 OpenAI 兼容接口的 /v1。本地 ollama token 是该兼容入口使用的占位值，不能用于需要真实凭据的云端服务。模型能力和上下文设置按任务验证；更长上下文需要更多内存。Ollama 官方集成说明 (opens new window)

Hugging Face 模型导入

任务	对应工具
查模型卡、下载权重、使用训练库	Hugging Face
管理并运行受支持的本地模型	Ollama
导入自己的模型权重	先核对 Ollama 支持的模型架构与输入格式

Ollama 支持从部分 Safetensors 模型或 GGUF 导入，并非所有 Hugging Face 模型都必须先转换为 GGUF。平台来源、文件格式和模型架构是不同维度。导入流程以 官方模型导入说明 (opens new window) 为准。

继续阅读

• 模型库 (opens new window)
• 官方 FAQ：服务配置、日志与资源使用 (opens new window)
• LiteLLM：多后端代理与路由。
• LangChain + Ollama：工具调用、事件和记忆。