Ollama 免费本地 LLM：一条命令跑 DeepSeek/Qwen/Llama，开源、离线、零额度

各位做本地开发、在意隐私、或者被云端大模型排队/限速困扰的同学注意了——本期「壹贰线报」给大家带来一款免费开源本地 LLM 运行器Ollama。

一句话：装好之后一行命令就能让 DeepSeek-R1、Qwen3.8、Llama 4、Gemma、CodeLlama、Phi-4 等 1000+ 款开源大模型在你自己的电脑上跑起来，完全本地、断网可用、MIT 协议免费商用、自带兼容 OpenAI 的本地 API 接口，Mac / Linux / Windows 全平台都支持。

但在你动手安装之前，有 3 个关键信息需要先说清楚——这几条都是网上 90% 的教程没讲透的。

🚨 先划 3 个重点更正

1. 「数百个模型都免费可商用」是误导：Ollama 本身 MIT 协议完全开源免费，但模型本身的许可证各家不同——Qwen / Mistral / Phi / DeepSeek 可商用，Llama 3.x/4 受 Meta 商业许可约束（月活 7 亿以上必须申请）、Gemma 受 Google 许可约束，商业项目部署前必须逐个核查模型 license，不能默认"全免费商用"。

2. 「免费」不是零成本——隐形成本是硬件：7B 模型需 16GB 内存/6-8GB 显存、13B 需 32GB/12-16GB、70B 需 64GB+/48GB+、120B 需 128GB+/80GB+；M 系列 Mac 统一内存最友好，纯 CPU 推理 7B 模型每秒仅 5–15 tokens（能用但慢），有 NVIDIA 独显才是舒适体验。

3. 「JS/Python/Go 等语言绑定」要分清：Ollama 核心只提供 HTTP REST API + 命令行 CLI，官方 SDK 只有 JavaScript/TypeScript、Python、Go 三个；Rust / Java / C# / Swift 等靠社区库；原生不自带 Web UI，需要 UI 要自己装 Open WebUI、Chatbox、LobeChat 等第三方客户端。

💰 真实免费额度（没有"套餐"概念，全部永久）

付费边界说明：Ollama 本身完全免费、没有任何付费档位。你唯一的"成本"是硬件（自己的电脑/服务器）和电费；如果用云端 GPU 部署 Ollama，云主机费用由云厂商收取，和 Ollama 官方无关。

🔥 核心能力速览（v0.40.11，2026 年 10 月最新）

• 主流模型一键拉取：官方库覆盖 Llama 3/4、Qwen 3.8、DeepSeek-R1/V3、Gemma 2/4、Phi-4-multimodal、Mistral S/M/L、CodeLlama、Kimi、GLM-4、MiniMax、gpt-oss（OpenAI 开源）等上千款，ollama run qwen2.5 一条命令自动下载加载

• 自动 GPU 加速：NVIDIA CUDA、AMD ROCm、Apple Silicon MLX 自动识别调用，没独显自动降级 CPU 模式；实测 RTX 4060 Ti 跑小模型 GPU 利用率 100%

• OpenAI 兼容接口：标准 /v1/chat/completions、/v1/embeddings、v0.40.11 新增 /v1/audio/speech 语音流式接口；Dify / LobeChat / NextChat / Open WebUI / LangChain / ChatGPT Desktop 原生支持

• 量化选择自由：q4_0（最小最快）到 q8_0（最高精度）任意选，量化后显存占用减少 40%、性能损失约 15%

• KV 缓存 + 分布式推理：多 GPU 自动分片、支持多机分布式，跑大模型更顺滑

• MCP 协议支持：v0.20+ 开始支持 Model Context Protocol，Agent 工具调用更便捷

• Modelfile 自定义：类 Dockerfile 语法，可基于基础模型微调提示词、注入 System Prompt、挂载本地文档、打包私有模型

• ChatGPT Desktop 直连（v0.34+）：macOS 应用设置里一键接入，保留 ChatGPT 工作流的同时跑本地开放模型

• 隐私 100% 可控：所有推理在本地完成，默认不上传任何对话日志；可配置 OLLAMA_MODELS 改模型存储路径到非系统盘

📊 硬件需求速查表（4-bit 量化为基准）

💡 小提示：M 系列 Mac 因统一内存架构，32GB 内存可以流畅跑 30B 级别模型，性价比最高；Windows/Linux 建议至少 RTX 3060 12GB 起步。

⚠️ 3 个避坑提醒

1. Windows 系统要求：必须 Win10 22H2 及以上或 Win11，老 Win10/Win7/Win8 装不了；NVIDIA 驱动建议 551.61 或更新，AMD 显卡部分支持 ROCm

2. C 盘爆炸警告：程序本体约 1.5–2.8GB，模型默认存在 C:\Users\用户名\.ollama\models，大模型动辄 10–50GB，装完务必配置环境变量 OLLAMA_MODELS=D:\ollama_models 改到非系统盘

3. 纯 CPU 不要跑大模型：纯 CPU 推理 7B 速度仅 5–15 tokens/s（约每秒 2–5 个字），适合测试不适合日常；想日常用至少要有 8GB 显存的显卡

✅ 谁适合用 / ❌ 谁不适合用

✅ 强烈推荐：

• 做敏感业务（医疗/金融/法律/企业内部数据），对话内容不能出公司

• 开发/测试阶段需要快速本地调 LLM，不想等云端排队

• 断网/内网环境也要用 AI

• 想零成本入门大模型开发，不想被 API 账单吓到

• 用 M 系列 Mac 的开发者（统一内存+MLX 加速体验极佳）

❌ 不太适合：

• 追求 GPT-4o 级多模态能力（开源 70B+ 模型虽强但需要专业卡）

• 电脑只有 8GB 内存且没有独显（只能跑 3B 小模型，体验有限）

• 想"开箱即用像网页版一样"（原生只有命令行，需要另装 UI）

• 要用于商业项目但没仔细核查模型 license（Llama/Gemma 有商业使用限制）

🚀 4 步上手（复制即可）

第一步：安装 Ollama

• Mac / Windows：直接去 ollama.com 下载安装包（约 1.5GB）

• Linux：一行命令

curl -fsSL https://ollama.com/install.sh | sh


• Docker：docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

第二步：拉取并运行模型（终端直接对话）

ollama run qwen2.5              # 通义千问 2.5（中文好）
ollama run deepseek-r1:8b       # DeepSeek-R1 推理模型
ollama run llama3.1             # Llama 3.1
ollama run codellama            # 代码模型


第三步：Python 调用 OpenAI 兼容接口

from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 随便填，本地不需要真 key
)
response = client.chat.completions.create(
    model="qwen2.5",
    messages=[{"role": "user", "content": "用一句话解释什么是RAG"}]
)
print(response.choices[0].message.content)


第四步：装个 Web UI（可选）推荐 Open WebUI（前身 Ollama WebUI），Docker 一行启动：

docker run -d -p 3000:3000 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main


浏览器打开 http://localhost:3000 就能像 ChatGPT 一样对话。

📊 本地 LLM 方案横向对比

壹贰线报 · 官方 GitHub 原文核实文中功能与版本以 Ollama 官方 GitHub（ollama/ollama，18.2k Star）与 v0.40.11 更新日志为准（核实时点：2026 年 11 月）。

你平时用本地 LLM 跑什么任务？写代码 / 处理文档 / 跑知识库 / 还是给 AI Agent 当后端？哪款模型在你电脑上跑得最顺？

本文为客观产品额度核实，非广告；文中涉及的硬件配置为推荐配置，实际体验因机器而异；模型商用前请务必核查对应厂商 license 条款。