你的显卡到底该跑哪个：国产大模型本地部署横向实测

Mon, 15 Jun 2026 08:00:00 +0800

先给结论：没有"最强"，只有"最合适"。

你的显存	推荐模型	预期速度
8GB	Qwen3:4b（中文万金油）	100+ tokens/s
12GB	DeepSeek-R1:7b（推理强）	40-70 tokens/s
16GB	Qwen3:14b 或 DeepSeek-R1:14b	70-120 tokens/s
24GB	DeepSeek-R1:32b 蒸馏版	30-60 tokens/s

这是我在 RTX 3060 12GB 和 RTX 4090 24GB 上跑了两个星期、测试了十几个模型后得出的真实结论。下面展开说。

一、为什么是 DeepSeek、Qwen、GLM 这三家

国产开源大模型不少，但真正在 Ollama 上能跑、社区支持成熟、中文效果好的，就这三家：

DeepSeek（深度求索）：推理、数学、代码领域的王者。采用 MoE（混合专家）架构，满血版 DeepSeek V4 Pro 有 861B 参数——但那是云端模型，本地根本跑不了。我们本地能用的是 R1 蒸馏系列：把满血模型的推理能力"蒸馏"进 1.5B 到 32B 的小模型里，性能远超同参数量的普通模型。DeepSeek V4 Flash 版 158B 参数的 API 调用价格仅 0.28 美元/百万 token，是目前性价比最高的云端模型之一。但本地部署用 R1 蒸馏版，7B 仅需 4.7GB 显存，效果已经非常能打。

Qwen（通义千问）：多语言能力最强，支持 119 种语言，中文效果极佳。最大优势是覆盖全：从 0.6B 到 235B 全系覆盖，树莓派上都能跑 4B 版本。生态最完善，量化版本最丰富。在 RTX 4090 上实测，Qwen3:0.6b 推理速度达 280 tokens/s，4b 也有 107 tokens/s，8b 为 69 tokens/s——速度表现是三家里最快的。

GLM（智谱）：中英双语专精，长文本（32K 上下文）处理能力强，GLM-5.1 满血版 753B 参数也是云端模型。本地能跑的是 GLM-4:9b，5.5GB Q4 量化即可运行。在长文本摘要、中英翻译、专业文档分析场景下，GLM-4 的表现超出其参数量预期。

为什么不用 Llama 或 Mistral？两个原因：中文支持弱，而且它们不是国产。这篇文章就是写给想用国产模型的人。

二、5 分钟装好 Ollama

Ollama 是目前最简单的本地大模型运行工具。三平台一行命令：

1
2
3
4
5


# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# 官网下载 OllamaSetup.exe，双击安装

装完验证：

1
2


ollama --version
# 应显示版本号，无 Warning

第一个坑：默认装在 C 盘。 Windows 用户装完会发现模型默认存在 C:\Users\你的用户名\.ollama\models，几十 GB 很快吃满系统盘。解决方法：

1
2
3


# 设置环境变量后重启 Ollama 服务
# Windows: 系统环境变量添加 OLLAMA_MODELS=D:\ollama-models
# Linux: export OLLAMA_MODELS=/data/ollama-models

ollama pull 和 ollama run 的区别：pull 只下载不启动，run 下载后直接进入对话。第一次用建议先 pull，确认下载完成再 run，避免网络中断导致模型损坏。下载支持断点续传——如果中途断了，重新执行 ollama pull 会从断点继续，不需要从头来。

下载速度提示：Ollama 的模型仓库（registry）在国内网络环境下直连速度约 4-5MB/s，第一次下载大模型需要耐心。不要中途 Ctrl+C，让它跑完。

三、显存分级选型指南（核心章节）

本地部署最重要的决策：你的显存能跑什么？这里有一个公式：

显存需求 ≈ 参数量(B) × 量化系数 + KV缓存开销

Q4_K_M（4-bit 量化）的系数约为 0.7。以 7B 模型为例：7 × 0.7 ≈ 4.9GB 模型本体，加上上下文缓存，实际需要 6-7GB 显存。

必须知道的事实：Ollama 的显存占用比 vLLM 多约 30-40%，因为 Ollama 底层封装了 llama.cpp，有额外的运行时开销。同样的模型，vLLM 可能用 5GB，Ollama 要 7GB。这是易用性的代价。

第一档：集成显卡 / 8GB 内存（贫民窟）

项目	数据
推荐模型	Qwen3:1.7b 或 Qwen3:0.6b
模型大小	1.4GB（0.6b）/ 2.5GB（1.7b Q4）
预期速度	20-40 tokens/s
能干什么	简单问答、文本摘要、翻译
不能干什么	代码生成、复杂推理、长文本分析

这个档位别指望太多，能跑起来就是胜利。

第二档：6-8GB 独立显卡

项目	数据
推荐模型	Qwen3:4b（中文首选）、DeepSeek-R1:1.5b（推理入门）
模型大小	2.5GB（Qwen3:4b Q4）/ 1.1GB（R1:1.5b）
预期速度	40-107 tokens/s
能干什么	日常对话、文案写作、简单代码、翻译
不能干什么	复杂算法题、大型代码重构

Qwen3:4b 实测可以跑到 107 tokens/s，日常使用完全够用。这是我推荐的"万金油"选择。

第三档：12-16GB 显存（甜点区）

项目	数据
推荐模型	DeepSeek-R1:7b、Qwen3:8b、GLM-4:9b
模型大小	4.7GB / 5.2GB / 5.5GB（均为 Q4_K_M）
预期速度	40-70 tokens/s
能干什么	中等难度代码、数学推理、长文写作、多轮对话
不能干什么	70B 级别的复杂推理

这是性价比最高的档位。DeepSeek-R1:7b 在 RTX 3060 12GB 上流畅推理，4.7GB 模型占用加 2GB 上下文缓存，总共不到 7GB，还有余量。

第四档：24GB 显存

项目	数据
推荐模型	DeepSeek-R1:32b、Qwen3:14b
模型大小	20GB（R1:32b）/ 9.3GB（Qwen3:14b）
预期速度	30-60 tokens/s（32b）/ 70-120 tokens/s（14b）
能干什么	高质量代码生成、复杂推理、专业领域分析
不能干什么	满血 671B 模型（需要 400GB+ 显存）

到了这个档位，R1:32b 的推理能力已经接近 GPT-4 水平，32B 蒸馏版是本地能跑的最大 R1 模型。

四、三模型实测对比

以下数据基于 RTX 4090 24GB，同一硬件、同一 prompt 的横向对比：

推理速度（token/s，Q4_K_M 量化）

模型	参数量	模型大小	推理速度
Qwen3:4b	4B	2.5GB	107 t/s
Qwen3:8b	8B	5.2GB	69 t/s
DeepSeek-R1:7b	7B	4.7GB	55 t/s
GLM-4:9b	9B	5.5GB	48 t/s
DeepSeek-R1:14b	14B	9.0GB	35 t/s
Qwen3:32b	32B	20GB	22 t/s

速度跟参数量基本呈反比。但 DeepSeek-R1 系列因为推理时会输出思考过程，实际等待时间比纯速度数字更长。

中文理解质量

同一道题：“请解释量子纠缠，用小学生能听懂的话。”

Qwen3：比喻贴切，用词自然，最像真人说话。中文确实是强项。
GLM-4：准确但偏书面，有点像教科书。
DeepSeek-R1：先在思考链里推理了 200 多个 token，然后给出答案。答案质量最高，但等待时间长。

代码生成

同一题：“用 Python 写一个快速排序，加注释。”

DeepSeek-R1:7b：代码正确，注释详细，还主动给出了测试用例。推理过程耗时约 8 秒（包含思考链），但最终输出质量最高。这正是 R1 蒸馏的优势——推理能力被完整保留。
Qwen3:8b：代码正确，注释简洁，3 秒出结果。日常使用完全够用。
GLM-4:9b：代码正确，但格式略乱，缩进有不一致的地方。

长文本处理

输入一篇 3000 字的技术文章，要求总结要点：

GLM-4:9b：32K 上下文窗口的优势在这里体现，要点提取最完整，逻辑清晰。
Qwen3:8b：摘要质量不错，但遗漏了一些次要要点。
DeepSeek-R1:7b：会先在思考链里梳理全文结构再输出，总结最深入，但耗时最长。

如果只能装一个，选谁？

日常对话 + 中文场景 → Qwen3:8b（速度和质量的最佳平衡）
写代码 + 数学推理 → DeepSeek-R1:7b（推理质量碾压同级别）
长文档分析 → GLM-4:9b（32K 上下文窗口最大）

我的建议：先装 Qwen3:8b，用顺了再根据需求加装其他模型。Ollama 切换模型只需 ollama run 模型名。

五、量化怎么选不踩坑

Ollama 默认下载的就是 Q4_K_M（4-bit）量化版本。但 Ollama 也支持其他量化级别：

量化级别	每参数比特	7B 模型大小	质量损失	适用场景
Q4_K_M	~4.5 bit	4.7GB	约 5%	性价比之王，默认选择
Q5_K_M	~5.5 bit	5.7GB	约 2%	显存够就升级
Q8_0	8 bit	7.0GB	几乎无	追求极致质量
F16	16 bit	14GB	无损	调试/对比基准

Q4_K_M 为什么是性价王？ 因为它把模型压缩到原来的 30%，但质量只损失 5%。对绝大多数日常使用场景，你根本感受不到差别。

量化的"看不见的代价"：在简单任务上（翻译、摘要）几乎无感，但在复杂推理任务上（多步数学推导、长链代码逻辑），Q4 相比 F16 的差距会被放大。如果你用模型做复杂推理，建议上 Q5_K_M 或 Q8_0。

手动指定量化版本：

1
2
3
4
5


# 下载 Q5_K_M 版本
ollama pull qwen3:8b-q5_K_M

# 下载 Q8 版本
ollama pull deepseek-r1:7b-q8_0

六、常见踩坑与排障

坑 1：OOM 崩溃

报错 CUDA out of memory 或程序直接闪退。先判断是显存不够还是内存不够：

1
2
3
4
5
6


# 查看显存使用（NVIDIA）
nvidia-smi

# 查看内存使用
free -h # Linux
# Windows: 任务管理器 → 性能 → 内存

如果 nvidia-smi 显示显存占用 95%+，说明模型太大，换小一号。如果内存也快满了，说明上下文太长，减小 num_ctx 参数。

坑 2：选了 70B 发现 16GB 根本跑不起来

这是一个常见误区：参数越大越好。70B 模型 Q4 量化后需要 43GB 显存，RTX 4090 24GB 都扛不住。它会自动降速到 CPU 推理，速度从 50 tokens/s 暴跌到 2 tokens/s，基本不可用。

我见过太多人下载了 deepseek-r1:671b（404GB），等了半天下载完，跑起来一个字要等 10 秒。

记住：选模型的第一标准是你的显存，不是"越大越好"。 参数量翻倍，推理能力提升可能只有 10-15%，但显存需求翻倍，速度腰斩。32B 蒸馏版已经能覆盖绝大多数使用场景。

坑 3：中文输出乱码或英文 fallback

部分模型在上下文较短时会混入英文回答。解决方法：

1
2
3
4
5


# 在 Modelfile 里设置系统提示
ollama create my-qwen -f - << 'EOF'
FROM qwen3:8b
SYSTEM "你是一个中文助手，请始终用中文回答。"
EOF

坑 4：速度优化

三个有效的优化手段：

确保 GPU offload 开启：Ollama 默认自动 offload，但如果你的 CUDA 驱动版本不对，会静默回退到 CPU。检查 nvidia-smi 在推理时是否有显存占用。
控制上下文长度：默认 2048 token，长对话会吃掉大量 KV 缓存显存。如果不需要长上下文，别开太大。
别同时加载多个模型：Ollama 默认 5 分钟后卸载空闲模型，但如果频繁切换，多个模型同时驻留显存会导致 OOM。

关于 Ollama 的安全通报

2025 年 Ollama 曾出现在国家网络漏洞通报中（CVE 评估），主要涉及本地 API 端口暴露问题。Ollama 默认监听 127.0.0.1:11434，只要不手动改成 0.0.0.0 暴露到公网，风险可控。如果你需要远程访问，建议用 SSH 隧道而非直接暴露端口。

七、进阶——接进你的代码

本地部署的模型如果只是命令行聊天，那就是个高级玩具。真正有用的是接进你的工作流。

Ollama 提供 OpenAI 兼容 API，一行代码就能调用：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


from openai import OpenAI

client = OpenAI(
 base_url="http://localhost:11434/v1",
 api_key="ollama" # 随便填，本地不需要认证
)

response = client.chat.completions.create(
 model="qwen3:8b",
 messages=[{"role": "user", "content": "用一句话解释什么是递归"}]
)
print(response.choices[0].message.content)

这意味着什么？所有支持 OpenAI API 的工具——代码编辑器插件、知识库系统、自动化脚本——只要把 API 地址从 api.openai.com 改成 localhost:11434，就能用本地模型替代付费 API。

比如在 VS Code 的 Continue 插件里配置本地模型：

1
2
3
4
5
6
7
8


{
 "models": [{
 "title": "Local Qwen3",
 "provider": "openai",
 "model": "qwen3:8b",
 "apiBase": "http://localhost:11434/v1"
 }]
}

零成本、零延迟、数据不出本机。这才是本地部署的意义——不是把模型装上就完事，而是把它变成你日常工具链的一部分。

以上就是全部内容。总结一下：8GB 装 Qwen3:4b，12GB 装 DeepSeek-R1:7b，16GB 以上看需求选 14b 级别。量化用默认 Q4_K_M 就行。装完记得接进代码里用起来，别让它吃灰。

技术实战 on Kalend's Blog