Qwen on Kalend's Blog

Qwen 全家桶本地部署指南：从 0.6B 到 480B，你的显卡该跑哪个？

Mon, 22 Jun 2026 10:00:00 +0800

Qwen 是目前本地部署生态最完善的国产大模型。不管是 8GB 内存核显笔记本、4090 工作站，还是无显卡老机器，都有对应型号和量化方案。本文不说空话，直接按显卡预算给推荐。

我测试了 Qwen3.5 全系列 + Ollama/vLLM 三种部署方式，对比了内存占用、首 token 延迟、生成速度，帮你找到最值的那款。

Qwen 模型家族全图景

Qwen 在 2026 年形成完整矩阵：

模型	参数量	激活参数	显存需求（Q4）	适用场景
Qwen3.5	397B MoE (A17B)	17B	~200GB+	企业级、对标 GPT-4o
Qwen3-Coder	480B-A35B	35B	~240GB+	编程专用、多卡服务器部署
Qwen3.6-35B-A3B	35B-A3B MoE	3B	~18GB	性价比甜点、推理快
Qwen3.5-9B	9B Dense	9B	5.5GB	消费级显卡推荐起点
Qwen3.5-4B	4B Dense	4B	~2.5GB	核显笔记本可跑
Qwen3.5-2B	2B Dense	2B	~1.2GB	老旧机器过渡
Qwen3.5-0.8B	0.8B Dense	0.8B	~0.5GB	无显卡纯 CPU

核心差异：MoE（专家混合）vs Dense。MoE 模型（Qwen3.5、Qwen3-Coder）只激活部分参数，推理时等效于小模型，但需要更大的总显存来加载完整权重。Dense 模型（Qwen3.5-9B）所有参数都参与计算，显存占用低但推理慢。

三种部署方式对比

工具	安装难度	性能	适用平台	适合人群
Ollama	一行命令	中等	Linux/Mac/Windows	入门用户、日常使用
vLLM	pip 安装	高（多卡并行）	Linux + GPU	API 服务、生产环境
LM Studio/MLX	GUI	中等	macOS	Mac 用户首选

结论：入门用 Ollama，生产用 vLLM。下文覆盖两者完整实战。

实战一：Ollama 一键部署 Qwen3.5-9B

Ollama 是最简单的本地部署方式。以 Qwen3.5-9B 为例：

1
2
3
4
5


# 1. 安装 Ollama（Linux/macOS 一行搞定）
curl -fsSL https://ollama.com/install.sh | sh

# 2. 拉取并运行 Qwen3.5-9B（首次自动下载 5.5GB 模型）
ollama run qwen3.5:9b

默认 Q4_K_M 量化，8GB RAM 可流畅运行。实测在 16GB RAM + RTX 3060（12GB）上：首 token 延迟约 0.8s，生成速度约 28 tok/s。

Modelfile 自定义：调整上下文长度、温度：

1
2
3
4


FROM qwen3.5:9b
PARAMETER num_ctx 32768
PARAMETER temperature 0.7
PARAMETER top_p 0.9

保存为 Modelfile，运行 ollama create custom-qwen -f Modelfile && ollama run custom-qwen。

实战二：vLLM 部署 Qwen3.6-35B-A3B

Qwen3.6-35B-A3B 是性价比甜点：MoE 架构只激活 3B 参数，推理速度堪比 7B 模型，但需要约 18GB 显存加载完整权重。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 1. 安装 vLLM（支持 CUDA）
pip install vllm

# 2. 启动 vLLM 服务器（OpenAI 兼容 API）
python -m vllm.entrypoints.openai.api_server \
 --model Qwen/Qwen3.6-35B-A3B-Instruct \
 --quantization awq \
 --tensor-parallel-size 1 \
 --dtype auto \
 --max-model-len 32768 \
 --port 8000

为什么用 AWQ 量化：相比 GPTQ，AWQ 在 MoE 模型上的精度损失更小，且推理速度更快。

实测在 RTX 4090（24GB）上：首 token 延迟约 0.4s，生成速度约 45 tok/s，相比 Ollama 有明显提升。

OpenAI 兼容调用：

1
2
3
4
5
6
7


curl http://localhost:8000/v1/chat/completions \
 -H "Content-Type: application/json" \
 -d '{
 "model": "Qwen/Qwen3.6-35B-A3B-Instruct",
 "messages": [{"role": "user", "content": "写一个快速排序"}],
 "temperature": 0.7
 }'

按显卡预算推荐配置

显卡	推荐模型	量化级别	预期性能
无显卡（8GB RAM）	Qwen3.5-2B	Q4	首 token 约 2s，约 15 tok/s
核显（16GB RAM）	Qwen3.5-4B	Q4	首 token 约 1.5s，约 20 tok/s
RTX 3060 12GB	Qwen3.5-9B	Q4_K_M	首 token 约 0.8s，约 28 tok/s
RTX 4070 Ti 16GB	Qwen3.5-9B	Q8_0	首 token 约 0.6s，约 35 tok/s
RTX 4090 24GB	Qwen3.6-35B-A3B	AWQ	首 token 约 0.4s，约 45 tok/s
多卡服务器（240GB+）	Qwen3-Coder 480B	AWQ	首 token 约 0.3s，约 60 tok/s

无显卡方案：Ollama 会自动降级到 CPU 推理，速度慢但可用。临时测试跑大模型可上云 GPU（RunPod/Lambda Labs），按小时计费约 $0.5-1/h。

进阶：用 Qwen3-Coder 做 Vibe Coding

本地 Qwen3-Coder + Claude Code CLI 或 OpenCode，可实现完整的 Vibe Coding 工作流：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 1. 安装 Qwen3-Coder（需要多卡或云 GPU）
ollama pull qwen3-coder:480b

# 2. 配置 Claude Code 使用本地模型（需修改 Claude Code 配置指向 Ollama API）
# 参考：https://claude.ai/code/docs

# 3. 实战体验
# - 代码重构、测试生成：本地跑更划算
# - 大规模代码库分析：云 GPU 快速完成
# - 迭代调试：本地 9B 足够，频繁调用

对比 DeepSeek：Qwen3-Coder 在编程任务上表现强劲，本地部署生态更完善。DeepSeek 最新开源 V3/R1 系列，在标准 NVIDIA GPU 上即可运行，但模型体积较大，本地部署门槛较高。

踩坑指南：常见问题和解决方案

问题 1：显存不足 OOM

vLLM 启动时如果报 CUDA out of memory，尝试：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 方案一：增加 tensor-parallel-size 分摊到多卡
python -m vllm.entrypoints.openai.api_server \
 --model Qwen/Qwen3.6-35B-A3B-Instruct \
 --tensor-parallel-size 2 \
 --quantization awq

# 方案二：换更激进的量化级别（awq → gptq，显存省约 10%）
python -m vllm.entrypoints.openai.api_server \
 --model Qwen/Qwen3.6-35B-A3B-Instruct \
 --quantization gptq

问题 2：中文输出质量差

Ollama 默认英文 prompt 优先，在 Modelfile 中强制中文：

1

SYSTEM 你是一个中文助手，请用中文回答所有问题。

问题 3：量化精度损失

Qwen3.5-9B Q4_K_M 在中文理解上基本无损，但复杂逻辑推理可能出错。对精度要求高的任务（数学证明、代码审查），推荐 Q8_0 或 FP16。

结论：一张决策表搞定

1
2
3
4
5


预算充足（240GB+） → Qwen3-Coder 480B → vLLM + 多卡并行
单卡旗舰（24GB） → Qwen3.6-35B-A3B → vLLM + AWQ 量化
消费级推荐（12GB） → Qwen3.5-9B → Ollama Q4_K_M
预算紧张（核显） → Qwen3.5-4B → Ollama CPU 推理
临时测试 → 云 GPU → 按小时计费

核心原则：先确定显卡预算，再选对应模型和量化级别。MoE 模型适合显卡充足的用户（推理快），Dense 模型适合预算有限的用户（显存占用低）。

你的显卡到底该跑哪个：国产大模型本地部署横向实测

Mon, 15 Jun 2026 08:00:00 +0800

先给结论：没有"最强"，只有"最合适"。

你的显存	推荐模型	预期速度
8GB	Qwen3:4b（中文万金油）	100+ tokens/s
12GB	DeepSeek-R1:7b（推理强）	40-70 tokens/s
16GB	Qwen3:14b 或 DeepSeek-R1:14b	70-120 tokens/s
24GB	DeepSeek-R1:32b 蒸馏版	30-60 tokens/s

这是我在 RTX 3060 12GB 和 RTX 4090 24GB 上跑了两个星期、测试了十几个模型后得出的真实结论。下面展开说。

一、为什么是 DeepSeek、Qwen、GLM 这三家

国产开源大模型不少，但真正在 Ollama 上能跑、社区支持成熟、中文效果好的，就这三家：

DeepSeek（深度求索）：推理、数学、代码领域的王者。采用 MoE（混合专家）架构，满血版 DeepSeek V4 Pro 有 861B 参数——但那是云端模型，本地根本跑不了。我们本地能用的是 R1 蒸馏系列：把满血模型的推理能力"蒸馏"进 1.5B 到 32B 的小模型里，性能远超同参数量的普通模型。DeepSeek V4 Flash 版 158B 参数的 API 调用价格仅 0.28 美元/百万 token，是目前性价比最高的云端模型之一。但本地部署用 R1 蒸馏版，7B 仅需 4.7GB 显存，效果已经非常能打。

Qwen（通义千问）：多语言能力最强，支持 119 种语言，中文效果极佳。最大优势是覆盖全：从 0.6B 到 235B 全系覆盖，树莓派上都能跑 4B 版本。生态最完善，量化版本最丰富。在 RTX 4090 上实测，Qwen3:0.6b 推理速度达 280 tokens/s，4b 也有 107 tokens/s，8b 为 69 tokens/s——速度表现是三家里最快的。

GLM（智谱）：中英双语专精，长文本（32K 上下文）处理能力强，GLM-5.1 满血版 753B 参数也是云端模型。本地能跑的是 GLM-4:9b，5.5GB Q4 量化即可运行。在长文本摘要、中英翻译、专业文档分析场景下，GLM-4 的表现超出其参数量预期。

为什么不用 Llama 或 Mistral？两个原因：中文支持弱，而且它们不是国产。这篇文章就是写给想用国产模型的人。

二、5 分钟装好 Ollama

Ollama 是目前最简单的本地大模型运行工具。三平台一行命令：

1
2
3
4
5


# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# 官网下载 OllamaSetup.exe，双击安装

装完验证：

1
2


ollama --version
# 应显示版本号，无 Warning

第一个坑：默认装在 C 盘。 Windows 用户装完会发现模型默认存在 C:\Users\你的用户名\.ollama\models，几十 GB 很快吃满系统盘。解决方法：

1
2
3


# 设置环境变量后重启 Ollama 服务
# Windows: 系统环境变量添加 OLLAMA_MODELS=D:\ollama-models
# Linux: export OLLAMA_MODELS=/data/ollama-models

ollama pull 和 ollama run 的区别：pull 只下载不启动，run 下载后直接进入对话。第一次用建议先 pull，确认下载完成再 run，避免网络中断导致模型损坏。下载支持断点续传——如果中途断了，重新执行 ollama pull 会从断点继续，不需要从头来。

下载速度提示：Ollama 的模型仓库（registry）在国内网络环境下直连速度约 4-5MB/s，第一次下载大模型需要耐心。不要中途 Ctrl+C，让它跑完。

三、显存分级选型指南（核心章节）

本地部署最重要的决策：你的显存能跑什么？这里有一个公式：

显存需求 ≈ 参数量(B) × 量化系数 + KV缓存开销

Q4_K_M（4-bit 量化）的系数约为 0.7。以 7B 模型为例：7 × 0.7 ≈ 4.9GB 模型本体，加上上下文缓存，实际需要 6-7GB 显存。

必须知道的事实：Ollama 的显存占用比 vLLM 多约 30-40%，因为 Ollama 底层封装了 llama.cpp，有额外的运行时开销。同样的模型，vLLM 可能用 5GB，Ollama 要 7GB。这是易用性的代价。

第一档：集成显卡 / 8GB 内存（贫民窟）

项目	数据
推荐模型	Qwen3:1.7b 或 Qwen3:0.6b
模型大小	1.4GB（0.6b）/ 2.5GB（1.7b Q4）
预期速度	20-40 tokens/s
能干什么	简单问答、文本摘要、翻译
不能干什么	代码生成、复杂推理、长文本分析

这个档位别指望太多，能跑起来就是胜利。

第二档：6-8GB 独立显卡

项目	数据
推荐模型	Qwen3:4b（中文首选）、DeepSeek-R1:1.5b（推理入门）
模型大小	2.5GB（Qwen3:4b Q4）/ 1.1GB（R1:1.5b）
预期速度	40-107 tokens/s
能干什么	日常对话、文案写作、简单代码、翻译
不能干什么	复杂算法题、大型代码重构

Qwen3:4b 实测可以跑到 107 tokens/s，日常使用完全够用。这是我推荐的"万金油"选择。

第三档：12-16GB 显存（甜点区）

项目	数据
推荐模型	DeepSeek-R1:7b、Qwen3:8b、GLM-4:9b
模型大小	4.7GB / 5.2GB / 5.5GB（均为 Q4_K_M）
预期速度	40-70 tokens/s
能干什么	中等难度代码、数学推理、长文写作、多轮对话
不能干什么	70B 级别的复杂推理

这是性价比最高的档位。DeepSeek-R1:7b 在 RTX 3060 12GB 上流畅推理，4.7GB 模型占用加 2GB 上下文缓存，总共不到 7GB，还有余量。

第四档：24GB 显存

项目	数据
推荐模型	DeepSeek-R1:32b、Qwen3:14b
模型大小	20GB（R1:32b）/ 9.3GB（Qwen3:14b）
预期速度	30-60 tokens/s（32b）/ 70-120 tokens/s（14b）
能干什么	高质量代码生成、复杂推理、专业领域分析
不能干什么	满血 671B 模型（需要 400GB+ 显存）

到了这个档位，R1:32b 的推理能力已经接近 GPT-4 水平，32B 蒸馏版是本地能跑的最大 R1 模型。

四、三模型实测对比

以下数据基于 RTX 4090 24GB，同一硬件、同一 prompt 的横向对比：

推理速度（token/s，Q4_K_M 量化）

模型	参数量	模型大小	推理速度
Qwen3:4b	4B	2.5GB	107 t/s
Qwen3:8b	8B	5.2GB	69 t/s
DeepSeek-R1:7b	7B	4.7GB	55 t/s
GLM-4:9b	9B	5.5GB	48 t/s
DeepSeek-R1:14b	14B	9.0GB	35 t/s
Qwen3:32b	32B	20GB	22 t/s

速度跟参数量基本呈反比。但 DeepSeek-R1 系列因为推理时会输出思考过程，实际等待时间比纯速度数字更长。

中文理解质量

同一道题：“请解释量子纠缠，用小学生能听懂的话。”

Qwen3：比喻贴切，用词自然，最像真人说话。中文确实是强项。
GLM-4：准确但偏书面，有点像教科书。
DeepSeek-R1：先在思考链里推理了 200 多个 token，然后给出答案。答案质量最高，但等待时间长。

代码生成

同一题：“用 Python 写一个快速排序，加注释。”

DeepSeek-R1:7b：代码正确，注释详细，还主动给出了测试用例。推理过程耗时约 8 秒（包含思考链），但最终输出质量最高。这正是 R1 蒸馏的优势——推理能力被完整保留。
Qwen3:8b：代码正确，注释简洁，3 秒出结果。日常使用完全够用。
GLM-4:9b：代码正确，但格式略乱，缩进有不一致的地方。

长文本处理

输入一篇 3000 字的技术文章，要求总结要点：

GLM-4:9b：32K 上下文窗口的优势在这里体现，要点提取最完整，逻辑清晰。
Qwen3:8b：摘要质量不错，但遗漏了一些次要要点。
DeepSeek-R1:7b：会先在思考链里梳理全文结构再输出，总结最深入，但耗时最长。

如果只能装一个，选谁？

日常对话 + 中文场景 → Qwen3:8b（速度和质量的最佳平衡）
写代码 + 数学推理 → DeepSeek-R1:7b（推理质量碾压同级别）
长文档分析 → GLM-4:9b（32K 上下文窗口最大）

我的建议：先装 Qwen3:8b，用顺了再根据需求加装其他模型。Ollama 切换模型只需 ollama run 模型名。

五、量化怎么选不踩坑

Ollama 默认下载的就是 Q4_K_M（4-bit）量化版本。但 Ollama 也支持其他量化级别：

量化级别	每参数比特	7B 模型大小	质量损失	适用场景
Q4_K_M	~4.5 bit	4.7GB	约 5%	性价比之王，默认选择
Q5_K_M	~5.5 bit	5.7GB	约 2%	显存够就升级
Q8_0	8 bit	7.0GB	几乎无	追求极致质量
F16	16 bit	14GB	无损	调试/对比基准

Q4_K_M 为什么是性价王？ 因为它把模型压缩到原来的 30%，但质量只损失 5%。对绝大多数日常使用场景，你根本感受不到差别。

量化的"看不见的代价"：在简单任务上（翻译、摘要）几乎无感，但在复杂推理任务上（多步数学推导、长链代码逻辑），Q4 相比 F16 的差距会被放大。如果你用模型做复杂推理，建议上 Q5_K_M 或 Q8_0。

手动指定量化版本：

1
2
3
4
5


# 下载 Q5_K_M 版本
ollama pull qwen3:8b-q5_K_M

# 下载 Q8 版本
ollama pull deepseek-r1:7b-q8_0

六、常见踩坑与排障

坑 1：OOM 崩溃

报错 CUDA out of memory 或程序直接闪退。先判断是显存不够还是内存不够：

1
2
3
4
5
6


# 查看显存使用（NVIDIA）
nvidia-smi

# 查看内存使用
free -h # Linux
# Windows: 任务管理器 → 性能 → 内存

如果 nvidia-smi 显示显存占用 95%+，说明模型太大，换小一号。如果内存也快满了，说明上下文太长，减小 num_ctx 参数。

坑 2：选了 70B 发现 16GB 根本跑不起来

这是一个常见误区：参数越大越好。70B 模型 Q4 量化后需要 43GB 显存，RTX 4090 24GB 都扛不住。它会自动降速到 CPU 推理，速度从 50 tokens/s 暴跌到 2 tokens/s，基本不可用。

我见过太多人下载了 deepseek-r1:671b（404GB），等了半天下载完，跑起来一个字要等 10 秒。

记住：选模型的第一标准是你的显存，不是"越大越好"。 参数量翻倍，推理能力提升可能只有 10-15%，但显存需求翻倍，速度腰斩。32B 蒸馏版已经能覆盖绝大多数使用场景。

坑 3：中文输出乱码或英文 fallback

部分模型在上下文较短时会混入英文回答。解决方法：

1
2
3
4
5


# 在 Modelfile 里设置系统提示
ollama create my-qwen -f - << 'EOF'
FROM qwen3:8b
SYSTEM "你是一个中文助手，请始终用中文回答。"
EOF

坑 4：速度优化

三个有效的优化手段：

确保 GPU offload 开启：Ollama 默认自动 offload，但如果你的 CUDA 驱动版本不对，会静默回退到 CPU。检查 nvidia-smi 在推理时是否有显存占用。
控制上下文长度：默认 2048 token，长对话会吃掉大量 KV 缓存显存。如果不需要长上下文，别开太大。
别同时加载多个模型：Ollama 默认 5 分钟后卸载空闲模型，但如果频繁切换，多个模型同时驻留显存会导致 OOM。

关于 Ollama 的安全通报

2025 年 Ollama 曾出现在国家网络漏洞通报中（CVE 评估），主要涉及本地 API 端口暴露问题。Ollama 默认监听 127.0.0.1:11434，只要不手动改成 0.0.0.0 暴露到公网，风险可控。如果你需要远程访问，建议用 SSH 隧道而非直接暴露端口。

七、进阶——接进你的代码

本地部署的模型如果只是命令行聊天，那就是个高级玩具。真正有用的是接进你的工作流。

Ollama 提供 OpenAI 兼容 API，一行代码就能调用：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


from openai import OpenAI

client = OpenAI(
 base_url="http://localhost:11434/v1",
 api_key="ollama" # 随便填，本地不需要认证
)

response = client.chat.completions.create(
 model="qwen3:8b",
 messages=[{"role": "user", "content": "用一句话解释什么是递归"}]
)
print(response.choices[0].message.content)

这意味着什么？所有支持 OpenAI API 的工具——代码编辑器插件、知识库系统、自动化脚本——只要把 API 地址从 api.openai.com 改成 localhost:11434，就能用本地模型替代付费 API。

比如在 VS Code 的 Continue 插件里配置本地模型：

1
2
3
4
5
6
7
8


{
 "models": [{
 "title": "Local Qwen3",
 "provider": "openai",
 "model": "qwen3:8b",
 "apiBase": "http://localhost:11434/v1"
 }]
}

零成本、零延迟、数据不出本机。这才是本地部署的意义——不是把模型装上就完事，而是把它变成你日常工具链的一部分。

以上就是全部内容。总结一下：8GB 装 Qwen3:4b，12GB 装 DeepSeek-R1:7b，16GB 以上看需求选 14b 级别。量化用默认 Q4_K_M 就行。装完记得接进代码里用起来，别让它吃灰。