本地部署 on Kalend's Blog

一张4090能跑GLM-5.2还是Qwen3-32B？国产大模型本地部署2026版

Thu, 23 Jul 2026 08:30:00 +0800

先说结论：4090 跑不了 GLM-5.2，Qwen3-30B-A3B 才是你的甜区。

GLM-5.2 是 744B 参数的 MoE 模型，哪怕 2-bit 量化也要 238GB 显存，4090 的 24GB 连零头都不够。别折腾了，老老实实调 API。

但 4090 并不是废物。2026 年国产大模型格局变了，MoE 架构让小显存也能跑大模型。一张 4090，能跑的东西比你想的多。

4090 的 24GB 显存，2026 年能跑什么？

2026 年国产大模型三足鼎立：DeepSeek V4、GLM-5.2、Qwen3。

但「能发布」和「能本地跑」是两回事。4090 的 24GB 显存有硬天花板：

量化方案	显存需求上限	能跑的最大模型
FP16	24GB	~12B
INT8	24GB	~24B
INT4/Q4_K_M	24GB	~32B
2-bit	24GB	~48B（质量严重下降）

关键点：MoE 模型虽然只激活部分参数，但推理时需要加载全部权重到显存。30B 总参 / 3B 激活的 MoE，显存需求按 30B 算，不是 3B。

所以 4090 的实际天花板是：32B INT4 或 30B MoE Q4_K_M。

GLM-5.2 — 744B 的"看得到吃不到"

GLM-5.2 是智谱 2026 年的旗舰模型：

参数	值
总参数	744B
激活参数	~40B（MoE）
架构	MoE，256 个专家（每个 token 激活 8+1 个）
2-bit 量化显存	238GB
4-bit 量化显存	~372GB

即使是最激进的 2-bit 量化（质量已经很差），也需要 238GB 显存。4090 的 24GB 只有它的十分之一。

这个模型适合什么硬件？

Mac Studio 256GB 统一内存：勉强能跑 2-bit，速度慢但可用
多卡服务器：4×A100 80GB 或 8×4090，用张量并行
云 GPU：按小时租 A100/H100，适合偶尔用

4090 用户想用 GLM 系列，替代方案是：

模型	参数	显存（FP16）	可用性
GLM-4-9B	9B	~18GB	✅ 4090 轻松跑
GLM-Z1-9B	9B（推理增强）	~18GB	✅ 4090 轻松跑
GLM-5.2 API	744B	无	✅ 按 token 付费

说实话，GLM-4-9B 和 GLM-Z1-9B 的能力跟 GLM-5.2 差了一个量级。如果你需要 GLM-5.2 级别的能力，调 API 是唯一现实选择。

Qwen3-30B-A3B — 4090 的真正甜区

Qwen3 系列里，最适合 4090 的不是 Qwen3-32B，而是 Qwen3-30B-A3B。

为什么？MoE 架构。

对比项	Qwen3-30B-A3B	Qwen3-32B
总参数	30B	32B
激活参数	3B	32B（全量）
架构	MoE	Dense
Q4_K_M 显存	~18GB	~20GB
推理速度（4090）	~45 tok/s	~18 tok/s
综合能力	接近	略强

Qwen3-30B-A3B 的核心优势：

显存友好：Q4_K_M 量化后只需 ~18GB，4090 还剩 6GB 给 KV Cache
速度快：只激活 3B 参数做推理，速度是 Dense 32B 的 2-3 倍
能力不差：MoE 的 30B 总参保证了知识容量，3B 激活保证了速度

实际推理速度（4090 + Ollama Q4_K_M）：

模型	输出速度	首 token 延迟
Qwen3-30B-A3B	~45 tok/s	~0.3s
Qwen3-32B	~18 tok/s	~0.8s
Qwen3-14B	~35 tok/s	~0.4s
Qwen3-8B	~65 tok/s	~0.2s

30B-A3B 的速度接近 14B，但能力接近 32B。这就是 MoE 的魔力。

4090 能跑的国产模型清单

以下是 2026 年 4090（24GB）实测可用的国产大模型：

模型	参数	量化方案	显存需求	推荐场景
Qwen3-30B-A3B	30B/3B激活	Q4_K_M	~18GB	⭐ 日常对话+编程
Qwen3-32B	32B	Q4_K_M	~20GB	需要最高质量
Qwen3-14B	14B	INT8	~15GB	需INT8，平衡之选
Qwen3-8B	8B	FP16	~16GB	轻量级，速度最快
DeepSeek-R1-32B（蒸馏）	32B	INT4	~20GB	推理/数学任务
GLM-4-9B	9B	FP16	~18GB	GLM 生态兼容
GLM-Z1-9B	9B	FP16	~18GB	推理增强

场景推荐：

日常对话：Qwen3-30B-A3B（速度快、质量好）
编程辅助：Qwen3-30B-A3B 或 Qwen3-32B（代码能力 32B 更强）
数学/推理：DeepSeek-R1-32B 蒸馏版（推理任务专项优化）
Agent/工具调用：Qwen3-30B-A3B（速度快，适合多轮工具调用）
GLM 生态：GLM-Z1-9B（但能力有限，复杂任务建议 API）

框架选择 — Ollama vs vLLM vs SGLang

选完模型，还要选推理框架。三个主流选择：

框架	优势	劣势	适用场景
Ollama	5分钟上手，一键安装	并发性能一般	个人使用、开发调试
vLLM	高并发吞吐	配置复杂	服务化部署、多人共用
SGLang	Agent/工具调用优化	生态较小	AI Agent 开发

Ollama（推荐大多数人）：

1
2
3
4
5
6
7
8


# 安装
curl -fsSL https://ollama.com/install.sh | sh

# 拉取模型（自动选 Q4_K_M）
ollama pull qwen3:30b

# 运行
ollama run qwen3:30b

5 分钟搞定，适合个人开发者。Ollama 会自动根据你的显存选择量化方案，不需要手动配置。

vLLM（需要高并发时）：

1
2
3
4
5
6
7
8


# 安装
pip install vllm

# 启动服务
python -m vllm.entrypoints.openai.api_server \
 --model Qwen/Qwen3-30B-A3B \
 --quantization awq \
 --max-model-len 8192

如果你要给团队用，或者需要同时处理多个请求，vLLM 的 PagedAttention 能把吞吐量提升 3-5 倍。

SGLang（Agent 开发专用）：

1
2
3
4
5
6
7


# 安装
pip install sglang

# 启动
python -m sglang.launch_server \
 --model-path Qwen/Qwen3-30B-A3B \
 --quantization awq

SGLang 对工具调用和结构化输出有专门优化，如果你在做 AI Agent 开发，值得试试。

结论：消费级显卡本地部署的理性预期

一张 4090 能跑的国产大模型，比 2025 年多了不少，但别指望能跑旗舰。

值得本地跑的场景：

日常对话、写作辅助（Qwen3-30B-A3B 足够）
编程辅助（30B-A3B 或 32B，取决于代码复杂度）
隐私敏感任务（不能把数据发到云端）
高频调用（API 按 token 计费，高频场景本地更划算）
学习和实验（理解模型推理过程）

用 API 更划算的场景：

需要最强模型能力（GLM-5.2、DeepSeek V4 旗舰版）
低频使用（偶尔用一次，不值得买显卡）
多模态任务（图像、语音理解，本地模型支持有限）
长上下文（本地模型上下文窗口通常 8K-32K，API 可以 128K+）

2026 年的现实是：MoE 架构让消费级显卡也能跑「够用」的大模型，但「最强」的大模型仍然需要专业硬件或 API。4090 + Qwen3-30B-A3B 是目前性价比最高的组合，别被 GLM-5.2 的参数量迷了眼。

作者：varkm

Qwen 全家桶本地部署指南：从 0.6B 到 480B，你的显卡该跑哪个？

Mon, 22 Jun 2026 10:00:00 +0800

Qwen 是目前本地部署生态最完善的国产大模型。不管是 8GB 内存核显笔记本、4090 工作站，还是无显卡老机器，都有对应型号和量化方案。本文不说空话，直接按显卡预算给推荐。

我测试了 Qwen3.5 全系列 + Ollama/vLLM 三种部署方式，对比了内存占用、首 token 延迟、生成速度，帮你找到最值的那款。

Qwen 模型家族全图景

Qwen 在 2026 年形成完整矩阵：

模型	参数量	激活参数	显存需求（Q4）	适用场景
Qwen3.5	397B MoE (A17B)	17B	~200GB+	企业级、对标 GPT-4o
Qwen3-Coder	480B-A35B	35B	~240GB+	编程专用、多卡服务器部署
Qwen3.6-35B-A3B	35B-A3B MoE	3B	~18GB	性价比甜点、推理快
Qwen3.5-9B	9B Dense	9B	5.5GB	消费级显卡推荐起点
Qwen3.5-4B	4B Dense	4B	~2.5GB	核显笔记本可跑
Qwen3.5-2B	2B Dense	2B	~1.2GB	老旧机器过渡
Qwen3.5-0.8B	0.8B Dense	0.8B	~0.5GB	无显卡纯 CPU

核心差异：MoE（专家混合）vs Dense。MoE 模型（Qwen3.5、Qwen3-Coder）只激活部分参数，推理时等效于小模型，但需要更大的总显存来加载完整权重。Dense 模型（Qwen3.5-9B）所有参数都参与计算，显存占用低但推理慢。

三种部署方式对比

工具	安装难度	性能	适用平台	适合人群
Ollama	一行命令	中等	Linux/Mac/Windows	入门用户、日常使用
vLLM	pip 安装	高（多卡并行）	Linux + GPU	API 服务、生产环境
LM Studio/MLX	GUI	中等	macOS	Mac 用户首选

结论：入门用 Ollama，生产用 vLLM。下文覆盖两者完整实战。

实战一：Ollama 一键部署 Qwen3.5-9B

Ollama 是最简单的本地部署方式。以 Qwen3.5-9B 为例：

1
2
3
4
5


# 1. 安装 Ollama（Linux/macOS 一行搞定）
curl -fsSL https://ollama.com/install.sh | sh

# 2. 拉取并运行 Qwen3.5-9B（首次自动下载 5.5GB 模型）
ollama run qwen3.5:9b

默认 Q4_K_M 量化，8GB RAM 可流畅运行。实测在 16GB RAM + RTX 3060（12GB）上：首 token 延迟约 0.8s，生成速度约 28 tok/s。

Modelfile 自定义：调整上下文长度、温度：

1
2
3
4


FROM qwen3.5:9b
PARAMETER num_ctx 32768
PARAMETER temperature 0.7
PARAMETER top_p 0.9

保存为 Modelfile，运行 ollama create custom-qwen -f Modelfile && ollama run custom-qwen。

实战二：vLLM 部署 Qwen3.6-35B-A3B

Qwen3.6-35B-A3B 是性价比甜点：MoE 架构只激活 3B 参数，推理速度堪比 7B 模型，但需要约 18GB 显存加载完整权重。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 1. 安装 vLLM（支持 CUDA）
pip install vllm

# 2. 启动 vLLM 服务器（OpenAI 兼容 API）
python -m vllm.entrypoints.openai.api_server \
 --model Qwen/Qwen3.6-35B-A3B-Instruct \
 --quantization awq \
 --tensor-parallel-size 1 \
 --dtype auto \
 --max-model-len 32768 \
 --port 8000

为什么用 AWQ 量化：相比 GPTQ，AWQ 在 MoE 模型上的精度损失更小，且推理速度更快。

实测在 RTX 4090（24GB）上：首 token 延迟约 0.4s，生成速度约 45 tok/s，相比 Ollama 有明显提升。

OpenAI 兼容调用：

1
2
3
4
5
6
7


curl http://localhost:8000/v1/chat/completions \
 -H "Content-Type: application/json" \
 -d '{
 "model": "Qwen/Qwen3.6-35B-A3B-Instruct",
 "messages": [{"role": "user", "content": "写一个快速排序"}],
 "temperature": 0.7
 }'

按显卡预算推荐配置

显卡	推荐模型	量化级别	预期性能
无显卡（8GB RAM）	Qwen3.5-2B	Q4	首 token 约 2s，约 15 tok/s
核显（16GB RAM）	Qwen3.5-4B	Q4	首 token 约 1.5s，约 20 tok/s
RTX 3060 12GB	Qwen3.5-9B	Q4_K_M	首 token 约 0.8s，约 28 tok/s
RTX 4070 Ti 16GB	Qwen3.5-9B	Q8_0	首 token 约 0.6s，约 35 tok/s
RTX 4090 24GB	Qwen3.6-35B-A3B	AWQ	首 token 约 0.4s，约 45 tok/s
多卡服务器（240GB+）	Qwen3-Coder 480B	AWQ	首 token 约 0.3s，约 60 tok/s

无显卡方案：Ollama 会自动降级到 CPU 推理，速度慢但可用。临时测试跑大模型可上云 GPU（RunPod/Lambda Labs），按小时计费约 $0.5-1/h。

进阶：用 Qwen3-Coder 做 Vibe Coding

本地 Qwen3-Coder + Claude Code CLI 或 OpenCode，可实现完整的 Vibe Coding 工作流：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 1. 安装 Qwen3-Coder（需要多卡或云 GPU）
ollama pull qwen3-coder:480b

# 2. 配置 Claude Code 使用本地模型（需修改 Claude Code 配置指向 Ollama API）
# 参考：https://claude.ai/code/docs

# 3. 实战体验
# - 代码重构、测试生成：本地跑更划算
# - 大规模代码库分析：云 GPU 快速完成
# - 迭代调试：本地 9B 足够，频繁调用

对比 DeepSeek：Qwen3-Coder 在编程任务上表现强劲，本地部署生态更完善。DeepSeek 最新开源 V3/R1 系列，在标准 NVIDIA GPU 上即可运行，但模型体积较大，本地部署门槛较高。

踩坑指南：常见问题和解决方案

问题 1：显存不足 OOM

vLLM 启动时如果报 CUDA out of memory，尝试：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 方案一：增加 tensor-parallel-size 分摊到多卡
python -m vllm.entrypoints.openai.api_server \
 --model Qwen/Qwen3.6-35B-A3B-Instruct \
 --tensor-parallel-size 2 \
 --quantization awq

# 方案二：换更激进的量化级别（awq → gptq，显存省约 10%）
python -m vllm.entrypoints.openai.api_server \
 --model Qwen/Qwen3.6-35B-A3B-Instruct \
 --quantization gptq

问题 2：中文输出质量差

Ollama 默认英文 prompt 优先，在 Modelfile 中强制中文：

1

SYSTEM 你是一个中文助手，请用中文回答所有问题。

问题 3：量化精度损失

Qwen3.5-9B Q4_K_M 在中文理解上基本无损，但复杂逻辑推理可能出错。对精度要求高的任务（数学证明、代码审查），推荐 Q8_0 或 FP16。

结论：一张决策表搞定

1
2
3
4
5


预算充足（240GB+） → Qwen3-Coder 480B → vLLM + 多卡并行
单卡旗舰（24GB） → Qwen3.6-35B-A3B → vLLM + AWQ 量化
消费级推荐（12GB） → Qwen3.5-9B → Ollama Q4_K_M
预算紧张（核显） → Qwen3.5-4B → Ollama CPU 推理
临时测试 → 云 GPU → 按小时计费

核心原则：先确定显卡预算，再选对应模型和量化级别。MoE 模型适合显卡充足的用户（推理快），Dense 模型适合预算有限的用户（显存占用低）。