<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>本地推理 on Kalend's Blog</title><link>https://blog.kalend.top/tags/%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86/</link><description>Recent content in 本地推理 on Kalend's Blog</description><generator>Hugo -- gohugo.io</generator><language>zh</language><lastBuildDate>Fri, 04 Sep 2026 08:57:00 +0800</lastBuildDate><atom:link href="https://blog.kalend.top/tags/%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86/index.xml" rel="self" type="application/rss+xml"/><item><title>AI让苹果措手不及：Mac Mini和Mac Studio被开发者抢疯了</title><link>https://blog.kalend.top/2026/09/04/2026-09-04-mac-mini-ai-inference.html/</link><pubDate>Fri, 04 Sep 2026 08:57:00 +0800</pubDate><guid>https://blog.kalend.top/2026/09/04/2026-09-04-mac-mini-ai-inference.html/</guid><description>&lt;p&gt;Mac Mini 起售价从 $599 涨到了 $899，涨幅 50%。Mac Studio M5 Ultra 配 512GB 统一内存，卖 $5,499，照样断货。&lt;/p&gt;
&lt;p&gt;苹果涨价的底气不是品牌溢价，是一群它从没想过会买 Mac 的人——AI 开发者。他们把消费级小盒子当推理服务器用，把统一内存当免费显存薅，一个人买两三台 Mac Mini 组集群，比租云 GPU 便宜得多。&lt;/p&gt;
&lt;p&gt;苹果自己都没想到。&lt;/p&gt;
&lt;h2 id="为什么是-mac统一内存的降维打击"&gt;为什么是 Mac？统一内存的降维打击
&lt;/h2&gt;&lt;p&gt;传统 GPU 推理的瓶颈很简单：显存不够。&lt;/p&gt;
&lt;p&gt;一张 RTX 4090 有 24GB 显存，RTX 5090 有 32GB。跑一个 70B 参数的模型，4-bit 量化后大约需要 35-40GB。24GB 的卡直接装不下，32GB 的卡勉强塞进去，推理速度也被内存带宽卡死。&lt;/p&gt;
&lt;p&gt;Apple Silicon 的统一内存架构（UMA）完全不同。CPU、GPU、Neural Engine 共享同一块物理内存，没有数据拷贝的开销。Mac Studio M5 Ultra 最高配 512GB 统一内存，带宽 1.2TB/s——这意味着你可以把 Llama 3 70B 整个加载进内存，连量化都不用，直接跑 FP16。&lt;/p&gt;
&lt;p&gt;一张 4090 的 24GB 显存，连模型权重都装不下。一台 Mac Studio 的 512GB 统一内存，可以同时加载两个 70B 模型。&lt;/p&gt;
&lt;p&gt;这不是量变，是质变。&lt;/p&gt;
&lt;h2 id="实际能跑多快规格对比"&gt;实际能跑多快？规格对比
&lt;/h2&gt;&lt;p&gt;先看硬件参数：&lt;/p&gt;
&lt;table&gt;
	&lt;thead&gt;
			&lt;tr&gt;
					&lt;th&gt;机型&lt;/th&gt;
					&lt;th&gt;芯片&lt;/th&gt;
					&lt;th&gt;CPU 核心&lt;/th&gt;
					&lt;th&gt;GPU 核心&lt;/th&gt;
					&lt;th&gt;内存&lt;/th&gt;
					&lt;th&gt;内存带宽&lt;/th&gt;
					&lt;th&gt;起售价&lt;/th&gt;
			&lt;/tr&gt;
	&lt;/thead&gt;
	&lt;tbody&gt;
			&lt;tr&gt;
					&lt;td&gt;Mac Mini&lt;/td&gt;
					&lt;td&gt;M6&lt;/td&gt;
					&lt;td&gt;12 核&lt;/td&gt;
					&lt;td&gt;12 核&lt;/td&gt;
					&lt;td&gt;16GB&lt;/td&gt;
					&lt;td&gt;153GB/s&lt;/td&gt;
					&lt;td&gt;$899&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;Mac Mini&lt;/td&gt;
					&lt;td&gt;M5 Pro&lt;/td&gt;
					&lt;td&gt;15-18 核&lt;/td&gt;
					&lt;td&gt;16-20 核&lt;/td&gt;
					&lt;td&gt;24-64GB&lt;/td&gt;
					&lt;td&gt;307GB/s&lt;/td&gt;
					&lt;td&gt;$1,699&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;Mac Studio&lt;/td&gt;
					&lt;td&gt;M5 Max&lt;/td&gt;
					&lt;td&gt;18 核&lt;/td&gt;
					&lt;td&gt;32-40 核&lt;/td&gt;
					&lt;td&gt;36-128GB&lt;/td&gt;
					&lt;td&gt;460-614GB/s&lt;/td&gt;
					&lt;td&gt;$2,499&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;Mac Studio&lt;/td&gt;
					&lt;td&gt;M5 Ultra&lt;/td&gt;
					&lt;td&gt;30-36 核&lt;/td&gt;
					&lt;td&gt;64-80 核&lt;/td&gt;
					&lt;td&gt;96-512GB&lt;/td&gt;
					&lt;td&gt;1.2TB/s&lt;/td&gt;
					&lt;td&gt;$5,499&lt;/td&gt;
			&lt;/tr&gt;
	&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;对比 NVIDIA 消费级显卡：&lt;/p&gt;
&lt;table&gt;
	&lt;thead&gt;
			&lt;tr&gt;
					&lt;th&gt;显卡&lt;/th&gt;
					&lt;th&gt;显存&lt;/th&gt;
					&lt;th&gt;内存带宽&lt;/th&gt;
					&lt;th&gt;价格&lt;/th&gt;
					&lt;th&gt;备注&lt;/th&gt;
			&lt;/tr&gt;
	&lt;/thead&gt;
	&lt;tbody&gt;
			&lt;tr&gt;
					&lt;td&gt;RTX 4090&lt;/td&gt;
					&lt;td&gt;24GB&lt;/td&gt;
					&lt;td&gt;1TB/s&lt;/td&gt;
					&lt;td&gt;$1,599 起（实际 $2,000+）&lt;/td&gt;
					&lt;td&gt;常年缺货&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;RTX 5090&lt;/td&gt;
					&lt;td&gt;32GB&lt;/td&gt;
					&lt;td&gt;1.8TB/s&lt;/td&gt;
					&lt;td&gt;$1,999 起（实际 $2,500+）&lt;/td&gt;
					&lt;td&gt;同样缺货&lt;/td&gt;
			&lt;/tr&gt;
	&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;单看带宽，RTX 5090 的 1.8TB/s 确实比 Mac Studio M5 Ultra 的 1.2TB/s 快。但问题是：你只有 32GB 显存，大模型根本装不进去。Mac Studio 有 512GB，可以不量化直接跑。这不是带宽的竞争，是&amp;quot;能不能跑&amp;quot;的竞争。&lt;/p&gt;
&lt;p&gt;开发者用 Ollama 在 Mac Studio M5 Ultra 上跑 Llama 3 70B（Q4_K_M 量化），生成速度大约 15-20 tokens/s。跑 Qwen 2.5 72B，类似表现。这个速度不算快——同价位的云 GPU 集群肯定更快——但它是零成本的本地推理，没有 API 费用，没有数据外传，没有速率限制。&lt;/p&gt;
&lt;h2 id="开发者为什么在抢-mac"&gt;开发者为什么在抢 Mac？
&lt;/h2&gt;&lt;h3 id="1-成本账算得过来"&gt;1. 成本账算得过来
&lt;/h3&gt;&lt;p&gt;一台 Mac Mini M6 $899，配 16GB 内存，能跑 7B-13B 的模型，够日常开发调试用。两台 Mac Mini M5 Pro（$1,699 × 2 = $3,398）组集群，总共 48-64GB 内存，能跑 30B-40B 级别模型。&lt;/p&gt;
&lt;p&gt;对比云 GPU：AWS 的 p4d.24xlarge（8× A100 80GB）每小时约 $32，跑一个月要 $23,000。一台 Mac Studio M5 Ultra $5,499，一次性买断，跑三年电费也就几百美元。&lt;/p&gt;
&lt;p&gt;对于小团队和个人开发者，这笔账太好算了。&lt;/p&gt;
&lt;h3 id="2-隐私是刚需"&gt;2. 隐私是刚需
&lt;/h3&gt;&lt;p&gt;很多场景数据不能出本机：医疗数据、法律文件、企业内部代码、个人隐私信息。用 API 调用 GPT-4 或 Claude，数据要经过第三方服务器。本地推理没有这个问题——模型权重在你的硬盘上，推理在你的内存里完成，数据从头到尾不出本机。&lt;/p&gt;
&lt;p&gt;这不是偏执，是合规要求。很多企业已经把&amp;quot;数据不出本机&amp;quot;写进了采购标准。&lt;/p&gt;
&lt;h3 id="3-框架生态已经成熟"&gt;3. 框架生态已经成熟
&lt;/h3&gt;&lt;p&gt;Ollama、llama.cpp、MLX 这三个框架在 Apple Silicon 上的优化已经非常到位：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Ollama 一键安装，&lt;code&gt;ollama run llama3:70b&lt;/code&gt; 直接跑，零配置&lt;/li&gt;
&lt;li&gt;llama.cpp 支持 Metal GPU 加速，Apple Silicon 的 GPU 利用率已经很高&lt;/li&gt;
&lt;li&gt;MLX 是苹果自己的机器学习框架，专门为统一内存优化，推理效率最高&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;开发者不需要折腾 CUDA 驱动、不需要配 Docker、不需要管 Linux 内核版本。买回来开机，装个 Ollama，五分钟就能跑模型。&lt;/p&gt;
&lt;h3 id="4-企业采购趋势"&gt;4. 企业采购趋势
&lt;/h3&gt;&lt;p&gt;最让苹果意外的可能是这个：小团队开始用 Mac 集群替代云 GPU。&lt;/p&gt;
&lt;p&gt;一个 5 人创业团队，买 4 台 Mac Mini M5 Pro 组成推理集群，总成本不到 $7,000。用来跑内部代码助手、文档问答、客服机器人，完全够用。同样的功能用云 API，每月可能要 $500-2,000 的 token 费用。&lt;/p&gt;
&lt;p&gt;有报道说某些企业开始&amp;quot;按机架&amp;quot;采购 Mac Mini。这不是消费行为，是基础设施采购。&lt;/p&gt;
&lt;h2 id="苹果的意外收获"&gt;苹果的&amp;quot;意外收获&amp;quot;
&lt;/h2&gt;&lt;p&gt;苹果从来不是 AI 公司。Mac 的定位是创意工作站和消费级桌面电脑。M 系列芯片的设计目标是&amp;quot;在低功耗下提供高性能&amp;quot;，不是&amp;quot;跑大模型&amp;quot;。&lt;/p&gt;
&lt;p&gt;但统一内存架构恰好是本地 LLM 推理的最佳方案。GPU 推理需要把模型权重从系统内存拷贝到显存，这个拷贝过程是瓶颈。UMA 架构没有这个拷贝——CPU 和 GPU 直接访问同一块内存，延迟更低，效率更高。&lt;/p&gt;
&lt;p&gt;苹果是&amp;quot;无心插柳&amp;quot;。它没专门为 AI 优化硬件，但它的架构天然适合 AI 推理。开发者发现了这一点，开始涌入。&lt;/p&gt;
&lt;p&gt;现在苹果面临一个有趣的局面：它的 AI 推理用户群是&amp;quot;意外涌进来&amp;quot;的，供应链完全没为这个需求做准备。Mac Mini 和 Mac Studio 长期缺货，部分配置需要等 4-6 周才能发货。&lt;/p&gt;
&lt;h2 id="局限别把-mac-当万能药"&gt;局限：别把 Mac 当万能药
&lt;/h2&gt;&lt;p&gt;公平地说，Mac 做 AI 推理有明显局限：&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;内存上限。&lt;/strong&gt; Mac Studio M5 Ultra 最高 512GB 统一内存，看起来很多，但如果你要跑 405B 参数的模型（FP16 需要约 810GB），还是装不下。NVIDIA 的数据中心级 GPU 可以通过 NVLink 互联，多卡显存池化，理论上没有上限。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;训练不行。&lt;/strong&gt; Mac 的 GPU 核心数和算力跟 NVIDIA 的 A100/H100 完全不在一个量级。LLM 推理是内存带宽密集型，Mac 能打；LLM 训练是算力密集型，Mac 差距巨大。如果你要微调模型，还是得用 NVIDIA GPU。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;CUDA 生态。&lt;/strong&gt; PyTorch、TensorFlow 等主流框架对 CUDA 的支持最成熟。MLX 虽然好用，但生态还小。很多最新的模型架构和优化技术，CUDA 版本总是最先出来。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;性价比有拐点。&lt;/strong&gt; Mac Mini M6 $899 跑 7B 模型很划算。但如果你需要跑 70B 模型的高并发推理（比如每秒处理 10 个请求），一台 Mac Studio 的吞吐量不够，你需要多台组成集群——这时候成本优势就开始缩小，专业 GPU 服务器的性价比反而更高。&lt;/p&gt;
&lt;p&gt;Mac 适合的场景是：小团队、低并发、注重隐私、预算有限的本地推理。它不是云 GPU 的替代品，是 API 调用的替代品。&lt;/p&gt;
&lt;h2 id="买哪款速查指南"&gt;买哪款？速查指南
&lt;/h2&gt;&lt;table&gt;
	&lt;thead&gt;
			&lt;tr&gt;
					&lt;th&gt;你的需求&lt;/th&gt;
					&lt;th&gt;推荐&lt;/th&gt;
					&lt;th&gt;预算&lt;/th&gt;
			&lt;/tr&gt;
	&lt;/thead&gt;
	&lt;tbody&gt;
			&lt;tr&gt;
					&lt;td&gt;跑 7B-13B 模型，日常开发调试&lt;/td&gt;
					&lt;td&gt;Mac Mini M6&lt;/td&gt;
					&lt;td&gt;$899&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;跑 30B 模型，需要较好性能&lt;/td&gt;
					&lt;td&gt;Mac Mini M5 Pro&lt;/td&gt;
					&lt;td&gt;$1,699&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;跑 70B 模型（量化），中等并发&lt;/td&gt;
					&lt;td&gt;Mac Studio M5 Max 128GB&lt;/td&gt;
					&lt;td&gt;~$4,000&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;跑 70B 模型（FP16），或多模型同时运行&lt;/td&gt;
					&lt;td&gt;Mac Studio M5 Ultra 256GB&lt;/td&gt;
					&lt;td&gt;~$7,000&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;跑 405B 模型，或需要高并发&lt;/td&gt;
					&lt;td&gt;不适合用 Mac，考虑云 GPU&lt;/td&gt;
					&lt;td&gt;-&lt;/td&gt;
			&lt;/tr&gt;
	&lt;/tbody&gt;
&lt;/table&gt;
&lt;h2 id="最后"&gt;最后
&lt;/h2&gt;&lt;p&gt;苹果可能需要重新思考 Mac 的定位了。&lt;/p&gt;
&lt;p&gt;它原本是卖给设计师、程序员、学生和家庭用户的消费级电脑。现在 AI 开发者把它当推理服务器用，企业把它当基础设施买，Mac Mini 从&amp;quot;最便宜的 Mac&amp;quot;变成了&amp;quot;最便宜的本地 AI 推理方案&amp;quot;。&lt;/p&gt;
&lt;p&gt;供应链在被这群新用户挤压，价格在被需求推高。那些只想买台电脑写文档的普通用户，可能要排队等更久了。&lt;/p&gt;
&lt;p&gt;这不是苹果计划内的故事，但可能是它未来十年最赚钱的故事之一。&lt;/p&gt;</description></item></channel></rss>