4GB 显卡也想跑 70B 大模型？
选题：Hacker News 热门「AirLLM · 低显存推理」
大雄从旧货市场淘回一张 4GB 显卡，兴奋地举着：「哆啦A梦！我用零花钱淘到了显卡，想跑现在最火的 70B 大模型！」哆啦A梦扶额吐槽：「就这 4GB 显存？70B 全精度可是要 140GB，你这是想用汤勺舀干大海！」
哆啦A梦变出一台「层卸载」小装置：模型不用一次性全装进显存，16 位压成 4 位，体积只剩 1/4；再配合内存换显存——算到哪一层，就从磁盘/内存取哪一层。显存需求从『整个模型』骤降到『一层』。
旧电脑屏幕上真的跑起了 70B 模型！同学小夫和胖虎闻声围观，指着显卡一脸震惊：「就……就这块二手显卡跑起来的？」大雄得意叉腰，哆啦A梦在旁比了个 V：「开源的魔法。」
金句收尾：算力不该是少数人的特权——小显存，也能装下大模型。参数很大，但逐层来算，一步也少不了。
今日资讯
今日资讯来源 · AirLLM：4GB 显卡跑 70B 大模型
> 本页为《4GB 显卡也想跑 70B 大模型？》漫画的事实底稿。所有数据均来自下方「来源清单」，漫画中的夸张表达与原文事实的对应关系见文末对照表。
事件速览
2026 年 8 月初，Hacker News 上关于开源推理框架 AirLLM（GitHub: lyogavin/airllm） 的帖子获热赞（约 103 分），引发「低显存跑大模型」话题再次出圈。这个 2023 年就已发布、如今 2.3 万+ Star 的开源项目，核心承诺是：单块 4GB 显存 GPU 即可推理 70B 参数大模型，无需量化、蒸馏或剪枝。
最反直觉的卖点是它的设计哲学：显存占用取决于『单层』的大小，而不是整个模型的大小。传统推理要把整个模型权重一次性搬进显存（70B 全精度 FP16 约需 140GB）；AirLLM 则把模型按 transformer 层分片，推理时只把当前计算的那一层留在 GPU 上，算完立刻换下一层，其余权重平时躺在磁盘/内存里按需加载。
关键事实核对
以下为漫画中出现的数字与结论，均可在来源中查证：
- 核心承诺：单块 4GB GPU 跑 70B 模型；8GB 跑 405B Llama 3.1；约 12GB 跑 DeepSeek-V3（671B）；Kimi K3（2.8T，迄今最大开源模型）实测在 RTX 6000 Ada 上仅用 3.72GB 显存（因稀疏 MoE 按 token 路由逐专家流式加载）。
- 原理 = 层式分片加载（layer-wise loading）+ 按需 swap：模型参数从磁盘→内存→显存按层流动；Disk Cache 首次运行时把模型按层分片缓存到磁盘；Inference Engine 逐层前向计算。
- 默认不量化：官方宣称无需量化、蒸馏或剪枝即可运行，拿到的是原汁原味的权重精度，只是「一层一层地算」。
- 量化是可选加速：v2.0 起支持 block-wise 量化，约 3 倍推理加速；8bit/4bit 与 FP8（v3.0）可选。
- 代价是速度：每次只能算一层 transformer block，需要反复 swap in/out，70B 推理速度受内存带宽/磁盘 I/O 限制，不适合追求低延迟或高并发的实时服务场景。
- 生态：Apache-2.0 协议；AutoModel 一行代码接入；兼容 Llama、Qwen、DeepSeek、ChatGLM、Mixtral 等主流模型；支持 NVIDIA CUDA、Apple Silicon（MPS）、纯 CPU 推理；作者 Gavin Li（BELLE 团队）。
- 现状：GitHub Stars 约 23.3K~23.6K、Forks 2.6K+（2026-07 数据）；最新发布 v3.0.1（2026-06-30）。
来源清单
- GitHub · lyogavin/airllm：AirLLM 70B inference with single 4GB GPU —— 项目主页，Star/功能/更新日志（含 Kimi K3 2.8T 支持、FP8 等）的第一手出处。
- TXT Mix · AirLLM：用层式分片加载在 4GB 显卡跑 70B 模型是怎么做到的 —— 层式加载/按需 swap/Disk Cache 原理拆解，与本次漫画主题最直接对应。
- 今日头条 · AirLLM让70B大模型在单张4GB显卡上跑起来 —— 「显存占用取决于单层大小而非整个模型」哲学表述、140GB 全精度对比、免量化卖点、速度代价说明。
- AI铺子 · AirLLM：低配硬件运行超大参数量LLM的推理优化框架 —— 分层加载/显存动态调度/原位块级量化技术总结与适用场景。
- DEV.co · AirLLM: Run 70B LLMs on 4GB GPU —— 仓库档案（Apache-2.0、最新版 v3.0.1、实现机制）、磁盘空间 2~3 倍开销、适用/不适用场景的第三方评估。
四格 ↔ 新闻要点对应
| 格 | 画面 | 事实依据 | 说明 |
|---|---|---|---|
| 1 | 大雄淘到 4GB 二手显卡要跑 70B，哆啦A梦吐槽「140GB」 | 70B 全精度 FP16 约需 140GB 显存 | 数字来自来源，准确；「汤勺舀干大海」为夸张比喻 |
| 2 | 16 位→4 位体积 1/4 + 「算到哪层取哪层」内存换显存 | 量化可将体积压到 1/4（4bit）；AirLLM 核心为层式加载按需 swap | 量化是可选加速，层卸载才是核心卖点，漫画做了合并呈现 |
| 3 | 旧电脑真跑起 70B，同学围观「就这块二手显卡？」 | 单块 4GB GPU 可推理 70B，2.3 万+ Star 开源项目 | 官方核心承诺，准确 |
| 4 | 金句「算力不该是少数人的特权——小显存，也能装下大模型」 | 低门槛/平民化推理是项目定位与社区共识 | 观点性收尾，非原文引述 |
延伸选题
- 层卸载 vs 量化，谁才是「小显存跑大模型」的正道？ —— AirLLM 免量化主打原汁原味，但速度慢；量化省显存又提速但有精度损失，两种路线的取舍科普。
- MoE 稀疏激活为什么更省显存？ —— Kimi K3（2.8T）为何在 4GB 内跑：按 token 路由只加载被激活的专家。
- 内存带宽决定推理速度 —— 为什么「逐层换入换出」的快慢取决于内存/磁盘带宽而不是算力，顺带科普 GPU 显存 vs 内存带宽差异。
- 本地跑大模型 = 算力平权？ —— 从 AirLLM 到 Ollama/llama.cpp，聊聊「AI 民主化」与隐私本地化的浪潮。
待修正 / 备注
- 漫画第 2 格将「量化」与「层卸载」并列为原理，严格来说 AirLLM 默认不量化即可运行，量化是可选加速手段；漫画为趣味化简化呈现，已在对照表中注明。
- 漫画第 3 格「开源的魔法」为戏剧化表述；实际推理速度受硬件限制，普通 4GB 卡跑 70B 是「能跑但慢」，漫画未展开性能细节。
- Hacker News 原帖热度约 103 分（2026-08 上旬），具体分值随时间浮动。