千问3.8-27B开源后，本地玩家先算显存：27B不等于轻松，96GB才谈满血
权重一上线，社区第一反应不是跑分，而是翻硬件：GGUF、MLX转换紧随其后，Mac、4090、5090、V100，甚至工作站卡都被拿出来盘算。大家真正想确认的，是这颗27B多模态模型，能不能从论文和榜单走进普通开发者的桌面。https://teaikeji.com/data/attachment/forum/rehost/wx20261002-5.jpg
Qwen3.8-27B 官方模型卡写得清楚：它是270亿参数的稠密多模态模型，能看图片和视频，原生上下文262,144个Token，也就是常说的256K；同时支持思考深度调节，并经过MTP多Token预测训练。MTP可以理解为模型一次多猜几个Token，再逐步校验：猜中就能连续吐出几步，速度会快一点；猜错则退回逐个生成。它不直接提升智力，更像推理加速。短任务、显存宽裕时可能有收益，长上下文下草稿部分也会占显存，速度未必更好。
https://teaikeji.com/data/attachment/forum/rehost/wx20261002-6.jpg
“27B”也容易让人误会。相比2.4T的千问3.8，它总参数规模小得多，但每生成一个Token，270亿参数基本都要参与计算。能塞进家用设备，不等于运行起来轻松。官方对比里，它和Opus 4.6 Max确实有来有回：QwenSWEBench等软件工程任务上明显领先，CoWorkBench长任务非常接近且略占上风，OSWorld-Verified电脑操作也领先；Terminal Bench 2.1和GPQA Diamond则被Opus 4.6 Max拉开或略胜。表格下方也说明，Opus 4.6 Max采用官方结果，其他模型不少项目用Claude Code harness重测，测试方式不同会影响成绩，所以更适合看大致位置，而不是当成完全同条件决赛。即便如此，一个27B开源模型能在复杂编程、电脑操作和长任务上摸到这个位置，已经相当夸张。
https://teaikeji.com/data/attachment/forum/rehost/wx20261002-7.jpg
真正落地，速度是绕不过去的坎。我用96GB统一内存的M2 Max跑，生成速度只有5 Token/s，能回答、能写代码，但任务一长，等待就让人没耐心。社区里，M4 Max 128GB跑oQ4并打开MTP，大约13 Token/s；24GB Mac Mini M4上只有2到4 Token/s。数字差距很大，通常来自量化版本、推理后端、上下文长度和MTP开关。Mac内存不同，体验也可以完全两样。我又拿一台约4000元的双V100机器，2×16GB合计32GB显存，做对比。两张卡各自分配显存，模型切分和卡间通信都会占空间：短上下文时约25 Token/s，上下文拉长后掉到12 Token/s。用Q4量化对比千问3.6-27B，3.8预填充速度下降约40%，生成速度下降约20%。长文本尤其明显，前几千字还正常，内容一多，机器就开始拖，风扇往往比人先热。
https://teaikeji.com/data/attachment/forum/rehost/wx20261002-8.jpg
速度差异和每步如何调用参数有关。千问3.8-27B是稠密模型，每步基本都要算完整270亿参数；DeepSeek V4 Flash 官方模型卡显示，它是MoE，总参数约2840亿，但每次只激活约130亿。前者单步压力更大，后者单步计算量更小。不过MoE的总参数并没有消失，完整权重仍要放进显存、系统内存甚至硬盘；显存不够时，显卡和内存之间会频繁搬数据，速度和稳定性都会受影响。所以“激活参数”和“总占用空间”是两件事。千问每次计算量更大，但总权重小，放进家用显卡更直接；DeepSeek每次计算量更小，可整体太大，本地运行更依赖内存、硬盘和专门优化过的框架。MoE适合降低每一步计算量，稠密模型则更容易估算显存和部署条件。本地选模型不能只看激活参数，还要看量化后大小、上下文长度、KV缓存、视觉模块，以及运行时要不要频繁在显存和内存之间搬数据。
回到显卡档位。16GB也有人跑起来，但往往要更激进量化，或牺牲上下文和速度；社区有12GB显卡跑Q4，生成约4.5 Token/s，能启动和能干活差距很大。24GB是现实入门线，4090、3090都在这个范围，Q4通常能装下，短上下文聊天和代码可用；但上下文一长，KV缓存、视觉模块和MTP会一起抢显存，最后只能做取舍，想跑几十万Token长任务，很容易速度下滑甚至OOM。标准版RTX 5090是32GB，属于更值得考虑的一档：可以上Q5，也给KV缓存留空间。我用Q5模型加Q8 KV，优先保质量，在5090上打开MTP后，输入速度平均下降约8%，短上下文输出提高约20%；可上下文超过100K，MTP反而开始拖慢。MTP开了不一定更快，任务短、显存够、草稿参数合适时它能帮忙，上下文变长后草稿模型占显存，验证成本会把收益吃掉。48GB宽松很多，可用Q6或Q8，也能给长上下文留更多空间；但想把Q8、256K、全精度KV、视觉和MTP一起打开，仍要看框架和显存分配，不能只看标称容量。有社区按配置估算，262K上下文、全精度KV时，KV本身可能占约16GiB，权重、运行框架、视觉模块和MTP还要另算。96GB才能比较从容地走满血路线。
https://teaikeji.com/data/attachment/forum/rehost/wx20261002-9.jpg
我用RTX PRO 6000 96GB跑BF16原版权重，打开全精度KV、视觉和原生MTP，复杂任务完成度很高，尤其全栈应用部分，已经不像传统意义上的本地小模型。在之前同一套测试里，它超过GPT-5.5，贴近GPT-5.6，只在少数项目还差一点。可十几万元的卡，生成速度没有和价格一起飞上天：预填充很快，单路生成却没想象中夸张。我用的是vLLM，它更偏多并发吞吐，单人单路聊天未必是最优场景。高端卡有时给的是同时处理更多任务的能力，不一定是一个人聊天时每秒多吐几十个Token。
量化版和满血版确实有差别。Q5版本已经很能打，但在前端生成里，图片全屏显示会出现代码问题，部分排版也有瑕疵；BF16版本没遇到这些问题，细节更稳，整体风格更完整。量化版适合回答“这台机器能不能跑”，官方原版才能让你看到模型上限。如果你已经有3090、4090或5090，先下载量化版跑几天，别急着升级。只有16GB显存也可以试，但要接受速度和上下文限制。准备专门配一台本地AI机器，32GB是能用的起点，48GB更像样，96GB才适合质量优先的满血测试。24GB能启动，32GB得做取舍，96GB才能认真测试满血版本。千问3.8-27B把前沿模型的一些能力放进了普通开发者摸得到的硬件，可显存、带宽和等待时间还得自己承担。模型开源只是开始，后面要花钱的地方很具体：显存、带宽，还有长任务跑到一半突然OOM。
页:
[1]