两台同名设备的用法可以完全不同。一台 128GB 内存的桌面主机装着开源模型，当成本地推理机；另一台 32GB 的同系列设备从不跑本地模型，只当一台常驻的开发机，从买回来就没关过机。录制时的这两个个例说明，“买一台常驻电脑”和“用它跑模型”是两个决定。常驻设备也有自己的约束，但这些约束与模型无关：内存更小的机型在重负载的工程任务上容易触顶，散热先于算力成为瓶颈。讨论本地推理值不值得，最好把混在一起的需求逐项拆开。
省钱这笔账，多数人算不平
本地推理最常被提起的理由是省钱。一次极端测算的结论是：一台高端桌面设备如果每时每刻都在跑模型，大约两年能回本；普通人的实际使用频率下，回本周期要以十年计——因为设备不可能一直满负荷。单纯按省下的 API 费用计算，自建对个人几乎总是不划算。
厂商的算法不同。当请求量足够大，把一部分任务挪到用户设备上反而更省：录制时有厂商在浏览器产品里内置本地模型，装好后自动配置，让特定任务在端上完成；浏览器厂商也长期内置可在线下载的小模型。端侧算力对个人是昂贵的闲置资产，对平台却是分摊成本的抓手——同一套设备，站在两边看，账完全不一样。
能跑什么，由显存和量化决定
本地推理的第一个门槛是显存。参数大一点的模型塞不进单张消费级显卡，多卡方案的成本和复杂度又超出个人范围。量化因此成为关键：录制时流传的一个案例，是对一个 27B 模型做三值量化，体积缩到约 5.6GB，宣称保留 98.2% 的综合性能，能在单张显卡上运行。这类宣称数字来自厂商自己的评测，放到具体任务上是否成立，仍需复测；速度也一样——有使用者在自己设备上跑到每秒约三十个 Token，得出“已经能用”的结论，这是特定设备、特定模型下的个例，不是普遍基准。
参数规模的判断同样随时间变化。录制前后的一波 Flash 档开源模型，让桌面设备的可选项明显变多：有使用者在一台大内存设备上依次试装了好几个开源模型，从中等参数的系列到新款 Flash 档，得出的结论是本机跑得动、速度可以接受。这也意味着本地推理的可行性清单需要定期重算，旧的结论不能直接沿用。
有些价值折不进回本账
只按省钱计算，会漏掉本地推理真正的差异点。数据不出本机：涉及个人记录、私密文件的任务，不必上传给任何服务。离线可用：网络中断或服务下线时，本地的模型和流程照常运转。控制权：自己决定何时升级、何时替换，不受厂商调整影响——云端模型的版本和定价随时可能变化，本地权重不会。
这三项价值高度依赖具体的人和场景。处理敏感数据的职业、网络环境不稳定的场所、对依赖单一定价的顾虑，都会改变天平的位置；对没有这些约束的使用者，它们几乎不值钱。云端模型还有生命周期问题：推理效率提升促使厂商持续下架旧版本，依赖特定版本的工作流随时面临迁移；本地权重不受这类安排影响。这也是为什么同一笔回本测算，不同的人得出完全不同的结论——差的不只是电价，还有这些折不成钱的因素。
端侧和云端是分工，不是替代
本地推理也不必承担所有任务。更现实的分工是：软件里那些机械性、高频的日常操作——整理文件、改个名称、做一次分类——交给端侧的小模型；创造复杂系统和产品的重活，继续留在云端的大模型上。设备常驻在线的价值同样在这里：它随时待命，承接那些不需要顶级智能但要立刻响应的请求。
值得注意的是，常驻执行环境本身正在变成一门独立的生意：云端常驻主机的需求被认为会随 Agent 普及而快速增长，Agent 需要一台“不下线的电脑”，但这台电脑可以租，不必买。对本地的取舍因此更清晰——把隐私、离线、控制权这些非价格价值放回天平，再决定哪些环节值得留在自己手里。