从机器配置倒推模型
“能跑”有三个层次：权重加载成功、可接受的速度、任务结果可用。16GB 内存的轻薄本与 24GB 显存的工作站，能够容纳的模型、上下文和吞吐差别很大。模型权重之外，还要为运行时、KV 缓存、操作系统和其他应用留空间。把所有可用内存算给权重，往往得到的是频繁换页而非可用体验。
量化是交换，不是魔法
4bit、5bit 等量化会缩小权重，占用更低，但不同量化方案与模型结构对质量的影响并不相同。低比特量化可能在日常摘要里几乎察觉不到，在代码生成、数学或多轮工具调用里却暴露差异。下载模型前看清格式是否被当前推理引擎支持，也要确认许可证和模型卡。
OpenAI 在 2025 年发布 gpt-oss 开放权重模型时，给出了 20B 型号约 16GB 内存的运行目标。这是特定模型和配置下的官方说明，不能推导出“任意 20B 模型都适合 16GB 设备”。不同上下文长度、批量大小和软件栈仍会改变占用和速度。
隐私收益有条件
离线推理可以减少敏感文本传到远端，但本地应用可能仍有更新检查、遥测或联网检索。真正需要数据隔离时，应检查程序的网络行为、日志目录和临时文件。若模型通过局域网服务暴露 API，还要限制监听地址和访问权限；“在自己电脑上跑”不自动等于只有自己能访问。
怎样做一次像样的试用
准备五类真实任务：中文写作、短代码修复、私有文档问答、长文本定位与结构化提取。每类取几个样本，记录首字时间、输出速度、峰值内存、正确率和可复现的失败。然后再比较云端方案的调用费用与维护时间。普通用户不必追逐最大的参数量，能稳定完成自己高频任务的组合才值得长期留下。
部署方式也会改变结论
同一份模型文件，用不同推理引擎、GPU 后端和线程设置，速度可能相差很大。先确认驱动、运行时与模型格式相互兼容，再讨论模型本身是否“慢”。对只有集成显卡的笔记本，系统共享内存看起来充足，但带宽和散热会影响长时间输出；对独显机器，权重一部分落在系统内存也可能拖慢推理。
本地文档问答常被认为适合小模型，但别忽略检索层。文档要被切块、索引，并保留标题与版本；模型还要能根据检索到的内容作答并标明来源。若回答错误，先看检索材料是否正确，再判断模型是否用上了证据。只换一个更大的权重，有时解决不了旧版本文档混入的问题。
什么时候不必坚持本地
若任务只偶尔发生、需要最新的多模态能力或团队多人并发，云端服务的整体成本可能更低。反过来，高频固定任务、离线场景和明确的数据边界会增强本地方案的价值。也可以混用：本地做初筛与脱敏，困难样本交给云端处理，但必须明确哪些数据可离开设备。所谓本地 AI 的边界，是任务与约束共同画出来的。
对长期使用者，模型更新策略也是成本。新版本可能提高任务质量，也可能改变输出格式，让旧提示词或解析器失效。保存一组固定输入与期望结果，升级模型或推理引擎后先跑回归，再替换日常环境。离线使用时更要保存模型文件来源与校验信息，方便问题出现后追溯。
资料参考
以下公开资料用于核对技术背景；文中判断与表述由本站独立整理。