一张纸先写不能妥协的条件
某团队要把客户工单归类，响应必须在两秒内，输出必须是固定 JSON，含个人信息的原文不能长期留存。这时“排行榜最强”不等于“可用”。另一个团队要审阅长合同，可以接受几十秒等待，但遗漏附录条款的代价很高。相同模型在两种任务里的价值完全不同。
能力地图比总分有用
把写作、编程、推理、长文本、多模态、工具调用、速度和本地部署分开。每个维度都写出一条自己的代表任务与验收标准。例如编程看测试通过率和误改范围；长文本看是否能引用远处段落；工具调用看参数是否合法、失败后会不会重试错误动作。单个数字无法表达这些差异。
隐性成本经常被低估
API 单价只是起点。输入上下文越长，费用和延迟可能越高；Agent 多步运行还会产生工具与重试开销。本地模型看似没有按次费用，却有硬件、电力、维护和模型更新成本。比较方案时，应以“完成一个可用任务”为单位，记录人工纠错时间。
模型版本和提示词要固定
若今天测试模型 A 用简短提示，明天测试模型 B 用精心设计的流程，结果没有可比性。至少固定输入数据、系统约束、工具接口和评分规则。重复跑几次，观察结果波动；关键任务还要放入反例和脏数据。模型升级后重新抽样，不把去年的结论当永久事实。
老哥网大模型内容希望帮助读者回答“这个模型适合什么条件下的什么任务”。开源与闭源、云端与本地，都可能是合理选择。把硬约束和失败样本公开，讨论才会从品牌偏好转向工程判断。
把选型做成一页决策记录
记录候选模型、版本、任务样本、硬件或 API 环境、费用估算和已知失败。最后写“为何选它”与“什么时候重新评估”。这比在聊天群里留一句“某模型感觉不错”更便于维护。新模型发布时，先用同一组样本复测，避免每次从零开始争论。
本地部署还要看许可证和数据流向；多模态任务还要看证据能否回链；AI 编程还要看它是否能控制改动范围。能力地图的每一格都对应一个可以观察的行为，而不是品牌形容词。若条件改变，例如团队改用移动设备或需要更严格隐私，再重新排序候选。
对于高影响任务，还应把错误分为可补救与不可补救。写作语气不合适可以编辑，错误地调用付款或删除接口则不能只靠事后修改。风险不同，选择模型与校验流程的门槛也应不同。