连续一个月记录本地 70B 的真实使用,三套方案的体感:5090 单卡(Q4,offload 少量)平均 10.8 tok/s,写作体验"流畅";魔改 3090 48G(Q4 全覆盖)9.5 tok/s,几乎等价;96G 内存 offload3-5 tok/s,读得下去、写不下去。
一个月总用量 41 小时:本地承担 60%(日常写作、代码、长上下文分析),API 承担 40%(超长上下文、需要即时响应的峰值)。这组数据回答了一个争论:本地 70B 不是替代 API,是把「月账单」变成「月电费」——按 API 价格算,41 小时相当于 ¥800+ 的账单,而本地边际成本是电费 ¥30。
结论:写作刚需 + 隐私敏感的用户,5090/魔改 48G 值回票价;偶尔用用的,API 仍是正解。