Token 便宜到不值得计费了
Tokens Too Cheap to Meter
jyn.dev 的文章《tokens too cheap to meter》认为,使用机器学习智能的价格每年下降数个数量级且没有放缓迹象,未来一两年 LLM 会作为基础设施嵌入计算的各个环节,3-6 年内可在消费级硬件上本地运行当前前沿质量模型,限制因素将转向质量与可及性而非 token 数量。
推荐理由:作者梳理 GPU 能效、推理优化与本地部署三条下降曲线,判断 token 价格将低到不再构成限制,限制因素转向质量与可及性。