大模型的提示词每轮都要重新计费吗?Token 消耗原理与省钱方案
很多人希望给大模型设置一次提示词后长期复用,之后只为新问题和回答付费。本文说明主流 API 无状态的本质、历史与系统提示词为何每轮都要重传,并给出提示词缓存、限制历史轮次、摘要记忆、微调等可落地方案与注意事项。
标签
共 1 篇相关文章
很多人希望给大模型设置一次提示词后长期复用,之后只为新问题和回答付费。本文说明主流 API 无状态的本质、历史与系统提示词为何每轮都要重传,并给出提示词缓存、限制历史轮次、摘要记忆、微调等可落地方案与注意事项。