一句话答案
Token 是模型读取和生成内容时计算长度的单位。它不完全等于中文字数或英文单词数,而是模型内部切分文本后的片段。
为什么要理解 Token
它影响长度限制
当你贴太多资料,模型可能无法一次处理完,因为超过了上下文窗口。
它影响成本
很多 API 或高级工具会按输入和输出 token 计费。
它影响速度
资料越长,模型通常需要更多时间处理。
实用理解
普通用户不需要精确计算 token。你只需要知道:长文件、长聊天记录、多轮对话和大量输出都会占用 token。
使用建议
处理长资料时,先让 AI 分段总结,再把摘要合并分析。这样通常比一次塞入所有内容更稳定。
继续学习
Token 和 context window 是一起看的:token 是单位,context window 是一次能装多少单位。