使用文档
分词器页
在浏览器本地切分 system prompt 和 user message，查看 Token 数量。
分词器页在左侧「分词器」（/tokenizer）。在这里粘贴 system prompt 和 user message，就能查看文本的 Token 总数、每个字段的数量，以及可视化的切分片段。计算只在当前浏览器的本地后台线程中完成，不会上传输入内容到服务器。
这个页面统计的是消息正文，适合写提示词、预估上下文和比较文本长度；它不会计算 API 协议、工具定义、附件、系统注入内容或供应商可能额外添加的开销。
快速使用
- 打开左侧 分词器。
- 在「选择模型商」中选 OpenAI、Gemini 或 DeepSeek。
- 在 System prompt 填系统提示词，在 User message 粘贴要发送的消息；任一字段可留空。
- 输入停止后会自动重新计算。右侧可查看总 Token 和上下文占用，底部可查看切分预览。
- 需要重新开始时，点「重置示例」。
所选模型会写入地址参数，例如 /tokenizer?model=openai，方便刷新或分享同一种本地计算方式；文本内容不会写入 URL。
模型与计数方式
| 选择 | 本地计数方式 | 结果精度与用途 |
|---|---|---|
| OpenAI | o200k_base | 在浏览器本地精确切分，适合 GPT-5.6 系列文本参考。 |
| DeepSeek | DeepSeek V4 tokenizer | 在浏览器本地精确切分，适合 DeepSeek V4 系列文本参考。 |
| Gemini | Gemma 4 官方开放 tokenizer | 本地参考值，不等同于 Gemini API 官方 Token 数。精确计数请使用官方 countTokens API 或响应中的 usage。 |
| Anthropic | 不提供可选计数器 | Anthropic 未公开可供本地复现的 tokenizer；同样文本可先按 GPT Token 数约多 30% 作粗略预算，实际会因语言、内容和模型而变化。 |
首次使用 Gemini 或 DeepSeek 时，浏览器需要加载相应的本地 tokenizer 资源，页面会显示加载状态；后续通常更快。OpenAI 的 o200k_base 直接在本地运行。
结果怎么看
页面将 system 与 user 分开统计，并同时显示：
| 结果 | 含义 |
|---|---|
| 总 Token | system 与 user 两段正文的 Token 合计。 |
| 总字符 | 两段正文按 Unicode 字符统计的合计。 |
| 平均字符 / Token | 总字符 ÷ 总 Token，仅用于观察文本效率，不能反推精确 Token。 |
| Token 切分预览 | 分词后的文本片段；悬停片段可查看一个或多个 Token ID。 |
为避免长文本预览影响页面性能，切分预览约显示前 120 个 Token；完整 Token 数仍会纳入统计。跨字节字符在预览中会合并显示，以便阅读。
OpenAI 的结果会按 128K 展示基准显示正文 Token 占比；DeepSeek 会按 1M 官方上限显示占比。这个进度条只比较你填入的两段正文，不代表一次完整 API 请求的真实上下文占用。Gemini 只显示本地 Gemma 4 的参考总数，不套用 Gemini API 的上下文窗口。
输入限制与本地计算
两段输入合计最多 1,000,000 个 JavaScript 代码单元。超过限制时页面会提示「输入内容过长」，请缩短文本后再试。
为了避免连续输入时积压大量任务，页面会在短暂的输入间隔后只计算最新文本。若后台 tokenizer 加载或运行出错，可点击「重试」重新建立本地计算线程。
本地计算意味着：
- 文本不会作为计数请求发送到本站服务器。
- 首次加载特定 tokenizer 可能需要浏览器下载其静态资源。
- 无痕窗口、清浏览器缓存或换设备后，可能需要再次加载资源。
与账单或成本估算的关系
分词器适合在发送前预估文本规模；实际调用后，优先以 API 响应里的 usage 为准。供应商的消息封装、工具调用、缓存、思考 Token 和其他服务端内容都会让最终计费 Token 与本页正文统计不同。
若要按已导入的实际用量估算费用，请使用计算器页；若要查看按日趋势或导入本地使用记录，请使用图表页。
常见问题
Gemini 的数字为什么不能直接当 API Token？
本页使用的是 Gemma 4 本地 tokenizer 作为公开、可离线运行的参考，而不是 Gemini API 的官方计数服务，因此不能保证一致。
为什么实际 API 用量更高？
本页只统计两个文本框的正文。消息协议、系统注入、工具定义、图片、文件、缓存写入和模型生成内容都可能增加 API 的实际用量。
为什么切分预览只有一部分？
预览有约 120 个 Token 的显示上限以保持页面流畅；顶部和统计卡中的总数仍按完整文本计算。
输入内容会被保存或上传吗？
不会。Token 切分在浏览器本地 Worker 中执行，页面也不会把文本写入 URL；刷新页面后文本会恢复为初始示例。