1
输入 Token（Input Tokens）：
2
- 你发给模型的内容
3
- 包括：系统提示词、用户问题、上下文、示例等
4
- 价格：较便宜
5

6
输出 Token（Output Tokens）：
7
- 模型生成的回复
8
- 价格：通常是输入的 2-5 倍

1
中文字估算：
2
- 1 个中文字 ≈ 1-2 个 Token
3
- 1000 字中文 ≈ 1500 个 Token
4

5
英文估算：
6
- 1 个英文单词 ≈ 1-1.3 个 Token
7
- 1000 英文单词 ≈ 1300 个 Token
8

9
代码更不规则：
10
- 简洁代码：Token 较少
11
- 注释多：Token 翻倍
12
- 复杂表达式：Token 爆炸

1
每日输入 Token：1000 × 10,000 = 1000 万
2
每日输出 Token：500 × 10,000 = 500 万
3

4
每日成本：
5
- 输入：10 × $2.5 = $25
6
- 输出：5 × $10 = $50
7
- 合计：$75/天 = $2250/月

1
输入：10 × $0.15 = $1.5
2
输出：5 × $0.6 = $3
3
合计：$4.5/天 = $135/月
4

5
节省：$2115/月（94%）

1
每日输入：5200 × 5000 = 2600 万
2
每日输出：500 × 5000 = 250 万
3

4
每日成本：
5
- 输入：26 × $3 = $78
6
- 输出：2.5 × $15 = $37.5
7
- 合计：$115.5/天 = $3465/月

1
Claude 支持缓存：
2
- 文档部分可缓存（5 分钟有效期）
3
- 重复查询只计新增部分
4
- 缓存命中后输入成本降低 90%
5

6
假设 60%命中：
7
- 原输入成本：$78
8
- 缓存后：$78 × 0.4 + $78 × 0.6 × 0.1 = $36.72
9
- 节省：$41.28/天 = $1238/月

1
输入：26 × $0.14 = $3.64
2
输出：2.5 × $0.28 = $0.7
3
合计：$4.34/天 = $130/月
4

5
节省：$3335/月（96%）

1
每日输入：300 × 50,000 = 1500 万
2
每日输出：100 × 50,000 = 500 万
3

4
每日成本：
5
- 输入：15 × $2.5 = $37.5
6
- 输出：5 × $10 = $50
7
- 合计：$87.5/天 = $2625/月

1
输入：15 × $0.14 = $2.1
2
输出：5 × $0.28 = $1.4
3
合计：$3.5/天 = $105/月
4

5
节省：$2520/月（96%）

1
闭源 API 成本 = API 调用费
2

3
开源自部署成本 = GPU 租赁费 + 运维人力 + 电费 + 带宽费

1
冗余输入（浪费 Token）：
2
"请帮我分析一下这篇文章的主要内容，用简洁的语言总结，
3
不要太长，大概 100 字左右，要抓住重点..."
4

5
精简输入（意思一样，Token 少很多）：
6
"用 100 字总结这篇文章的主要内容"
7

8
对比：
9
- 冗余版本：约 80 个 Token
10
- 精简版本：约 15 个 Token
11
- 节省：80%+

1
原理：
2
- 相同的系统提示词、文档等可以缓存
3
- 后续请求只计算新增部分
4
- 节省 60-90%输入成本
5

6
Claude 缓存规则：
7
- 最小缓存：1024 Token
8
- 缓存有效期：5 分钟
9
- 缓存写入费用：$3.75/百万 Token
10
- 缓存命中费用：$0.30/百万 Token（节省 90%）
11

12
适用场景：
13
RAG（重复检索相同文档）
14
固定系统提示词
15
多轮对话中的上下文
16
Few-shot 示例
17

18
示例代码：

1
import anthropic
2

3
client = anthropic.Anthropic()
4

5
# 使用 Prompt Caching
6
message = client.messages.create(
7
 model="claude-3-5-sonnet-20241022",
8
 max_tokens=1024,
9
 messages=[
10
 {
11
 "role": "user",
12
 "content": [
13
 {
14
 "type": "document",
15
 "source": {
16
 "type": "text",
17
 "media_type": "text/plain",
18
 "data": large_document # 这个会被缓存
19
 },
20
 "caching": {"type": "ephemeral"} # 启用缓存
21
 },
22
 {
23
 "type": "text",
24
 "text": "请总结上面的文档"
25
 }
26
 ]
27
 }
28
 ]
29
)

1
不需要长回复时，明确指定：
2

3
"用一句话回答"
4
"用 3 个要点回答"
5
"输出 JSON 格式，不要解释"
6
"答案不超过 50 字"
7

8
效果：
9
- 减少输出 Token
10
- 输出更精准
11
- 成本降低 30-50%

1
实时调用 vs 批处理：
2

3
实时调用：
4
- 每次单独请求
5
- 响应快
6
- 成本高
7

8
批处理：
9
- 一次处理多个
10
- 响应慢（几小时内）
11
- 成本低 50%
12

13
OpenAI Batch API：
14
- 价格：实时调用的 50%
15
- 适用场景：
16
 批量翻译
17
 批量分类
18
 批量摘要
19
 数据处理

1
# OpenAI Batch API 示例
2
from openai import OpenAI
3

4
client = OpenAI()
5

6
# 创建批处理任务
7
batch = client.batches.create(
8
 input_file_id="file-xxx", # 上传的 JSONL 文件
9
 endpoint="/v1/chat/completions",
10
 completion_window="24h"
11
)
12

13
# 查询状态
14
status = client.batches.retrieve(batch.id)
15
print(status.status) # validating, in_progress, completed

1
┌─────────────────────────────────────────────────────────────┐
2
│ 成本计算公式 │
3
├─────────────────────────────────────────────────────────────┤
4
│ │
5
│ 月成本 = (日均输入 Token × 输入单价 │
6
│ + 日均输出 Token × 输出单价) × 30 │
7
│ │
8
│ 其中： │
9
│ 日均输入 Token = 日均调用量 × 平均输入长度 │
10
│ 日均输出 Token = 日均调用量 × 平均输出长度 │
11
│ │
12
│ 示例计算： │
13
│ 日均 10000 次调用，输入 1000，输出 500，用 GPT-4o-mini │
14
│ = (10000×1000×$0.15/1M + 10000×500×$0.6/1M) × 30 │
15
│ = ($1.5 + $3) × 30 │
16
│ = $135/月 │
17
│ │
18
└─────────────────────────────────────────────────────────────┘