AI/ML 详解：Prompt Engineering

就像写单元测试：你只在 prompt 里给出几个"输入→输出"的例子，模型就能照葫芦画瓢推广到新输入——不需要重新训练，只是临时"用例子教它一次"。

传统 ML 想做一个新任务（比如"判断这条评论是不是阴阳怪气"），要标几千条数据再训模型。Few-shot 把这个流程压缩成：写 3-5 个例子塞进 prompt。Zero-shot 更极端——一个例子都不给，靠任务描述就让模型干活。本质是利用预训练时学到的"模式补全"能力，把"训练"挪到了"推理时"。

模型只会做一件事：续写。Zero-shot 把任务写成自然语言指令，让模型续写出答案；Few-shot 在 prompt 里造一个"问答对话"的模式，模型看到这个模式就会延续下去。例子的顺序、格式、措辞都会显著影响输出——这就是"prompt 形式即模型行为"。

# Zero-shot：只描述任务
"判断情感（正面/负面）：'这服务太糟糕了' →"

# Few-shot：先展示 3 个例子，模型自动延续这个 pattern
"输入：今天天气真好 → 正面
输入：电池一天就没电 → 负面
输入：客服很耐心解决了问题 → 正面
输入：这服务太糟糕了 →"

from anthropic import Anthropic
client = Anthropic()

# Few-shot：用例子教模型"提取公司名"这个任务
prompt = """从句子中抽取公司名，只输出公司名。

句子：苹果今天发布了新款 iPhone。
公司：Apple

句子：特斯拉的股价昨晚大涨。
公司：Tesla

句子：英伟达正在和台积电合作建厂。
公司："""

resp = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=50,
    messages=[{"role": "user", "content": prompt}]
)
print(resp.content[0].text)  # 期望：NVIDIA, TSMC

• Prompt Engineering Guide — 系统、有例子、中英双语
• Anthropic 官方 Prompt Engineering 文档

就像 code review 时强制要求"先写注释说明思路再写代码"——让模型先把推理过程"想出声"，再给最终答案，准确率立刻上一个台阶。

对"应用题"、"多步推理"、"逻辑判断"这类任务，模型直接输出答案常常翻车。原因是：每个 token 的预测算力是恒定的，要"一步算出最终答案"对复杂题来说算力不够。CoT 的洞察是：让模型多写一些中间 token，等于多给它一些"思考时间"。模型把推理拆成小步，每一步都基于上一步的中间结果，错误率显著下降。

触发方式简单到离谱：在 prompt 末尾加一句 "Let's think step by step." 或者 few-shot 例子里展示推理过程。模型就会先输出一段推理，再给答案。

# 不用 CoT
"小明有 5 个苹果，吃了 2 个，又买了 3 倍数量。还剩几个？"
→ "9 个"  （错！）

# 用 CoT
"... 让我们一步步想。"
→ "小明原有 5 个，吃 2 个剩 3 个；
   又买了 3 × 3 = 9 个；
   总共 3 + 9 = 12 个。
   答案：12 个。"  （对）

类比：你的大脑做心算 23×47 也会先在脑子里拆成 20×47+3×47——CoT 就是逼模型显式做这件事。

from anthropic import Anthropic
client = Anthropic()

question = "一辆车 60 km/h 跑了 2.5 小时，又以 80 km/h 跑了 1.5 小时。平均速度多少？"

# 触发 CoT：把"先推理再回答"写进 system prompt
resp = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=500,
    system="先用 <thinking> 标签写出推理步骤，再用 <answer> 标签给最终数值。",
    messages=[{"role": "user", "content": question}]
)
print(resp.content[0].text)
# 模型会先列出"总路程 = 60×2.5 + 80×1.5 = 270"等推理，再给平均速度

• 原始论文（Wei et al., 2022）Chain-of-Thought Prompting — 4 页就讲清楚了，很友好
• Prompting Guide: CoT 章节 附大量例子

就像 REPL 调试：模型不再一口气把答案吐出来，而是"想一步 → 调一个工具 → 看结果 → 再想一步"，循环到拿到答案为止。CoT 只是脑内推理，ReAct 是脑内推理 + 真的去外面查资料/执行命令。

纯 CoT 只能基于模型已有的知识推理，遇到"今天股价是多少"、"这个 GitHub 仓库的星数是多少"就要瞎编（hallucination）。ReAct 把推理和"动手"交织起来：模型先 think 自己缺什么信息，然后 act 调一个工具去拿，看到工具返回结果（observation）后再继续 think，循环逼近答案。这是绝大多数 Agent 框架的基础范式。

核心是一个 Thought → Action → Observation → Thought ... 的循环。每一轮模型只生成一小段，由"外层 runtime"解析 Action 部分去执行真实工具，再把结果作为 Observation 拼回 prompt 让模型继续。

# ReAct 典型对话格式
用户：BigCat 的 GitHub 仓库 ai-ml-daily 有多少 stars？

Thought: 我不知道实时数据，需要查 GitHub API。
Action:  http_get("https://api.github.com/repos/cissy0802/ai-ml-daily")
Observation: {"stargazers_count": 42, ...}
Thought: 我有数据了，可以回答。
Answer:  42 个 stars。

本质上 ReAct = CoT + 工具调用 + 循环。Day 6 我们会专门讲 Function Calling，那是 ReAct 的"工业化版本"。

from langchain.agents import create_react_agent, AgentExecutor
from langchain_anthropic import ChatAnthropic
from langchain.tools import Tool

# 1) 定义工具：模型可以"动手"做的事
tools = [
    Tool(name="calculator",
         func=lambda x: str(eval(x)),
         description="计算数学表达式"),
    Tool(name="search",
         func=my_search_api,           # 你的搜索接口
         description="搜索实时网页信息"),
]

# 2) 让 LangChain 拼好 ReAct 格式的 prompt + 解析循环
agent = create_react_agent(ChatAnthropic(model="claude-opus-4-7"),
                           tools, prompt=react_prompt_template)
executor = AgentExecutor(agent=agent, tools=tools, verbose=True)

executor.invoke({"input": "今天上证指数涨跌幅 × 我的持仓 50 万 = ?"})
# 你会看到 Thought→Action→Observation 的完整轨迹

• 原始论文 ReAct: Synergizing Reasoning and Acting (Yao et al., 2022)
• LangChain Agent 教程 — 跟着跑通最直观

就像让多个工程师独立解同一道题再投票：让模型用不同温度采样多次，每次都跑 CoT，最后取"出现次数最多的答案"——多数派往往是对的。本质是用算力换准确率的统计版"群体智慧"。

单次 CoT 推理仍可能在某一步算错，链路一错全错。Self-Consistency 的洞察是：正确的推理路径往往收敛到同一个答案，错误的推理路径会四散开来。于是采样 N 次（比如 N=10），把答案做多数投票（majority vote），鲁棒性远高于单次。这在数学题、推理题上常常能再涨 10-20 个百分点准确率。

三步：(1) 用 temperature > 0（如 0.7）让模型对同一个 prompt 采样 N 次，每次产生不同的 CoT 推理链；(2) 从每条链里抽出最终答案；(3) 对答案做投票，取众数。

# 伪代码：Self-Consistency
question = "如果 3x + 7 = 22，x = ?"
answers = []
for _ in range(10):
    cot = llm(question, temperature=0.7)   # 每次推理路径不同
    answers.append(extract_final(cot))      # 抽出最终数值
final = mode(answers)                       # 投票：[5,5,5,5,4,5,5,6,5,5] → 5

类比：单次 CoT 像让一个学生答题，Self-Consistency 像把题发给 10 个学生独立答，再看哪个答案最多人选。代价是 10 倍 token 成本。

from anthropic import Anthropic
from collections import Counter
import re

client = Anthropic()
question = "小红有 3 个苹果，妈妈又给了她 2 倍数量，再分给弟弟一半。小红剩几个？"

answers = []
for _ in range(10):                          # 采样 10 条独立推理链
    resp = client.messages.create(
        model="claude-opus-4-7",
        max_tokens=300,
        temperature=0.7,                       # 关键：开温度让路径多样
        messages=[{"role": "user",
                   "content": question + "\n请逐步推理后给出数字答案。"}]
    )
    # 抽出最后一个数字作为答案
    nums = re.findall(r"\d+", resp.content[0].text)
    if nums: answers.append(nums[-1])

print(Counter(answers).most_common(1))      # 出现最多的答案就是最终答案

• 原始论文 Self-Consistency Improves CoT (Wang et al., 2022)
• Prompting Guide: Self-Consistency 小节