Synthetic Data & Self-Improvement

数据蒸馏：生成是廉价的，过滤才是杠杆

背景与原理

蒸馏（distillation）的工程形态很朴素：用强 teacher（Opus 级）大批量生成「指令 + 回答」对，喂给 student（小模型 / 你自己微调的模型）做 SFT。Self-Instruct（Wang 2022）证明了模型能 bootstrap 自己的指令数据，但它真正的贡献不是「会生成」，而是那套过滤管线：去重（与已有任务 ROUGE 相似度过高就丢）、去退化（太短 / 太长 / 重复 / 含「作为 AI」套话）、去无效（无法验证或自相矛盾）。生成 token 几乎免费，质量却几乎全部来自删除。一个反复被验证的经验：1 万条精选样本胜过 10 万条平均样本——后者会把 teacher 的口水话和盲区一起灌进 student。

实战示例

# 蒸馏 = 过量生成 + 激进过滤。下面是过滤层的骨架
from anthropic import Anthropic
client = Anthropic()

def gen(seed):  # teacher 高 temperature 多产
    r = client.messages.create(model="claude-opus-4-8",
        max_tokens=1024, temperature=1.0,
        messages=[{"role":"user",
          "content":f"参考种子任务，造一个新的{{指令,回答}}，回答要可被检验：\n{seed}"}])
    return r.content[0].text

def keep(item, pool):
    if len(item.answer) < 40: return False        # 去退化
    if rouge_l(item.instr, pool) > 0.7: return False  # 去重
    if "作为一个AI" in item.answer: return False    # 去套话
    return llm_judge(item) >= 4               # 1-5 分，<4 全删

raw = [gen(s) for s in seeds for _ in range(10)]  # 过量 10×
data = [x for x in raw if keep(x, raw)]            # 常剩 <15%

Constitutional AI / RLAIF：把人类偏好换成可复用的 critique-revise 回路

背景与原理

Constitutional AI（Bai 2022）把「人类标注哪个回答更好」换成「让模型按一组成文原则自己批评、自己改」：先让模型产草稿，再让它对照 constitution 列出违反点，最后据此 revise——SFT 阶段就用这些 revised 样本，RL 阶段（RLAIF）用 AI 而非人类来标注偏好对。对工程师而言，最值钱的洞见是：critique-revise 是一个可独立复用的推理算子，和 Self-Refine（Madaan 2023）同构。你不必训练，就能在调用链里插入一轮自我批评，把「价值观 / 风格 / 安全约束」从 prompt 里的祈使句变成一条显式的、可审计的检查步。它的本质是把约束从「希望模型记住」升级为「强制模型逐条核对」。

实战示例

# inference-time CAI：一条原则 = 一个 critique-revise 算子
PRINCIPLE = "回答必须给出可执行步骤，禁止空泛建议；涉及风险须显式标注"

draft    = ask(f"{task}")
critique = ask(f"按这条原则审查下面回答，只列出违反点（无则写 NONE）：\n"
               f"原则：{PRINCIPLE}\n回答：{draft}")
final    = draft if "NONE" in critique else \
           ask(f"据批评改写，只输出改后回答：\n回答：{draft}\n批评：{critique}")

把多条原则串成 pipeline，就是一个微型 constitution。批量跑过一个数据集，revised 输出还能直接当 SFT 语料——这正是 CAI 的 SL 阶段。

可验证的自改进：rejection sampling / STaR

背景与原理

真正能「自举」的自改进，公式极简：过量采样 → 用 verifier 筛出对的 → 只在对的上微调 → 重复。Rejection Sampling Fine-tuning 是一轮版，STaR（Zelikman 2022）是迭代版——还多一招 rationalization：答错的题，把正确答案塞回去让模型补一条「能推到该答案的过程」，再收进训练集。关键不在采样，在 verifier 的存在与不对称性：数学有标准答案、代码能跑单测、SQL 能比对结果——这些任务里「判对错」远比「生成解」便宜，于是循环成立、能持续爬坡。没有这种不对称的任务（开放写作、主观判断），这个循环会原地放大噪声而非信号。o1 / R1 这代推理模型的训练，本质就是把这条循环工业化。

实战示例

# 代码任务的一轮 rejection sampling：verifier = 跑单测
def harvest(q):
    cands = [solve(q, temperature=1.0) for _ in range(16)]  # 过量
    good  = [c for c in cands if run_tests(c, q.tests)]  # verifier
    return dedup(good)[:2]            # 每题最多留 2 条，防分布失衡

sft_set = [(q, sol) for q in tasks for sol in harvest(q)]
# 没通过的题 → rationalize：给出 gold answer 让模型补 reasoning，再验

Model Collapse：递归吃自己产出会悄悄塌缩

背景与原理

Shumailov 等（《The Curse of Recursion》2023；Nature 2024）证明：当一代模型主要用上一代的产出训练、如此递归，分布的尾部会逐代消失——罕见但真实的模式先丢，最终收敛到平庸的高频中心。可怕之处在于它隐蔽：常见任务的 benchmark 分数可能还在涨，而长尾覆盖、风格多样性、罕见知识已经塌掉，等你发现时损失常已不可逆。注意区分两种情形：§3 那种有 verifier 过滤的自改进不是 collapse（信号被保留、噪声被删）；collapse 来自无差别地把生成数据当真实数据递归喂回。前沿模型大量用合成数据仍变强，靠的正是「真实数据锚定 + 验证过滤 + 累积而非替换」这三道闸。

实战示例

# 三道防 collapse 的闸门
# 1) 锚定：真实数据始终占主导，合成只做增量
mix = 0.7 * real + 0.3 * synthetic

# 2) 累积而非替换：保留历代真实语料，别用新合成覆盖旧真实
corpus = real_v1 + real_v2 + synthetic_filtered   # append, not replace

# 3) 监控分布而非只看准确率——多样性掉了，准确率可能没掉
assert distinct_n(outputs, n=3) > THRESH   # n-gram 多样性
assert tail_coverage(outputs) > THRESH     # 罕见类别召回

「累积而非替换」是 Gerstgrasser 等 2024 的关键结论：只要每轮叠加真实数据而非用合成数据顶替，collapse 可被打破。eval 也要换指标——别只盯准确率，盯多样性和长尾覆盖。