图像生成工程

控制栈：ControlNet / LoRA / IP-Adapter 怎么分层

背景与原理

这三类工具作用在扩散过程的不同切面，不是互相替代而是叠加：

• ControlNet（Zhang 2023）：复制 UNet encoder，用 zero-conv 零初始化注入空间条件（canny 边缘、depth、openpose 骨架、segmentation）。给你 pixel 级的构图/姿态锁定，代价是每张多 30%+ 推理开销。
• LoRA（Hu 2021）：低秩权重增量（rank 通常 4–128），用几十张图微调出一个风格或角色，文件几 MB，靠触发词激活。主体一致性的主力。
• IP-Adapter：把一张参考图编码成 image prompt 注入 cross-attention，零训练就能迁移风格/人脸。比 LoRA 快，但可控性弱。

工程心法：先定结构（ControlNet），再定身份（LoRA），最后微调氛围（prompt + IP-Adapter）。把「想要什么」拆到对的控制通道上，而不是全堆进 text prompt。

实战示例

# diffusers：ControlNet(姿态) + LoRA(角色) 叠加
from diffusers import StableDiffusionXLControlNetPipeline, ControlNetModel
cn = ControlNetModel.from_pretrained("...controlnet-openpose-sdxl")
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", controlnet=cn)
pipe.load_lora_weights("./my_character.safetensors")  # 角色一致性

img = pipe(
    prompt="mychar, cinematic lighting, rooftop at dusk",
    image=pose_map,                 # openpose 骨架 → 锁定姿态
    controlnet_conditioning_scale=0.8,  # 别给 1.0，留余地
    guidance_scale=6.5, num_inference_steps=30,
    generator=torch.Generator().manual_seed(42),  # 可复现
).images[0]

图像 Prompt：和 LLM 完全不同的规律

背景与原理

把 LLM 的 prompt 习惯搬到扩散模型上几乎全错。四条核心差异：

• 否定无效：写「don't add a hat」反而会因为提到 hat 而更可能出现帽子。要排除什么，放进独立的 negative_prompt 通道。
• CFG scale = 听话程度：classifier-free guidance（Ho & Salimans 2022）把条件与无条件预测做外推。太低（<4）跑题，太高（>14）过饱和、伪影。SDXL 常用 5–8。
• 顺序即权重：靠前的 token 影响更大；多数 UI 还支持 (word:1.3) 显式加权。
• 77 token 硬截断：CLIP 文本编码器只吃 77 token，超出部分静默丢弃——别写小作文。

实战示例

# ❌ LLM 式（在扩散模型里几乎必翻车）
"Please generate a portrait. Make sure there is no blur,
 and don't include any text or watermark in the image."
# → 提到 blur/text/watermark 反而召唤它们；指令式废话占满 77 token

# ✅ 扩散式：正向只放「想要的」，排除走 negative
prompt = "portrait of a woman, soft window light, 85mm, \
          shallow depth of field, (sharp focus:1.2)"
negative_prompt = "blurry, text, watermark, extra fingers, \
                   lowres, deformed hands"
# guidance_scale=7  顺序：主体→光线→镜头→质量

图像生成 Agent：把抽卡变成生成—评估—重绘循环

背景与原理

生产场景不接受「跑十张挑一张」。把图像生成接进 agent loop，复用你已经熟的 harness 思路（Day 3）：生成 → VLM 评估是否符合 brief → 不符合则对问题区域做 mask + inpaint 局部重绘 → 升采样定稿。关键是用一个多模态模型（Claude / GPT-4V）当 eval gate，把「人眼挑图」自动化成结构化判分。重绘只改坏的局部（手、文字、多余物体），而不是整张重抽——既省成本又保住已经对的部分。

实战示例

# VLM 当评审：结构化判分，驱动是否重绘
import anthropic
client = anthropic.Anthropic()

def critique(image_b64, brief):
    msg = client.messages.create(
        model="claude-opus-4-8", max_tokens=400,
        messages=[{"role":"user","content":[
            {"type":"image","source":{"type":"base64",
             "media_type":"image/png","data":image_b64}},
            {"type":"text","text":
             f"Brief: {brief}\n严格判分，返回 JSON："
             '{"pass":bool,"issues":[...],"worst_region":"hands|text|..."}'}
        ]}])
    return msg.content[0].text   # → 解析后决定 inpaint 哪块

# loop：max_iters=3，超出转人工，避免无限重绘烧钱

水印与版权：生产化绕不开的 Provenance 层

背景与原理

把生成图发到产品里，合规问题立刻浮现，工程上分两层：

• SynthID（Google DeepMind）：把不可见水印分布到整张图的像素，能扛截图、缩放、JPEG 重压缩、轻度裁剪——元数据被剥了它还在。2026 年 SynthID + C2PA 已成跨厂商事实标准。
• C2PA Content Credentials：给图附上密码学签名的来源链（谁、用什么模型、怎么改的）。可验证、可追溯，但一次截图或转存就可能被剥离——所以要和 SynthID 配对用。
• 版权灰区：真正的法律风险不在「输出有没有水印」，而在训练数据和风格复制。用 LoRA 复刻在世艺术家画风、或微调他人作品，是高风险区。

实战示例

# 给输出图签 C2PA Content Credentials（c2patool）
c2patool input.png \
  --manifest manifest.json \   # 声明：AI 生成 + 模型 + 时间
  --output signed.png

# manifest.json 关键字段
{
  "claim_generator": "my-pipeline/1.0",
  "assertions": [
    {"label": "c2pa.actions",
     "data": {"actions": [{"action": "c2pa.created",
              "digitalSourceType": "trainedAlgorithmicMedia"}]}}
  ]
}
# 双层：C2PA 签名（可剥离但可验）+ 平台侧 SynthID（鲁棒不可见）