AI / ML

Day 1 LLM 基础 Transformer · Attention · Tokenization · 位置编码 Day 2 预训练与微调 Pre-training · SFT · RLHF · DPO Day 3 Prompt Engineering Zero/Few-shot · CoT · ReAct · Self-Consistency Day 4 RAG 体系 Embedding · Vector DB · Retrieval 策略 · Re-ranking Day 5 Agent 架构 ReAct · Plan-and-Execute · Reflexion · AutoGPT Day 6 Tool Use Function Calling · MCP · 工具选择 · Sandboxing Day 7 Multi-Agent 系统 AutoGen · CrewAI · 角色分工 · 协作协议 Day 8 Context 工程 Context Window · Prompt Caching · 压缩 · Memory 管理 Day 9 推理优化 KV Cache · Speculative Decoding · Continuous Batching · Quantization Day 10 Loss 与 Optimization Cross-Entropy · AdamW · LR Schedule · Gradient Clipping Day 11 Tokenization 深度 BPE · WordPiece · SentencePiece · UTF-8 边界 Day 12 Attention 变种 MHA · GQA/MQA · Sliding Window · FlashAttention Day 13 位置编码深入 Sinusoidal · Learned · RoPE · ALiBi Day 14 Scaling Laws 规模定律 幂律 · Chinchilla 计算最优 · 涌现能力 · Mirage 批判 Day 15 评估与基准 MMLU · HumanEval/pass@k · MT-Bench · LLM-as-Judge Day 16 经典 ML 算法 线性/逻辑回归 · 决策树 · 随机森林 · SVM Day 17 深度学习基础 反向传播 · 梯度下降 · 激活函数 · 正则化 Day 18 CNN 与视觉 卷积原理 · ResNet · ViT · CLIP Day 19 RNN 与序列 LSTM · GRU · Seq2Seq · Attention 起源 Day 20 生成模型 GAN · VAE · Diffusion · Flow Matching Day 21 强化学习 Q-Learning · Policy Gradient · Actor-Critic · PPO Day 22 语义搜索 BM25 · Dense Retrieval · Hybrid Search · HNSW Day 23 多模态 VLM · Audio LLM · 视频理解 · Embodied AI Day 24 编码模型 BERT · RoBERTa · Sentence Transformers · ColBERT Day 25 训练基础设施 分布式训练 · ZeRO · FSDP · Megatron-LM Day 26 Alignment 数学 RLHF · Reward Model · Constitutional AI · DPO Day 27 可解释性 Mechanistic Interp · Sparse Autoencoders · Feature Circuits · Probing Day 28 推理模型 测试时计算 · CoT · 自我验证 · Best-of-N Day 29 数据工程 合成数据 · 数据策展 · 去重 · 质量过滤 Day 30 表示与嵌入几何 词向量线性结构 · 对比学习/InfoNCE · 各向异性与白化 · Matryoshka Day 31 模型压缩 知识蒸馏 · 剪枝 · LoRA/QLoRA · 量化数学 Day 32 激活函数与归一化 ReLU/GELU/SwiGLU · BatchNorm/LayerNorm/RMSNorm Day 33 概率与信息论基础 熵 · KL 散度 · 互信息 · ELBO Day 34 前沿架构 MoE · 状态空间模型/S4 · Mamba · 长上下文 Day 35 时间序列预测 ARIMA · 指数平滑/卡尔曼滤波 · Prophet · 时序基础模型/TimesFM Day 36 因果推断 因果 vs 相关 · 潜在结果框架 · 工具变量 · 双重差分 Day 37 图机器学习 消息传递/GNN · GCN · GAT · 图嵌入/node2vec Day 38 概率编程与贝叶斯深度学习 MCMC · 变分推断 · 不确定性量化 · PyMC/Stan Day 39 元学习与小样本 迁移学习 · MAML · 原型网络 · In-context Learning Day 40 联邦与隐私学习 联邦学习/FedAvg · 差分隐私 · 同态加密 · 安全多方计算 Day 41 世界模型与具身智能 世界模型/Dreamer · JEPA · 因果表示学习 · 具身智能/VLA Day 42 神经符号 神经符号结合 · 知识图谱嵌入/TransE · 可微分推理 · 程序合成/DreamCoder Day 43 优化的几何与前沿 损失景观/平坦极小 · 锐度与泛化/SAM · 二阶方法/K-FAC/Shampoo · Lion/Sophia Day 44 训练中的反常现象 Grokking/延迟泛化 · 双下降 · 相变与突现 · 涌现是度量假象吗 Day 45 解码与采样数学 贪心/束搜索 · 温度/Top-p/Min-p · 对比解码 · 推测解码