Lecture 9：LLM development
系统梳理大语言模型在跨模态与前沿技术方向的核心进展，涵盖Transformer多模态泛化本质、ViT与VLM的视觉适配方案、扩散LLMs（MDM）的并行生成突破、跨模态技术交叉融合（扩散架构/Transformer/MSRoPE/DeepSeek-OCR）、LLM基础研究趋势（帕累托优化/类存内计算）及应用场景与未来展望，最后提供学术与工程跟进渠道。
阅读文章CME295
9 篇文章 · 分类
Lecture 8：LLM evaluation
系统梳理大语言模型评估的完整方法论体系，涵盖人工评分的黄金标准与卡帕系数一致性量化、规则化指标（METEOR/BLEU/ROUGE）的算法原理与局限、LLM-as-a-Judge（LaaJ）的核心流程与偏置缓解、事实性量化方法（Fact Decomposition）、智能体工具调用全流程故障模式与排查，以及主流基准测试（MMLU/AIME/SWE-bench/HarmBench/τ-bench）与Pass^k/帕累托前沿/数据污染等核心概念。
阅读文章
Lecture 7：Agentic LLMs
系统梳理大语言模型智能体（Agentic LLMs）的三大核心技术：检索增强生成（RAG）的构建流程、检索评估指标与优化技巧；工具调用（Tool Calling）的标准化实现（MCP协议）与训练/提示词两种调用方式；智能体（Agent）的ReAct推理-行动框架、多智能体协作协议A2A，以及LLM应用的核心挑战与工程实践原则。
阅读文章
Lecture 6： LLM Reasoning
系统梳理大语言模型推理能力的核心技术路径，涵盖推理与非推理的本质区分、思维链（CoT）范式变革、推理评估体系（Pass@k/Cons@k）、GRPO群体相对策略优化算法的数学原理与改进（DAPO/Dr.GRPO）、DeepSeek R1/R1-Zero的多阶段训练流程，以及推理链蒸馏的工程化实践。
阅读文章
Lecture 5：LLM Preference tuning
系统梳理大语言模型偏好调优（Preference Tuning）的核心技术与方法，涵盖偏好数据的三大类型（点态/成对/列表型）与获取流程、RLHF两阶段架构（奖励建模+PPO强化学习）、BoN替代方案，以及DPO的数学原理与优势，最后对比RLHF与DPO的实现难度与性能差异。
阅读文章
Lecture 4：LLM training
系统梳理大语言模型（LLM）训练的全生命周期，涵盖训练范式演变（传统→迁移→预训练+微调）、预训练目标与缩放规律（含Chinchilla定律）、训练四阶段流程（初始化→前向→反向→Adam更新）、核心内存优化（ZeRO并行/Flash Attention/混合精度）、有监督微调（SFT/指令调优），以及参数高效微调（LoRA/QLoRA）原理与模型对齐目标。
阅读文章
Lecture 3：LLM core techniques
系统梳理大语言模型（LLM）的核心技术全景，涵盖LLM定义与特征、混合专家模型（MoE）架构与路由坍缩解决方案、自回归解码策略（贪心/束搜索/采样/温度系数/引导解码）、提示工程（ICL/CoT/自一致性），以及推理优化技巧（KV缓存/GQA/PagedAttention/潜在注意力/推测解码/MTP）。
阅读文章
Lecture 2：Transformer-based models & tricks
系统梳理Transformer进阶核心模块，涵盖缩放点积与多头注意力回顾、位置编码从绝对到相对（RoPE）的演进、层归一化（Pre-Norm/RMSNorm）优化、注意力近似方法（稀疏注意力/MQA/GQA）、三大衍生架构对比，以及BERT的预训练（MLM/NSP）、微调流程与经典变体（DistilBERT/RoBERTa）。
阅读文章
Lecture 1：Transformer background and architecture
系统梳理Transformer的诞生背景与核心架构，涵盖分词策略、词表示演进、RNN/LSTM的痛点、自注意力与多头注意力机制、位置编码、编码器-解码器设计，并通过机器翻译端到端案例串联NLP完整技术栈。
阅读文章