Clear Eyes, Full Heart

系统梳理GSPO群组序列策略优化的核心原理，解析其如何通过序列级重要性比率与长度归一化从根本上修复GRPO的token级采样缺陷，解决MoE专家震荡与长序列方差累积问题，并探讨GSPO的局限与后续演进。

系统梳理DAPO解耦裁剪与动态采样策略优化的核心技术原理，解析Clip-Higher、Dynamic Sampling、Token-Level Loss与Overlong Reward Shaping四项创新如何解决GRPO在长CoT场景下的熵崩塌与训练不稳定问题，将GRPO从实验室算法打磨为工业级系统。

系统梳理GRPO群体相对策略优化的核心原理、组内相对优势估计机制与训练流程，解析其如何通过移除价值网络实现显存占用降低40%以上，并对比GRPO与PPO、DPO的差异及各自适用场景。

系统梳理DPO直接偏好优化的核心原理、数学推导与实现机制，解析其如何将RLHF的多阶段流程简化为单阶段监督学习，并对比DPO与PPO的差异及各自适用场景。

系统梳理PPO近端策略优化的核心思想、目标函数、训练流程与优缺点，解析其在LLM强化学习对齐中的应用，并探讨PPO的局限与后续演进方向。

系统梳理策略梯度、优势函数、重要性采样与KL散度惩罚的核心概念，串联从VPG到PPO的技术演进逻辑，并探讨On-Policy与Off-Policy的权衡及数据漂移问题。

系统拆解RLHF的三步流程、核心算法原理、代码实现细节以及面临的挑战，涵盖SFT、奖励模型训练、PPO优化、奖励黑客等核心议题，并探讨DPO、RLAIF等演进方向。

深入剖析监督微调（SFT）的核心原理，涵盖最大似然估计与交叉熵损失的数学推导、Loss Masking 代码实现、灾难性遗忘与不完全学习现象（ILP）等系统挑战，以及数据质量、分层学习率等最佳实践。全面理解 SFT 作为 LLM 后训练基石的定位、优势与演进方向。

系统解析PEFT技术体系，涵盖Adapter Tuning、Prefix Tuning、Prompt Tuning、LoRA、QLoRA、AdaLoRA、IA3等核心方法的数学原理、代码实现与选型指南，探讨低秩假设、矩阵分解、参数重参数化等深刻思想，以及前沿进展与未来方向。

系统讲解大模型推理服务的MLOps与可观测性体系构建：从Kubernetes + GPU基础设施层出发，剖析弹性伸缩三件套gistry的模型版本与Stage管理、DVC的数据版本控制；系统阐述可观测性三支柱在推理服务中的落地，并提炼出延迟/流量/错误/饱和度的四大黄金信号。