LOADING

RSS Feed

Subscribe via RSS to get the latest articles and updates imediately

RSS Link

Copy link to your RSS reader

https://twilight.spr-aachen.com/rss.xml

Latest Posts

Video Audio Multimodal —— 视频理解 & 视频生成 & 音频处理

系统讲解视频理解与生成、音频处理的核心技术：从视频的时空维度出发，剖析3D卷积与时空注意力如何建模动态信息；深入解读VideoMAE的视频Tube掩码策略与90-95%超高掩码比例的时空自监督预训练；剖析Sora视频扩散模型的核心组件及其灵活处理任意分辨率/时长视频的能力；梳理音频处理基础与Whisper的编码器-解码器架构，并介绍VALL-E将语音合成建模为条件语言模型的新范式。

Vision-Language-Action —— VLA具身智能

系统讲解具身智能中视觉-语言-动作模型（VLA）的核心技术：从RT-2的“动作即文本”范式出发，剖析动作Token化与Co-Fine-Tuning联合微调策略的数学原理；深入解读动作分块如何通过一次性预测未来K步动作解决时序不一致性问题；推导扩散策略中条件去噪扩散过程的噪声预测损失及其与动作分块的天作之合；并通过三维对比揭示各自优势与融合趋势。

Multimodal RAG —— 多模态RAG

系统讲解多模态文档检索的前沿技术ColPali：从传统OCR流水线的脆弱性出发，剖析ColPali如何通过PaliGemma视觉语言模型直接编码文档页面图像，跳过OCR与布局解析环节；深入解读延迟交互机制中MaxSim评分函数的数学原理及其相比单向量余弦相似度的精度优势；分析多粒度索引策略与跨模态查询重写技术。

Denoising Diffusion Probabilistic Models —— DDPM扩散模型

系统讲解扩散模型（DDPM）的数学原理与条件生成技术：从马尔可夫链的前向扩散与反向去噪出发，推导ELBO如何简化为噪声预测MSE损失；深入剖析潜空间扩散如何通过VAE压缩实现约50倍计算量降低；追溯去噪网络从U-Net到DiT的架构演进及其在Sora中的应用；解析CFG的线性外推公式及引导强度的权衡.

Multimodal Large Language Model —— MLLM多模态大语言模型

系统讲解多模态大语言模型（MLLM）的核心架构设计与训练范式演进：从模态连接器的三种经典方案出发，剖析视觉编码器的解冻策略与三阶段训练范式；深入探讨细粒度数据标注、幻觉缓解与评估基准；最后追溯从“拼接式”架构到原生统一架构的演进路径，揭示从“表征对齐”到“表征统一”的范式转变。

Vision-Language Model —— VLM视觉语言模型

系统讲解视觉语言模型（VLM）的通用架构，深入对比三种主流连接器方案的设计权衡；详细剖析两阶段训练流程及其目标差异；梳理从双塔架构到原生多模态的三代演进路径；最后深度解析Qwen3-VL的三项核心创新——Interleaved-MRoPE、DeepStack集成、文本化时间戳对齐，及其2B/4B/8B/32B稠密和MoE架构的模型系列与256K超长上下文特性。

What is RSS?

RSS (Really Simple Syndication) is a standard format for publishing frequently updated content. With RSS, you can:

  • Get the latest website content in time without manually visiting
  • Manage subscriptions to multiple websites in one place
  • Avoid missing important updates and articles
  • Enjoy an ad-free, clean reading experience

It is recommended to use Feedly, Inoreader or other RSS readers to subscribe to this site.

Profile Image of the Author
Zhang Haoyi
Hello, I'm Zhang Haoyi, a passionate developer and blogger. Welcome to my personal space where I share my thoughts, projects, and experiences.
GitHub
Directory
Albums
Diary
Posts
Projects
Skills
Timeline
Categories
Tags

所有标签 251

点击标签可筛选对应文章

AI_Agent 31

A2A AI Agent Context Engineering CoT Function Calling Harness Engineering LLM Loop Engineering MCP MemGPT Plan-and-Solve Prompt Engineering RAG ReAct Reflection 分块策略 分层缓存 协作模式 可观测性 向量数据库 多智能体协作 多智能体系统 工具调用 并行调用 检索增强生成 沙箱 规划 记忆 记忆压缩 通信协议 重排序

AI_Alignment 21

DAPO DeepSeek DPO GRPO GSPO LoRA PEFT PPO Qwen RLHF RLVR SFT 参数高效微调 后训练 基础知识 奖励模型 对比学习 强化学习 微调 推理增强 监督学习

AI_Infra 43

AWQ Chunked Prefill CUDA FlashAttention GPTQ GPU架构 GPU调度 Infra Kubernetes KV Cache MLOps NCCL PagedAttention RadixAttention SGLang SIMT TPOT TTFT vLLM Warp ZeRO 共享内存 分布式训练 前缀缓存 可观测性 合并访存 吞吐量 对比学习 尾延迟 张量并行 性能优化 拒绝采样 推测解码 推理优化 推理增强 推理引擎 推理引擎调度 推理性能 数据并行 流水线并行 矩阵乘法Tiling 连续批处理 量化

AI_Multimodal 38

3D卷积 Action Chunking CLIP ColPali DDPM Diffusion DiT DPO InfoNCE LLaVA MLLM Q-Former Qwen3-VL RAG RT-2 SigLIP Sora Swin Transformer Transformer VALL-E VideoMAE ViT VLA VLM Whisper 位置编码外推 具身智能 多模态 对比学习 延迟交互 归纳偏置 扩散模型 模态连接器 潜空间扩散 视觉语言模型 视频理解 视频生成 音频处理

CME295 31

Agent Attention benchmark CoT DAPO DeepSeek Diffusion DPO GRPO KV Cache LLM LLM-as-a-Judge LoRA MCP MoE PPO Prompt Engineering RAG ReAct RLHF SFT Tool Calling Transformer ViT VLM 基础知识 多模态 推理优化 推理增强 智能体 模型对齐

Deep_Learning 43

AdamW Bottleneck BPTT CNN GELU GRU Hadamard积 KL散度 LSTM MLP ReLU ResNet RNN SGD SVD Tensor 交叉熵 最大似然估计 加密 动量法 卷积神经网络 反向传播 张量 感受野 批处理 权重初始化 权重衰减 条件概率 梯度下降 梯度消失 梯度爆炸 梯度裁剪 残差网络 深度学习 激活函数 特征分解 矩阵乘法 自动微分 范数 计算图 贝叶斯先验 链式法则 门控机制

DevTools 10

conda Docker git Linux pip uv 包管理 基础知识 开发工具 环境配置

Machine_Learning 34

Bagging Ball-Tree Bootstrap EM算法 GBM K-Means KD-Tree KKT条件 KNN LightGBM Lloyd算法 Softmax SVM XGBoost 交叉熵损失 信息增益 最小二乘法 决策树 加法模型 基尼指数 拉普拉斯平滑 朴素贝叶斯 机器学习 核函数 核方法 梯度下降 梯度提升机 正则化 生成式模型 线性回归 聚类 逻辑回归 随机森林 集成学习
Table of Contents
There is only one heroism in the world: to see the world as it is and to love it.
© 2026 Zhang Haoyi. All Rights Reserved. / RSS / Atom / Sitemap
Powered by Astro & Twilight  Version 1.0