1.1. 核心术语

• LLM：Large Language Model，大语言模型；

• 定义：“A language model is a statistical or machine learning model that assigns probabilities to sequences of tokens.”（一种为token序列分配概率的统计/机器学习模型）；

• 功能：基于当前上下文C，预测下一个token的条件概率 $P(w_{t+1}=w|C)$ ，是自回归生成的基础。

1.2. 核心特征

LLM与普通语言模型的本质区别在于规模，三个维度的量化特征为：

• 模型规模：数十亿及以上的可训练参数；

• 训练数据：数千亿及以上的token级文本数据；

• 计算资源：训练与推理需要大量GPU集群支撑，是算力密集型模型。

1.3. 核心架构与代表模型

• 主流架构：纯解码器（Decoder-only）的Transformer架构，核心模块为Masked Multi-Head Attention + Add&Norm + Feed Forward的N层堆叠，完全适配自回归生成；

• 代表模型：GPT系列、LLaMA、Gemma、DeepSeek、Mistral、通义千问（Qwen）等，均基于该架构实现。

2.1. 设计原因

超大模型的所有权重并非在每次前向传播中都有用，若每次前向传播仅使用模型的一个子集，可大幅降低计算量和显存占用，同时保留大模型的表达能力。

2.2. 核心组成

（1）门控网络（G）：输入为x，输出为每个专家的权重系数，负责判断每个专家对当前输入的重要性，是MoE的“调度中心”；

（2）专家网络（E₁, E₂, …, Eₙ）：相互独立的小型子模型（如FFNN），各自负责处理不同类型的输入特征，是MoE的“计算单元”；

（3）输出层：对专家的输出进行加权求和，得到最终输出 $\hat{y}$ 。

2.3. 核心类型

2.4. 集成方式

将Transformer解码器的前馈网络（FFNN） 直接替换为MoE层，且对每个token单独进行路由（routing）——即每个token会通过门控网络分配到不同的专家组合，实现对不同token的精细化特征处理，其余模块（掩码多头注意力、Add&Norm）保持不变。

2.5. 训练挑战：路由坍缩（Routing Collapse）

（1）问题现象：训练过程中，同一个/少数几个专家被绝大多数token选中，其余专家长期闲置，模型失去“多专家拆分”的意义，最终退化为普通单模型。

（2）解决方法：引入辅助损失（Auxiliary Loss）——通过辅助损失强制均衡所有专家的使用频率，让每个专家都参与训练，核心公式：$loss=\alpha \cdot N \cdot \sum_{i=1}^{N} f_{i} \cdot P_{i}$

参数定义：

• $\alpha$ ：超参数，用于调节辅助损失的权重；
• $N$ ：专家的总数量；
• $f_{i}$ ：分配到第i个专家的token占总token的比例；
• $P_{i}$ ：第i个专家的平均路由概率（门控网络为其分配的权重均值）；

（3）核心逻辑：若某个专家被使用的频率过低（ $f_i$ 小），辅助损失会增大，迫使模型为该专家分配更多token。

2.6. 代码实现

1
class MoeLayer(nn.Module):
2
    def __init__(self, experts: List[nn.Module], gate, moe_args):
3
        super().__init__()
4
        assert len(experts) > 0  # 确保专家数量大于0
5
        self.experts = nn.ModuleList(experts)  # 封装专家网络为ModuleList
6
        self.gate = gate  # 门控网络
7
        self.args = moe_args  # MoE超参数（如num_experts_per_token：每个token选中的专家数）
8

9
    def forward(self, inputs: torch.Tensor):
10
        # 1. 展平输入：将[batch, seq_len, d_model]展平为[batch*seq_len, d_model]，为每个token单独路由
11
        inputs_squashed = inputs.view(-1, inputs.size(-1))
12
        # 2. 门控网络计算对数概率：为每个token计算所有专家的logits
13
        gate_logits = self.gate(inputs_squashed)
14
        # 3. Top-k选择专家：得到每个token选中的专家权重+索引
15
        weights, selected_experts = torch.topk(gate_logits, self.args.num_experts_per_token)
16
        # 4. Softmax归一化权重：将logits转换为0~1的权重，保证加权和的合理性
17
        weights = nn.functional.softmax(weights, dim=1).type_as(inputs)
18
        # 5. 初始化结果张量：与展平后的输入形状一致，初始值为0
19
        results = torch.zeros_like(inputs_squashed, dtype=torch.float)
20
        # 6. 遍历每个专家，分配token并计算输出
21
        for i, expert in enumerate(self.experts):
22
            # 找到选中当前专家的所有token的索引
23
            batch_idx, nth_expert = torch.where(selected_experts == i)
24
            # 加权累加当前专家的输出：权重 * 专家输出
25
            results[batch_idx] += weights[batch_idx, nth_expert, None] * expert(inputs_squashed[batch_idx])
26
        # 7. 恢复输入形状：从[batch*seq_len, d_model]恢复为[batch, seq_len, d_model]
27
        return results.view_as(inputs)

图2 分Token路由逻辑

• 可视化：用不同颜色代表不同专家，每个token会被分配到对应颜色的专家区域进行计算，直观体现“分token路由”的逻辑。

3.1. 完整流程

• 输入token → Embedding（词嵌入） → Positional Encoding（位置编码） → Masked Multi-Head Attention → Add&Norm → Feed Forward → Add&Norm → Linear（线性层） → Softmax → token概率分布 → 解码策略选择下一个token

• 关键模块：

  • 位置编码：为token加入位置信息，解决Transformer无法捕捉序列顺序的问题；
  • 线性层+Softmax：将模型输出的特征向量（维度 $d_{model}$ ）映射到词汇表维度，并转换为0~1的概率分布。

3.2. 解码策略

图3 三种解码策略流程示意图

3.3. 温度系数（Temperature，T）：调节生成的随机性

（1）作用：温度系数用于修改token概率分布的平滑度，进而控制生成的确定性/随机性。

（2）调整公式：$P_{adj }\left(w_{t+1}=w_{i} | C\right)=\frac{exp \left(\frac{x_{i}}{T}\right)}{\sum_{j=1}^{n} exp \left(\frac{x_{j}}{T}\right)}$

其中 $x_i$ 为线性层输出的原始得分（logits），未经过Softmax；

（3）调整结果：温度系数$T$通过缩放logits的差值，改变Softmax概率分布的陡峭程度。

图4 温度系数对调整结果的影响

• $T→0^+$：退化为贪心解码。
• $0<T<1$：logits被放大，概率分布更陡峭，高概率token的占比进一步提升→生成更确定、保守、重复；
• $T>1$：logits被缩小，概率分布更平缓，token概率更平均→生成更随机、有创造性、易偏离上下文；
• $T=1$：无调整，使用模型原始的概率分布。

数学推导： 一般情况下，设任意两个token为$i$和$j$，其原始logits为$x_i$和$x_j$，定义概率比$R_{ij} = \frac{P_{adj}(w_i)}{P_{adj}(w_j)}$，代表token$i$的概率相对token$j$的倍数，将Softmax公式代入得： $R_{ij} = \frac{exp\left(\frac{x_i}{T}\right)/\sum_{k=1}^n exp\left(\frac{x_k}{T}\right)}{exp\left(\frac{x_j}{T}\right)/\sum_{k=1}^n exp\left(\frac{x_k}{T}\right)} = exp\left(\frac{x_i - x_j}{T}\right)$ 令$\Delta_{ij} = x_i - x_j$（logits差值），则$R_{ij} = exp\left(\frac{\Delta_{ij}}{T}\right)$，分两种情况分析：

情况1：$0<T<1$（低温度，压缩随机性） 若$x_i > x_j$，则$\Delta_{ij} > 0$，当$0<T<1$时，$\frac{\Delta_{ij}}{T} > \Delta_{ij}$，因此： $R_{ij} = exp\left(\frac{\Delta_{ij}}{T}\right) > exp(\Delta_{ij}) = R_{ij}(T=1)$ 含义：低温度下，高logits token的概率相对低logits token的比值会被放大，高概率token的占比进一步提升，低概率token的占比进一步降低，概率分布变得更“陡峭”，模型生成更确定、保守，多样性降低。

情况2：$T>1$（高温度，提升随机性） 若$x_i > x_j$，则$\Delta_{ij} > 0$，当$T>1$时，$\frac{\Delta_{ij}}{T} < \Delta_{ij}$，因此： $R_{ij} = exp\left(\frac{\Delta_{ij}}{T}\right) < exp(\Delta_{ij}) = R_{ij}(T=1)$ 含义：高温度下，高logits token的概率相对低logits token的比值会被缩小，高概率token的占比被稀释，低概率token的占比被提升，概率分布变得更“平缓”，模型生成更随机、有创造性，但若$T$过大，会导致低概率无意义token被采样，输出偏离上下文。

情况3：$T→0^+$（温度趋近于0，极小值） 设存在一个token $k$，其原始logits $x_k = \max\{x_1, x_2, ..., x_n\}$（即原始得分最高的token），对任意$i≠k$，有$x_k - x_i = \Delta > 0$。 对任意token$i$，其缩放后logits为$\frac{x_i}{T}$，分两种情况分析：

• 对于最优token$k$：$\lim\limits_{T→0^+} \frac{x_k}{T} → +∞$，因此$\lim\limits_{T→0^+} exp\left(\frac{x_k}{T}\right) → +∞$；
• 对于其他token$i≠k$：$\lim\limits_{T→0^+} \frac{x_i}{T} = \lim\limits_{T→0^+} \frac{x_k - \Delta}{T} → -∞$，因此$\lim\limits_{T→0^+} exp\left(\frac{x_i}{T}\right) → 0$。

将其代入Softmax公式，可得： $\lim\limits_{T→0^+} P_{adj}(w_k) = \frac{+∞}{+∞ + \sum_{i≠k}0} = 1$ $\lim\limits_{T→0^+} P_{adj}(w_i) = \frac{0}{+∞ + \sum_{i≠k}0} = 0 \quad (i≠k)$ 含义：当$T$趋近于0时，模型会将100%的概率分配给原始logits最高的token，退化为贪心解码，输出完全确定，无任何多样性。

3.4. 引导解码（Guided Decoding）：约束输出格式

（1）核心动机：让LLM生成符合特定格式的输出（如JSON、表格、代码、XML），解决自由生成的格式混乱问题；

（2）核心思路：在预测下一个token时，仅允许选择符合格式要求的“有效token”，过滤所有无效token，强制模型按格式生成；例如要求生成JSON格式时，仅允许模型选择{、"、first_name、:、,等有效token，过滤掉“the”、“a”、“road”等无关词汇；

（3）实现关键：需提前定义格式对应的有效token集合，在解码阶段动态过滤无效token的概率（置为0）。

4.1. 核心术语

（1）上下文长度（Context Length）：也叫上下文大小/窗口大小（Context Size/Window Size），指LLM能处理的最大输入token数，是LLM的核心超参数；

（2）关键问题：上下文衰减（Context Rot）——输入token数越多，LLM对远距离上下文的理解能力越差，模型性能会显著下降；

（3）实际建议：使用LLM时，需精简输入，去除无关信息，避免占用上下文窗口。

4.2. 高效提示结构

一个完整、高效的提示必须包含以下四部分，缺一不可，各部分相互配合，明确任务的背景、要求、输入和约束：

4.3. 上下文学习（ICL，In-Context Learning）

上下文学习（ICL）指模型无需微调，仅通过在提示中加入任务示例，就能完成从未训练过的新任务，是LLM“少样本学习”的基础，也是LLM的核心能力之一。

（1）两种类型

（2）Few-shot的Trade-off（权衡） 加入示例能显著提升模型性能，但存在三个问题：设计示例需要人工成本；示例会增加输入token数，提升计算复杂度和推理成本；示例会增加推理延迟，降低响应速度。

4.4. 思维链（CoT，Chain of Thought）

图5 思维链示例图

（1）核心思路：在提示中让模型分步解释推理过程，而非直接给出答案，通过“推理步骤”提升复杂任务的性能；

（2）核心原理：将复杂问题拆解为多个简单子问题，模型通过分步推理得到答案，贴合人类的思考逻辑；

（3）优点：提升逻辑推理、数学计算、复杂问答等任务的性能，同时增强结果的可解释性；缺点：生成更多token，增加计算成本和推理延迟。

4.5. 自一致性（Self-Consistency）

图6 自一致性示例图

（1）核心思路：让模型生成多条不同的推理路径，通过投票/聚合得到最终答案，进一步提升CoT的推理性能；

（2）核心原理：通过多路径推理降低单一路径的偶然性，提升答案的准确性；

（3）缺点：生成多条推理路径会大幅增加计算成本，是性能与成本的典型权衡，仅适用于对精度要求极高的任务。

5.1. 优化维度

5.2. 基于注意力机制的优化技巧

注意力机制是LLM推理中计算量和显存占用的核心模块（时间复杂度 $O(n^2d)$ ，n为序列长度，d为特征维度），也是优化的重点。

5.3. 基于Token生成的优化技巧