INTERACTIVE MODEL ANATOMY
大模型原理
逐层拆解。
从一次注意力计算，到完整的编码器-解码器链路。每个经典架构，都用一个可以上手把玩的三维动画讲清楚——画面上每一个数字，都取自真实模型的逐层前向。
- 6 + 6 层
- 编码器 / 解码器
- 8 头
- 多头注意力
- 65,001
- 输出词表
- zh → en
- 中英翻译任务
一次前向传播，四段动画
当前 Transformer 演示的讲解结构，后续模型沿用同一叙事
-
STAGE 01
嵌入与投影
词向量经过三层权重矩阵，得到每个 token 的 Q、K、V 三组表示。
-
STAGE 02
多头注意力
8 个注意力头各自计算权重矩阵，拼接后过输出投影，残差连接归一化。
-
STAGE 03
前馈网络
每个 token 独立经过两层 MLP，SiLU 激活把表示推向高维再压回。
-
STAGE 04
输出分布
65,001 个 logits 经 softmax 变成概率分布，解码器逐词生成译文。