第 02 步 · 嵌入
把 token 编号，变成有意义的向量
单纯的整数编号没有语义。嵌入层把每个 token 映射为一串数字组成的向量，让「意思相近」变成「距离相近」。选择一个词，观察它的向量，以及它在语义空间中的位置。
词向量与语义空间
左侧是向量的各个维度，右侧是降到二维后的语义空间位置。
向量里藏着什么？
真实的嵌入向量往往有数百到上千个维度，每个维度不是人为定义的属性，而是训练中自动学到的。神奇之处在于：这些维度合起来，能捕捉到「性别」「数量」「类别」等语义方向。
经典的类比
一个著名的观察是：国王 − 男人 + 女人 ≈ 女王。语义关系变成了向量之间的加减法。上面的散点图正是这一点的简化示意——性别沿一个方向变化，身份沿另一个方向变化。
- 相近的意思 → 相近的位置。
- 相似的关系 → 相似的方向。
- 这套坐标，是后续注意力计算的基础。