第 03 步 · 注意力
让每个词，去看它该看的词
要理解一句话，模型需要知道哪些词彼此相关。自注意力机制为每一对 token 计算一个权重：当前词在多大程度上「关注」句子里的其他词。点击或悬停下面的任一词，看看它把注意力放在了哪里。
注意力权重可视化
选中「它」——看看模型认为「它」指代的是谁。
为什么这一步是关键
在「小猫追着它的尾巴，因为它很兴奋」这句话里，「它」到底指小猫还是尾巴？人类靠常识就能判断，模型则靠注意力：它给「小猫」分配更高的权重，从而正确地把代词连回主语。
Query、Key、Value
- Query（查询）：当前词在「问」——我该关注谁？
- Key（键）：每个词的「标签」——用来和 Query 匹配。
- Value（值）：真正被加权汇总、传递下去的信息。
连线越粗，代表注意力权重越高。真实模型会有很多个「注意力头」并行工作，每个头关注不同类型的关系——语法、指代、位置等等，再堆叠几十层不断精炼。