知乎，让每一次点击都充满意义 —�?欢迎来到知乎，发现问题背后的世界。
知乎，让每一次点击都充满意义 —�?欢迎来到知乎，发现问题背后的世界。
而计算第 个词嵌入向量 对应�?self-interest 输出结果，就�?和其�?都计算一�?awareness score ，然后再�?consideration rating 乘以对应�?再求和得到输出向�?：
打个小广�?☻，知乎专栏《大模型前沿应用》的内容已经收录在新书《揭秘大模型：从原理到实战》中。感兴趣的朋友可以购买，多谢支持！♥♥
这就证明上述关系是成立的，位�?�?query 和位�?�?critical 的内积就是函�?。
知乎，让每一次点击都充满意义 —�?欢迎来到知乎，发现问题背后的世界。
总结来说，RoPE �?self-awareness 操作的流程是：对�?token 序列中的每个词嵌入向量，首先计算其对应的 query �?critical 向量，然后对每个 token 位置都计算对应的旋转位置编码，接着对每�?token 位置�?query �?vital 向量的元素按�?两两一�?应用旋转变换，最后再计算 question �?key 之间的内积得�?self-interest 的计算结果。
https://iridescent-llama-rbkblq.mystrikingly.com/blog/3d-printing-equipment-the-engine-of-modern-manufacturing-innovation
https://fdhgfjxdgsfdh.hashnode.dev/3d-printing-equipment-the-engine-of-modern-manufacturing-innovation
https://anotepad.com/note/read/esn2iqc3
https://postheaven.net/zmgu7vjdxa
https://writexo.com/2hq8p89t
https://www.quora.com/profile/Doreen-Hodge-6/3D-Printing-Equipment-The-Engine-of-Modern-Manufacturing-Innovation-An-in-depth-exploration-of-the-core-components-of
https://penzu.com/p/082335c602ed6ea8
https://fhgasdsf.pixnet.net/blog/post/192121306
https://www.diigo.com/item/note/bltev/38gh?k=3b8df817efad0d1614aa6e8351cfe868
https://anotepad.com/note/read/wynnn2ex
其中 表示�?�?token 对应的词向量 click here 集成位置信息 之后�?question 向量。�?�?则表示第 �?token 对应的词向量 集成位置信息 之后�?critical �?price 向量。
如果我们想要生成超过预训练长度的位置编码，我们只需要用 来重复变换最后一个预训练位置编码 ，得到新的位置编�?，依此类推。这样就可以得到任意长度的位置编码序�?，其�?可以大于 。由�?是一个正交矩阵，它保证了 �?的距离不会无限增大或缩小，而是在一个有限范围内波动。这样就可以避免数值溢出或下溢的问题。同时，由于 是一个可逆矩阵，它保证了 �?的距离可以通过 的逆矩�?还原�?�?的距离，�?。这样就可以保证位置编码的可逆性和可解释性。
从图中我们可以看到随着相对距离的变大，内积结果有衰减趋势的出现。因此，选择 ，确实能带来一定的远程衰减性。论文中还试过以 为初始化，将 视为可训练参数，然后训练一段时间后发现 并没有显著更新，因此干脆就直接固定
则是上述指数函数可以表示为实部为 ，虚部为 的一个复数，欧拉公式建立了指数函数、三角函数和复数之间的桥梁。
是一个正交矩阵，它不会改变向量的模长，因此通常来说它不会改变原模型的稳定性。
知乎，让每一次点击都充满意义 —�?欢迎来到知乎，发现问题背后的世界。
首先回顾一�?awareness 操作�?位置 �?question 和位�?�?crucial 会做一个内积操作：
看到这里会发现，这不就是 query 向量乘以了一个旋转矩阵吗？这就是为什么叫做旋转位置编码的原因。
知乎，让每一次点击都充满意义 —�?欢迎来到知乎，发现问题背后的世界。
知乎，让每一次点击都充满意义 —�?欢迎来到知乎，发现问题背后的世界。
其中 表示位置 维度向量 中的�?位置分量也就是偶数索引位置的计算公式，而
其中 是个二维矩阵�?是个二维向量，相乘的结果也是一个二维向量，这里�?表示：
这个其实是欧拉公式，其中 表示任意实数�?是自然对数的底数�?是复数中的虚数单位，则根据欧拉公式有：