核心概念
Rotary Positional Embedding 几何解释
RoPE Visualizer
展示旋转位置编码在不同维度上的相位变化及其对长序列建模的影响。
难度
进阶
状态
已发布
阅读时长
约 1 分钟
更新日期
2026/03/17
交互仿真
直接动手调参，观察变量变化与行为差异。
RoPE Visualizer
观察不同位置在旋转位置编码中的相位变化，以及对相似度的影响。
二维旋转空间
相对距离与相似度
条形图展示不同距离下该频率组的理论相似度（cos）。
关联主题
模拟目标
- 理解 RoPE 的旋转几何意义
- 观察距离变化对相似度的影响
交互参数
- 位置 A/B
- 频率组（pair index）
- Base θ
建议实验
- 固定 pair index，增大位置差，观察相似度波动。
- 固定位置差，切换不同 pair index，观察频率变化。
- 调整 Base θ，对比长距离下相位差累积速度。
配套内容
建议配合这些教程、路径和论文一起学习，理解会更连贯。