Rotary Positional Embeddings
Định nghĩa
Rotary Positional Embeddings, hay RoPE, mã hoá vị trí bằng cách xoay query/key vectors trong không gian vector theo vị trí token.
Cách hiểu bằng lời của tôi
RoPE không cộng thêm một vector vị trí vào embedding. Nó đưa vị trí vào hình học của attention: query và key bị xoay theo vị trí, nên dot product giữa chúng chứa thông tin khoảng cách tương đối.
Cần biết
- RoPE thường áp dụng lên và , không phải trọng tâm ở .
- Rất phổ biến trong nhiều decoder-only LLM hiện đại.
- Các kỹ thuật mở rộng context thường phải xử lý hoặc điều chỉnh RoPE.