Study2024-07-15 09:009 min read[NLP] Positional Encoding 이해하기 (왜 sin/cos인가?)Self-Attention은 토큰 순서를 모르기 때문에 위치 정보를 따로 주입해야 한다. Transformer가 사용한 sin/cos Positional Encoding의 수식, 왜 이런 형태인지, 학습 가능한 임베딩과의 차이를 정리한다.#transformer#positional-encoding#sin-cos+3
