#attention

7 posts tagged

Concept07.172026-07-17 09:0022 min read

AI 기본기 4: Transformer와 Self-Attention — 문맥을 직접 비교하는 모델

RNN의 순차 처리 병목에서 출발해 self-attention, Q·K·V, scaled dot-product attention, multi-head attention, positional encoding을 모델링 관점에서 이해한다.

#AI기본기 #transformer #attention+2

Paper Review07.082026-07-08 09:0022 min read

[AI Search] QKV Projection Sharing: Transformer는 정말 Q, K, V 세 개가 모두 필요할까

Do Transformers Need Three Projections? 논문을 AI Search stack 관점에서 읽는다. Query, Key, Value projection을 일부 공유해도 품질을 크게 잃지 않으면서 KV cache를 줄일 수 있는지, Q-K=V가 왜 실용적인 절충점인지, GQA/MQA와 결합하면 on-device·edge search serving에 어떤 의미가 생기는지 정리한다.

#AI Search #Transformer #QKV+4

Paper Review06.052026-06-05 09:0011 min read

AI 엔지니어 필독 논문 10개 — ① 기초 아키텍처 (Attention, VAE, GANs)

AI 면접 단골 논문 10개를 정리한 시리즈 첫 편. Attention Is All You Need, VAE, GANs가 어떻게 현대 AI의 기초를 다졌는지 이해한다.

#ai #transformer #generative-model+4

Paper Review05.222026-05-22 09:0010 min read

[논문 리뷰] DeepSeek-V4 — 1M Context에서 KV Cache 10% 수준으로 압축한 Hybrid Attention

DeepSeek-V4는 기존 Multi-Head Attention의 개념을 바탕으로, Compressed Sparse Attention(CSA)와 Heavily Compressed Attention(HCA)을 결합한 Hybrid Attention으로 1M token context를 지원하면서도 KV cache를 90% 감축했다. 이전 Attention 이해하기 시리즈의 Q/K/V와 Multi-Head Attention 개념을 이어 DeepSeek-V4가 어떻게 구현했는지 살펴본다.

#deepseek #attention #moe+3

Concept07.152024-07-15 09:009 min read

[NLP] Positional Encoding 이해하기 (왜 sin/cos인가?)

Self-Attention은 토큰 순서를 모르기 때문에 위치 정보를 따로 주입해야 한다. Transformer가 사용한 sin/cos Positional Encoding의 수식, 왜 이런 형태인지, 학습 가능한 임베딩과의 차이를 정리한다.

#transformer #positional-encoding #sin-cos+3

Concept07.012024-07-01 09:009 min read

[NLP] Transformer 3가지 Attention 자세히 보기 (Encoder/Decoder Self-Attention, Cross-Attention, Multi-Head)

이전 글에서 등장한 Transformer의 3가지 Attention(Encoder Self-Attention, Decoder Masked Self-Attention, Encoder-Decoder Attention)이 각각 어떻게 동작하는지, 그리고 Multi-Head Attention이 왜 필요한지 정리한다.

#transformer #attention #self-attention+5

Concept06.242024-06-24 09:007 min read

[NLP] Attention 쉽게 이해하기 (Query, Key, Value, Transformer에서의 attention 3종류)

Transformer를 이해하기 위한 첫걸음으로 Attention의 직관, Q·K·V의 역할, Scaled Dot-Product Attention 수식, 그리고 Transformer 내부에 등장하는 3가지 Attention 종류를 정리한다.

#transformer #attention #NLP+2