#edge-ai · sy/dev

Paper Review07.082026-07-08 09:0022 min read

[AI Search] QKV Projection Sharing: Transformer는 정말 Q, K, V 세 개가 모두 필요할까

Do Transformers Need Three Projections? 논문을 AI Search stack 관점에서 읽는다. Query, Key, Value projection을 일부 공유해도 품질을 크게 잃지 않으면서 KV cache를 줄일 수 있는지, Q-K=V가 왜 실용적인 절충점인지, GQA/MQA와 결합하면 on-device·edge search serving에 어떤 의미가 생기는지 정리한다.

#AI Search #Transformer #QKV+4

[AI Search] Gemma 4: Open-weight Multimodal Model을 Search Stack에서 읽기

Gemma 4 Technical Report를 AI Search stack 관점에서 읽는다. open-weight multimodal model family가 dense/MoE, encoder-free 12B, thinking mode, long-context KV cache 최적화, quantization, MTP drafter를 통해 검색·에이전트 시스템의 실행 위치와 비용 구조를 어떻게 바꾸는지 정리한다.