#deep-learning

4 posts tagged

Concept07.172026-07-17 09:0022 min read

AI 기본기 4: Transformer와 Self-Attention — 문맥을 직접 비교하는 모델

RNN의 순차 처리 병목에서 출발해 self-attention, Q·K·V, scaled dot-product attention, multi-head attention, positional encoding을 모델링 관점에서 이해한다.

#AI기본기 #transformer #attention+2

Concept07.162026-07-16 09:0021 min read

AI 기본기 3: 표현 학습과 임베딩 — 모델은 세상을 어떤 좌표계로 바꾸는가

원-핫 인코딩, dense embedding, hidden representation, contrastive learning을 연결해 딥러닝이 데이터를 벡터 공간으로 바꾸는 방식을 이해한다.

#AI기본기 #deep-learning #embedding+2

Concept07.122026-07-12 09:0018 min read

AI 기본기: 모델링 관점에서 다시 짜는 학습 로드맵

LinkedIn의 AI 학습자료 목록을 단순 링크 모음이 아니라 모델링 기법 중심의 블로그 연재 커리큘럼으로 재구성한다.

#AI기본기 #machine-learning #deep-learning+2

Concept08.012024-08-01 09:009 min read

[NLP] Layer Normalization & Residual Connection — Transformer를 깊게 쌓는 비결 (Pre-LN vs Post-LN)

Transformer가 12층, 24층, 96층까지 깊게 쌓일 수 있는 이유는 Residual Connection과 Layer Normalization 두 컴포넌트 덕분이다. 각각의 역할, BatchNorm과의 차이, 그리고 Pre-LN vs Post-LN 트레이드오프를 정리한다.

#transformer #layer-norm #residual-connection+4