sy/dev
Concept
18 min read

AI 기본기: 모델링 관점에서 다시 짜는 학습 로드맵

LinkedIn의 AI 학습자료 목록을 단순 링크 모음이 아니라 모델링 기법 중심의 블로그 연재 커리큘럼으로 재구성한다.

Series

AI 기본기
  1. 1AI 기본기: 모델링 관점에서 다시 짜는 학습 로드맵

한 줄 요약

좋은 AI 학습은 “강의 몇 개 보기”가 아니라 모델이 어떤 가정을 두고, 어떤 목적함수를 최적화하며, 어떤 데이터 표현을 학습하는지를 따라가는 일이다. 그래서 이 시리즈는 AI 자료 목록을 그대로 소비하지 않고, 모델링 기법을 논문과 구현 관점에서 하나씩 해부하는 방식으로 간다.

이번 글은 시리즈의 첫 편이다. LinkedIn에 공유된 AI 학습자료 모음을 바탕으로, 앞으로 블로그에서 어떤 순서로 AI 기본기를 깊게 학습할지 로드맵을 잡는다.

💡

핵심 기준은 “AI를 아는 척하기”가 아니라 “모델링 선택지를 설명할 수 있게 되기”다. 왜 softmax를 쓰는지, embedding은 무엇을 보존해야 하는지, attention은 어떤 inductive bias를 바꾸는지, agent는 왜 단순 prompt wrapper가 아닌지까지 내려가야 한다.

왜 링크 모음만으로는 부족한가

AI 학습자료는 이미 많다. LLM 입문 영상, 밑바닥부터 만드는 LLM, Hugging Face Agent Course, Google Agent 백서, Anthropic의 agent 가이드, OpenAI의 agent 구축 가이드, ReAct·Toolformer·Chain-of-Thought 같은 핵심 논문까지 전부 좋은 출발점이다.

문제는 자료의 양이 아니라 학습 축이다.

링크를 위에서 아래로 훑으면 이런 식으로 남기 쉽다.

  • Transformer는 attention을 쓴다.
  • LLM은 다음 토큰을 예측한다.
  • RAG는 검색해서 context에 넣는다.
  • Agent는 tool을 호출한다.
  • MCP는 agent와 tool을 연결한다.

이 정도는 맞지만, 실무에서 모델을 고르거나 시스템을 설계하기에는 얕다. 더 중요한 질문은 따로 있다.

  • 왜 next-token prediction만으로 꽤 넓은 추론 능력이 생기는가?
  • attention은 RNN/CNN과 비교해 어떤 병목을 없앴는가?
  • embedding 모델은 문장 의미를 어떻게 벡터 공간에 압축하는가?
  • retrieval 모델은 “관련 문서”를 어떤 학습 신호로 배워야 하는가?
  • instruction tuning과 RLHF는 모델의 분포를 어떻게 바꾸는가?
  • agent의 reasoning과 acting은 어디서 분리되고 어디서 결합되는가?
  • tool use는 prompt engineering 문제인가, policy/runtime 문제인가?

이 시리즈는 이 질문들을 기준으로 간다.

이 시리즈의 학습 원칙

1. 개념은 수식과 코드 사이에 놓는다

AI 글은 두 극단으로 흐르기 쉽다.

하나는 “쉽게 설명한다”며 모든 수식을 없애는 글이다. 읽을 때는 편하지만, 실제 모델 구조를 바꾸거나 논문을 읽을 때 다시 막힌다.

다른 하나는 논문 수식만 옮겨 놓는 글이다. 정확해 보이지만, 왜 그 선택을 했는지 감이 잘 오지 않는다.

이 시리즈는 중간을 목표로 한다.

예를 들어 attention을 배울 때 단순히 다음 공식만 외우지 않는다.

Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

대신 이렇게 묻는다.

  • Query, Key, Value로 나누는 모델링 가정은 무엇인가?
  • QKTQK^T는 어떤 similarity를 계산하는가?
  • 왜 dk\sqrt{d_k}로 나눠야 softmax가 안정적인가?
  • attention weight가 커진다는 것은 학습 관점에서 무엇을 의미하는가?
  • multi-head로 나누면 단일 attention과 무엇이 달라지는가?

공식은 결론이 아니라 질문을 정리하는 도구다.

2. 논문은 “역사”가 아니라 “설계 선택지”로 읽는다

AI 기본기를 공부할 때 원 논문을 읽는 이유는 연도별 사건을 외우기 위해서가 아니다. 논문은 당시의 병목과 그 병목을 해결하기 위한 설계 선택을 보여준다.

예를 들어 몇 개의 고전 논문은 서로 다른 질문에 답한다.

논문핵심 질문모델링 관점
Attention Is All You Need순차 모델 없이 sequence를 처리할 수 있는가?recurrence를 attention으로 대체
Chain-of-Thought Prompting중간 추론 과정을 출력하게 하면 성능이 오르는가?latent reasoning을 visible token trajectory로 유도
ReAct추론과 행동을 한 trajectory 안에서 번갈아 할 수 있는가?reasoning trace와 tool action의 결합
Toolformer모델이 스스로 tool 사용 데이터를 만들 수 있는가?self-supervised tool-use annotation
Generative AgentsLLM agent에 memory와 reflection을 붙이면 사회적 행동이 생기는가?memory retrieval + reflection + planning

여기서 중요한 건 “이 논문이 유명하다”가 아니라, 각 논문이 기존 모델링 방식의 어떤 빈틈을 찔렀는가다.

3. Agent도 LLM 다음 챕터가 아니라 모델링 문제로 본다

요즘 AI 학습자료는 agent 비중이 크다. 하지만 agent를 “LLM에 tool 붙인 것”으로만 보면 금방 막힌다.

agent 시스템에는 최소한 네 가지 모델링 문제가 섞여 있다.

  1. 상태 표현: 지금까지 관찰한 것 중 무엇을 기억할 것인가?
  2. 행동 선택: 다음 token을 생성할 것인가, tool을 호출할 것인가?
  3. 피드백 통합: tool 결과를 어떻게 다음 reasoning에 반영할 것인가?
  4. 제어와 안전성: 실행 가능한 action을 어디서 제한할 것인가?

ReAct는 reasoning과 acting을 같은 trajectory 안에 둔다. Toolformer는 tool 사용을 supervised label이 아니라 모델이 스스로 만든 데이터로 학습하려 한다. Anthropic의 agent 가이드는 workflow와 autonomous agent를 구분한다. OpenAI의 agent 가이드는 instruction, tool, guardrail, evaluation을 제품 관점에서 묶는다.

즉 agent는 prompt trick이 아니라 decision-making system에 가깝다.

연재 커리큘럼

LinkedIn 자료 목록은 크게 영상, 오픈소스 저장소, 개념 가이드, 전문 도서, 핵심 논문으로 나뉘어 있었다. 블로그에서는 이걸 그대로 카테고리별로 소비하지 않고, 모델링 난이도 순서로 재배열한다.

Part 1. 머신러닝 모델링의 뼈대

목표는 “모델이 학습한다”는 말을 구체화하는 것이다.

다룰 질문:

  • 모델, 파라미터, hypothesis class는 무엇인가?
  • loss function은 무엇을 대리 최적화하는가?
  • train/validation/test split은 왜 필요한가?
  • bias-variance tradeoff는 딥러닝 시대에도 유효한가?
  • regularization은 모델을 어떻게 제한하는가?

추천 연결 자료:

  • Made With ML
  • Designing Machine Learning Systems
  • Understanding Deep Learning
  • Microsoft ML for Beginners

여기서는 scikit-learn 수준의 예제도 쓰겠지만, 목표는 API 사용법이 아니라 모델링 언어를 익히는 것이다.

Part 2. 딥러닝: 표현을 학습한다는 것

딥러닝의 핵심은 feature engineering을 완전히 없앤 것이 아니다. 더 정확히는 표현을 데이터로부터 학습하는 비중을 크게 늘린 것이다.

다룰 질문:

  • embedding layer는 왜 lookup table인데도 학습된 표현이 되는가?
  • MLP는 어떤 함수 근사기로 볼 수 있는가?
  • activation function은 왜 비선형성을 넣는가?
  • normalization은 optimization을 어떻게 안정화하는가?
  • dropout, weight decay, early stopping은 각각 무엇을 규제하는가?

이 파트는 이후 LLM, retrieval, agent를 이해하는 바닥이다.

Part 3. Transformer와 attention

LLM을 이해하려면 Transformer를 건너뛸 수 없다. 다만 “Transformer는 attention이다”에서 멈추면 안 된다.

다룰 질문:

  • self-attention은 sequence의 어떤 dependency를 직접 모델링하는가?
  • positional encoding은 왜 필요한가?
  • multi-head attention은 여러 similarity space를 학습하는 장치인가?
  • residual connection과 layer normalization은 깊은 네트워크 학습에서 어떤 역할을 하는가?
  • decoder-only architecture가 generative modeling에 적합한 이유는 무엇인가?

여기서부터는 논문 기반으로 간다. Attention Is All You Need를 중심으로, 이후 LLM architecture 변화까지 연결한다.

Part 4. LLM 학습: next-token prediction에서 instruction following까지

LLM의 가장 흥미로운 점은 단순한 objective에서 복잡한 행동이 나온다는 것이다. 하지만 “다음 토큰 예측만 하면 지능이 생긴다”로 뭉뚱그리면 안 된다.

다룰 질문:

  • causal language modeling objective는 무엇을 학습하는가?
  • pretraining corpus의 품질은 어떤 식으로 모델 능력에 영향을 주는가?
  • instruction tuning은 base model의 분포를 어떻게 바꾸는가?
  • RLHF/RLAIF는 reward model을 통해 무엇을 최적화하는가?
  • quantization, distillation, LoRA는 모델 배포와 fine-tuning을 어떻게 바꾸는가?

연결 자료로는 밑바닥부터 만드는 LLM, Hands-On LLMs, AI Engineering을 활용한다.

Part 5. Embedding과 retrieval

AI 시스템을 만들다 보면 LLM 자체보다 retrieval이 성능을 좌우하는 경우가 많다. 특히 RAG는 “문서를 넣으면 답변이 좋아진다”가 아니라, 검색 모델과 생성 모델의 오차가 결합되는 구조다.

다룰 질문:

  • embedding은 무엇을 가까이 두고 무엇을 멀리 두도록 학습되는가?
  • bi-encoder와 cross-encoder는 어떤 tradeoff가 있는가?
  • dense retrieval과 sparse retrieval은 어떤 실패 모드가 다른가?
  • reranking은 왜 필요한가?
  • RAG에서 chunking은 단순 전처리인가, 모델링 선택인가?

기존 AI Search 시리즈와도 자연스럽게 이어지는 파트다.

Part 6. Prompting과 inference-time computation

prompting은 얕은 팁 모음으로 소비되기 쉽지만, 모델링 관점에서는 inference-time computation을 어떻게 끌어내는가의 문제다.

다룰 질문:

  • in-context learning은 gradient update 없이 무엇을 바꾸는가?
  • Chain-of-Thought는 왜 일부 task에서 성능을 올리는가?
  • self-consistency는 sampling을 어떻게 활용하는가?
  • structured output은 decoding constraint와 어떻게 연결되는가?
  • prompt template은 UX가 아니라 interface contract가 될 수 있는가?

이 파트에서는 Chain-of-Thought 논문을 단순 요약이 아니라 “중간 token trajectory가 reasoning 성능에 주는 영향”으로 읽는다.

Part 7. Agent와 tool use

agent 파트는 이 시리즈의 후반부다. 이유는 간단하다. agent를 제대로 이해하려면 LLM, retrieval, prompting, evaluation을 먼저 알아야 한다.

다룰 질문:

  • ReAct의 thought-action-observation loop는 어떤 state machine인가?
  • Toolformer는 tool 사용을 어떻게 학습 데이터로 바꾸는가?
  • memory는 vector DB 하나로 충분한가?
  • planning은 언제 필요한가, 언제 오히려 방해되는가?
  • agent evaluation은 final answer만 보면 왜 부족한가?
  • guardrail은 prompt에 둘 것인가, runtime에 둘 것인가?

Google, Anthropic, OpenAI의 agent 가이드는 여기서 비교해서 읽을 예정이다. 같은 “agent”라는 단어를 쓰지만, 실제로는 workflow automation, tool orchestration, autonomous planning, safety control을 서로 다른 비중으로 다룬다.

매일 연재 포맷

각 글은 가능하면 같은 구조로 쓴다.

  1. 문제 정의: 이 개념이 어떤 병목을 해결하려고 나왔는가?
  2. 모델링 관점: 입력, 출력, 파라미터, objective, constraint를 어떻게 잡는가?
  3. 핵심 논문 또는 자료: 원문에서 중요한 아이디어를 뽑는다.
  4. 작은 구현 또는 pseudo-code: 개념을 코드 감각으로 확인한다.
  5. 실무 연결: RAG, agent, evaluation, deployment에서 어떻게 쓰이는가?
  6. 한계와 오해: 이 개념을 과하게 일반화하면 어디서 깨지는가?
  7. 다음 편 예고: 다음 개념과 연결한다.

이 포맷을 유지하면 시리즈 전체가 단순 요약이 아니라 하나의 학습 경로가 된다.

첫 번째로 깊게 볼 주제

다음 편은 loss function과 objective로 시작하는 게 좋다.

AI 모델링을 이해하려면 결국 이 질문으로 돌아온다.

“우리는 진짜 원하는 것을 직접 최적화하고 있는가, 아니면 측정 가능한 대리 목표를 최적화하고 있는가?”

분류 모델은 cross-entropy를 줄인다. 언어 모델은 next-token negative log-likelihood를 줄인다. embedding 모델은 contrastive loss로 positive pair와 negative pair의 거리를 조정한다. RLHF는 reward model score를 높인다.

전부 “학습”이라고 부르지만, 실제 objective는 다르다. 그리고 objective가 다르면 모델이 잘하는 것과 못하는 것도 달라진다.

그래서 다음 글에서는 다음을 다룬다.

  • MSE와 cross-entropy의 차이
  • likelihood를 최대화한다는 말의 의미
  • next-token prediction이 왜 language modeling objective가 되는지
  • contrastive learning이 embedding space를 만드는 방식
  • objective mismatch가 실무 AI 시스템에서 만드는 문제

정리

이번 글의 결론은 간단하다.

AI 기본기를 깊게 배우려면 자료를 많이 보는 것보다 자료를 읽는 축이 중요하다. 이 시리즈에서는 AI를 “도구 사용법”이 아니라 모델링 선택의 연속으로 본다.

  • 데이터는 어떤 representation으로 바뀌는가?
  • 모델은 어떤 inductive bias를 갖는가?
  • objective는 무엇을 보상하고 무엇을 놓치는가?
  • inference 때 추가 계산을 어떻게 쓰는가?
  • agent는 언제 tool을 쓰고, 누가 그 실행을 통제하는가?

이 질문들을 따라가면 LLM, RAG, agent, MCP 같은 최신 키워드도 훨씬 덜 흐릿해진다. 링크 모음은 출발점이고, 진짜 공부는 각 자료가 던지는 모델링 질문을 하나씩 붙잡는 데서 시작한다.

참고 자료

Comments