LLM의 기초 1부 - LLM의 동작 원리

LLM은 어떻게 질문을 이해하고 답변을 생성할까요?

LLM 기반 AI에 질문을 입력하면 몇 초 안에 답변이 나옵니다.

겉으로 보기에는 사람이 문장을 읽고 생각한 뒤 말하는 것처럼 보입니다.
하지만 내부에서는 전혀 다른 방식으로 작동합니다.

LLM은 문장을 그대로 이해하지 않습니다.
먼저 문장을 작은 단위로 나누고, 숫자로 바꾸고, 문맥을 계산한 뒤, 다음에 올 단어를 하나씩 예측합니다.

이 글에서는 LLM의 동작 원리를 어려운 수식 없이 살펴봅니다.

Token, Embedding, Transformer, Attention, Next Token Prediction을 중심으로
LLM이 답변을 만드는 과정을 차근차근 정리합니다.

LLM이란 무엇인가?

LLM은 Large Language Model의 줄임말입니다.

한국어로는 대규모 언어 모델이라고 부릅니다.

말 그대로 매우 많은 텍스트를 학습한 언어 모델입니다.
책, 문서, 웹페이지, 코드, 대화 같은 데이터를 바탕으로 언어의 패턴을 배웁니다.

대표적인 LLM은 여러 대화형 AI 서비스와 오픈소스 모델에 활용되고 있습니다.

이 모델들은 모두 생성형 AI의 핵심 모델입니다.

생성형 AI는 새로운 글, 요약, 답변, 코드, 아이디어를 만들어냅니다.
그 중심에는 대부분 LLM이 있습니다.

LLM을 이해하면 생성형 AI를 더 잘 사용할 수 있습니다.

AI가 왜 좋은 답변을 하기도 하고, 때로는 틀린 답변을 하기도 하는지
조금 더 현실적으로 바라볼 수 있습니다.

LLM은 어떻게 답변을 생성할까?

LLM의 전체 과정은 생각보다 단순한 흐름으로 볼 수 있습니다.

질문이 들어오면 먼저 문장을 작은 조각으로 나눕니다.
그 조각을 숫자로 바꿉니다.
숫자로 바뀐 정보를 바탕으로 문맥을 계산합니다.
그리고 다음에 올 가능성이 높은 토큰을 예측합니다.

이 과정을 반복하면 하나의 답변 문장이 만들어집니다.

즉, LLM은 완성된 문장을 한 번에 꺼내는 것이 아닙니다.

다음 토큰을 예측하고, 다시 다음 토큰을 예측합니다.
그 결과가 이어지면서 우리가 보는 답변이 됩니다.

Tokenization, Embedding, Transformer, Attention, Next Token Prediction으로 이어지는 LLM 전체 동작 구조

이제 각 단계를 하나씩 살펴보겠습니다.

질문은 어떻게 이해할까?

사람은 문장을 단어와 의미로 읽습니다.

하지만 LLM은 문장을 먼저 **토큰(Token)**이라는 작은 단위로 나눕니다.

이 과정을 Tokenization이라고 합니다.

예를 들어 다음과 같은 문장이 있다고 해보겠습니다.

“LLM은 어떻게 답변을 만들까?”

이 문장은 모델 내부에서 여러 토큰으로 나뉩니다.

Chat, GPT, 는, 어떻게, 답변, 을, 만들, 까처럼
단어와 글자 조각이 섞인 형태가 될 수 있습니다.

토큰은 꼭 사람이 생각하는 단어와 같지 않습니다.

짧은 단어는 하나의 토큰이 될 수 있고,
긴 단어는 여러 토큰으로 나뉠 수 있습니다.

LLM은 이 토큰 단위로 입력을 처리합니다.

문장이 여러 개의 토큰으로 나뉘는 Tokenization 과정을 설명하는 이미지

Tokenization은 LLM의 첫 번째 관문입니다.

질문을 작은 조각으로 나누어야 다음 단계에서 계산할 수 있기 때문입니다.

단어는 어떻게 의미를 가질까?

토큰은 그 자체로는 문자 조각입니다.

LLM은 이 문자 조각을 그대로 이해하지 못합니다.
그래서 토큰을 숫자로 바꿉니다.

이 과정을 Embedding이라고 합니다.

Embedding은 토큰의 의미를 숫자 공간에 배치하는 방식입니다.

조금 쉽게 말하면, 단어의 의미를 좌표처럼 바꾸는 것입니다.

예를 들어 “강아지”와 “고양이”는 서로 가까운 의미를 가집니다.
둘 다 동물이고, 반려동물이라는 맥락에서 자주 함께 등장합니다.

반면 “강아지”와 “회계장부”는 의미가 멉니다.

Embedding은 이런 관계를 숫자 벡터로 표현합니다.

그래서 LLM은 단어를 글자로만 보지 않습니다.
단어 사이의 거리, 관계, 맥락을 숫자로 계산합니다.

토큰이 의미를 가진 숫자 벡터로 변환되는 Embedding 과정을 설명하는 이미지

Embedding 덕분에 LLM은 비슷한 의미의 단어를 연결할 수 있습니다.

또 문장 안에서 어떤 단어가 어떤 역할을 하는지도 계산할 수 있습니다.

문맥은 어떻게 이해할까?

문장을 이해하려면 단어 하나만 보면 안 됩니다.

앞뒤 관계를 함께 봐야 합니다.

예를 들어 “배를 봤다”라는 문장을 생각해보겠습니다.

여기서 배는 먹는 과일일 수도 있고,
바다를 건너는 배일 수도 있고,
사람의 신체 부위일 수도 있습니다.

문맥이 있어야 의미가 정해집니다.

LLM은 이 문맥을 이해하기 위해 Transformer 구조를 사용합니다.

Transformer의 핵심에는 Attention이 있습니다.

Attention은 문장 안에서 어떤 단어를 더 중요하게 볼지 계산하는 방식입니다.

질문이 “LLM은 어떻게 답변을 생성하나요?”라면
모델은 “LLM”, “답변”, “생성” 같은 토큰에 더 주목합니다.

모든 단어를 똑같이 보는 것이 아닙니다.

지금 답변을 만들기 위해 중요한 단어에 더 많은 관심을 둡니다.

Transformer Attention이 문장 안의 중요한 토큰 관계를 계산하는 과정을 설명하는 이미지

Attention은 LLM이 문맥을 파악하는 핵심 기술입니다.

이 기술 덕분에 모델은 긴 문장 안에서도 중요한 관계를 찾아낼 수 있습니다.

답변은 어떻게 만들어질까?

LLM은 문장을 한 번에 완성하지 않습니다.

다음에 올 가능성이 높은 토큰을 하나씩 예측합니다.

이 과정을 Next Token Prediction이라고 합니다.

예를 들어 문장이 이렇게 시작한다고 해보겠습니다.

“오늘 날씨가 매우”

다음에 올 수 있는 말은 여러 가지입니다.

“좋습니다”가 올 수도 있고,
“춥습니다”가 올 수도 있고,
“덥습니다”가 올 수도 있습니다.

LLM은 앞의 문맥을 바탕으로 다음 토큰의 가능성을 계산합니다.

그리고 가장 적절하다고 판단한 토큰을 선택합니다.

그 다음에는 새로 선택한 토큰까지 포함해서 다시 다음 토큰을 예측합니다.

이 반복이 이어지면 답변 문장이 됩니다.

LLM이 다음 토큰을 예측하며 답변 문장을 만들어가는 과정을 설명하는 이미지

그래서 LLM의 답변은 확률적인 결과입니다.

항상 같은 답변이 나오지 않을 수 있습니다.
질문 방식, 이전 대화, 설정에 따라 답변이 조금씩 달라질 수 있습니다.

LLM이 잘하는 것과 못하는 것

LLM은 매우 강력합니다.

글을 요약하고, 문장을 다듬고, 아이디어를 정리하고, 코드를 작성할 수 있습니다.
복잡한 내용을 쉽게 설명하는 데도 뛰어납니다.

하지만 한계도 분명합니다.

첫 번째 한계는 Hallucination입니다.

LLM은 그럴듯하지만 틀린 답변을 만들 수 있습니다.
답변이 자연스럽다고 해서 항상 사실이라는 뜻은 아닙니다.

두 번째 한계는 Context Window입니다.

모델이 한 번에 참고할 수 있는 정보의 양에는 제한이 있습니다.
너무 긴 문서나 오래된 대화를 모두 기억하지 못할 수 있습니다.

세 번째 한계는 최신 정보 부족입니다.

모델이 학습한 이후에 생긴 정보는 모를 수 있습니다.
검색이나 외부 데이터 연결이 없으면 최신 사실을 확인하기 어렵습니다.

네 번째 한계는 장기 기억 없음입니다.

일반적인 LLM은 사람처럼 오래 기억하지 않습니다.
대화가 끝나면 이전 맥락을 지속적으로 보존하지 못할 수 있습니다.

LLM은 만능 도구가 아닙니다.

하지만 잘 이해하고 사용하면 매우 강력한 사고 도구가 됩니다.

그래서 AI는 계속 진화하고 있습니다

LLM의 한계를 보완하기 위해 AI 기술은 계속 발전하고 있습니다.

큰 흐름은 다음과 같이 볼 수 있습니다.

LLM
↓
RAG
↓
Context Engineering
↓
AI Memory
↓
AI Agent
↓
Business Automation

LLM은 언어를 생성하는 기본 모델입니다.

RAG는 외부 문서와 검색 결과를 함께 참고하게 합니다.
Context Engineering은 모델이 더 좋은 맥락을 받도록 입력 구조를 설계합니다.
AI Memory는 필요한 정보를 더 오래 기억하도록 돕습니다.
AI Agent는 목표를 위해 여러 단계를 스스로 수행하는 방향으로 발전합니다.

그리고 이 흐름은 결국 업무 자동화와 비즈니스 프로세스 개선으로 이어집니다.

LLM에서 RAG, Context Engineering, AI Memory, AI Agent, Business Automation으로 이어지는 AI 기술 발전 로드맵

이 흐름은 특정 제품의 이야기가 아닙니다.

AI가 단순히 답변을 생성하는 도구에서
업무 맥락을 이해하고 실행을 돕는 시스템으로 이동하고 있다는 뜻입니다.

AI와 사람은 어떻게 함께 일할까?

LLM은 많은 일을 도와줄 수 있습니다.

하지만 질문을 정하고, 기준을 세우고, 결과를 판단하는 일은 여전히 중요합니다.

AI는 빠르게 초안을 만들 수 있습니다.
사람은 그 초안이 맞는지, 필요한지, 실제 상황에 적합한지 판단해야 합니다.

예를 들어 보고서를 작성할 때 AI는 구조와 문장을 제안할 수 있습니다.

하지만 무엇을 강조할지, 어떤 결론을 선택할지,
조직의 상황에 맞는지는 사람이 결정해야 합니다.

AI를 잘 쓰는 사람은 단순히 명령을 잘 입력하는 사람이 아닙니다.

문제를 잘 나누고, 필요한 정보를 잘 제공하고,
결과를 검토해 실제 업무에 맞게 조정하는 사람입니다.

LLM을 이해하는 이유도 여기에 있습니다.

원리를 알면 AI를 더 현실적으로 사용할 수 있습니다.
기대할 수 있는 것과 조심해야 할 것을 구분할 수 있습니다.

이번 글에서 배운 것

LLM은 질문을 바로 이해하는 것이 아닙니다.

문장을 토큰으로 나누고,
토큰을 숫자 벡터로 바꾸고,
Transformer와 Attention으로 문맥을 계산한 뒤,
다음 토큰을 하나씩 예측합니다.

이 과정이 반복되면서 LLM의 답변이 만들어집니다.

LLM은 글쓰기, 요약, 설명, 코드 작성처럼 언어 기반 작업에 강합니다.

하지만 hallucination, context window, 최신 정보 부족, 장기 기억의 한계도 있습니다.

그래서 AI는 RAG, Context Engineering, Memory, Agent 같은 방향으로 계속 발전하고 있습니다.

LLM을 실무에서 더 잘 활용하려면 질문을 어떻게 구성하는지도 중요합니다. 자세한 사용법은 좋은 답변을 얻는 프롬프트 작성법에서 이어서 볼 수 있습니다.

LLM의 원리를 이해하면 AI를 더 정확하게 기대하고, 더 안전하게 활용할 수 있습니다.