LLM의 기초 2부 - LLM의 기술 용어 정리

생성형 AI를 이해하기 위해 꼭 알아야 할 핵심 개념

LLM, RAG, 임베딩, AI Agent, MCP.

ChatGPT와 생성형 AI를 공부하다 보면 낯선 기술 용어를 자주 만나게 됩니다. 용어마다 설명을 찾아보다가 오히려 전체 흐름을 놓치기도 합니다.

하지만 모든 원리와 구현 방식을 외울 필요는 없습니다. 각 기술이 왜 필요하고, 언제 사용되며, 어떤 역할을 하는지 알면 충분합니다.

이 글은 생성형 AI 입문자를 위한 LLM 기술 용어 가이드입니다. 핵심 용어를 쉬운 예시와 함께 살펴보고, 서로 어떻게 연결되는지 정리합니다.

---

왜 LLM 용어를 알아야 할까?

생성형 AI는 하나의 기술로만 작동하지 않습니다.

사용자가 질문을 입력하는 단계부터 답변을 만들고, 외부 자료를 찾고, 필요한 도구를 실행하는 단계까지 여러 기술이 함께 사용됩니다. 이 과정의 각 역할에 Prompt, Context Window, RAG, Function Calling 같은 이름이 붙어 있습니다.

용어를 알면 ChatGPT가 무엇을 잘하고 어디에서 한계를 보이는지 이해하기 쉬워집니다. 기업에서 생성형 AI 서비스를 검토할 때도 필요한 기술과 기대할 수 있는 결과를 더 분명하게 구분할 수 있습니다.

중요한 것은 정의를 그대로 암기하는 일이 아닙니다. Prompt는 지시, RAG는 외부 자료 참고, AI Agent는 목표를 향한 실행처럼 핵심 역할을 연결해서 이해하는 것이 먼저입니다.

---

LLM은 어떻게 동작할까?

LLM의 활용 과정은 크게 학습 → 추론 → 활용이라는 흐름으로 볼 수 있습니다.

학습은 많은 텍스트에서 언어의 패턴을 익히는 단계입니다. 문장이 어떻게 이어지는지, 단어가 어떤 맥락에서 사용되는지 배웁니다. Fine-tuning과 Distillation은 학습된 모델을 특정 목적에 맞추거나 더 작게 만드는 과정과 관련이 있습니다.

추론은 사용자의 질문을 받은 LLM이 답변을 만드는 단계입니다. Prompt와 Context Window가 답변에 참고할 지시와 정보를 전달합니다.

활용은 LLM을 실제 서비스와 업무에 연결하는 단계입니다. RAG로 사내 문서를 참고하거나, Function Calling으로 외부 기능을 사용하거나, AI Agent가 여러 작업을 이어서 수행할 수 있습니다.

LLM이 답변을 만드는 기초 과정이 더 궁금하다면 LLM의 동작 원리에서 Token, Embedding, Attention의 관계를 이어서 볼 수 있습니다.

---

생성형 AI에서 자주 사용하는 핵심 용어

1. 학습 단계

학습 단계에서는 기본 모델을 목적에 맞게 조정하거나 더 효율적으로 사용할 수 있도록 준비합니다.

Pretraining(사전 학습)

한 줄 정의: LLM이 많은 데이터를 바탕으로 언어의 기본 패턴과 폭넓은 지식을 익히는 첫 학습 단계입니다.

Pretraining은 LLM이 문장을 이해하고 답변을 만들 수 있는 기본 능력을 갖추는 데 필요합니다. 특정 회사나 업무만을 위한 학습이 아니라, 다양한 주제와 표현을 두루 접하는 기초 교육에 가깝습니다.

여러 과목을 폭넓게 배우며 기본기를 쌓는 과정과 비슷합니다. 이후 Fine-tuning을 통해 특정 목적에 맞는 추가 교육을 받을 수 있습니다.

함께 알아두면 좋은 용어는 Training Data, Fine-tuning, Foundation Model입니다.

Fine-tuning(파인튜닝)

한 줄 정의: 이미 학습된 LLM을 특정 목적이나 답변 방식에 더 잘 맞도록 추가 학습하는 과정입니다.

Fine-tuning은 모델이 특정한 말투, 분류 기준, 업무 패턴을 일관되게 따르도록 만들 때 고려합니다. 새로운 자료를 그때그때 찾아 답하게 하는 RAG와는 목적이 다릅니다.

기본 교육을 받은 직원에게 회사의 상담 방식과 응대 기준을 추가로 훈련하는 것과 비슷합니다. 고객 문의를 정해진 유형으로 분류하는 작업이 한 예입니다.

함께 알아두면 좋은 용어는 RAG, Training, Dataset입니다.

Distillation(증류)

한 줄 정의: 큰 모델의 능력을 더 작은 모델이 배울 수 있도록 만드는 모델 경량화 방법입니다.

큰 모델은 강력하지만 운영에 많은 자원이 필요할 수 있습니다. Distillation은 필요한 성능을 가능한 한 유지하면서 더 작고 빠른 모델을 만들고 싶을 때 사용합니다.

숙련자의 풍부한 업무 노하우를 핵심 매뉴얼로 정리해 다른 직원이 빠르게 활용하도록 하는 과정과 비슷합니다.

함께 알아두면 좋은 용어는 Small Language Model, Quantization, Model Optimization입니다.

Quantization(양자화)

한 줄 정의: 모델이 사용하는 숫자를 더 간단한 형태로 바꿔 크기와 연산 부담을 줄이는 방법입니다.

Quantization은 같은 모델을 더 적은 자원으로 실행하려고 할 때 사용합니다. 서버 비용을 줄이거나 스마트폰과 개인용 컴퓨터처럼 자원이 제한된 환경에서 모델을 구동하는 데 도움이 됩니다.

고해상도 사진을 용도에 맞게 압축해 파일 크기를 줄이는 것과 비슷합니다. 보기에는 충분한 품질을 유지하면서 저장 공간과 전송 부담을 낮추는 방식입니다.

함께 알아두면 좋은 용어는 Distillation, Model Compression, On-device AI입니다.

2. 추론 단계

추론 단계에서는 사용자의 요청과 주어진 맥락을 바탕으로 LLM이 답변을 만듭니다.

Prompt(프롬프트)

한 줄 정의: LLM에게 원하는 작업과 조건을 전달하는 입력입니다.

Prompt는 질문 한 문장일 수도 있고, 역할·목적·형식이 담긴 자세한 업무 지시일 수도 있습니다. 무엇을 원하는지 분명하게 전달할수록 LLM이 기대에 가까운 답변을 만들기 쉽습니다.

예를 들어 동료에게 단순히 “보고서 써 주세요”라고 말하는 것보다 “경영진이 볼 수 있도록 이번 달 매출 변화를 세 문단으로 요약해 주세요”라고 요청하면 결과가 구체적입니다. Prompt도 이와 비슷합니다.

함께 알아두면 좋은 용어는 Context Window, Prompt Engineering입니다. 실제 작성법은 좋은 답변을 얻는 프롬프트 작성법에서 확인할 수 있습니다.

Context Window(컨텍스트 윈도우)

한 줄 정의: LLM이 한 번의 대화나 작업에서 참고할 수 있는 정보의 범위입니다.

LLM은 대화 내용과 첨부 문서를 끝없이 한꺼번에 참고할 수 없습니다. Context Window가 넓으면 더 긴 대화와 문서를 함께 살펴볼 수 있지만, 정보가 많다고 항상 답변이 좋아지는 것은 아닙니다. 중요한 내용을 알아보기 쉽게 제공해야 합니다.

회의실 책상 위에 펼쳐 놓을 수 있는 자료의 양을 떠올리면 쉽습니다. 책상에 올라온 자료는 함께 볼 수 있지만, 공간 밖의 자료는 다시 가져와야 합니다.

함께 알아두면 좋은 용어는 Token, Prompt, Context Engineering입니다.

Reasoning(추론)

한 줄 정의: LLM이 주어진 정보와 조건을 바탕으로 답을 찾아가는 사고 과정입니다.

Reasoning은 여러 조건을 비교하거나, 문제를 단계별로 나누거나, 결론에 필요한 정보를 연결할 때 중요합니다. 단순한 문장 생성보다 복잡한 판단과 문제 해결이 필요한 작업에서 자주 언급됩니다.

여행 일정을 정할 때 예산, 이동 시간, 방문 장소의 운영 시간을 차례로 비교하는 모습과 비슷합니다. LLM도 주어진 맥락 안에서 여러 조건을 연결해 적절한 답을 찾습니다.

함께 알아두면 좋은 용어는 Prompt, Context Window, Reasoning Model입니다.

3. 활용 단계

활용 단계에서는 LLM을 외부 정보와 도구에 연결해 실제 업무와 서비스에 사용합니다.

Embedding(임베딩)

한 줄 정의: 문장이나 단어의 의미를 컴퓨터가 비교할 수 있는 숫자 형태로 표현한 것입니다.

Embedding은 표현이 달라도 의미가 비슷한 내용을 찾는 데 필요합니다. 단순히 같은 단어가 포함되었는지가 아니라 내용이 얼마나 가까운지를 비교할 수 있게 돕습니다.

도서관에서 “휴가 비용 줄이기”를 검색했는데 제목이 “알뜰한 여행 계획”인 책도 함께 추천되는 상황과 비슷합니다. 사용한 단어는 달라도 의미가 가깝기 때문입니다.

함께 알아두면 좋은 용어는 Vector, Vector Database, Semantic Search입니다.

Vector Database(벡터 데이터베이스)

한 줄 정의: Embedding으로 바꾼 데이터를 저장하고, 의미가 비슷한 정보를 빠르게 찾는 데이터베이스입니다.

Vector Database는 많은 문서 중 질문과 관련된 부분을 찾을 때 사용됩니다. 특히 RAG에서 참고 자료를 검색하는 역할을 맡는 경우가 많습니다.

일반적인 자료함이 파일 이름과 날짜로 문서를 찾는다면, Vector Database는 “이 내용과 비슷한 자료”를 찾는 자료함에 가깝습니다. 고객 문의와 의미가 비슷한 기존 답변을 찾아주는 경우가 한 예입니다.

함께 알아두면 좋은 용어는 Embedding, Semantic Search, RAG입니다.

RAG(검색 증강 생성)

한 줄 정의: LLM이 외부 자료를 먼저 찾고, 그 내용을 참고해 답변하도록 만드는 방식입니다.

LLM은 학습할 때 접하지 못한 최신 정보나 회사 내부 문서를 알지 못합니다. RAG는 질문과 관련된 자료를 찾아 LLM에 전달함으로써 이 한계를 보완합니다.

신입 직원이 기억만으로 답하지 않고 사내 규정집에서 최신 휴가 규정을 확인한 뒤 설명하는 모습을 떠올리면 쉽습니다. 사내 문서 검색 챗봇이나 제품 매뉴얼 상담에 자주 활용됩니다.

함께 알아두면 좋은 용어는 Embedding, Vector Database, Context Window입니다.

Memory(메모리)

한 줄 정의: AI가 이전 대화나 사용자 정보를 이후 작업에서도 다시 참고하도록 저장하는 기능입니다.

Context Window 안의 정보는 한 번의 대화에서만 사용되거나 범위를 벗어나면 참고하기 어려울 수 있습니다. Memory는 필요한 정보를 따로 보관해 다음 대화나 작업에서도 활용할 수 있게 돕습니다.

자주 만나는 고객의 선호 사항을 메모해 두었다가 다음 상담에서 확인하는 것과 비슷합니다. 다만 어떤 정보를 저장하고 언제 삭제할지에 대한 개인정보 보호 기준이 필요합니다.

함께 알아두면 좋은 용어는 Context Window, RAG, Personalization입니다.

Function Calling(함수 호출)

한 줄 정의: LLM이 답변만 만드는 것을 넘어 필요한 외부 기능을 정해진 형식으로 요청하는 방식입니다.

LLM 자체는 실시간 날씨를 확인하거나 예약 시스템에 일정을 등록할 수 없습니다. Function Calling을 사용하면 개발자가 연결한 검색, 계산, 예약 같은 기능 중 필요한 것을 선택해 호출하도록 구성할 수 있습니다.

직원이 직접 모든 일을 처리하는 대신 담당 부서에 정해진 양식으로 요청서를 보내는 모습과 비슷합니다. “내일 서울 날씨를 확인해 줘”라는 요청을 날씨 조회 기능에 전달하는 경우가 한 예입니다.

함께 알아두면 좋은 용어는 Tool Use, API, AI Agent입니다.

Workflow(워크플로우)

한 줄 정의: 여러 작업을 미리 정한 순서와 규칙에 따라 이어서 실행하는 업무 흐름입니다.

Workflow는 반복되는 과정을 안정적이고 예측 가능하게 처리할 때 필요합니다. AI의 판단이 포함될 수 있지만, 전체 진행 순서와 조건은 보통 사람이 미리 설계합니다.

결재 요청이 작성, 검토, 승인, 알림 순서로 진행되는 과정과 비슷합니다. 정해진 절차 안에서 LLM이 문서를 요약하거나 내용을 분류하도록 구성할 수 있습니다.

함께 알아두면 좋은 용어는 Automation, Function Calling, AI Agent입니다.

AI Agent(AI 에이전트)

한 줄 정의: 주어진 목표를 달성하기 위해 필요한 단계를 판단하고 도구를 사용하며 작업을 이어가는 AI 시스템입니다.

일반적인 챗봇이 질문에 답하는 데 집중한다면 AI Agent는 목표를 완료하는 데 더 초점을 둡니다. 정보를 찾고, 결과를 비교하고, 다음 행동을 선택하는 여러 단계를 수행할 수 있습니다.

“출장 계획을 준비해 줘”라는 요청을 받았을 때 일정 확인, 교통편 검색, 후보 비교, 계획표 작성까지 이어서 처리하는 비서와 비슷합니다. 다만 중요한 결정과 외부 실행에는 사람의 확인 절차가 필요합니다.

함께 알아두면 좋은 용어는 Function Calling, Workflow, Memory, MCP입니다.

MCP(Model Context Protocol)

한 줄 정의: AI 애플리케이션이 외부 데이터와 도구에 일관된 방식으로 연결될 수 있게 돕는 공개 표준입니다.

AI가 파일, 데이터베이스, 업무 도구를 사용하려면 각각의 연결 방식이 필요합니다. MCP는 이런 연결을 공통된 규칙으로 제공해 다양한 AI 애플리케이션이 필요한 맥락과 기능에 접근하기 쉽게 합니다.

노트북마다 다른 장치를 연결할 때 공통 규격의 포트를 사용하는 모습과 비슷합니다. AI가 문서 저장소에서 자료를 읽거나 업무 도구의 기능을 이용하는 연결에 활용할 수 있습니다.

함께 알아두면 좋은 용어는 Tool Use, Function Calling, AI Agent입니다.

A2A(Agent2Agent)

한 줄 정의: 서로 다른 AI Agent가 정보를 주고받고 작업을 협력하기 위한 통신 방식입니다.

하나의 AI Agent가 모든 전문성과 도구를 가질 필요는 없습니다. A2A는 역할이 다른 Agent가 서로의 능력을 확인하고 업무를 나누어 처리하는 상황에 필요합니다.

여행 담당자가 예산 담당자와 일정 담당자에게 각각 확인을 요청하고 결과를 모으는 장면과 비슷합니다. 여러 조직이나 서비스의 Agent가 하나의 복합 업무를 함께 처리하는 데 활용될 수 있습니다.

함께 알아두면 좋은 용어는 AI Agent, Multi-agent System, MCP입니다. MCP가 Agent와 도구의 연결에 초점을 둔다면, A2A는 Agent 사이의 협력에 초점을 둡니다.

Multimodal(멀티모달)

한 줄 정의: 텍스트뿐 아니라 이미지, 음성, 영상처럼 여러 형태의 정보를 함께 다루는 AI 능력입니다.

Multimodal 기술은 현실의 정보가 글로만 존재하지 않기 때문에 필요합니다. 문서 속 도표를 읽고, 사진을 설명하고, 음성 질문에 답하는 것처럼 입력과 출력의 범위를 넓혀 줍니다.

사람이 보고, 듣고, 읽은 정보를 함께 활용하는 모습과 비슷합니다. 영수증 사진에서 항목을 읽어 지출 내역으로 정리하거나 회의 음성을 듣고 요약하는 경우가 한 예입니다.

함께 알아두면 좋은 용어는 Vision Model, Speech, LLM입니다.

---

자주 헷갈리는 LLM 용어

비슷해 보이는 용어도 해결하려는 문제가 다릅니다. 아래 표에서 핵심 차이를 확인할 수 있습니다.

실제 시스템에서는 둘 중 하나만 선택하지 않을 수도 있습니다. RAG와 Fine-tuning을 함께 사용하거나, 정해진 Workflow 안에서 AI Agent가 일부 판단을 맡도록 구성할 수 있습니다.

---

LLM 기술 용어, 역할부터 이해하면 쉽다

이번 글에서는 생성형 AI에서 자주 등장하는 LLM 기술 용어를 살펴봤습니다.

Pretraining은 LLM의 기본 능력을 만들고, Fine-tuning, Distillation, Quantization은 학습된 모델을 목적과 실행 환경에 맞게 조정합니다. Prompt, Context Window, Reasoning은 답변을 만드는 추론 과정과 관련됩니다.

Embedding, Vector Database, RAG, Memory는 필요한 정보를 찾고 다시 참고하게 합니다. Function Calling, Workflow, AI Agent, MCP, A2A, Multimodal은 LLM이 외부 기능과 다양한 정보에 연결되어 더 넓은 작업을 수행하도록 돕습니다.

지금은 각 용어의 세부 원리보다 역할과 관계를 이해하는 것으로 충분합니다. 실제 사용 목적이 생겼을 때 필요한 개념부터 깊게 살펴보면 됩니다.

용어의 역할을 하나씩 연결해 보면 복잡해 보이던 생성형 AI의 전체 흐름도 자연스럽게 이해할 수 있습니다.