01 / 67

1주차

WEEK 02 · LLM의 작동 원리

문장은 어떻게
답변이 되는가

  • 언어를 숫자로 바꾸는 토큰과 임베딩
  • 문맥의 관계를 계산하는 어텐션
  • 규모·후학습·환각을 잇는 한 흐름
6201652026-2김용희 교수
INSIDE THE MODEL
아산에서AI사업을
다음 토큰 후보시작할0.42

오늘의 중심 질문

유창한 답은 어디에서 오는가

  • 문장을 이해하는 사람처럼 보여도, 내부에서는 벡터·행렬·확률 계산이 진행
  • 작동 원리를 알아야 성능·비용·오류를 사업 설계와 연결 가능

입력

문장을 작은 조각으로 분해

토큰화

계산

관계와 문맥을 수치로 갱신

임베딩·어텐션

출력

다음 토큰의 확률을 이어 붙임

자기회귀 생성

핵심 · 유창함을 만드는 목표와 사실을 보장하는 목표는 다름

수업을 마치면

여섯 가지를 연결해서 설명

01

토큰

문장·단어와 토큰의 차이, 한국어에서 생기는 효율 문제

02

임베딩

비슷한 의미가 가까워지는 벡터 공간과 그 한계

03

어텐션

Q·K·V와 마스킹이 문맥을 만드는 방식

04

스케일링

모델 크기·데이터·연산량을 함께 맞추는 이유

05

후학습

SFT·RLHF·DPO가 기본 모델을 조정하는 과정

06

환각

그럴듯한 오류가 생기는 구조와 사업의 보호 장치

한 장으로 보는 전체 흐름

글자에서 답변까지, 여섯 정거장

  • 각 정거장마다 가능성뿐 아니라 비용·한계·사례를 함께 확인
01토큰문장 쪼개기
02임베딩숫자 위치 만들기
03어텐션문맥 관계 계산
04다층 변환표현 정교화
05확률 분포다음 후보 계산
06후학습사람의 선호 반영
환각은 마지막 단계의 단일 고장이 아님

학습 데이터·목표 함수·불확실성·평가 보상이 연결된 구조적 결과

첫 판단

LLM이 사실과 다른 말을 하는 가장 가까운 이유는?

OpenAI · 환각 연구, 2025

1부 · 토큰과 임베딩

컴퓨터는 문장을 그대로 읽지 못함

  • 글자를 계산 가능한 숫자로 바꾸는 두 단계: 토큰 ID → 임베딩 벡터
문장

“아산에서 막차를 놓쳤다”

토큰 ID

[1482, 311, 9204, 17, 508]

임베딩

[0.17, −0.42, 0.08, …]

숫자는 이해하기 위한 단순 예시 · 실제 ID와 차원은 모델마다 다름

『비전공자도 이해할 수 있는 챗GPT』 89–97쪽

토큰

모델이 한 번에 다루는 언어 조각

TOKEN

단어 전체일 수도 있음

시장고객

부분 단어일 수도 있음

HyperCLOVA

기호·띄어쓰기도 가능

,?␠

토큰 수는 문맥 용량·응답 속도·이용 비용과 바로 연결

눌러 보는 토큰화

같은 길이의 문장도 다르게 쪼개짐

  • 아래 분할은 원리를 보여 주는 단순화 예시 · 실제 결과는 모델과 토크나이저마다 다름

아산에서 AI 사업을 시작합니다

아산에서·AI·사업을·시작합니다
7개 조각

효율 · 같은 내용을 더 적은 토큰으로 표현하면 처리 부담 감소

표현력 · 언어의 형태를 잘 반영하면 학습과 생성이 안정될 가능성

정확하게 말하기

토큰은 단어가 아님

띄어쓰기마다 한 토큰부분 단어·기호도 토큰

토크나이저의 어휘와 규칙에 따라 달라짐

모든 모델의 토큰 수는 같음모델마다 다른 분할

같은 문장이 서비스별로 다른 토큰 수를 가질 수 있음

한글 한 글자 = 한 토큰항상 성립하지 않음

글자·음절·부분 문자열이 다양하게 결합

읽기 보완 · Transformer와 LLM

최신 연구 · 한국어

언어에 맞는 토크나이저가 생성 안정성에 영향

  • 2025년 한국어 사례 연구: 한국어 확장 토크나이저와 기본 토크나이저를 다음 토큰 예측 과제로 비교
2025

How does a Language-Specific Tokenizer affect LLMs?

한국어 확장 토크나이저가 복잡한 과제의 교차엔트로피를 낮추고, 잘못된 예측에 대한 과신을 줄이는 경향 보고

기본 토크나이저
한국어 확장
개념도 · 논문의 실제 수치를 재현한 그래프가 아님
Seo 외 · arXiv:2502.12560

사업으로 번역

토큰화는 ‘언어 품질’만의 문제가 아님

비용

같은 업무라도 토큰이 많으면 입력·출력 비용 증가

속도

처리할 조각이 늘면 지연과 메모리 부담 증가

문맥

같은 문맥 창에 넣을 수 있는 한국어 문서량 변화

품질

고유명사·조사·복합어 표현의 안정성에 영향

한국어 서비스를 고를 때는 벤치마크 점수 + 실제 문서의 토큰 수를 함께 확인

임베딩

토큰을 ‘의미가 놓이는 숫자 공간’으로

  • 각 토큰을 긴 숫자 목록인 벡터로 표현
  • 학습을 거치며 비슷한 문맥에서 쓰인 표현이 가까워지는 경향
막차[0.14, −0.32, 0.81, …]
학습된 변환
막차야간버스귀가딸기
『비전공자도 이해할 수 있는 챗GPT』 89–93쪽

차원

벡터의 각 칸을 사람이 이름 붙이지 않음

  • ‘1번은 맛, 2번은 색’처럼 사람이 미리 정의하는 표가 아님
  • 수많은 학습 예측을 잘하도록 값이 함께 조정

잘못된 비유 · 사람의 설문 문항처럼 각 차원이 깔끔한 뜻 하나를 가짐

더 정확한 이해 · 의미와 문맥 특징이 여러 차원에 분산되어 나타남

눌러 보는 의미 지도

가까움은 ‘비슷한 쓰임’을 뜻함

막차와 가까운 표현을 찾는 일 → 검색·분류·추천의 재료

코사인 유사도

길이보다 방향이 얼마나 비슷한지 비교

ABCθ
cos(θ)

1에 가까움 · 방향이 비슷함

0에 가까움 · 관련이 약함

−1에 가까움 · 반대 방향

실무에서는 모델·정규화·임계값에 따라 해석이 달라짐

사례 · 의미 검색

표현이 달라도 같은 문제를 찾기

“밤늦게 역에서 집에 못 가요”
0.91

천안아산역 막차 이후 이동 안내

심야 귀가·택시 승강장·버스 운행

0.84

산단 교대근무자 야간 교통

통근·노선 공백·합승 수요

0.42

온양온천시장 주차 안내

표면 단어 일부는 겹치지만 의도는 다름

키워드 일치가 아니라 의미 벡터의 거리로 후보를 좁힘

임베딩의 경계

가깝다고 참인 것은 아님

잘하는 일

  • 비슷한 문의 묶기
  • 관련 문서 후보 찾기
  • 상품·콘텐츠 추천 후보 만들기

따로 확인할 일

  • 숫자와 날짜의 정확성
  • 법령·가격·재고의 최신성
  • 원인과 책임의 판단

의미 검색은 정답 판정기가 아니라 후보 선별기

2부 · Transformer와 어텐션

이전 방식은 문장을 차례로 읽음

아산
에서
막차
를
놓쳤
다

먼 거리 · 앞의 정보를 여러 단계를 거쳐 전달

병렬화 · 순차 처리 때문에 학습 하드웨어 활용에 제약

문맥 · 긴 문장에서 중요한 관계를 유지하기 어려움

Google Research · Transformer 소개

2017 · 구조의 전환

Attention Is All You Need

  • RNN 없이 셀프 어텐션을 중심으로 문장 안의 관계를 직접 계산
  • 학습 계산의 병렬화에 유리해 대규모 언어 모델의 토대가 됨
2017.06

Transformer

Vaswani 외 8명

SELF-ATTENTION
Google Research가 공개한 Transformer 번역 성능 비교 그래프
원 논문Google Research 설명

구조 읽기

초기의 Transformer와 GPT 계열은 같지 않음

원 논문

인코더 + 디코더

ENCODERDECODER

기계번역: 입력 문장을 읽고 다른 언어로 생성

GPT 계열

디코더 중심

DECODER× N LAYERS

앞의 토큰만 보며 다음 토큰을 이어 생성

Transformer는 하나의 고정 제품명이 아니라 여러 구조가 갈라져 나온 설계 계열

셀프 어텐션

한 문장 안에서 서로를 참고

그회사는은행앞에서강을바라봤다

‘은행’의 표현은 강·앞에서·회사와의 관계를 반영해 문맥에 맞게 갱신

Google Research의 Transformer 대명사 참조 어텐션 시각화이미지·설명 · Google Research

Q · K · V

도서관의 질문·색인·내용으로 이해

Q

Query · 질문

지금 이 토큰이 무엇을 찾는가

“은행의 뜻을 결정할 단서는?”
K

Key · 색인

각 토큰이 어떤 단서를 가졌는가

강 · 회사 · 앞
V

Value · 내용

선택되면 실제로 가져올 정보

문맥을 반영한 벡터
Q × K관련성 점수V의 가중합
『비전공자도 이해할 수 있는 챗GPT』 99–103쪽

어텐션 행렬

모든 토큰 쌍의 관련성을 한 표로

그회사는은행강을
그
회사는
은행
강을

가로 · 참고할 후보 토큰

세로 · 지금 표현을 갱신할 토큰

색의 강도 · 정규화된 관심의 크기

실제 모델은 여러 헤드·여러 층에서 훨씬 큰 행렬을 계산

인과 마스크

정답이 될 미래 토큰을 미리 보지 못하게

  • GPT 계열은 생성 중 현재 위치보다 뒤의 토큰을 가림
오늘아산날씨는맑

학습할 때도 각 위치는 앞쪽 문맥만 보고 다음 토큰을 예측

멀티헤드 어텐션

한 가지 관계만 보는 것이 아님

01

주어와 서술어

누가 무엇을 했는가

02

대명사와 대상

그것은 무엇을 가리키는가

03

시간과 사건

언제 일어났는가

04

문체와 형식

목록·질문·인용인가

05

근거리 결합

붙어 쓰이는 표현인가

06

장거리 문맥

앞 문단과 어떻게 연결되는가

각 헤드가 사람에게 깔끔한 역할 하나를 갖는다고 단정할 수는 없음

층 쌓기

어텐션만으로 끝나지 않음

6출력 확률
5정규화 + 잔차 연결
4MLP · 토큰별 변환
3멀티헤드 어텐션
2정규화 + 잔차 연결
1입력 임베딩

어텐션 · 토큰 사이의 정보를 섞음

MLP · 각 위치의 표현을 비선형으로 바꿈

잔차 연결 · 기존 정보를 보존하며 층을 깊게 쌓음

위치 정보

같은 단어도 순서가 바뀌면 뜻이 달라짐

고객이AI를평가했다

평가 주체 · 고객

AI가고객을평가했다

평가 주체 · AI

어텐션 자체에는 순서가 없으므로 위치 정보를 따로 더함

해석의 주의점

어텐션 지도 = 모델의 생각 전체가 아님

볼 수 있는 것

  • 특정 층·헤드의 가중치
  • 토큰 사이 정보 흐름의 일부
  • 가설을 만드는 단서

바로 말할 수 없는 것

  • 모델의 완전한 의도
  • 답의 인과적 이유 전체
  • 옳고 그름의 자동 증명

예쁜 히트맵보다 개입 실험과 여러 해석 방법이 필요

영상 · 큰 그림

Transformer를 눈으로 따라가기

  • 전체 시청보다 임베딩·어텐션·다층 변환이 이어지는 구간을 선택
  • 시청 질문: 학습의 병렬화와 생성의 순차성을 어디에서 구분하는가
Transformers, the tech behind LLMs 영상 미리보기

3BLUE1BROWN · 2024

Transformers, the tech behind LLMs

  • 고차원 임베딩의 직관
  • Transformer 블록의 반복
  • 다음 토큰 확률까지의 흐름

영상 · 계산 자세히

Q·K·V에서 어텐션까지

  • 앞 영상과 다른 목적: 어텐션의 계산 순서를 선택 구간으로 확인
  • 시청 질문: 관련성 점수와 가져오는 정보는 왜 분리하는가
Attention in transformers, step-by-step 영상 미리보기

3BLUE1BROWN · 2024

Attention in transformers, step-by-step

  • Query·Key의 내적
  • Softmax 가중치
  • Value의 가중합과 멀티헤드

3부 · 학습과 생성

학습은 한꺼번에, 생성은 한 토큰씩

TRAINING

여러 위치의 예측을 병렬 계산

  • 정답 다음 토큰과 비교
  • 오차가 줄도록 매개변수 갱신
  • 대규모 GPU 연산
GENERATION

앞의 출력을 다시 입력해 순차 생성

문장을만든다
  • 한 토큰을 선택
  • 문맥 끝에 붙임
  • 종료할 때까지 반복

눌러 보는 다음 토큰

온도를 바꾸면 후보 분포가 달라짐

“지역 AI 서비스는 주민의 문제를 …”
돕는50%
바꾸는28%
연결하는14%
놀라게 하는7%

설명을 위한 모의 로짓 계산 · 특정 제품의 실제 확률이 아님

출력 선택

확률 분포에서 어떻게 하나를 고를까

Greedy

매번 가장 높은 후보 선택

일관성↑ · 반복·경직 가능

Temperature

확률 분포를 날카롭거나 평평하게 조정

낮음: 안정 · 높음: 다양

Top-p

누적 확률이 p가 될 때까지 후보만 남김

상황에 따라 후보 수 변화

창의성과 정확성은 한 손잡이로 완전히 해결되지 않음

문맥 창

모델이 한 번에 참고할 수 있는 작업대

시스템 지침대화 기록첨부 문서현재 질문생성할 답

토큰 기준 · 글자 수나 페이지 수와 같지 않음

입력 + 출력 · 둘 다 문맥 창을 사용

길다고 완전 기억 아님 · 위치·검색·주의 분산이 품질에 영향

큰 문맥 창은 넓은 책상이지 완벽한 기억이 아님

연구 · Lost in the Middle

긴 문서의 가운데 정보가 더 불리할 수 있음

  • 2023년 연구: 관련 정보의 위치가 긴 문맥 활용 성능에 영향을 줄 수 있음을 보고
성과
처음가운데끝
Liu 외 · Lost in the Middle

KV 캐시

앞에서 계산한 것을 매번 다시 하지 않기

1

“아산”의 K·V 저장

2

“에서”의 K·V 추가

3

새 토큰의 Q로 기존 캐시 조회

4

다음 토큰 생성

이점

생성 속도 개선

대가

문맥이 길수록 메모리 사용 증가

서비스 속도는 모델 크기뿐 아니라 캐시·배치·하드웨어·출력 길이의 결과

4부 · 스케일링

크다는 말에는 세 가지가 섞여 있음

MODEL

매개변수

패턴을 담고 변환하는 학습 값

DATA

학습 토큰

얼마나 많고 다양한 데이터를 봤는가

COMPUTE

연산량

학습에 투입한 하드웨어 계산

균형
『비전공자도 이해할 수 있는 챗GPT』 109–112쪽

스케일링 법칙

연산량 증가 → 검증 손실 감소

경험 법칙 · 모델·데이터·연산 증가와 성능 사이의 경향을 관측

주의 · 모든 능력이 매끄럽게 좋아지거나 비용이 무시된다는 뜻은 아님

설계 질문 · 같은 예산을 크기와 데이터에 어떻게 나눌 것인가

“더 크게”보다 “어떤 비율로 키울까”

사례 · Chinchilla

4배 작은 모델, 4배 많은 데이터

  • 동일한 학습 연산 예산에서 Gopher 280B와 Chinchilla 70B를 비교
Google DeepMind의 compute-optimal scaling 그래프
280BGopher
70BChinchilla
1.3T학습 토큰
  • 같은 학습 연산량
  • 보고된 대부분의 평가에서 더 큰 Gopher보다 우수
  • 추론 메모리·시간에도 작은 모델의 이점
Google DeepMind · 2022

스케일링 이후의 질문

성능 1점을 위해 무엇을 더 쓰는가

학습 비용

GPU·전력·데이터 준비·실험 반복

추론 비용

사용자 요청마다 생기는 연산·지연

메모리

모델 가중치·KV 캐시·동시 사용자

기회비용

더 작은 모델·검색·규칙으로 충분했는가

사업의 최적 모델은 가장 큰 모델이 아니라 목표 품질을 가장 안정적으로 내는 구조

Mixture of Experts

모든 매개변수를 매번 쓰지 않는 방식

ROUTER

토큰마다 일부 전문가 선택

E1언어
E2코딩
E3수학
E4지식
E5도구
E6장문

장점 · 전체 용량을 키우면서 토큰당 연산을 제한

과제 · 라우팅·부하 균형·통신·서빙 복잡성

한국 최신 사례 · 2026.08

K-EXAONE 2.0 · 용량과 활성 연산을 분리

750B전체 매개변수
≈37B토큰당 활성
MoE

기존 K-EXAONE을 확장한 전문가 혼합 구조

256K

지원 문맥 길이

10개 언어

여섯 언어에서 열 언어로 확대

Apache 2.0

공개 가중치 생태계

기술보고서가 밝힌 모델 사양 · 제출일 2026년 8월 5일

K-EXAONE 2.0 Technical Report

한국 사례 · EXAONE 4.0

하나의 모델에 추론 모드와 일반 모드

LG AI Research가 공개한 EXAONE 4.0 평가 결과표
LG AI RESEARCH · 2025

32B · 1.2B

  • 추론 모드와 비추론 모드를 선택하는 하이브리드 추론
  • 한국어·영어·스페인어 지원
  • 도구 호출과 긴 문맥 활용을 포함한 실제 사용 범위
  • 공개 도표는 개발사의 자체 평가 · 과제·설정·비교 대상을 함께 읽기

읽을 점 · 모델 크기만이 아니라 같은 모델 안의 작동 모드가 비용과 지연을 바꿈

EXAONE 4.0 공식 저장소

한국 사례 · HyperCLOVA X

텍스트·이미지·소리를 처음부터 함께

HyperCLOVA X SEED 8B Omni 공식 사례 이미지HyperCLOVA X SEED 32B Think 공식 평가 이미지
8B Omni

텍스트·이미지·오디오를 하나의 공유 의미 공간에서 학습하는 네이티브 옴니모달

32B Think

추론에 시각·음성·도구 사용을 결합한 에이전트 지향 모델

2025년 12월 29일 NAVER 발표 기준
NAVER 공식 보도자료

한국 모델을 읽는 틀

‘국산’ 한 단어보다 구조와 조건 확인

확인 항목왜 중요한가질문 예시
토크나이저한국어 처리량·비용·고유명사 안정성우리 문서 1천 건은 몇 토큰인가
문맥 길이한 번에 넣을 문서·대화 범위길어졌을 때 가운데 정보도 찾는가
활성 매개변수MoE의 실제 토큰당 연산전체 크기와 활성 크기는 얼마인가
후학습말투·도구 사용·안전 행동어떤 선호 데이터와 평가를 썼는가
배포 조건보안·비용·개조 가능성클라우드·로컬·라이선스 조건은 무엇인가

5부 · 후학습

다음 토큰 모델이 곧바로 ‘친절한 조교’는 아님

BASE MODEL

문장을 이어 쓰는 능력

질문을 받으면 답하기보다 비슷한 형식의 문장을 이어갈 수 있음

“아산의 관광 정책은” → 문서 같은 계속
ASSISTANT MODEL

지시를 따르는 행동

요청의 형식·안전·도움 됨을 반영하도록 추가 조정

“세 줄로 요약해줘” → 요청에 맞춘 답
『비전공자도 이해할 수 있는 챗GPT』 113–119쪽

1단계 · SFT

좋은 질문·답변 예시를 보고 따라 하기

사람이 만든 시범

질문 + 바람직한 답변

지도 데이터

형식·내용·거절 예시

미세조정

시범 답변의 토큰 확률을 높임

사용자

“아산 소상공인 지원제도를 공식 출처와 함께 알려줘.”

좋은 시범

“사업명·대상·신청 기간을 표로 정리하고, 각 항목에 공식 링크를 붙입니다.”

2단계 · 선호 데이터

여러 답변 가운데 더 나은 것을 고름

A

근거 없이 단정하고 출처가 없음

B

모르는 부분을 밝히고 공식 자료를 구분

C

장황하지만 질문의 핵심을 놓침

사람의 선호는 절대적 진리가 아니라 표본·지침·평가자의 영향을 받는 데이터

3단계 · RLHF

사람의 비교를 보상 신호로 바꿈

01

SFT 모델

시범 답변으로 출발

02

답변 비교

사람이 선호 순위를 매김

03

보상 모델

선호 점수를 예측

04

정책 최적화

높은 보상을 받는 답변을 늘림

강화학습 = 사람이 사라짐이 아님

비교 데이터·평가 기준·보상 모델에 사람의 판단이 들어감

『비전공자도 이해할 수 있는 챗GPT』 119–125쪽

사례 · InstructGPT

작아도 사용자의 의도에 더 잘 맞을 수 있음

175BGPT-3기본 대규모 모델
보다 선호
1.3BInstructGPT사람 피드백으로 미세조정
  • 해당 연구의 프롬프트 분포와 사람 평가에서 1.3B InstructGPT 출력이 175B GPT-3보다 선호
  • 크기보다 후학습이 실제 사용 경험에 큰 영향을 줄 수 있음을 보여 준 사례
  • 모든 과제에서 작은 모델이 더 우수하다는 일반 법칙은 아님
Ouyang 외 · 2022

DPO

보상 모델과 PPO를 거치지 않고 선호를 직접 학습

RLHF · PPO
선호 데이터
보상 모델
강화학습

강력하지만 복잡하고 불안정할 수 있음

DPO
선호 데이터
선호 답변의 확률을 직접 높임

단순한 분류 손실로 표준 RLHF 문제를 최적화

Rafailov 외 · DPO

사례 · DeepSeek-R1

추론 행동을 강화학습으로 밀어 올림

R1-Zero

대규모 RL

지도 예시 없이 검증 가능한 과제의 보상으로 추론 행동 탐색

성과와 함께 가독성 저하·언어 혼합 문제
R1

콜드 스타트 + 다단계 학습

초기 예시와 여러 학습 단계를 넣어 읽기 쉬움·일반 능력을 보완

2025 발표 · 2026 개정 기술보고서

후학습은 ‘말투 정리’만이 아니라 문제 푸는 행동 자체를 바꿈

DeepSeek-R1 기술보고서

후학습의 대가

더 도움 되는 답과 새로운 실패 유형

아첨

사용자의 틀린 전제를 맞다고 받아들임

보상 해킹

평가 점수를 높이는 지름길을 찾음

과잉 거절

안전 기준을 넓게 적용해 정상 요청도 막음

말투 획일화

그럴듯한 형식이 실제 내용보다 앞섬

평가자 편향

특정 문화·표현·관점을 좋은 답으로 학습

추론 비용

생각 토큰이 늘며 지연과 비용 증가

정렬은 한 번 끝나는 작업이 아니라 목표·평가·운영을 계속 맞추는 과정

6부 · 환각

그럴듯한 오류는 어디에서 시작되는가

1학습 데이터

드물거나 충돌하거나 오래된 정보

2예측 목표

진위보다 다음 토큰 가능성

3불확실성

모른다는 상태를 직접 표시하지 않음

4후학습

도움 되는 답을 하라는 압력

5평가 방식

보류보다 추측이 점수를 얻는 구조

환각은 ‘고장 난 검색’이 아니라 생성 모델의 목표와 운영 조건이 만나는 결과

OpenAI · 2025 연구

환각의 유형

틀림을 한 종류로 묶지 않기

FACT

사실 오류

존재하지 않는 날짜·인물·수치

SOURCE

출처 조작

없는 논문·법령·링크를 만들어 냄

CONTEXT

문맥 충돌

첨부 문서와 다른 내용을 단정

LOGIC

추론 비약

중간 단계가 성립하지 않는데 결론 도출

TIME

시점 오류

오래된 정보를 현재 사실처럼 제시

ACTION

행동 오류

실행하지 않은 예약·전송을 했다고 말함

판단 실험

정보가 없을 때 어떤 답이 더 나은가

질문

“대연산업정책연구소가 2027년에 수행한 AI 실증사업의 예산은?”

2025 연구 · 정답률의 함정

정답률이 비슷해도 오답률은 크게 다름

  • OpenAI가 SimpleQA 예시로 제시한 두 모델의 응답 분해 · 하나의 평가 사례로 해석
gpt-5-thinking-mini
정답 22오답 26보류 52
o4-mini
정답 24오답 75

정답률 · 맞힌 비율

오답률 · 틀린 답을 한 비율

보류율 · 구체 답을 내지 않은 비율

Why language models hallucinate

최신 해석 연구 · 2025

모델 안의 계산 경로를 추적하는 ‘현미경’

Anthropic의 회로 추적 연구 대표 이미지

회로 추적

  • 토큰 입력에서 출력까지 활성화된 특징을 연결
  • 언어·운율·계산·다단계 추론·환각 사례를 분석
  • 단순한 어텐션 가중치보다 내부 계산의 일부를 더 깊게 추적

한계 · 짧은 프롬프트에서도 전체 계산의 일부만 포착하며 해석에 사람의 시간이 많이 필요

Anthropic · Tracing the thoughts

Anthropic 연구에서 본 세 장면

다음 토큰 예측만으로 설명하기 어려운 내부 행동

여러 언어가 공유하는 개념 회로 시각화

언어를 넘는 개념

영어·프랑스어·중국어에서 일부 공통 개념 특징 관찰

운율을 미리 계획하는 회로 시각화

미리 계획하는 운율

시의 끝말 후보를 먼저 세우고 그쪽으로 문장을 전개

알려진 이름과 모르는 이름에 대한 환각 회로 시각화

‘알고 있다’ 회로의 오작동

이름을 안다는 신호가 ‘모른다’는 기본 반응을 잘못 억제

Claude 3.5 Haiku의 제한된 과제에서 관찰한 연구 결과 · 모든 LLM에 그대로 일반화하지 않음

운영 사례 · Air Canada

챗봇의 잘못된 안내도 회사의 안내

Air Canada Boeing 787-9 항공기
2024 BCCRT 149

유족 운임 환불 안내 오류

  • 고객이 챗봇의 안내에 따라 일반 운임을 구매
  • 실제 정책과 다른 사후 환불 조건을 안내
  • Air Canada는 챗봇을 별도 행위자처럼 볼 수 없다는 판단
  • 핵심 · 배포한 조직이 웹사이트의 정보에 책임

주의 · 이 사건의 챗봇을 최신 생성형 LLM과 동일하다고 단정하지 않음

CanLII · 판결 요약사진 · Wikimedia Commons

운영 사례 · Deloitte Australia

AI를 썼다는 사실과 오류의 원인은 구분

호주 Parramatta의 Deloitte 입주 건물
2025 · 호주 재무부 공개 서신

보고서의 정보·각주 정확성 우려

  • 정부 보고서의 정보 진위와 각주 참고문헌에 대한 우려가 제기
  • 프로젝트 과정에서 생성형 AI 도구 체인 사용을 사전에 논의·승인
  • 공개 서신은 정확성 우려와 AI 사용 절차를 함께 확인
  • 핵심 · AI 사용 자체보다 검증·기록·책임선이 운영 품질을 결정

확인 원칙 · 공개 자료만으로 특정 오류가 AI 때문에 생겼다고 단정하지 않음

호주 재무부 FOI 공개 문서사진 · Wikimedia Commons

보호 장치

환각을 ‘모델 하나’에 맡기지 않기

06사람의 승인

고위험 판단·외부 발송·결제 전 확인

05행동 제한

조회와 변경 권한을 분리

04근거 표시

원문 링크·인용 위치·시점 제시

03도구 연결

계산기·DB·공식 API로 사실 조회

02검색 보강

업무 문서에서 관련 근거를 찾아 입력

01보류 설계

근거가 없으면 모른다고 말하고 추가 정보 요청

중요한 것은 환각을 0으로 약속하는 것이 아니라 오류가 행동으로 번지는 길을 끊는 것

원리에서 사업 판단으로

기술 용어를 의사결정 질문으로 바꾸기

원리사업에 미치는 영향검증 질문
토큰화한국어 비용·지연·문맥 용량우리 실제 문서로 토큰 수를 재봤는가
임베딩의미 검색·분류·추천유사도 임계값에서 누락과 오탐은 얼마인가
어텐션문맥 결합·긴 입력 처리중요 정보의 위치가 달라도 답이 유지되는가
스케일링품질·비용·하드웨어더 큰 모델이 실제 업무 지표를 얼마나 개선하는가
후학습지시 이행·말투·안전우리 기준의 선호 데이터와 평가표가 있는가
환각책임·신뢰·손실오류가 외부 행동으로 번지기 전에 어디서 멈추는가

상황 실습

업무에 맞는 보호 구조 고르기

다음 주에는 같은 업무를 좋은 프롬프트로 구체화

핵심 점검

여섯 문장, 그렇다 / 아니다

토큰은 언제나 한 단어와 같다.

임베딩에서 가까운 문장은 사실도 같다고 볼 수 있다.

GPT 계열의 생성은 앞에서 만든 토큰을 보며 순차적으로 진행한다.

같은 연산 예산이라면 모델만 크게 만드는 것이 최선이다.

RLHF를 거치면 환각이 완전히 사라진다.

중요한 업무는 정답률뿐 아니라 오답률과 보류율도 함께 봐야 한다.

WEEK 02 · 정리

언어는 토큰으로
문맥은 관계로
답변은 확률로 생성

01

토큰·임베딩이 언어를 숫자로 바꿈

02

어텐션·다층 변환이 문맥을 갱신

03

규모와 후학습이 능력·행동을 바꿈

04

환각은 평가·운영 구조로 줄여야 함

다음 주

좋은 질문은 모델의 계산을 어떻게 돕는가

WEEK 03

프롬프트 엔지니어링

  • 역할·목표·맥락·형식·제약을 분명하게 쓰기
  • 막연한 요청을 확인 가능한 작업으로 바꾸기
  • AI 초안을 검증하고 고치는 대화 흐름 만들기
전체 수업 흐름 보기