자연어처리와 순환신경망

기계에게 텍스트는 어떻게 보이는가

스팸 필터, 번역기, 챗봇 -- 모두 기계가 글을 '이해'해야 합니다. 하지만 컴퓨터는 숫자만 처리할 수 있습니다. "오늘 날씨가 좋다"라는 문장을 컴퓨터에게 전달하려면 먼저 텍스트를 숫자로 변환해야 합니다.

이 과정은 세 단계로 이루어집니다. 텍스트 -> 토큰 -> 숫자(인코딩) -> 벡터(임베딩). 그리고 언어에는 순서가 중요합니다. "개가 사람을 물었다"와 "사람이 개를 물었다"는 단어가 같지만 의미가 전혀 다릅니다.

이 장에서는 텍스트 전처리부터 단어 벡터, 감성 분류, 그리고 순서를 기억하는 RNN까지 자연어처리의 핵심 기법을 실습합니다.

토큰화: 텍스트를 조각으로 나누다

텍스트를 처리하는 첫 단계는 토큰화(tokenization)입니다. 문장을 의미 있는 단위(토큰)로 쪼개는 작업입니다. 한국어는 영어와 달리 공백만으로 단어를 구분하기 어려워, 형태소 분석이나 서브워드 분할이 자주 사용됩니다.

실습 1: 한국어 토크나이저

한국어 문장을 입력하면 세 가지 토큰화 방식의 결과를 비교합니다. 토큰 수가 어떻게 달라지는지 관찰하세요.

Bag of Words와 TF-IDF

토큰화된 텍스트를 벡터(숫자 목록)로 바꾸는 고전적 방법 두 가지를 배웁니다.

실습 2: BoW vs TF-IDF 비교

두 문장을 입력하면 BoW 행렬과 TF-IDF 행렬을 나란히 비교합니다. 공통 단어(조사 등)가 TF-IDF에서 어떻게 억제되는지 관찰하세요.

단어 임베딩: 의미를 벡터에 담다

BoW와 TF-IDF는 단어 간의 의미적 관계를 포착하지 못합니다. "왕"과 "여왕"이 관련 있다는 것을 모릅니다. 단어 임베딩(Word Embedding)은 각 단어를 저차원 벡터로 표현하되, 의미가 비슷한 단어는 벡터 공간에서 가까이 위치하도록 학습합니다.

실습 3: 단어 임베딩 탐색기

50개 한국어 단어가 2D 공간에 배치되어 있습니다. 의미가 비슷한 단어끼리 클러스터를 이루는 것을 관찰하세요. 벡터 산술도 시도할 수 있습니다.

실습 4: 한국어 감성 분류기

한국어 문장을 입력하면 긍정/부정을 분류합니다. 키워드 기반 모델이 어떤 단어에 반응하는지 하이라이트로 확인하세요. 실제 딥러닝 모델은 문맥까지 고려하지만, 여기서는 단어 감성 사전 기반의 간단한 모델을 사용합니다.

RNN: 순서를 기억하는 신경망

일반 신경망은 각 입력을 독립적으로 처리합니다. 하지만 언어와 시계열 데이터는 순서가 핵심입니다. 순환신경망(RNN)은 이전 단계의 정보를 "숨겨진 상태(hidden state)"에 저장하고, 다음 단계에 전달합니다.

실습 5: RNN 시퀀스 처리 시각화

숫자 시퀀스(예: 온도 변화)를 RNN이 한 단계씩 처리하는 과정을 관찰합니다. 각 시점에서 숨겨진 상태가 어떻게 변하는지, 그리고 다음 값을 어떻게 예측하는지 확인하세요.