서포트 벡터 머신

두 팀 사이에 가장 넓은 도로를 깔아라

축구장에 빨간 팀과 파란 팀 선수들이 흩어져 있습니다. 심판이 "두 팀 사이에 선을 그어라"라고 합니다. 선을 긋는 방법은 무한히 많습니다. 하지만 가장 좋은 선은 무엇일까요?

SVM(Support Vector Machine)의 답은 명쾌합니다. "양쪽 팀에서 가장 가까운 선수들까지의 거리가 최대가 되는 선"을 긋는 것입니다. 이 거리를 마진(margin)이라 하고, 경계선에 가장 가까운 핵심 선수들을 서포트 벡터(support vector)라 부릅니다.

마진을 넓게 가져갈수록, 새로운 데이터가 들어와도 정확하게 분류할 가능성이 높아집니다. 이것이 SVM의 핵심 아이디어이며, 이 장에서 단계별로 체험합니다.

마진과 결정 경계

분류 문제에서 결정 경계(decision boundary)는 두 클래스를 나누는 선(2D), 면(3D), 또는 초평면(고차원)입니다. 로지스틱 회귀도 경계선을 만들지만, SVM은 한 가지를 더 요구합니다. 경계선 양쪽에 여유 공간(마진)을 최대한 넓히라는 것입니다.

실습 1: 마진 시각화기

아래 캔버스에 두 클래스의 데이터 점이 표시됩니다. 결정 경계(실선)와 마진 경계(점선)가 자동으로 계산됩니다. 점을 드래그하면 경계가 실시간으로 바뀝니다. 서포트 벡터는 큰 원으로 강조됩니다.

소프트 마진: 완벽함을 포기하는 지혜

현실 데이터는 완벽하게 분리되지 않습니다. 한두 개의 점이 상대편 영역에 섞여 있을 수 있습니다. 이때 하드 마진(hard margin)을 고집하면 모델을 만들 수 없습니다.

소프트 마진(soft margin)은 일부 오분류를 허용합니다. 얼마나 허용할지를 제어하는 것이 C 파라미터입니다.

실습 2: C 파라미터 조절기

C 슬라이더를 움직여 마진 폭과 오분류 수가 어떻게 변하는지 관찰하세요. 같은 데이터에서 C 값에 따라 결과가 극적으로 달라집니다.

커널 트릭: 차원을 올려 직선으로 자르기

지금까지는 데이터가 직선(또는 초평면)으로 분리 가능한 경우를 봤습니다. 하지만 아래처럼 한 클래스가 다른 클래스를 둥글게 감싸고 있으면 어떨까요? 직선으로는 절대 나눌 수 없습니다.

SVM의 놀라운 해결책은 데이터를 더 높은 차원으로 올리는 것입니다. 2D에서 분리 불가능하던 데이터가 3D로 올라가면 평면 하나로 깔끔하게 나뉩니다. 이것을 다시 2D로 투영하면 곡선 경계가 됩니다.

실습 3: 커널 트릭 시각화

원형으로 분포된 데이터(내부 빨강, 외부 파랑)가 있습니다. 직선으로는 분류 불가능합니다. "RBF 커널 적용" 버튼을 누르면 3D로 변환되는 과정을 관찰하세요.

실습 4: SVM vs 로지스틱 회귀 비교

같은 데이터에 SVM과 로지스틱 회귀를 적용합니다. 대부분의 경우 두 모델의 경계는 비슷하지만, SVM은 마진을 최대화하는 반면 로지스틱 회귀는 확률을 최대화합니다.

SVM의 장단점과 실무 팁