기술사 학습노트 | imt-log

기술사 학습노트 › AI / 빅데이터 › 서포트 벡터 머신

AI / Big Data · 정보관리기술사 / 컴퓨터시스템응용기술사

서포트 벡터 머신(SVM, Support Vector Machine)

마진 최대화 원리를 기반으로 최적 초평면을 찾고, 커널 트릭을 통해 비선형 분류까지 확장하는 지도학습 알고리즘을 정리한다.

정보관리기술사 컴퓨터시스템응용기술사 SVM SupportVector MarginMaximization KernelTrick SoftMargin RBFKernel SVR MachineLearning

Ⅰ.개요 및 등장배경

가. 개념

서포트 벡터 머신은 지도학습 기반의 분류·회귀 알고리즘으로, 서로 다른 클래스의 데이터를 분리하는 여러 결정경계 중에서 두 클래스와의 거리가 가장 큰 최적 초평면을 찾는 방법이다. 여기서 초평면은 w·x + b = 0으로 표현되며, 초평면과 가장 가까운 학습 샘플을 서포트 벡터라고 한다. SVM의 분류 경계는 전체 데이터가 아니라 경계에 가까운 일부 서포트 벡터에 의해 결정된다.

SVM의 핵심은 마진 최대화이다. 마진은 결정경계와 가장 가까운 데이터 사이의 거리이며, 마진을 크게 하면 학습 데이터에 과도하게 맞춘 복잡한 경계보다 일반화 성능이 좋은 경계를 얻을 가능성이 높다. 이 관점은 구조적 위험 최소화(SRM, Structural Risk Minimization)와 연결되며, 경험적 오류만 줄이는 것이 아니라 모델 복잡도까지 제어하려는 목적을 가진다.

나. 특징

• 마진을 최대화하는 결정경계를 찾아 일반화 성능을 높인다.
• 서포트 벡터만 결정경계 형성에 직접 영향을 주므로 경계 해석이 비교적 명확하다.
• 하드 마진은 선형 분리 가능한 데이터에, 소프트 마진은 잡음과 오분류가 존재하는 현실 데이터에 사용된다.
• 커널 트릭을 통해 명시적 고차원 변환 없이 비선형 분류 문제를 해결할 수 있다.
• 고차원·소규모 데이터, 텍스트 분류, 바이오 데이터, 이상탐지에서 강점을 가진다.

SVM의 본질은 “서포트 벡터가 결정하는 최대 마진 초평면을 찾는 알고리즘”이다.
답안에서는 초평면, 마진, 서포트 벡터, 소프트 마진, 커널 트릭, C·γ 파라미터를 반드시 연결해야 한다.

Ⅱ.구성도 및 구성요소

가. 구성도

나. 구성요소

구분	요소	설명
경계	초평면(Hyperplane)	데이터를 분리하는 결정경계로, n차원 공간에서 n-1차원의 평면으로 표현된다.
핵심점	서포트 벡터	결정경계에 가장 가까운 학습 샘플로, 마진과 초평면 위치를 결정한다.
목표	마진 최대화	두 클래스와 결정경계 사이의 거리를 최대화하여 일반화 성능을 높인다.
분리	Hard Margin	오분류를 허용하지 않는 방식으로 선형 분리 가능한 데이터에 적합하다.
분리	Soft Margin	슬랙 변수를 도입해 일부 오분류를 허용하고 현실 데이터의 잡음에 대응한다.
확장	Kernel Trick	고차원 변환을 명시적으로 계산하지 않고 커널 함수로 내적을 대체한다.
제어	C, γ 파라미터	C는 오분류 페널티, γ는 RBF 커널에서 샘플 영향 범위를 조절한다.
응용	SVC / SVR / One-Class SVM	분류, 회귀, 이상탐지 문제에 각각 적용된다.

구성요소는 “초평면-서포트 벡터-마진-Hard/Soft Margin-Kernel-C/γ-SVC/SVR” 순서로 정리하면 좋다.
SVM 구성도는 반드시 초평면과 마진, 서포트 벡터가 보여야 답안 차별성이 생긴다.

Ⅲ.동작방식 및 아키텍처

가. 최적화 원리

이진 분류에서 학습 데이터는 (x_i, y_i), y_i ∈ {-1, +1}로 표현된다. SVM은 w·x + b = 0이라는 결정경계를 찾고, 모든 데이터가 올바르게 분류되도록 y_i(w·x_i + b) ≥ 1 조건을 만족시키면서 마진을 최대화한다. 마진은 2/||w||이므로, 마진 최대화는 1/2||w||²을 최소화하는 이차 최적화 문제로 변환된다.

하드 마진 SVM은 모든 데이터를 완벽하게 분리해야 하므로 잡음이 있거나 선형 분리가 불가능한 현실 데이터에는 적합하지 않을 수 있다. 이를 해결하기 위해 소프트 마진 SVM은 슬랙 변수 ξ_i를 도입하여 일부 마진 위반과 오분류를 허용한다. 목적함수는 min 1/2||w||² + CΣξ_i가 되며, C가 클수록 오분류를 강하게 벌하고, C가 작을수록 넓은 마진을 선호한다.

나. 커널 트릭 동작방식

비선형 데이터는 원래 입력공간에서 선형 분리가 어렵다. 그러나 데이터를 고차원 특징공간으로 변환하면 선형 분리가 가능해질 수 있다. 문제는 고차원 변환 φ(x)를 직접 계산하면 비용이 커진다는 점이다. SVM의 쌍대 문제에서는 데이터가 내적 형태로만 등장하므로, φ(x_i)·φ(x_j)를 직접 계산하지 않고 커널 함수 K(x_i,x_j)로 대체할 수 있다. 이것이 커널 트릭이다.

대표 커널에는 선형 커널, 다항 커널, RBF 커널, 시그모이드 커널이 있다. 선형 커널은 텍스트처럼 고차원 희소 데이터에 적합하고, RBF 커널은 비선형 경계를 유연하게 만들 수 있어 범용적으로 많이 사용된다. 다만 RBF 커널은 γ 값에 민감하다. γ가 크면 각 샘플의 영향 범위가 좁아져 복잡한 경계가 만들어지고 과적합 위험이 커진다. γ가 작으면 영향 범위가 넓어져 부드러운 경계가 형성되지만 과소적합이 발생할 수 있다.

다. 주요 파라미터 및 커널 비교

구분	역할	값이 작을 때	값이 클 때
C	오분류 페널티와 마진 폭의 균형	오분류 허용, 넓은 마진, 규제 강함	오분류 억제, 좁은 마진, 과적합 위험
γ	RBF 커널에서 단일 샘플의 영향 범위	넓은 영향 범위, 부드러운 경계	좁은 영향 범위, 복잡한 경계
Degree	다항 커널의 차수	단순한 다항 경계	복잡한 다항 경계, 과적합 위험
ε	SVR에서 오차 무시 구간	민감한 회귀, 서포트 벡터 증가	완만한 회귀, 작은 오차 무시

커널	수식 개념	장점	적합 상황
Linear	K(x,z)=x·z	빠르고 해석이 쉬움	텍스트, 고차원 희소 데이터
Polynomial	(γx·z+r)^d	특성 간 상호작용 반영	다항 관계가 있는 데이터
RBF	exp(-γ||x-z||²)	비선형 문제에 범용적	일반적 비선형 분류
Sigmoid	tanh(γx·z+r)	신경망 활성화와 유사	특정 조건에서 제한적 사용

SVM 동작방식은 “최대 마진 최적화 → 소프트 마진으로 현실 잡음 대응 → 쌍대문제에서 커널 트릭 적용” 흐름으로 쓰면 된다.
C는 오분류 페널티, γ는 RBF 영향 범위라는 점을 정확히 구분해야 한다.

Ⅳ.실무적용 및 사례

가. 적용 분야

SVM은 딥러닝이 대규모 데이터에서 주류가 되기 전까지 이미지 인식, 텍스트 분류, 생물정보학, 패턴 인식에서 강력한 성능을 보인 대표 알고리즘이다. 특히 데이터 수가 많지 않지만 특징 차원이 높은 문제에서 강점을 가진다. 예를 들어 텍스트 분류는 단어 기반 TF-IDF 벡터가 매우 고차원이고 희소한 구조를 가지므로 선형 SVM이 좋은 성능을 내는 경우가 많다.

이미지 분야에서는 HOG 특징과 SVM을 결합하여 보행자 검출에 활용된 사례가 대표적이다. 바이오인포마틱스에서는 유전자 발현 데이터처럼 샘플 수는 적고 변수 수가 매우 많은 문제에서 SVM이 자주 사용된다. 보안 분야에서는 One-Class SVM을 사용하여 정상 데이터의 경계를 학습하고, 경계 밖의 샘플을 이상으로 탐지할 수 있다.

나. SVM 변형 및 활용

유형	개념	활용 사례
SVC	분류 문제를 위한 기본 SVM	문서 분류, 이미지 분류, 질병 분류
SVR	ε-tube 안의 오차를 무시하는 회귀 SVM	수요 예측, 가격 예측, 시계열 회귀
One-Class SVM	정상 데이터 경계를 학습해 이상치를 탐지	침입탐지, 제조 품질 이상탐지, 금융 이상거래
Linear SVM	선형 커널 기반 대규모 희소 데이터 처리	스팸 분류, 감성 분석, 뉴스 분류
Kernel SVM	비선형 커널을 이용한 복잡한 경계 학습	소규모 비선형 패턴 분류

다. 실무 적용 시 고려사항

• 스케일링: SVM은 거리와 내적 기반 알고리즘이므로 표준화 또는 정규화가 중요하다.
• 커널 선택: 고차원 희소 데이터는 Linear, 일반 비선형 문제는 RBF를 우선 검토한다.
• 파라미터 튜닝: C와 γ는 Grid Search, Random Search, Cross Validation으로 조정한다.
• 대규모 데이터: 커널 SVM은 학습 비용이 커질 수 있으므로 Linear SVM이나 근사기법을 고려한다.
• 클래스 불균형: class_weight, 샘플링, 평가 지표(F1, AUC)를 함께 고려해야 한다.
• 확률 출력: SVM은 기본적으로 거리 기반 점수를 제공하므로 확률 해석이 필요할 때 보정이 필요하다.

실무형 답안으로 보이려면 SVM의 장점만 쓰지 말고 “스케일링, 커널 선택, C·γ 튜닝, 대규모 데이터 한계”까지 써야 한다.
특히 텍스트 분류와 One-Class SVM 사례는 기술사 답안에서 활용도가 높다.

Ⅴ.비교분석 및 발전전망

가. SVM과 딥러닝 비교

구분	SVM	딥러닝
학습 원리	마진 최대화와 구조적 위험 최소화	다층 신경망 기반 표현학습
데이터 규모	소규모·중규모 데이터에 적합	대규모 데이터에서 강점
특징 처리	피처 엔지니어링과 커널 선택 중요	특징을 모델이 자동 학습
해석성	서포트 벡터와 마진 개념으로 일부 해석 가능	대체로 블랙박스 성격 강함
계산 비용	커널 SVM은 대규모 데이터에서 비용 증가	GPU 기반 대규모 학습 가능
적합 사례	텍스트, 바이오, 이상탐지, 고차원 희소 데이터	이미지, 음성, 자연어, 생성형 AI

나. 장점과 한계

• 장점: 이론적 기반이 명확하고, 고차원 데이터에서 효과적이며, 소규모 데이터에서도 안정적 성능을 낼 수 있다.
• 장점: 커널 트릭을 통해 비선형 문제를 비교적 우아하게 해결할 수 있다.
• 한계: 대규모 데이터에서 커널 행렬 계산 비용이 크고 학습시간이 증가한다.
• 한계: 커널, C, γ 선택에 따라 성능이 크게 달라지며 튜닝이 필요하다.
• 한계: 딥러닝처럼 원시 데이터에서 특징을 자동으로 학습하는 능력은 제한적이다.

다. 발전전망

딥러닝이 대규모 비정형 데이터 분석에서 주도적 위치를 차지하고 있지만, SVM은 여전히 소규모·고차원·희소 데이터 문제에서 의미가 있다. 특히 텍스트 분류, 유전체 분석, 제조 이상탐지, 보안 이벤트 분류처럼 해석 가능한 경계와 안정적 성능이 필요한 영역에서는 활용 가치가 있다.

향후 SVM은 단독 모델로만 쓰이기보다 특징 추출기와 결합되는 형태로 활용될 수 있다. 예를 들어 딥러닝 모델로 임베딩을 추출하고 SVM으로 최종 분류를 수행하거나, One-Class SVM을 이용해 딥러닝 기반 시스템의 이상 입력을 탐지하는 방식이 가능하다. 또한 대규모 데이터 처리를 위한 선형 SVM, 온라인 SVM, 커널 근사 기법도 지속적으로 활용된다.

라. 시험 답안 정리 포인트

• SVM은 마진을 최대화하는 최적 초평면을 찾는 지도학습 알고리즘이다.
• 서포트 벡터는 결정경계에 가장 가까운 데이터로 마진과 초평면을 결정한다.
• 하드 마진은 완전 분리 데이터, 소프트 마진은 잡음이 있는 현실 데이터에 적합하다.
• C는 오분류 페널티, γ는 RBF 커널 영향 범위를 조절한다.
• 커널 트릭은 고차원 변환을 직접 계산하지 않고 내적을 커널 함수로 대체하는 기법이다.
• SVR은 회귀, One-Class SVM은 이상탐지에 활용된다.

최종 정리: SVM은 서포트 벡터에 의해 결정되는 최대 마진 초평면을 학습하고, 커널 트릭으로 비선형 분류까지 확장하는 지도학습 알고리즘이다.
답안은 “초평면 → 마진 최대화 → 서포트 벡터 → 소프트 마진(C) → 커널 트릭(γ) → 활용·비교” 흐름으로 쓰면 고득점형이 된다.

블로그: 기술사 학습노트 · imt-log.tistory.com

← [AI / 빅데이터] 목록