기술사 학습노트 | imt-log

기술사 학습노트›인공지능·빅데이터›군집 분석

Artificial Intelligence · 정보관리기술사 / 컴퓨터시스템응용기술사

군집 분석

레이블이 없는 데이터에서 유사도·거리·밀도·확률분포를 기반으로 잠재 그룹을 발견하고, 평가·해석·운영 활용까지 수행하는 대표적 비지도학습 분석 기법

정보관리기술사컴퓨터시스템응용기술사군집분석비지도학습KMeansDBSCANGMM계층적군집실루엣계수엘보우기법

Ⅰ.개요 및 등장배경

가. 정의

군집 분석은 정답 레이블이 없는 데이터 집합에서 개체 간 유사도, 거리, 밀도, 확률분포를 기준으로 서로 비슷한 데이터를 같은 그룹으로 묶고, 서로 다른 데이터는 다른 그룹으로 분리하는 비지도학습 기법이다. 목적은 같은 군집 내부의 응집도를 높이고 군집 간 분리도를 높여 데이터에 숨어 있는 잠재 구조를 발견하는 것이다. 기술사 답안에서는 군집 분석을 단순히 “비슷한 데이터끼리 묶는 기법”으로 끝내지 말고, 데이터 전처리, 특징 표현, 거리 척도, 알고리즘 선택, 군집 품질 평가, 도메인 해석, 운영 적용까지 연결된 분석 프로세스로 설명해야 한다.

나. 등장배경

• 정답 데이터 확보의 어려움: 실제 업무 데이터는 분류 라벨이 없거나 라벨링 비용이 높아 비지도 방식의 구조 탐색이 필요하다.
• 대규모 고객·콘텐츠 데이터 증가: 고객 행동, 구매 이력, 로그, 문서, 이미지 임베딩처럼 대량 데이터의 자연스러운 그룹을 찾아야 한다.
• 개인화·추천·타깃팅 요구 확대: 유사 고객군, 유사 콘텐츠군, 유사 이상 패턴을 발견하여 마케팅, 운영, 보안 대응에 활용한다.
• 고차원 표현학습 발전: 문장 임베딩, 이미지 임베딩, 그래프 임베딩과 결합하면서 의미 기반 군집화 활용이 증가하였다.

다. 답안 작성 관점

군집 분석은 정답이 없기 때문에 “무엇이 좋은 군집인가”를 명확히 설명하는 것이 중요하다. 좋은 군집은 내부 데이터가 서로 유사하고, 다른 군집과는 명확히 구분되며, 실무적으로 해석 가능한 이름과 행동 전략을 부여할 수 있어야 한다. 따라서 알고리즘 설명만으로는 부족하고, 정규화·차원축소·거리척도·군집 수 결정·품질지표·군집 프로파일링까지 포함해야 답안의 완성도가 높아진다.

군집 분석은 레이블이 없는 데이터에서 잠재 구조를 발견하는 비지도학습의 대표 기법이다.
고득점 답안은 알고리즘 나열보다 전처리, 유사도 기준, 평가, 해석, 실무 적용까지 연결해야 한다.

Ⅱ.구성도 및 구성요소

가. 구성도

원시 데이터고객·문서·로그·이미지 등 레이블 없는 데이터

→

전처리결측 처리, 이상치 점검, 정규화, 표준화

→

특징 표현수치 벡터, TF-IDF, 임베딩, 차원축소

유사도 산정유클리드, 맨해튼, 코사인, 밀도, 확률

→

군집 알고리즘K-Means, 계층적, DBSCAN, GMM

→

군집 품질평가실루엣, 엘보우, DBI, CH Index

프로파일링군집별 대표 변수, 중심 샘플, 분포 분석

→

도메인 검증업무 의미, 실행 가능성, 안정성 검토

→

활용·운영세분화, 추천, 이상탐지, 재학습 관리

나. 구성요소

구분	요소	설명
입력	비라벨 데이터	정답 클래스가 없는 관측치 집합으로 고객 속성, 구매 로그, 문서 벡터, 센서 데이터, 이미지 임베딩 등이 대상이다.
전처리	정규화·표준화	거리 기반 알고리즘에서 변수 단위가 다르면 큰 스케일의 변수가 군집 결과를 지배하므로 필수적으로 검토한다.
특징 표현	Feature Vector	데이터를 거리 또는 유사도 계산이 가능한 수치 벡터로 표현하며, 문서의 경우 TF-IDF나 임베딩을 사용할 수 있다.
차원 관리	PCA·t-SNE·UMAP	고차원 데이터의 잡음과 희소성을 줄이고 시각화와 해석을 지원한다. 단, 시각화용 차원축소 결과와 학습용 특징은 구분해야 한다.
유사도 기준	거리·코사인·밀도	수치형 데이터는 유클리드 거리, 텍스트 임베딩은 코사인 유사도, 비구형 군집은 밀도 기반 기준이 적합할 수 있다.
알고리즘	K-Means·DBSCAN·GMM	중심 기반, 계층 기반, 밀도 기반, 확률 기반으로 구분되며 데이터 분포 가정과 이상치 민감도가 다르다.
하이퍼파라미터	K·ε·MinPts·공분산	군집 수, 반경, 최소 이웃 수, 분포 형태 등 군집 결과를 결정하는 핵심 설정값이다.
평가 지표	Silhouette·DBI·CH Index	정답 라벨이 없을 때 내부 응집도와 외부 분리도를 정량적으로 비교하는 기준이다.
해석	군집 프로파일링	군집별 평균, 분산, 대표 샘플, 주요 행동 패턴을 분석하여 업무적으로 의미 있는 이름을 부여한다.
운영	모니터링·재학습	신규 데이터 유입 후 군집 분포 변화, 군집 붕괴, 신규 패턴 출현을 감시하여 재학습 기준을 설정한다.

군집 분석 구성요소는 데이터 표현, 유사도 기준, 알고리즘, 평가, 해석, 운영으로 구분된다.
특히 거리 기반 기법은 정규화와 특징 선택이 결과 품질을 좌우하므로 구성요소 표에 반드시 포함하는 것이 좋다.

Ⅲ.동작방식 및 아키텍처

가. 전체 동작방식

군집 분석은 먼저 원시 데이터를 수치 벡터로 변환하고, 거리 또는 유사도 기준을 정의한 뒤, 선택된 알고리즘에 따라 군집을 형성한다. 이후 내부평가지표로 군집 품질을 측정하고, 군집별 특성을 해석하여 도메인 관점에서 의미 있는 그룹인지 검증한다. 정답 라벨이 없으므로 모델의 성패는 단순 점수 하나가 아니라 응집도, 분리도, 안정성, 해석 가능성, 업무 실행 가능성의 조합으로 판단한다.

나. 주요 알고리즘별 동작

알고리즘	동작 원리	장점	유의점
K-Means	K개의 중심점을 초기화한 후 각 데이터를 가장 가까운 중심에 할당하고, 군집 평균으로 중심을 갱신하는 과정을 반복한다.	계산이 빠르고 대용량 데이터에 적용하기 쉽다.	K를 사전에 정해야 하며 구형 군집에 적합하고 이상치에 취약하다.
계층적 군집	개별 데이터를 시작점으로 하여 유사한 군집을 점진적으로 병합하거나, 전체를 나누며 덴드로그램을 생성한다.	군집 수를 사전에 고정하지 않고 계층 구조를 해석할 수 있다.	대용량 데이터에서는 계산량이 크고, 연결 기준에 따라 결과가 달라질 수 있다.
DBSCAN	반경 ε 내 최소 이웃 수 MinPts를 기준으로 핵심점, 경계점, 잡음점을 판정하고 밀도 연결 영역을 군집으로 확장한다.	비구형 군집과 이상치 탐지에 강하다.	밀도 차이가 큰 데이터에서는 파라미터 설정이 어렵다.
GMM	데이터가 여러 개의 가우시안 분포 혼합으로 생성되었다고 가정하고 EM 알고리즘으로 각 분포의 평균, 공분산, 혼합비를 추정한다.	소속 확률을 제공하여 소프트 클러스터링이 가능하다.	분포 가정이 맞지 않거나 초기값이 좋지 않으면 성능이 저하될 수 있다.
Spectral Clustering	데이터 간 유사도 그래프를 만들고 그래프 라플라시안의 고유벡터 공간에서 군집을 수행한다.	복잡한 비선형 구조를 가진 데이터에 효과적일 수 있다.	유사도 그래프 구성과 계산 비용을 고려해야 한다.

다. 군집 수 결정 및 평가

K-Means나 GMM처럼 군집 수를 입력해야 하는 알고리즘은 적절한 K 선택이 매우 중요하다. 엘보우 기법은 K 증가에 따른 군집 내 제곱합 감소량을 보고 개선 폭이 급격히 줄어드는 지점을 선택한다. 실루엣 계수는 각 데이터가 자기 군집에 얼마나 잘 속하고 다른 군집과 얼마나 분리되는지를 -1부터 1 사이 값으로 측정한다. Davies-Bouldin Index는 군집 내 산포와 군집 간 거리를 기반으로 낮을수록 좋은 군집을 의미하며, Calinski-Harabasz Index는 군집 간 분산과 군집 내 분산의 비율을 이용해 높을수록 좋은 군집을 의미한다.

평가 지표	의미	해석 기준
WCSS	군집 내 데이터와 중심점 간 거리 제곱합	작을수록 응집도가 높지만 K가 커지면 자연히 감소하므로 단독 사용은 위험하다.
Silhouette Coefficient	자기 군집 응집도와 가장 가까운 다른 군집과의 분리도를 함께 평가	1에 가까울수록 군집이 잘 분리되며, 0 근처는 경계, 음수는 잘못 할당 가능성을 의미한다.
Davies-Bouldin Index	군집 내 산포 대비 군집 간 거리의 평균적 비율	값이 낮을수록 군집 간 분리가 양호하다.
Calinski-Harabasz Index	군집 간 분산과 군집 내 분산의 비율	값이 높을수록 군집 구조가 뚜렷하다.
Stability	표본 재추출 또는 초기값 변경 시 군집 결과가 얼마나 유지되는지 평가	업무 적용에서는 안정성이 낮은 군집은 전략 수립에 사용하기 어렵다.

라. 아키텍처 설계 유의점

• 거리 기반 알고리즘은 변수 스케일에 민감하므로 표준화, 정규화, 로그 변환을 검토한다.
• 고차원 데이터에서는 거리 집중 현상이 발생할 수 있으므로 차원축소와 특징 선택을 병행한다.
• 문서·이미지·사용자 행동 데이터는 임베딩 품질이 군집 품질을 크게 좌우한다.
• 군집 결과는 정답이 없으므로 내부지표와 도메인 검증을 동시에 사용한다.
• 군집 이름은 알고리즘이 자동 생성하지 않으며, 프로파일링을 통해 사람이 의미를 부여해야 한다.

군집 분석은 알고리즘보다 데이터 표현과 거리 기준의 영향이 매우 크다.
답안에서는 K-Means, 계층적, DBSCAN, GMM의 동작 원리와 평가 지표를 함께 제시해야 완성도가 높다.

Ⅳ.실무적용 및 사례

가. 적용 분야

분야	적용 방식	기대 효과
고객 세분화	구매금액, 방문주기, 선호상품, 이탈 가능성 등을 기준으로 고객군을 분류한다.	타깃 마케팅, 쿠폰 전략, VIP 관리, 이탈 방지 전략 수립에 활용한다.
문서 군집화	TF-IDF, Word2Vec, Sentence-BERT 등으로 문서를 벡터화한 후 유사 주제 문서를 묶는다.	문서 분류 체계 설계, 검색 품질 개선, 지식관리 자동화에 활용한다.
이상 탐지	어떤 군집에도 잘 속하지 않거나 밀도가 낮은 영역의 데이터를 비정상 후보로 식별한다.	보안 로그 탐지, 설비 이상 탐지, 금융 이상거래 탐지에 활용한다.
바이오·의료	유전자 발현 패턴, 환자 특성, 질병 진행 양상에 따라 유사군을 찾는다.	환자군 세분화, 질환 아형 발견, 맞춤형 치료 전략 수립에 활용한다.
추천 시스템	유사 사용자 또는 유사 아이템을 묶어 콜드스타트와 후보군 생성을 지원한다.	개인화 추천, 콘텐츠 탐색, 신규 아이템 노출 전략에 활용한다.
공정 운영	센서 데이터와 생산 조건을 묶어 유사 운전 패턴과 불량 패턴을 탐색한다.	품질 개선, 예방 정비, 공정 조건 최적화에 활용한다.

나. 실무 수행 절차

• 1단계 목적 정의: 고객 세분화, 이상 탐지, 문서 분류, 추천 후보 생성 등 분석 목적을 명확히 한다.
• 2단계 데이터 이해: 변수 의미, 결측치, 이상치, 시간 범위, 표본 편향을 점검한다.
• 3단계 특징 설계: 업무 목적에 맞는 변수 선택, 파생변수 생성, 임베딩 변환, 차원축소를 수행한다.
• 4단계 알고리즘 선택: 데이터 형태, 군집 수 사전지식, 이상치 존재, 비구형 구조 여부에 따라 기법을 선택한다.
• 5단계 파라미터 튜닝: K, ε, MinPts, linkage, covariance type 등을 조정하고 지표와 시각화로 비교한다.
• 6단계 프로파일링: 군집별 평균값, 대표 샘플, 주요 차이 변수, 행동 패턴을 분석한다.
• 7단계 도메인 검증: 현업 전문가가 군집의 해석 가능성, 실행 가능성, 정책 적용 가능성을 검증한다.
• 8단계 운영 반영: 캠페인, 추천, 모니터링, 이상 알림, 재학습 주기 등 실제 업무 프로세스에 연결한다.

다. 사례형 서술

온라인 쇼핑몰 고객 세분화 사례에서는 Recency, Frequency, Monetary, 카테고리 선호도, 할인 민감도, 반품률 등을 특징으로 사용하고, 표준화 후 K-Means 또는 GMM을 적용할 수 있다. 결과 군집은 “고빈도 충성 고객”, “할인 반응 고객”, “신규 탐색 고객”, “이탈 위험 고객”처럼 업무적으로 해석 가능한 이름을 부여해야 한다. 단순히 군집을 만든 뒤 끝내는 것이 아니라 군집별 구매 전환율, 캠페인 반응률, 이탈률을 추적하여 실제 비즈니스 효과를 검증해야 한다. 보안 로그 사례에서는 DBSCAN을 이용해 정상 패턴 밀집 영역을 찾고, 밀도가 낮은 잡음점을 이상 후보로 지정할 수 있다. 문서 군집화에서는 문장 임베딩과 코사인 유사도를 사용하여 유사 주제 문서를 묶고, 각 군집의 대표 키워드와 대표 문서를 추출해 지식 분류 체계로 활용한다.

라. 실패 요인과 대응

• 스케일 미조정: 금액 변수처럼 큰 값이 거리 계산을 지배하면 군집이 왜곡되므로 표준화가 필요하다.
• 부적절한 K 선택: 너무 작은 K는 의미 있는 세분화를 놓치고, 너무 큰 K는 실행 불가능한 과분할을 만든다.
• 해석 없는 군집: 지표가 좋아도 현업에서 설명할 수 없는 군집은 활용 가치가 낮다.
• 일회성 분석: 시간이 지나면 고객 행동과 데이터 분포가 바뀌므로 군집 안정성 모니터링이 필요하다.

실무에서 군집 분석의 가치는 자동 분류 자체가 아니라 프로파일링과 실행 전략 연결에 있다.
분석 목적, 변수 설계, 지표 평가, 도메인 검증, 운영 모니터링까지 포함해야 실전형 답안이 된다.

Ⅴ.비교분석 및 발전전망

가. 알고리즘 비교

구분	K-Means	계층적 군집	DBSCAN	GMM
군집 수 지정	필요	덴드로그램 절단으로 결정	불필요	필요
군집 형태	구형·볼록 형태에 적합	연결 기준에 따라 다양	비구형·임의 형태 가능	타원형 분포에 적합
이상치 대응	취약	보통	강함	보통
결과 형태	하드 클러스터링	계층 구조	군집과 잡음 구분	소속 확률 제공
계산 효율	우수	대용량에서 부담	공간 인덱스 활용 시 양호	반복 추정 필요
적합 사례	고객 세분화, 대용량 기본 군집	소규모 탐색 분석, 계층 구조 해석	이상 탐지, 공간 데이터	확률 기반 세분화, 중첩 가능 군집

나. 군집 분석의 한계

군집 분석은 정답 라벨이 없기 때문에 평가가 본질적으로 어렵다. 내부 지표가 좋다고 해서 업무적으로 의미 있는 군집이라고 보장할 수 없으며, 도메인 지식과 후속 성과 검증이 필요하다. 또한 거리 척도와 전처리 방식에 따라 결과가 크게 달라진다. 고차원 데이터에서는 모든 점이 서로 비슷한 거리로 보이는 거리 집중 현상이 발생할 수 있고, 희소 데이터에서는 유사도 해석이 어려울 수 있다. K-Means처럼 초기값에 민감한 알고리즘은 반복 실행과 안정성 평가가 필요하며, DBSCAN처럼 밀도 기반 기법은 데이터 밀도가 균일하지 않을 때 파라미터 설정이 어렵다.

다. 발전전망

• 임베딩 기반 군집화 확대: 텍스트, 이미지, 음성, 로그 데이터를 임베딩 벡터로 변환한 뒤 의미 기반 군집을 수행하는 방식이 증가한다.
• 벡터DB와 결합: 벡터 검색 시스템에서 유사 문서·유사 사용자·유사 이슈를 묶어 검색 품질과 추천 후보 생성을 개선한다.
• 자기지도학습과 연계: 레이블 없이 표현을 학습한 뒤 군집 분석으로 데이터 구조를 탐색하는 방식이 고차원 데이터 분석에 활용된다.
• 스트리밍 군집화: 실시간 로그, IoT 센서, 보안 이벤트처럼 지속 유입되는 데이터의 온라인 군집화와 변화 탐지가 중요해진다.
• 설명 가능한 군집화: 군집이 왜 형성되었는지 주요 변수를 제시하고, 군집별 대표 샘플과 규칙을 제공하는 방향으로 발전한다.
• Human-in-the-loop 분석: 알고리즘 결과를 현업 전문가가 검토하고 병합·분할·명명하는 상호작용형 분석 환경이 중요해진다.

라. 기술사 답안 정리

군집 분석 답안은 “정의와 목적 → 구성도 → 구성요소 → 알고리즘별 동작 → 평가 지표 → 실무 사례 → 한계와 전망” 순으로 작성하면 안정적이다. K-Means는 중심 기반, 계층적 군집은 덴드로그램 기반, DBSCAN은 밀도 기반, GMM은 확률분포 기반이라는 차이를 명확히 제시해야 한다. 또한 실루엣 계수, 엘보우 기법, DBI, CH Index를 평가 지표로 제시하고, 군집 결과는 반드시 프로파일링과 도메인 검증이 필요하다고 정리해야 한다. 마지막으로 최근 추세로 임베딩, 벡터DB, 자기지도학습, 실시간 군집화와의 결합을 언급하면 최신성 있는 답안이 된다.

답안 암기 포인트: “비지도학습 → 유사도 기반 그룹화 → 전처리와 거리척도 중요 → K-Means·계층적·DBSCAN·GMM 비교 → 실루엣·엘보우 평가 → 프로파일링과 도메인 검증 → 임베딩·벡터DB로 발전” 순서로 쓰면 구조가 흔들리지 않는다.

군집 분석은 정답이 없는 데이터를 구조화하는 분석 기법이며, 결과 해석과 운영 적용이 성패를 결정한다.
향후에는 임베딩, 벡터DB, 자기지도학습, 실시간 분석과 결합하여 고차원 비정형 데이터 분석의 기반 기술로 발전한다.

블로그: 기술사 학습노트 · imt-log.tistory.com

← [인공지능·빅데이터] 목록