기술사 학습노트 | imt-log

기술사 학습노트 › 네트워크·보안 › 행위기반 탐지기법

Security Detection · 정보관리기술사 / 컴퓨터시스템응용기술사

행위기반 탐지기법(Behavior Detection)

파일 시그니처나 고정 패턴이 아니라 사용자·단말·프로세스·네트워크의 정상 행위 기준선과 편차를 분석하여 알려지지 않은 공격과 내부 위협을 탐지하는 지능형 보안 탐지 기법

정보관리기술사컴퓨터시스템응용기술사행위기반탐지BehaviorDetectionUEBAEDRNDR이상탐지위협헌팅제로트러스트

Ⅰ.개요 및 등장배경

가. 정의

행위기반 탐지기법(Behavior Detection)은 악성코드 해시, 정적 시그니처, 고정 룰에 의존하지 않고 사용자, 단말, 프로세스, 네트워크, 애플리케이션, 계정, 데이터 접근의 행위 패턴을 관찰하여 정상 기준선(Baseline)과 다른 비정상 행위를 탐지하는 보안 기법이다. 예를 들어 평소 국내 업무시간에만 접속하던 사용자가 새벽에 해외 IP에서 로그인하고, 짧은 시간에 대량 파일을 다운로드하며, 관리자 권한 상승을 시도하는 경우 각각의 이벤트는 단독으로는 정상일 수 있지만 행위 조합 관점에서는 높은 위험으로 판단할 수 있다.

행위기반 탐지는 알려진 악성코드 탐지보다 공격자의 TTP(Tactics, Techniques, Procedures)를 관찰하는 데 초점을 둔다. 공격자는 파일 이름, 해시, 도메인, IP 주소를 쉽게 바꿀 수 있지만 권한 탈취, 내부 정찰, 계정 남용, 비정상 프로세스 실행, C2 통신, 데이터 반출과 같은 행위 흐름은 완전히 숨기기 어렵다. 따라서 행위기반 탐지는 EDR, NDR, UEBA, SIEM, SOAR, XDR, 제로트러스트 보안 모델에서 핵심 탐지 방식으로 활용된다.

나. 등장배경

• 시그니처 기반 탐지의 한계: 알려진 악성코드나 고정 패턴에는 강하지만, 제로데이, 파일리스 공격, 변종 악성코드, 정상 도구 악용에는 취약하다.
• 공격 기법의 은닉화: 공격자는 PowerShell, WMI, RDP, 관리자 도구, 정상 인증정보를 활용하여 보안장비를 우회한다.
• 내부자·계정 탈취 위협 증가: 정상 계정으로 로그인한 뒤 권한을 남용하는 공격은 단순 차단 룰로 구분하기 어렵다.
• 클라우드·원격근무 확산: 사용자 접속 위치, 단말, SaaS, API 사용 패턴이 복잡해져 행위 맥락 기반 탐지가 필요해졌다.
• APT와 랜섬웨어 고도화: 침투 후 정찰, 횡적 이동, 권한 상승, 데이터 암호화·반출 단계가 연쇄적으로 발생한다.
• AI·빅데이터 보안 분석 발전: 대량 로그와 이벤트를 기반으로 정상 패턴을 학습하고 이상 편차를 산정할 수 있게 되었다.

다. 핵심 특징

행위기반 탐지는 단일 이벤트보다 시간의 흐름과 이벤트 간 상관관계를 중시한다. 정상 로그인, 정상 파일 접근, 정상 프로세스 실행도 사용자의 평소 패턴, 단말 위치, 접근 시간, 권한 수준, 대상 자산, 이전 이벤트와 연결해 보면 비정상일 수 있다. 따라서 행위기반 탐지는 기준선 학습, 이상 점수 산정, 상관분석, 위험도 기반 우선순위, 분석가 검증, 대응 자동화가 결합되어야 효과를 낼 수 있다.

행위기반 탐지는 정상 행위 기준선과의 편차를 분석하여 알려지지 않은 공격, 내부자 위협, 계정 탈취, 파일리스 공격을 탐지하는 기법이다.
기술사 답안에서는 시그니처 탐지의 한계 보완, UEBA·EDR·NDR·XDR 연계, 오탐 관리와 기준선 갱신을 함께 설명해야 한다.

Ⅱ.구성도 및 구성요소

가. 행위기반 탐지 스코어링 대시보드형 구성도

나. 구성요소

구분	요소	설명
데이터수집	Behavior Signal	로그인, 프로세스, 명령어, 파일 접근, 네트워크, DNS, API 호출, 클라우드 사용 이벤트를 수집한다.
기준선	Normal Baseline	사용자, 단말, 부서, 업무, 시간대, 위치, 자산별 정상 행위 패턴을 학습한다.
분석모델	Anomaly Detection	정상 기준선과의 편차, 희소 행위, 신규 패턴, 급격한 변화, 행위 조합을 탐지한다.
상관분석	Correlation Engine	단일 이벤트가 아니라 시간 순서와 공격 단계 간 관계를 분석한다.
위험점수	Risk Scoring	편차 크기, 자산 중요도, 계정 권한, 행위 빈도, 위협 인텔리전스를 종합해 위험도를 산정한다.
엔드포인트	EDR	프로세스 실행, 파일 생성, 레지스트리 변경, 메모리 행위, 악성 스크립트 실행을 탐지한다.
네트워크	NDR	C2 통신, DNS 터널링, 비정상 세션, 횡적 이동, 데이터 유출 트래픽을 탐지한다.
사용자행위	UEBA	사용자와 계정의 로그인, 접근, 권한, 데이터 사용 패턴을 분석하여 내부 위협과 계정 탈취를 탐지한다.
관제연계	SIEM/SOAR	탐지 이벤트를 상관분석하고 표준 플레이북에 따라 격리, 차단, 통보, 티켓 발행을 수행한다.
피드백	Analyst Feedback	오탐·정탐 결과를 모델과 룰에 반영하여 탐지 정확도를 지속적으로 개선한다.

행위기반 탐지는 행위 이벤트, 정상 기준선, 이상탐지, 상관분석, 위험점수, EDR·NDR·UEBA, SIEM/SOAR, 피드백 학습으로 구성된다.
Ⅱ.가 구성도는 정상 기준선 레이더와 위험도 스코어링 대시보드 형태로 표현하면 시그니처 탐지와 차별성이 잘 드러난다.

Ⅲ.동작방식 및 아키텍처

가. 행위기반 탐지 절차

• 1단계 행위 데이터 수집: 엔드포인트, 네트워크, 인증, 클라우드, SaaS, DB, 파일서버, API Gateway에서 이벤트를 수집한다.
• 2단계 정규화 및 엔터티 매핑: 사용자, 단말, IP, 계정, 자산, 프로세스, 세션을 공통 식별자로 연결한다.
• 3단계 정상 기준선 학습: 사용자별, 부서별, 단말별, 업무별 정상 시간대, 위치, 명령어, 접근 대상, 데이터 사용량을 학습한다.
• 4단계 이상행위 탐지: 기준선 편차, 신규 행위, 희소 이벤트, 급격한 증가, 비정상 조합을 분석한다.
• 5단계 공격 시나리오 상관분석: 로그인 이상, 권한 상승, 내부 정찰, 횡적 이동, 데이터 반출을 시간 순서로 연결한다.
• 6단계 위험도 산정: 자산 중요도, 계정 권한, 탐지 신뢰도, 위협 인텔리전스, 이전 이벤트를 반영해 점수화한다.
• 7단계 알림 및 대응: 위험도가 임계치를 넘으면 SIEM 알림, SOAR 플레이북, EDR 격리, IAM 추가 인증, 계정 잠금이 수행된다.
• 8단계 분석가 검증: 보안 분석가가 탐지 근거와 행위 타임라인을 확인하여 오탐과 정탐을 구분한다.
• 9단계 모델 개선: 검증 결과를 바탕으로 기준선, 룰, 모델, 임계값, 대응 플레이북을 갱신한다.

나. 탐지 대상 행위

행위 영역	탐지 예시	위협 의미
계정 행위	불가능한 이동, 새벽 로그인, MFA 반복 실패, 평소와 다른 국가 접속	계정 탈취, 인증 우회, 초기 침투 가능성
권한 행위	갑작스러운 관리자 권한 사용, 권한 상승 시도, 비정상 권한 변경	권한 탈취, 내부자 위협, 공격 확장
프로세스 행위	PowerShell 난독화 실행, 의심 명령어, 비정상 부모-자식 프로세스	파일리스 공격, 악성 스크립트, 정상 도구 악용
네트워크 행위	주기적 외부 통신, DNS 터널링, 비정상 포트, 내부 스캔	C2 통신, 횡적 이동, 내부 정찰
데이터 행위	대량 파일 열람, 압축, 암호화, 외부 업로드, 평소와 다른 DB 조회	데이터 유출, 랜섬웨어, 내부 정보 탈취
클라우드 행위	API Key 남용, IAM 정책 변경, 보안그룹 개방, 대량 객체 다운로드	클라우드 계정 탈취, 설정 오류 악용, 데이터 반출

다. 분석 기법

기법	설명	적용 예시
통계 기반 기준선	평균, 표준편차, 빈도, 시간대 분포를 활용하여 편차를 탐지한다.	평소보다 10배 많은 파일 다운로드 탐지
머신러닝 이상탐지	Isolation Forest, Autoencoder, Clustering으로 정상과 다른 패턴을 탐지한다.	신규 명령어 조합, 비정상 네트워크 세션 탐지
시퀀스 분석	시간 순서상 발생하는 행위 흐름을 분석한다.	로그인 → 권한상승 → 내부스캔 → 데이터압축 순서 탐지
그래프 분석	계정, 단말, 프로세스, IP, 파일 간 관계를 그래프로 분석한다.	횡적 이동 경로와 공격자 거점 탐지
룰 기반 상관분석	보안 전문가가 정의한 공격 시나리오 룰로 이벤트를 연결한다.	랜섬웨어 행위 패턴과 APT 단계별 탐지
위협 인텔리전스 결합	악성 IP, 도메인, 해시, TTP 정보를 행위 이벤트와 결합한다.	의심 프로세스가 알려진 C2 도메인과 통신하는 경우 탐지

라. 행위기반 탐지와 MITRE ATT&CK

행위기반 탐지는 MITRE ATT&CK 프레임워크와 잘 결합된다. ATT&CK는 공격자의 전술과 기법을 초기 접근, 실행, 지속성, 권한 상승, 방어 회피, 자격 증명 접근, 탐색, 횡적 이동, 수집, 명령제어, 유출, 영향 단계로 정리한다. 행위기반 탐지는 단일 악성코드 식별보다 이러한 공격 단계의 행위를 포착하는 데 강점이 있다. 예를 들어 정상 관리도구를 활용한 원격명령 실행, 자격증명 덤프, 내부 스캔, 데이터 압축과 전송은 각각 ATT&CK 기법과 매핑할 수 있어 탐지 커버리지와 보안 통제 수준을 설명하기 좋다.

마. 오탐 관리

행위기반 탐지의 가장 큰 과제는 오탐(False Positive)이다. 신규 프로젝트, 출장, 야간 배포, 대량 데이터 이관, 관리자 작업은 비정상처럼 보일 수 있다. 따라서 업무 캘린더, 변경관리, 승인된 관리자 작업, 사용자 역할, 자산 중요도, 계정 권한, 과거 행위를 함께 고려해야 한다. 또한 위험점수 기반으로 우선순위를 부여하고 분석가 피드백을 반영해 임계값과 기준선을 지속적으로 조정해야 한다.

행위기반 탐지는 데이터 수집, 정규화, 기준선 학습, 이상탐지, 상관분석, 위험점수화, 대응, 분석가 피드백 순서로 동작한다.
MITRE ATT&CK와 연계하면 공격자의 단계별 행위 탐지 커버리지를 체계적으로 설명할 수 있다.

Ⅳ.실무적용 및 사례

가. 적용 분야

분야	적용 방식	기대 효과
EDR	프로세스, 명령어, 파일, 메모리, 레지스트리 행위를 분석한다.	파일리스 공격, 랜섬웨어, 악성 스크립트 탐지
NDR	네트워크 흐름, DNS, TLS, 외부 통신, 내부 스캔을 분석한다.	C2 통신, 횡적 이동, 데이터 유출 탐지
UEBA	사용자와 계정의 로그인, 권한, 데이터 접근, SaaS 사용 패턴을 분석한다.	내부자 위협, 계정 탈취, 권한 남용 탐지
클라우드 보안	API 호출, IAM 변경, 스토리지 접근, 보안그룹 변경 행위를 분석한다.	클라우드 계정 탈취와 설정 오남용 탐지
랜섬웨어 대응	대량 파일 변경, 비정상 암호화, 백업 삭제, 권한 상승 행위를 탐지한다.	초기 암호화 단계에서 격리와 차단 가능
제로트러스트	사용자·단말 행위 위험도를 실시간 접근정책에 반영한다.	지속적 검증과 동적 접근통제 구현

나. 도입 절차

• 보호 대상 정의: 핵심 계정, 중요 서버, DB, 파일서버, 클라우드 자산, 중요 업무 시스템을 식별한다.
• 행위 데이터 수집범위 확정: 엔드포인트, 네트워크, 인증, 클라우드, SaaS, DB 로그의 수집 범위와 보존기간을 정한다.
• 정상 기준선 기간 설정: 업무 주기, 배포 일정, 월말·분기말 업무 특성을 반영해 충분한 학습기간을 확보한다.
• 탐지 시나리오 정의: 계정 탈취, 랜섬웨어, 내부자 위협, 데이터 반출, 권한 상승, 횡적 이동 시나리오를 정의한다.
• 위험점수 정책 수립: 자산 중요도, 권한 수준, 행위 편차, 위협 인텔리전스, 탐지 신뢰도에 따라 점수를 부여한다.
• 관제 프로세스 연계: SIEM 알림, SOAR 플레이북, EDR 격리, IAM 추가인증, 티켓 시스템을 연결한다.
• 오탐 튜닝: 변경작업, 관리자 활동, 정기 배치, 업무 이벤트를 반영하여 기준선과 임계값을 조정한다.
• 성과 측정: 탐지 정확도, 평균 탐지시간, 평균 대응시간, 오탐률, 침해 단계별 탐지 커버리지를 관리한다.

다. 주요 문제점과 대응

문제점	원인	대응 방안
오탐 증가	업무 맥락 없이 편차만 기준으로 탐지	변경관리, 업무 일정, 사용자 역할, 자산 중요도를 반영한다.
기준선 오염	학습 기간에 이미 공격 행위가 포함됨	초기 데이터 정제, 보안 검증, 재학습, 정상 기간 구분을 수행한다.
데이터 부족	엔드포인트·네트워크·인증 로그가 충분히 수집되지 않음	로그 수집 범위 확장, 공통 스키마, EDR·NDR·IAM 연계를 강화한다.
설명력 부족	AI 점수만 제공하고 근거 이벤트를 보여주지 않음	행위 타임라인, 기준선 대비 편차, 관련 이벤트, ATT&CK 매핑을 제공한다.
대응 지연	탐지 후 수동 확인과 승인 절차가 길다	위험도별 자동 대응 범위와 SOAR 플레이북을 사전 정의한다.
개인정보 이슈	사용자 행위 모니터링이 과도하게 수행됨	목적 제한, 최소 수집, 접근권한 통제, 감사로그, 내부 규정과 고지 체계를 마련한다.

라. 실무 운영 포인트

행위기반 탐지는 도구 도입만으로 완성되지 않는다. 정상 행위 기준선이 업무 현실을 반영해야 하고, 탐지 결과를 분석할 수 있는 관제 프로세스와 대응권한이 있어야 한다. 또한 모든 이상행위를 즉시 차단하면 업무 중단이 발생할 수 있으므로 위험도별 대응 정책을 구분해야 한다. 낮은 위험은 관찰, 중간 위험은 추가 인증과 티켓 발행, 높은 위험은 단말 격리와 계정 잠금, 데이터 반출 차단으로 대응하는 방식이 적합하다.

행위기반 탐지는 EDR, NDR, UEBA, 클라우드 보안, 랜섬웨어 대응, 제로트러스트 접근통제에 폭넓게 활용된다.
실무 성공요인은 로그 품질, 기준선 관리, 업무 맥락 반영, 오탐 튜닝, SOAR 연계, 설명가능성 확보이다.

Ⅴ.비교분석 및 발전전망

가. 시그니처 기반 탐지와 행위기반 탐지 비교

구분	시그니처 기반 탐지	행위기반 탐지
탐지 기준	해시, 패턴, 룰, 알려진 악성코드 특징	정상 행위 기준선과의 편차, 행위 조합, 공격 단계
강점	알려진 위협에 대해 빠르고 정확한 탐지	제로데이, 파일리스, 내부자, 계정 탈취 탐지에 유리
한계	변종과 신규 위협에 취약	오탐 가능성과 기준선 관리 부담 존재
데이터	정적 파일, 문자열, IOC 중심	로그, 이벤트, 시퀀스, 관계, 맥락 중심
운영방식	룰 업데이트와 IOC 배포 중심	모델 학습, 임계값 조정, 분석가 피드백 중심
보완관계	시그니처 탐지는 알려진 위협 차단, 행위기반 탐지는 미지 위협과 복합 공격 탐지에 활용하여 상호 보완한다.

나. EDR·NDR·UEBA 비교

구분	EDR	NDR	UEBA
분석 대상	단말 프로세스, 파일, 명령어, 메모리	네트워크 트래픽, DNS, 세션, 프로토콜	사용자, 계정, 권한, 데이터 접근
주요 탐지	악성 실행, 파일리스 공격, 랜섬웨어	C2 통신, 내부 정찰, 횡적 이동	내부자 위협, 계정 탈취, 권한 남용
강점	단말 수준 상세 행위 확인	에이전트 없는 네트워크 가시성	사용자 맥락과 업무 패턴 분석
한계	에이전트 설치와 성능 영향 고려	암호화 트래픽 분석 한계	기준선 학습과 개인정보 고려 필요
결합 효과	XDR로 통합하면 단말·네트워크·사용자 행위를 연결해 공격 흐름을 더 정확히 파악할 수 있다.

다. 발전전망

• XDR 중심 통합 탐지: EDR, NDR, UEBA, 클라우드 로그를 통합하여 공격 흐름을 단일 타임라인으로 분석한다.
• AI 기반 위협헌팅 고도화: 대량 행위 데이터에서 공격 가능성이 높은 조합을 자동 추천하고 분석가의 탐색을 지원한다.
• 제로트러스트와 결합: 사용자와 단말의 행위 위험도를 접근정책에 실시간 반영하여 지속적 검증을 수행한다.
• 클라우드 네이티브 탐지 확대: 컨테이너, 쿠버네티스, 서버리스, SaaS API 호출 행위 분석이 중요해진다.
• 설명가능 보안 AI 강화: 탐지 점수뿐 아니라 기준선 편차, 근거 이벤트, ATT&CK 매핑을 제공하는 XAI가 요구된다.
• 프라이버시 보호형 모니터링: 사용자 행위 분석과 개인정보 보호를 균형 있게 수행하기 위해 마스킹, 최소수집, 접근통제가 강화된다.
• 자동 대응 정교화: SOAR와 연계하여 위험도별 격리, 차단, 추가 인증, 티켓 발행, 조사 자동화가 세분화된다.

라. 기술사 답안 정리

행위기반 탐지기법 답안은 “정의 → 등장배경 → 구성도 → 구성요소 → 탐지 절차 → 탐지 대상 행위 → 분석 기법 → 실무 적용 → 비교분석 → 발전전망” 순서로 작성하면 안정적이다. 구성도에는 행위 이벤트 수집, 정상 기준선, 이상행위 분석, 상관분석, 위험점수, 대응 자동화, 피드백 학습을 포함해야 한다. 비교분석에서는 시그니처 기반 탐지와 행위기반 탐지의 차이를 제시하고, EDR·NDR·UEBA·XDR의 역할을 연결하면 완성도가 높다. 마지막에는 제로트러스트, 클라우드 네이티브 탐지, AI 기반 위협헌팅, SOAR 자동대응, 설명가능 AI까지 언급하면 최신성과 실무성이 확보된다.

답안 암기 포인트: “행위기반 탐지 = 정상 기준선 + 편차 분석 + 행위 상관관계 + 위험도 점수화 + 자동 대응 + 피드백 학습”으로 정리하면 된다.

행위기반 탐지는 알려진 패턴이 아니라 사용자·단말·네트워크·데이터의 비정상 행위를 분석하여 미지 위협과 내부 위협을 탐지하는 기법이다.
향후 행위기반 탐지는 XDR, 제로트러스트, 클라우드 보안, AI 위협헌팅, SOAR 자동대응과 결합하여 지능형 보안관제의 핵심으로 발전할 것이다.

블로그: 기술사 학습노트 · imt-log.tistory.com

← [네트워크·보안] 목록