기술사 학습노트 | imt-log

기술사 학습노트›Network & Security›암호학적 해시함수

Network & Security · 정보관리기술사 / 컴퓨터시스템응용기술사

암호학적 해시함수

임의 길이 메시지를 고정 길이 다이제스트로 변환하고 역상저항성, 제2역상저항성, 충돌저항성을 통해 무결성 검증, 인증, 전자서명, 블록체인에 활용되는 단방향 함수다.

정보관리기술사컴퓨터시스템응용기술사암호학적해시함수무결성역상저항성충돌저항성SHA-2SHA-3HMAC전자서명

Ⅰ. 개요 및 등장배경

가. 암호학적 해시함수의 개념

암호학적 해시함수(Cryptographic Hash Function)는 임의 길이의 입력 메시지를 고정 길이 출력값인 해시값, 다이제스트, 지문으로 변환하는 단방향 함수다. 일반 해시함수와 달리 보안 목적 사용을 위해 역상저항성, 제2역상저항성, 충돌저항성, 눈사태 효과, 균등 분포 특성을 만족해야 한다. 입력 메시지가 한 비트만 달라져도 출력 해시값이 예측 불가능하게 크게 달라져야 하며, 해시값만 보고 원문을 계산하거나 같은 해시값을 갖는 다른 메시지를 찾기 어려워야 한다.

해시함수는 암호화와 구분된다. 암호화는 키를 이용해 평문을 암호문으로 바꾸고 다시 복호화할 수 있지만, 암호학적 해시함수는 복호화를 전제로 하지 않는다. 따라서 해시값은 원문을 숨기는 암호문이 아니라 원문의 무결성을 확인하기 위한 고정 길이 대표값에 가깝다. 파일 다운로드 검증, 전자서명 대상 축약, 인증코드 생성, 블록체인 블록 연결, 패스워드 저장, 디지털 포렌식 증거 보존 등 다양한 보안 기능에서 활용된다.

나. 등장배경

정보시스템이 네트워크와 저장장치를 통해 대량 데이터를 교환하면서 데이터 변조 여부를 빠르게 확인할 필요가 커졌다. 전체 원문을 매번 비교하면 비용이 크고, 전자서명에서 긴 메시지 전체를 직접 서명하면 성능과 구현 부담이 커진다. 해시함수는 긴 메시지를 고정 길이 다이제스트로 줄여 무결성 검증과 서명 처리 효율을 높인다. 또한 파일, 로그, 트랜잭션, 인증정보, 소프트웨어 배포물의 변경 여부를 짧은 해시값 비교만으로 확인할 수 있다.

초기에는 MD5, SHA-1이 널리 사용되었으나 충돌 공격이 실용화되면서 보안 목적 사용에 부적합해졌다. 이후 SHA-2 계열이 널리 사용되었고, 스펀지 구조 기반 SHA-3가 표준으로 추가되면서 다양한 보안 강도와 구현 특성을 선택할 수 있게 되었다. 최근에는 단순 해시만으로 패스워드를 저장하는 방식이 위험하다는 인식이 확산되어 Salt, Pepper, Key Stretching, PBKDF2, bcrypt, scrypt, Argon2 같은 패스워드 전용 해시 기법이 함께 사용된다.

다. 기본 표기와 보안 조건

h = H(M)
M: 임의 길이 메시지, H: 해시함수, h: 고정 길이 다이제스트
목표: H(M1) = H(M2)를 만족하는 M1 ≠ M2 탐색을 계산적으로 어렵게 구성

• 압축성: 임의 길이 입력을 고정 길이 출력으로 변환한다.
• 계산 효율성: 입력 메시지에 대한 해시값을 빠르게 계산할 수 있어야 한다.
• 역상저항성: 해시값 h가 주어졌을 때 H(M)=h를 만족하는 M을 찾기 어려워야 한다.
• 제2역상저항성: 특정 M1이 주어졌을 때 같은 해시값을 갖는 다른 M2를 찾기 어려워야 한다.
• 충돌저항성: 서로 다른 임의의 두 메시지 M1, M2에 대해 H(M1)=H(M2)를 찾기 어려워야 한다.

암호학적 해시함수는 임의 길이 입력을 고정 길이 다이제스트로 변환하는 단방향 함수다.

무결성, 인증, 전자서명, 블록체인, 패스워드 보호에서 역상저항성과 충돌저항성이 보안성의 기준이 된다.

Ⅱ. 구성도 및 구성요소

가. 구성도

암호학적 해시함수 처리 흐름 및 보안성 조건

입력임의 길이 메시지

→

전처리패딩·블록화

→

압축상태값 반복 갱신

→

출력고정 길이 다이제스트

→

활용무결성·인증·서명

내부 처리 축

메시지를 블록 단위로 나누고 초기값과 압축함수를 반복 적용하여 고정 길이 다이제스트를 만든다.

보안성 검증 축

역상저항성, 제2역상저항성, 충돌저항성, 눈사태 효과를 기준으로 공격 가능성과 알고리즘 수명을 평가한다.

나. 구성요소

구분	요소	설명
입력	메시지	파일, 패킷, 로그, 거래 데이터, 인증 데이터, 블록 데이터처럼 해시 대상이 되는 임의 길이 입력이다.
전처리	패딩	메시지 길이를 알고리즘의 블록 크기에 맞추기 위해 특정 비트와 길이 정보를 추가하는 과정이다.
전처리	블록 분할	패딩된 메시지를 고정 크기 블록으로 나누고 각 블록을 압축함수 입력으로 사용한다.
연산	초기값	해시 계산 시작 시 사용되는 고정 상태값이다. 알고리즘 표준에 따라 정의된다.
연산	압축함수	이전 상태값과 메시지 블록을 입력으로 받아 새로운 상태값을 생성하는 반복 연산 핵심부다.
출력	다이제스트	해시 계산 결과인 고정 길이 값이다. SHA-256의 경우 256비트 출력이 대표적이다.
보안속성	역상저항성	해시값에서 원문을 찾기 어렵게 하는 속성이다. 패스워드 보호와 무결성 검증 기반이 된다.
보안속성	제2역상저항성	특정 원문과 같은 해시값을 갖는 다른 원문을 찾기 어렵게 하는 속성이다.
보안속성	충돌저항성	서로 다른 임의의 두 메시지가 같은 해시값을 갖도록 만드는 공격을 어렵게 하는 속성이다.
응용	HMAC	비밀키와 해시함수를 결합하여 메시지 인증과 무결성을 동시에 검증하는 방식이다.

암호학적 해시함수의 구성요소는 메시지, 패딩, 블록화, 압축함수, 상태값, 다이제스트, 보안속성으로 구성된다.

보안성은 출력 길이뿐 아니라 알고리즘 구조와 충돌 공격 가능성, 사용 방식에 의해 결정된다.

Ⅲ. 동작방식 및 아키텍처

가. 해시 계산 절차

해시 계산은 입력 메시지 수신에서 시작한다. 메시지 길이가 알고리즘의 내부 블록 크기와 맞지 않으므로 패딩을 적용해 규정된 형식으로 길이를 맞춘다. 이후 패딩된 메시지를 고정 길이 블록으로 분할하고, 초기 상태값과 첫 번째 블록을 압축함수에 넣어 새로운 상태값을 만든다. 다음 블록은 이전 상태값과 함께 압축함수에 입력되고, 이러한 과정이 마지막 블록까지 반복된다. 마지막 상태값을 정리하면 최종 다이제스트가 산출된다.

SHA-2 계열은 Merkle-Damgård 구조를 기반으로 메시지를 블록 단위로 처리한다. SHA-3는 Keccak 기반 스펀지 구조를 사용해 흡수 단계와 짜내기 단계로 출력값을 만든다. 구조가 달라도 공통 목표는 임의 길이 입력을 고정 길이 출력으로 안전하게 압축하고, 충돌과 역상 공격을 계산적으로 어렵게 만드는 것이다.

나. 무결성 검증 동작

무결성 검증에서는 송신자 또는 배포자가 원본 데이터의 해시값을 함께 제공한다. 수신자는 동일 해시 알고리즘으로 받은 데이터의 해시값을 다시 계산하고, 제공된 해시값과 비교한다. 두 값이 같으면 전송 중 변경이 없을 가능성이 높고, 다르면 데이터 변조 또는 손상으로 판단한다. 이 방식은 파일 다운로드 검증, 소프트웨어 배포 검증, 로그 위변조 탐지, 디지털 포렌식 증거 보전에서 널리 사용된다.

단순 해시값 공개만으로는 악의적 공격을 완전히 막기 어렵다. 공격자가 파일과 해시값을 모두 바꿀 수 있는 위치에 있다면 수신자는 변조를 알아차리기 어렵다. 따라서 중요한 배포물에서는 해시값을 신뢰 가능한 경로로 제공하거나, 전자서명과 인증서를 함께 사용해야 한다.

다. 전자서명과 HMAC 동작

전자서명에서는 원문 전체에 직접 서명하지 않고 원문의 해시값에 서명하는 방식이 일반적이다. 원문을 해시하여 짧은 다이제스트를 만들고, 개인키로 다이제스트에 서명한다. 검증자는 원문을 다시 해시하고, 공개키로 서명을 검증하여 원문의 무결성과 서명자 신원을 확인한다. 이 구조는 긴 메시지를 효율적으로 처리하고, 원문 변경 시 해시값이 달라지므로 서명 검증이 실패한다.

HMAC은 비밀키와 해시함수를 결합한 메시지 인증 코드다. 단순히 메시지를 해시하는 방식은 누구나 같은 해시값을 만들 수 있으므로 송신자 인증을 제공하지 않는다. HMAC은 공유 비밀키를 가진 주체만 올바른 인증 코드를 생성할 수 있게 하여 메시지 무결성과 송신자 인증을 함께 제공한다.

라. 패스워드 저장 시 주의점

패스워드 저장에서는 단순 SHA-256 해시만 사용하면 안전하지 않다. 공격자가 해시값 데이터베이스를 탈취하면 사전 공격, 무차별 대입, 레인보우 테이블을 통해 원문 패스워드를 추측할 수 있다. 이를 방지하기 위해 사용자별 난수 Salt를 추가하고, 반복 계산을 통해 공격 비용을 높이는 Key Stretching을 적용해야 한다. PBKDF2, bcrypt, scrypt, Argon2 같은 패스워드 해시 함수는 의도적으로 계산 비용이나 메모리 비용을 증가시켜 대량 추측 공격을 어렵게 만든다.

해시함수는 패딩·블록화·압축함수 반복을 통해 고정 길이 다이제스트를 생성한다.

무결성 검증, 전자서명, HMAC, 패스워드 저장에서 사용 방식에 따라 필요한 보안 통제가 달라진다.

Ⅳ. 실무적용 및 사례

가. 파일 무결성 검증 사례

소프트웨어 배포 사이트에서 설치 파일과 함께 SHA-256 해시값을 제공한다고 가정한다. 사용자는 설치 파일을 다운로드한 뒤 로컬에서 동일 알고리즘으로 해시값을 계산한다. 계산 결과가 배포 사이트의 해시값과 일치하면 전송 중 손상되지 않았음을 확인할 수 있다. 그러나 배포 사이트 자체가 침해되어 파일과 해시값이 동시에 변조되면 단순 비교만으로는 공격을 탐지하기 어렵다. 따라서 중요한 소프트웨어 배포에서는 코드서명, 인증서, 서명 검증, 신뢰 가능한 배포 채널을 함께 사용해야 한다.

나. 로그 위변조 탐지 사례

감사 로그나 보안 로그에서는 각 로그 레코드의 해시값을 계산하고, 이전 로그 해시값을 다음 로그 계산에 포함하는 체인 구조를 만들 수 있다. 공격자가 중간 로그를 삭제하거나 수정하면 이후 체인의 해시값이 모두 달라지므로 위변조 여부를 발견할 수 있다. 이러한 방식은 블록체인의 이전 블록 해시 연결 구조와 유사하며, 로그 무결성 보장과 디지털 포렌식 증거 보전에 활용된다.

실무에서는 해시 체인만으로 충분하지 않다. 로그 생성 시스템의 시간 동기화, 접근권한, 원격 전송, 별도 보관소 저장, WORM 스토리지, 주기적 타임스탬프, 관리자 권한 통제가 함께 필요하다.

다. 블록체인 적용 사례

블록체인에서는 각 블록 헤더에 이전 블록 해시값이 포함된다. 특정 블록의 거래 내용이 변경되면 해당 블록의 해시값이 달라지고, 다음 블록이 참조하는 이전 해시값과 불일치가 발생한다. 공격자가 변경을 감추려면 이후 모든 블록의 해시값과 합의 조건을 다시 맞춰야 하므로 변조 비용이 급격히 증가한다. 또한 머클트리 구조에서는 여러 거래 해시를 단계적으로 결합하여 루트 해시를 만들고, 특정 거래 포함 여부를 효율적으로 검증할 수 있다.

라. 적용 영역별 정리

적용 영역	활용 방식	설계 고려사항
파일 검증	다운로드 파일 해시값 비교	해시값 제공 채널 신뢰성, 전자서명 병행, 알고리즘 최신성 확인
전자서명	원문 해시값에 개인키로 서명	충돌저항성 높은 해시함수 사용, 인증서 검증, 서명 대상 명확화
HMAC	비밀키와 해시함수로 메시지 인증 코드 생성	키 관리, 재전송 공격 방지, 타임스탬프·Nonce 결합
패스워드 저장	Salt와 패스워드 전용 해시함수 사용	bcrypt, scrypt, Argon2, PBKDF2 적용, 단순 SHA 사용 지양
블록체인	블록 연결, 머클트리, 작업증명 입력	해시 알고리즘 보안성, 난이도 조정, 충돌 가능성 관리
디지털 포렌식	증거 이미지 해시값 산출 후 동일성 검증	증거 수집 절차, 해시값 기록, 보관 연계성, 알고리즘 신뢰성 확보

마. 실무 점검사항

알고리즘 선택
MD5·SHA-1 지양, SHA-2·SHA-3 사용

출력 길이
업무 보안강도에 맞는 비트 길이 선택

키 필요성
송신자 인증 필요 시 HMAC 또는 서명 적용

패스워드 보호
Salt와 전용 해시 함수 사용

해시값 보호
검증값 제공 채널과 저장소 신뢰성 확보

수명 관리
취약 알고리즘 폐기와 전환계획 수립

암호학적 해시함수는 파일 검증, 로그 무결성, 전자서명, HMAC, 패스워드 저장, 블록체인에서 폭넓게 활용된다.

실무에서는 단순 해시 적용보다 알고리즘 선택, 키 관리, Salt, 서명, 검증 채널 신뢰성을 함께 고려해야 한다.

Ⅴ. 비교분석 및 발전전망

가. 주요 해시 알고리즘 비교

구분	출력 길이	보안 관점
MD5	128비트	충돌 공격에 취약하여 보안 목적 사용에 부적합하다.
SHA-1	160비트	실용 충돌 공격이 알려져 인증서, 서명, 무결성 보안 용도에서 사용을 피해야 한다.
SHA-256	256비트	SHA-2 계열 대표 알고리즘으로 파일 검증, 서명, 블록체인 등에서 널리 사용된다.
SHA-512	512비트	긴 출력 길이와 64비트 환경 성능 특성이 장점이며 높은 보안강도 요구에 적합하다.
SHA-3	224·256·384·512비트 등	Keccak 스펀지 구조 기반 표준으로 SHA-2와 다른 설계 다양성을 제공한다.
bcrypt·scrypt·Argon2	설정값 기반	일반 해시가 아니라 패스워드 저장 전용으로 계산·메모리 비용을 높여 추측 공격을 완화한다.

나. 암호화·MAC·전자서명과의 비교

구분	목적	해시함수와의 관계
암호학적 해시함수	무결성 확인, 고정 길이 지문 생성	키 없이 원문을 다이제스트로 변환하며 복호화를 제공하지 않는다.
대칭키 암호화	기밀성 제공	키로 평문을 암호문으로 변환하고 복호화가 가능하다.
MAC	무결성과 송신자 인증	비밀키와 메시지를 이용해 인증값을 생성하며 HMAC은 해시함수 기반 MAC이다.
전자서명	무결성, 인증, 부인방지	원문 해시값에 개인키로 서명하고 공개키로 검증한다.
패스워드 해시	저장된 인증정보 보호	범용 해시보다 Salt와 반복·메모리 비용을 포함한 전용 함수가 필요하다.

다. 취약점과 대응 방향

해시함수의 대표 취약점은 충돌 공격, 길이 확장 공격, 레인보우 테이블 공격, 무차별 대입 공격, 취약 알고리즘 잔존 사용이다. MD5와 SHA-1처럼 충돌 공격이 가능한 알고리즘은 전자서명, 인증서, 소프트웨어 검증 같은 보안 목적에서 제거해야 한다. Merkle-Damgård 구조의 일부 해시함수는 단순한 키 결합 방식으로 MAC을 만들 경우 길이 확장 공격에 취약할 수 있으므로 HMAC처럼 검증된 구조를 사용해야 한다.

패스워드 영역에서는 빠른 해시함수가 오히려 위험하다. 공격자는 GPU, ASIC, 클라우드 자원을 이용해 대량 후보를 빠르게 계산할 수 있기 때문이다. 따라서 패스워드 저장에는 느리고 조정 가능한 비용을 가진 알고리즘이 적합하다. 보안정책에서는 알고리즘 폐기 기준, 해시 파라미터 재조정, 기존 해시 재해싱, 계정 탈취 탐지, 다중인증과 연계한 방어 전략을 수립해야 한다.

라. 발전전망

암호학적 해시함수는 블록체인, 제로지식증명, 데이터 무결성 검증, 공급망 보안, 소프트웨어 구성요소 검증, 분산 저장, 클라우드 감사에서 계속 활용 범위가 넓어지고 있다. 소프트웨어 공급망 보안에서는 패키지, 컨테이너 이미지, SBOM, 빌드 산출물의 해시값을 기록해 위변조 여부를 검증한다. 클라우드와 데이터레이크 환경에서는 대용량 객체의 체크섬, 로그 체인, 데이터 계보 검증에 해시값이 활용된다.

양자컴퓨팅이 보편화될 경우 Grover 알고리즘은 해시 역상 탐색에 제곱근 수준의 영향을 줄 수 있으므로 출력 길이와 보안강도 재평가가 필요하다. 다만 해시함수는 공개키 암호보다 양자 위협 영향이 상대적으로 다르게 나타나며, 충분한 출력 길이와 안전한 표준 알고리즘을 선택하면 대응 여지가 있다.

마. 시험 답안 정리

• 정의는 임의 길이 입력을 고정 길이 다이제스트로 변환하는 단방향 함수로 정리한다.
• 보안조건은 역상저항성, 제2역상저항성, 충돌저항성, 눈사태 효과를 중심으로 제시한다.
• 구성도는 메시지, 패딩, 블록화, 압축함수 반복, 다이제스트, 활용 영역 순서로 표현한다.
• 활용 사례는 무결성 검증, 전자서명, HMAC, 패스워드 저장, 블록체인, 디지털 포렌식으로 설명한다.
• 주의사항은 MD5·SHA-1 사용 지양, SHA-2·SHA-3 적용, 패스워드 전용 해시 사용, Salt·HMAC·서명 병행으로 정리한다.

암호학적 해시함수는 무결성과 인증 체계의 기반이며, 안전성은 역상저항성·제2역상저항성·충돌저항성으로 판단한다.

향후 소프트웨어 공급망 보안, 블록체인, 클라우드 감사, 포스트양자 보안 환경에서도 해시 기반 검증 구조가 계속 활용된다.

블로그: 기술사 학습노트 · imt-log.tistory.com

← Network & Security 목록