기술사 학습노트 | imt-log

기술사 학습노트› AI / 빅데이터› 딥러닝 아키텍처

AI/Big Data · 한장정리

[기술사토픽] 딥러닝 아키텍처 완벽 정리 - 한장정리

CNN·RNN·LSTM·GRU·Transformer·GAN 구조와 학습 원리, 역전파 알고리즘까지 기술사 빈출 주제를 완벽 정리합니다.

딥러닝CNNRNNTransformerGAN역전파정보관리기술사

Ⅰ.딥러닝 핵심 구조

개념: 딥러닝은 다층 신경망(Deep Neural Network)을 통해 데이터에서 계층적 특성을 자동 학습하는 ML의 한 분야입니다.

아키텍처	구조 특징	주요 응용	핵심 개념
CNN (합성곱신경망)	합성곱층·풀링층·FC층	이미지 분류·객체 탐지	지역 수용장·파라미터 공유·평균이동 불변성
RNN (순환신경망)	이전 출력을 현재 입력으로	시계열·자연어 처리	순환 구조·기울기 소실 문제
LSTM	셀 상태+게이트(입력·삭제·출력)	장기 의존성 학습	기울기 소실 해결
GRU	업데이트·리셋 게이트 (LSTM 경량)	시계열 처리	LSTM보다 단순·빠름
Transformer	셀프 어텐션·멀티헤드 어텐션	NLP·GPT·BERT	병렬 처리·장거리 의존성
GAN	생성자(Generator)+판별자(Discriminator)	이미지 생성·데이터 증강	적대적 학습

시험 포인트

기울기 소실: RNN에서 역전파 시 기울기가 0에 수렴 → LSTM/GRU 게이트로 해결.
Attention 메커니즘: 쿼리·키·밸류로 중요 정보에 가중치 부여. Transformer의 핵심.

Ⅱ.학습 원리 & 최적화

개념	설명
순전파(Forward)	입력→출력 계산. 손실함수로 오차 계산
역전파(Backward)	출력→입력 방향 기울기 계산 (연쇄법칙)
경사하강법	손실 감소 방향으로 가중치 업데이트 (W=W-α∇L)

최적화 기법	특징
SGD	미니배치 기반. 노이즈 큼
Momentum	이전 기울기 방향 관성 추가
Adam	적응형 학습률. 가장 많이 사용
AdaGrad	학습률 자동 감소

정규화 기법	목적
드롭아웃	무작위 뉴런 비활성화로 과적합 방지
배치 정규화	레이어 출력 정규화→학습 안정화·가속
L1/L2 정규화	가중치 크기 패널티로 과적합 방지
데이터 증강	이미지 변환·텍스트 역번역으로 훈련 데이터 확장

시험 포인트

학습률(α): 너무 크면 발산, 너무 작으면 수렴 느림. Adam이 자동 조정.
배치 정규화: 학습 속도↑·가중치 초기화 민감도↓·드롭아웃 대체

Ⅲ.결론

결론

딥러닝은 특성 공학 없이 데이터에서 자동으로 표현을 학습하는 AI의 핵심입니다.
향후 Foundation Model·대규모 멀티모달·뉴로심볼릭 AI로 발전합니다.

"딥러닝은 데이터의 본질을 스스로 발견한다. 인간의 직관을 모방하는 것이 아니라 초월한다."

블로그: 기술사 학습노트 · imt-log.tistory.com

← AI / 빅데이터 목록