기술사 학습노트 | imt-log

기술사 학습노트›인공지능·빅데이터›생성형 AI

Artificial Intelligence · 정보관리기술사 / 컴퓨터시스템응용기술사

생성형 AI(Generative AI)

대규모 데이터의 확률분포를 학습하여 텍스트·이미지·음성·영상·코드 등 새로운 콘텐츠를 생성하는 인공지능 기술

정보관리기술사컴퓨터시스템응용기술사생성형AILLMTransformerRAG프롬프트엔지니어링멀티모달AI환각AI거버넌스

Ⅰ.개요 및 등장배경

가. 정의

생성형 AI는 대규모 데이터로부터 문장, 이미지, 음성, 영상, 코드, 3D 객체 등 다양한 콘텐츠의 확률적 패턴과 의미 구조를 학습한 뒤, 사용자의 지시나 맥락에 따라 새로운 결과물을 생성하는 인공지능 기술이다. 기존 판별형 AI가 입력 데이터의 분류, 예측, 탐지에 중점을 두었다면 생성형 AI는 학습된 분포를 기반으로 새로운 콘텐츠를 만들어 낸다는 점이 다르다. 대표 기술로는 대규모 언어모델 기반 텍스트 생성, 확산모델 기반 이미지 생성, 음성 합성, 코드 생성, 멀티모달 질의응답, 검색증강생성(RAG)이 있다.

나. 등장배경

• 대규모 데이터 축적: 웹 문서, 코드, 이미지, 동영상, 음성, 로그 등 다양한 비정형 데이터가 폭발적으로 증가하였다.
• Transformer 발전: Self-Attention 구조가 장기 문맥과 병렬 학습에 유리하여 대규모 언어모델의 기반이 되었다.
• 컴퓨팅 인프라 고도화: GPU, TPU, 분산학습, 고속 네트워크, 클라우드 인프라가 대규모 사전학습을 가능하게 하였다.
• 자기지도학습 확산: 사람이 직접 라벨을 붙이지 않아도 다음 토큰 예측, 마스킹 복원, 대조학습 등을 통해 표현학습이 가능해졌다.
• 업무 자동화 수요 증가: 문서 작성, 고객 응대, 검색, 코딩, 보고서 요약, 지식관리 등 지식노동 자동화 요구가 커졌다.
• 멀티모달 AI 발전: 텍스트뿐 아니라 이미지, 음성, 영상, 표, 센서 데이터를 함께 이해하고 생성하는 방향으로 확장되었다.

다. 주요 특징

생성형 AI의 특징은 범용성, 대화형 인터페이스, 문맥 기반 응답, 제로샷·퓨샷 수행, 멀티모달 확장성, 인간 피드백 기반 정렬이다. 하나의 모델이 번역, 요약, 질의응답, 코드 작성, 문서 생성 등 여러 작업을 수행할 수 있고, 자연어 지시만으로도 업무 수행이 가능하다. 그러나 사실과 다른 내용을 그럴듯하게 생성하는 환각, 학습 데이터 편향, 저작권 문제, 개인정보 유출, 프롬프트 인젝션, 모델 악용 가능성 등 위험도 함께 존재한다. 따라서 생성형 AI는 모델 성능만이 아니라 신뢰성, 안전성, 보안성, 거버넌스를 포함해 설계해야 한다.

생성형 AI는 학습 데이터의 분포와 문맥을 기반으로 새로운 콘텐츠를 생성하는 범용 AI 기술이다.
답안에서는 Transformer, LLM, Diffusion, RAG, 프롬프트, 환각, 거버넌스를 함께 연결해야 한다.

Ⅱ.구성도 및 구성요소

가. 생성형 AI 구성도

나. 구성요소

구분	요소	설명
입력	프롬프트	사용자의 요청, 시스템 지시, 예시, 제약조건, 출력 형식 등을 포함하는 모델 입력이다. 생성 품질과 안전성에 직접 영향을 준다.
기반모델	LLM·Diffusion·VLM	대규모 데이터로 사전학습된 범용 모델이다. 언어, 이미지, 음성, 멀티모달 생성의 중심 기능을 제공한다.
핵심구조	Transformer	Self-Attention을 이용해 입력 토큰 간 관계와 문맥을 학습한다. 대규모 언어모델의 대표 기반 구조이다.
학습	사전학습·미세조정	대규모 데이터로 일반 지식을 학습한 뒤 도메인 데이터, 지시 데이터, 인간 피드백으로 목적에 맞게 정렬한다.
확장	RAG	외부 문서 검색 결과를 프롬프트에 포함하여 최신성, 근거성, 도메인 정확도를 높이는 구조이다.
도구	Tool Calling	계산기, 검색, DB, 업무 API, 코드 실행 도구 등을 호출하여 모델의 추론과 업무 수행 범위를 확장한다.
출력	생성 콘텐츠	텍스트, 코드, 이미지, 음성, 영상, 보고서, 요약, 질의응답 등 다양한 산출물을 생성한다.
안전	Guardrail	유해 출력, 개인정보 노출, 보안 위협, 정책 위반, 환각을 줄이기 위한 필터링·검증·제어 계층이다.
평가	품질·안전성 평가	정확성, 유용성, 근거성, 독성, 편향, 환각, 개인정보 노출, 비용, 지연시간을 종합 평가한다.
운영	LLMOps	프롬프트 버전, 모델 버전, RAG 인덱스, 로그, 비용, 평가, 배포, 모니터링, 피드백을 관리한다.

생성형 AI의 구성요소는 프롬프트, 기반모델, RAG, 도구 호출, 안전 필터, 평가, LLMOps로 정리된다.
Ⅱ.가 구성도에서는 모델 단독 구조보다 외부지식, 안전성, 운영 피드백까지 포함한 서비스 아키텍처로 그리는 것이 좋다.

Ⅲ.동작방식 및 아키텍처

가. 생성 원리

대규모 언어모델은 입력된 토큰 시퀀스를 기반으로 다음 토큰의 확률분포를 예측하고, 이를 반복하여 문장을 생성한다. 모델은 사전학습 과정에서 문장 구조, 의미 관계, 지식 패턴, 코드 문법, 추론 형태를 통계적으로 학습한다. 생성 과정에서는 temperature, top-k, top-p와 같은 디코딩 파라미터가 출력의 다양성과 안정성을 조절한다. 낮은 temperature는 보수적이고 일관된 답변을 만들고, 높은 temperature는 창의적이지만 불안정한 결과를 만들 수 있다.

나. 학습 단계

• 사전학습: 대규모 텍스트, 이미지, 코드, 멀티모달 데이터를 이용해 일반 표현과 생성 능력을 학습한다.
• 지도 미세조정: 사람이 작성한 지시와 응답 데이터로 사용자의 명령을 따르는 능력을 강화한다.
• 인간 피드백 기반 정렬: 선호도 데이터와 보상 모델을 활용하여 유용성, 안전성, 지시 준수 성능을 높인다.
• 도메인 미세조정: 법률, 의료, 제조, 금융, 고객센터 등 특정 영역 데이터로 업무 적합성을 높인다.
• 경량 미세조정: LoRA, Adapter, Prompt Tuning 등으로 전체 모델을 재학습하지 않고 일부 파라미터만 조정한다.

다. RAG 동작방식

RAG는 생성형 AI가 내부 파라미터에 저장된 지식에만 의존하지 않도록 외부 문서를 검색하여 답변 근거로 활용하는 아키텍처이다. 먼저 사내 문서, 매뉴얼, 정책 문서, FAQ 등을 수집하고 일정 단위로 Chunking한 뒤 임베딩 벡터로 변환하여 Vector DB에 저장한다. 사용자가 질문하면 질문도 임베딩하여 관련 문서를 검색하고, 검색된 문맥을 프롬프트에 포함하여 모델에 전달한다. 이를 통해 최신 정보, 사내 지식, 도메인 문서 기반 답변이 가능해진다. 다만 검색 품질이 낮으면 잘못된 근거를 모델이 활용하므로 Chunk 크기, 임베딩 모델, 검색 방식, 재랭킹, 출처 표시가 중요하다.

라. 주요 아키텍처 비교

구분	원리	대표 활용
LLM	토큰 시퀀스의 확률분포를 학습하여 다음 토큰을 생성	질의응답, 요약, 번역, 코드 생성, 문서 작성
Diffusion Model	노이즈를 점진적으로 제거하여 이미지나 음성 등 샘플을 생성	이미지 생성, 편집, 영상 생성, 디자인 자동화
GAN	생성자와 판별자의 경쟁 학습으로 사실적인 샘플 생성	이미지 합성, 스타일 변환, 데이터 증강
VAE	확률적 잠재공간을 학습하여 샘플을 생성	잠재표현 학습, 이상탐지, 생성 모델 연구
Multimodal Model	텍스트, 이미지, 음성, 영상 간 표현을 정렬	이미지 질의응답, 문서 이해, 영상 분석, 음성 대화

생성형 AI의 동작은 사전학습된 기반모델이 프롬프트 문맥과 외부 지식을 조건으로 확률적 생성을 수행하는 구조이다.
실무에서는 모델 자체보다 RAG, 도구 호출, 안전 필터, 평가 자동화, LLMOps가 품질을 좌우한다.

Ⅳ.실무적용 및 사례

가. 적용 분야

분야	적용 방식	활용 효과
고객센터	FAQ, 상담 이력, 상품 정책을 기반으로 챗봇과 상담원 보조 시스템을 구축한다.	응답 시간 단축, 상담 품질 표준화, 상담원 생산성 향상
지식관리	사내 문서와 규정을 RAG로 연결하여 질의응답과 요약을 제공한다.	문서 검색 시간 절감, 업무 온보딩 지원, 지식 사일로 완화
개발 생산성	코드 생성, 테스트케이스 작성, 오류 분석, 문서화 자동화를 지원한다.	개발 속도 향상, 반복 작업 감소, 코드 리뷰 보조
금융·법률	계약서 검토, 규정 검색, 리스크 요약, 내부통제 보고서 초안 작성에 활용한다.	검토 효율 향상, 근거 기반 의사결정 지원
의료·바이오	논문 요약, 진료기록 정리, 임상 문서 작성 보조, 의료 영상 설명에 활용한다.	전문가 업무 보조, 정보 탐색 효율 향상
제조·공공	매뉴얼 질의응답, 고장 원인 분석, 민원 분류, 정책 문서 요약에 활용한다.	현장 대응력 향상, 업무 표준화, 민원 처리 효율화

나. 도입 절차

• 1단계 업무 선정: 생성형 AI가 가치 있는 반복 문서·검색·상담·요약·코딩 업무를 선정한다.
• 2단계 위험 등급화: 개인정보, 법률, 의료, 금융, 보안 등 고위험 여부를 판단하고 인간 검토 수준을 정한다.
• 3단계 데이터 준비: 사내 문서, FAQ, 정책, 매뉴얼, 코드 저장소를 정제하고 권한 기준을 설정한다.
• 4단계 아키텍처 선택: 범용 LLM, 도메인 미세조정, RAG, Tool Calling, 온프레미스 배포 여부를 결정한다.
• 5단계 프롬프트 설계: 역할, 제약, 출력 형식, 근거 표시, 금지 조건, 예외 처리 규칙을 정의한다.
• 6단계 평가: 정확성, 근거성, 환각률, 유해성, 편향, 개인정보 노출, 지연시간, 비용을 측정한다.
• 7단계 배포와 통제: 권한관리, 감사로그, 사용자 피드백, 모니터링, 롤백, 버전관리를 운영한다.
• 8단계 지속 개선: 검색 품질, 프롬프트, 모델 버전, 문서 인덱스, 안전 필터를 주기적으로 개선한다.

다. 주요 리스크와 대응

리스크	원인	대응 방안
환각	모델이 사실과 다른 내용을 그럴듯하게 생성	RAG, 출처 표시, 사실 검증, 고위험 업무 인간 검토
개인정보 유출	프롬프트나 로그에 민감정보 포함	마스킹, 접근권한, 로그 정책, 입력 필터링, 보관 기간 관리
프롬프트 인젝션	외부 문서나 사용자 입력이 시스템 지시를 우회	지시 계층 분리, 콘텐츠 신뢰도 검증, 도구 호출 권한 제한
저작권·라이선스	학습 데이터 또는 생성물 권리 관계 불명확	데이터 출처 관리, 라이선스 검토, 생성물 사용 정책 수립
편향·차별	학습 데이터의 사회적 편향 반영	공정성 테스트, 유해 표현 필터, 다양성 평가, 사용자 신고 체계
비용 폭증	토큰 사용량, 대규모 검색, 잦은 모델 호출	캐싱, 모델 라우팅, 프롬프트 최적화, 비용 모니터링

라. 실무 팁

생성형 AI 도입의 성패는 모델 선택만으로 결정되지 않는다. 사내 문서 품질, 검색 인덱스 품질, 권한 구조, 프롬프트 표준, 평가 데이터셋, 피드백 프로세스가 함께 갖춰져야 한다. 특히 RAG 기반 시스템은 “모델이 좋은가”보다 “정확한 문서를 잘 찾는가”가 품질을 좌우하는 경우가 많다. 또한 모든 답변을 자동화하려 하기보다 위험도에 따라 자동 응답, 초안 생성, 전문가 검토, 최종 승인 단계를 구분하는 것이 안전하다.

생성형 AI 실무 적용은 문서 품질, RAG 검색 품질, 프롬프트 표준, 안전 필터, 평가 체계가 함께 작동해야 성공한다.
고위험 업무에서는 모델 답변을 최종 판단으로 쓰기보다 근거 기반 초안과 전문가 검토 구조로 설계하는 것이 바람직하다.

Ⅴ.비교분석 및 발전전망

가. 판별형 AI와 생성형 AI 비교

구분	판별형 AI	생성형 AI
목적	입력 데이터의 분류, 예측, 탐지	새로운 텍스트, 이미지, 코드, 음성, 영상 생성
출력	클래스, 점수, 확률, 이상 여부	자연어 답변, 콘텐츠, 요약, 코드, 멀티모달 산출물
학습 관점	정답 라벨 기반 지도학습이 많음	대규모 자기지도학습과 지시 미세조정 중심
평가	Accuracy, F1, AUC, RMSE 등 정량 지표	정확성, 유용성, 근거성, 환각, 안전성, 선호도 평가
위험	오분류, 편향, 데이터 드리프트	환각, 유해 출력, 프롬프트 공격, 개인정보 유출, 저작권
운영	MLOps 중심	LLMOps, RAGOps, PromptOps, AI 거버넌스 필요

나. 주요 구현 방식 비교

구분	장점	한계
범용 API 활용	도입이 빠르고 최신 모델을 쉽게 활용 가능	데이터 보안, 비용, 외부 의존성, 커스터마이징 한계
오픈소스 모델 자체 운영	데이터 통제와 비용 예측, 내부 커스터마이징에 유리	인프라, 튜닝, 보안패치, 운영 역량 필요
도메인 미세조정	특정 업무 용어와 양식에 맞는 응답 가능	학습 데이터 품질과 과적합, 모델 갱신 비용 고려 필요
RAG	최신 사내 지식과 출처 기반 답변 가능	검색 품질, 문서 권한, Chunking, 재랭킹 설계가 중요
Agent	도구 호출과 다단계 업무 자동화 가능	오작동, 권한 남용, 무한 루프, 감사 추적 어려움

다. 발전전망

• 멀티모달 확장: 텍스트, 이미지, 음성, 영상, 표, 센서 데이터를 동시에 이해하고 생성하는 모델이 확대된다.
• Agentic AI 발전: 단순 응답을 넘어 계획 수립, 도구 호출, 업무 실행, 피드백 반영을 수행하는 에이전트 구조가 증가한다.
• 온디바이스 AI: 개인정보 보호와 지연시간 절감을 위해 경량 모델이 PC, 스마트폰, 차량, 엣지 장치에서 실행된다.
• RAG 고도화: Graph RAG, Hybrid Search, Re-ranking, 권한 기반 검색, 근거 검증이 중요해진다.
• AI 거버넌스 강화: 모델 사용 이력, 평가 자동화, 위험 등급화, 규제 대응, 감사로그 관리가 필수 운영 요소가 된다.
• 전문 도메인 모델 확대: 의료, 법률, 금융, 제조, 교육 등 영역별 전문 모델과 사내 지식 기반 모델이 증가한다.

라. 기술사 답안 정리

생성형 AI 답안은 “정의 → 등장배경 → 구성도 → 구성요소 → 동작방식 → RAG → 실무 적용 → 위험과 대응 → 비교분석 → 발전전망”의 순서로 작성하면 안정적이다. 구성도에는 사용자 프롬프트, 기반모델, RAG, Vector DB, Tool Calling, 안전 필터, 평가, LLMOps를 포함해야 한다. 위험 요소는 환각, 개인정보 유출, 프롬프트 인젝션, 저작권, 편향, 비용을 제시하고 각각 대응책을 연결해야 한다. 마지막에는 멀티모달 AI, Agentic AI, 온디바이스 AI, Graph RAG, AI 거버넌스까지 언급하면 최신성과 실무성을 모두 확보할 수 있다.

답안 암기 포인트: “프롬프트 → 기반모델 → RAG/도구호출 → 안전필터 → 생성결과 → 평가·피드백 → LLMOps·거버넌스” 순서로 쓰면 구조가 명확하다.

생성형 AI는 콘텐츠 생성 능력을 기반으로 지식검색, 문서화, 상담, 코딩, 의사결정 보조를 혁신하는 범용 AI 기술이다.
향후 멀티모달, 에이전트, 온디바이스, RAG 고도화, AI 거버넌스와 결합하여 기업 AI 플랫폼의 핵심으로 발전한다.

블로그: 기술사 학습노트 · imt-log.tistory.com

← [인공지능·빅데이터] 목록