기술사 학습노트 | imt-log

기술사 학습노트› AI / 빅데이터› 온디바이스 AI·엣지 AI

AI/Big Data · 한장정리

[기술사토픽] 온디바이스 AI·엣지 AI 완벽 정리 - NPU·양자화·프라이버시 - 한장정리

지연시간/전력/프라이버시 제약이 큰 환경에서 AI를 “가까운 곳”으로 옮기는 전략을 정리합니다. 경량화와 NPU 실행이 핵심입니다.

온디바이스AI엣지AINPU양자화

Ⅰ.왜 온디바이스/엣지인가

온디바이스 AI와 엣지 AI는 데이터가 생성되는 위치에서 추론을 수행해, 지연시간을 줄이고 네트워크 비용을 낮추며, 민감 데이터를 로컬에서 처리할 수 있어 프라이버시 측면에서도 유리합니다.

요구조건	영향	설계 제약
지연시간	실시간 제어	배치/서빙 구조 제한
전력	배터리/발열	경량 모델 필요
오프라인	끊김 대비	로컬 업데이트/캐시
프라이버시	데이터 유출 위험	로컬 처리·마스킹

Ⅱ.경량화·NPU 실행(시험용)

가. 양자화/압축

정확도 손실과 속도/전력 이득 사이의 균형이 핵심입니다. 시험에서는 “정확도-지연-전력”을 동시에 언급하면 좋습니다.

기법	무엇을 줄이나	trade-off
양자화(Quantization)	가중치/연산 정밀도	정확도 하락 가능
가지치기(Pruning)	불필요 파라미터 제거	희소성 활용 필요
증류(Distillation)	작은 모델 학습	학습 비용↑

나. 신뢰 실행(보안) 관점

엣지에서는 모델/가중치가 외부 노출에 취약합니다. 따라서 안전 부트/서명 검증, 업데이트 파이프라인 보안, 런타임 무결성 검증을 같이 쓰세요.

시험 포인트

“NPU만 말하기”보다, 양자화 + 신뢰 실행 + 운영 업데이트까지 이어서 서술하면 점수가 높습니다.

Ⅲ.결론

결론

온디바이스 AI/엣지 AI는 “작게 만드는 기술”이 아니라, 제약을 이해하고 운영까지 포함해 완성하는 기술입니다. 지연·전력·프라이버시를 함께 만족시키는 설계가 핵심입니다.

"엣지에서는 모델보다 운영 제약을 설계하는 것이 먼저다."

블로그: 기술사 학습노트 · imt-log.tistory.com

← AI / 빅데이터 목록