onnx3 모델 경량화 후 성능 저하를 확인하기 위한 테스트 방법 양자화(Quantization)나 모델 경량화(Model Compression)는 모델 크기를 줄이고 추론 속도를 높이기 위해 사용된다.하지만 모델을 최적화하는 과정에서 예측 정확도가 낮아지거나 일부 데이터에 대한 성능이 저하될 수 있다.따라서 실제 서비스에 적용하기 전에는 모델의 정확도와 성능이 유지되는지 충분히 검증해야 한다.왜 검증 과정이 필요할까예를 들어 FP32 모델을 INT8 모델로 변환했다고 가정해보자.모델 크기는 줄어들고 추론 속도는 빨라질 수 있지만 숫자 표현 범위가 감소하면서 일부 정보가 손실될 수 있다.이로 인해 특정 데이터에서 오탐(False Positive)이나 미탐(False Negative)이 증가할 가능성이 있다.그래서 모델 최적화 이후에는 정확도뿐만 아니라 실제 서비스 환경.. 2026. 6. 19. Post-Training Quantization과 Quantization-Aware Training의 차이 딥러닝 모델은 일반적으로 FP32(Floating Point 32-bit) 형식의 가중치를 사용한다. 하지만 모델 크기가 커질수록 메모리 사용량이 증가하고 추론 속도가 느려질 수 있다.특히 모바일 기기나 임베디드 환경에서는 제한된 자원 안에서 모델을 실행해야 하기 때문에 모델을 더 작고 빠르게 만드는 과정이 필요하다.이때 사용되는 대표적인 최적화 기법이 양자화(Quantization)이다.양자화란 무엇인가양자화는 모델이 사용하는 숫자 표현 방식을 더 작은 비트 수로 변환하는 기술이다.예를 들어 FP32 가중치를 INT8 형태로 변환하면 메모리 사용량을 줄일 수 있고 추론 속도도 향상될 수 있다.다만 숫자 표현 범위가 줄어들기 때문에 일부 모델에서는 정확도가 감소할 수 있다.Post-Training Qua.. 2026. 6. 19. 딥러닝 모델을 ONNX와 TensorRT로 변환하는 이유 딥러닝 모델은 일반적으로 PyTorch나 TensorFlow와 같은 프레임워크에서 학습된다. 하지만 학습이 완료된 모델을 실제 서비스 환경에 배포할 때는 학습 환경과 실행 환경이 서로 다른 경우가 많다.예를 들어 서버 환경, 엣지 디바이스, 모바일 기기 등 다양한 환경에서 모델을 실행해야 할 수 있다. 이때 모델을 ONNX나 TensorRT와 같은 포맷으로 변환하면 더 효율적으로 배포하고 실행할 수 있다.모델 변환이 필요한 이유학습 단계에서는 모델의 정확도 향상이 중요하지만 서비스 단계에서는 추론 속도와 자원 사용량이 더욱 중요해진다.예를 들어 객체 탐지 모델이 이미지 한 장을 분석하는 데 1초가 걸린다면 실시간 서비스에서는 사용하기 어렵다.따라서 실제 서비스에서는 모델을 최적화하여 더 빠르게 실행할 수.. 2026. 6. 19. 이전 1 다음