ptq2 모델 경량화 후 성능 저하를 확인하기 위한 테스트 방법 양자화(Quantization)나 모델 경량화(Model Compression)는 모델 크기를 줄이고 추론 속도를 높이기 위해 사용된다.하지만 모델을 최적화하는 과정에서 예측 정확도가 낮아지거나 일부 데이터에 대한 성능이 저하될 수 있다.따라서 실제 서비스에 적용하기 전에는 모델의 정확도와 성능이 유지되는지 충분히 검증해야 한다.왜 검증 과정이 필요할까예를 들어 FP32 모델을 INT8 모델로 변환했다고 가정해보자.모델 크기는 줄어들고 추론 속도는 빨라질 수 있지만 숫자 표현 범위가 감소하면서 일부 정보가 손실될 수 있다.이로 인해 특정 데이터에서 오탐(False Positive)이나 미탐(False Negative)이 증가할 가능성이 있다.그래서 모델 최적화 이후에는 정확도뿐만 아니라 실제 서비스 환경.. 2026. 6. 19. Post-Training Quantization과 Quantization-Aware Training의 차이 딥러닝 모델은 일반적으로 FP32(Floating Point 32-bit) 형식의 가중치를 사용한다. 하지만 모델 크기가 커질수록 메모리 사용량이 증가하고 추론 속도가 느려질 수 있다.특히 모바일 기기나 임베디드 환경에서는 제한된 자원 안에서 모델을 실행해야 하기 때문에 모델을 더 작고 빠르게 만드는 과정이 필요하다.이때 사용되는 대표적인 최적화 기법이 양자화(Quantization)이다.양자화란 무엇인가양자화는 모델이 사용하는 숫자 표현 방식을 더 작은 비트 수로 변환하는 기술이다.예를 들어 FP32 가중치를 INT8 형태로 변환하면 메모리 사용량을 줄일 수 있고 추론 속도도 향상될 수 있다.다만 숫자 표현 범위가 줄어들기 때문에 일부 모델에서는 정확도가 감소할 수 있다.Post-Training Qua.. 2026. 6. 19. 이전 1 다음