AI·도구 · 권장
양자화Quantization
모델 수치의 정밀도를 낮춰 크기를 줄이는 기법.
양자화는 모델 내부의 수많은 수치를 더 성긴 단위로 표현해 메모리와 연산량을 크게 줄이는 기법입니다. 정밀도를 조금 낮추는 대신 모델이 훨씬 가벼워져 작은 장비에도 얹어 돌릴 수 있습니다. 그래서 내 노트북이나 소형 GPU에서 AI를 직접 굴리려 할 때 문턱을 낮춰 줍니다.
“8비트로 양자화하니 8GB 카드에도 겨우 올라가네요.”
다른 이름quantization · quant · int8 양자화 · q8