mirror of https://github.com/huggingface/transformers.git synced 2025-07-05 22:00:09 +06:00

🌐 [i18n-KO] Translated main_classes/quantization.md to Korean (#33959 )

* docs: ko: main_classes/quantization.md

* feat: nmt draft

* fix: resolve suggestions

Co-authored-by: Ahnjj_DEV <ahnjj.dev@gmail.com>

* fix: resolve suggestions

Co-authored-by: Ahnjj_DEV <ahnjj.dev@gmail.com>

* fix: resolve suggestions

---------

Co-authored-by: Ahnjj_DEV <ahnjj.dev@gmail.com>

2024-10-08 17:10:41 -07:00

2.3 KiB

Raw Blame History

양자화quantization

양자화 기법은 가중치와 활성화를 8비트 정수(int8)와 같은 더 낮은 정밀도의 데이터 타입으로 표현함으로써 메모리와 계산 비용을 줄입니다. 이를 통해 일반적으로는 메모리에 올릴 수 없는 더 큰 모델을 로드할 수 있고, 추론 속도를 높일 수 있습니다. Transformers는 AWQ와 GPTQ 양자화 알고리즘을 지원하며, bitsandbytes를 통해 8비트와 4비트 양자화를 지원합니다. Transformers에서 지원되지 않는 양자화 기법들은 [HfQuantizer] 클래스를 통해 추가될 수 있습니다.

모델을 양자화하는 방법은 이 양자화 가이드를 통해 배울 수 있습니다.