mirror of https://github.com/huggingface/transformers.git synced 2025-07-04 21:30:07 +06:00

FEAT : Adding VPTQ quantization method to HFQuantizer (#34770 )

* init vptq

* add integration

* add vptq support

fix readme

* add tests && format

* format

* address comments

* format

* format

* address comments

* format

* address comments

* remove debug code

* Revert "remove debug code"

This reverts commit ed3b3eaaba.

* fix test

---------

Co-authored-by: Yang Wang <wyatuestc@gmail.com>

2024-12-20 09:45:53 +01:00

2.4 KiB

Raw Blame History

양자화quantization

양자화 기법은 가중치와 활성화를 8비트 정수(int8)와 같은 더 낮은 정밀도의 데이터 타입으로 표현함으로써 메모리와 계산 비용을 줄입니다. 이를 통해 일반적으로는 메모리에 올릴 수 없는 더 큰 모델을 로드할 수 있고, 추론 속도를 높일 수 있습니다. Transformers는 AWQ와 GPTQ 양자화 알고리즘을 지원하며, bitsandbytes를 통해 8비트와 4비트 양자화를 지원합니다. Transformers에서 지원되지 않는 양자화 기법들은 [HfQuantizer] 클래스를 통해 추가될 수 있습니다.

모델을 양자화하는 방법은 이 양자화 가이드를 통해 배울 수 있습니다.