LLM Quantization, GGML, GGUF 에 관해서

[d-h-lee]

대형언어모델 때문에 참 이슈가 많은데, 그 "대형"이라는 부분에서 Quantization 관련된 실용적인 개발이 많이 진행중입니다.

몇 가지 툴들이 보이는데, 어떤 실용적인 툴들이 있는지도 서베이가 필요합니다.

그리고, 그 중에서 GGML에 관해서 중요한 변화가 일어나는 중(GGUF로 변경중)이라 이번 기회에 GGML/GGUF에 대해서 살펴보는게 좋을것같습니다.

ggerganov/ggml#220

https://huggingface.co/TheBloke/Llama-2-7B-GGUF 실 사용 용도로 영향을 주는 것들의 예시입니다.

[pinga999]

Simple article for GGUF GGML

https://medium.com/@phillipgimmi/what-is-gguf-and-ggml-e364834d241c

[d-h-lee]

AutoAWQ: https://github.com/casper-hansen/AutoAWQ