Глоссарий

Квантизация

Сжатие весов модели до меньшей разрядности (например, с 16 бит до 8 или 4). Модель занимает меньше памяти и отвечает быстрее, но часть точности теряется.

Квантизация — это компромисс между стоимостью инференса и качеством. В названиях моделей она обычно обозначается суффиксами вроде fp8, int8, awq или gguf. Для массовых типовых задач разница часто незаметна, а на сложных рассуждениях и точных форматах может проявиться.

Если у поставщика есть и обычная, и квантизованная версия — сравните их на своих примерах, а не по описанию.
Для форматного вывода (строгий JSON, вызовы инструментов) осторожнее: именно там потеря точности заметнее всего.