Глоссарий
MoE (смесь экспертов)
Архитектура, в которой модель состоит из множества «экспертов», но на каждый токен работает лишь часть из них. Позволяет держать огромное общее число параметров при умеренной цене и скорости ответа.
У MoE-моделей в описании обычно два числа: общее количество параметров и количество активных. Запись вида 30b-a3b означает 30 миллиардов всего и 3 миллиарда активных на токен. Считает модель как небольшая, а знает как большая — отсюда выгодное соотношение цены и качества.
- На цену влияет число АКТИВНЫХ параметров, а не общее — поэтому MoE часто дешевле плотных моделей своего класса.
- Качество по задачам неровнее: разные эксперты сильны в разном, и на узкой задаче стоит проверить модель на своих примерах.