Инференс и развёртывание
Квантование
Представление весов, активаций или кэшей с пониженной числовой точностью. Оно может снизить требования к памяти и пропускной способности, а также вычислительные затраты, но требует компромисса с точностью и поддержкой оборудования.
Ключевые термины
- точность (precision)
- INT8
- INT4
- только веса (weight-only)
Связи внутри проекта
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.