АНАЛИЗ ЭФФЕКТИВНОСТИ ПОСТОБУЧАЮЩЕГО КВАНТОВАНИЯ ДЛЯ ОПТИМИЗАЦИИ НЕЙРОННЫХ СЕТЕЙ

Татарникова Т. М., Раскопина А. С.
Санкт-Петербургский государственный университет аэрокосмического приборостроения (ГУАП)
Санкт-Петербург, Россия
E-mail: tm-tatarn@yandex.ru, raskopina.anastasia@yandex.ru

Первоисточник: Татарникова Т. М., Раскопина А. С. Анализ эффективности постобучающего квантования для оптимизации нейронных сетей // Наукоемкие технологии в космических исследованиях Земли. – 2025. – № 2. – URL: https://cyberleninka.ru/article/n/analiz-effektivnosti-postobuchayuschego-kvantovaniya-dlya-optimizatsii-neyronnyh-setey .

Введение

В последнее время методы глубокого обучения стали развиваться все более и более стремительно. Это связано с тем, что их эффективность в задачах прогнозирования, классификации, компьютерного зрения и детекции объектов иногда превосходит даже человека. Отличные результаты искусственный интеллект также показывает и в задачах рекомендательных систем и обработки естественного языка. Данные системы плотно интегрированы в нашу ежедневную рутину и значительно облегчают нам жизнь. Но с развитием методов глубокого обучения начал расти и размер самих моделей, так как они становились все сложнее и глубже, что начало требовать значительные затраты на вычислительные ресурсы и повышенные требования к аппаратным мощностям. Данные тенденции стали проблемой во многих задачах, ведь часто приходится применять нейросети в условиях ограниченных ресурсов — например, на мобильных устройствах, встраиваемых системах и в приложениях Интернета вещей (IoT)^[1].

В связи с данной проблемой в современных реалиях искусственного интеллекта остро встал вопрос оптимизации нейронных сетей. Существует множество методов оптимизации нейронных сетей, но не многие могут похвастаться той оптимизацией, которой позволит не понижать значительно точность модели. Большинство из них просто ускоряют весь процесс, но настолько занижают результативность модели, что применять их не имеет никакого смысла. Но существуют те методы, которые стараются держать баланс между точностью и эффективностью модели:

• Прунинг. Данный метод удаляет малозначимые веса или нейроны^[2].
• Квантование. Данный метод снижает разрядность параметров.
• Дистилляция знаний. Данный метод передает знания от более крупной модели к более компактной^[3].

Каждый из этих методов и алгоритмов имеет ряд своих преимуществ и ограничений. Выбор конкретного метода или их комбинации зависит от задачи, данных, требований к результатам и точности, а также от вычислительных ресурсов, выделенных под эту задачу.

Среди данных методов в последнее время уделяется больше внимания квантованию. Как было сказано ранее, данный метод снижает разрядность параметров. Это значит, например, что параметры, представленные в формате с плавающей запятой (FP32), будут преобразованы в более компактные форматы, что позволит ускорить сами модели и значительно сократить занимаемый ими объем памяти^[4].

Квантование не обязательно применять во время обучения, его можно также применить и после. Квантование в процессе обучения называют quantization-aware training в сокращении QAT, а квантование после обучения называют post-training quantization в сокращении PTQ. В действительности возможность использовать постобучающее квантование является одним из самых привлекательных методов для исследователей. Ведь используя данный метод не требуется полностью переобучать модели и есть возможность применять его к уже готовым нейросетям, что действительно удобно для промышленного применения.

Тем не менее, выбор между различными методами оптимизации требует тщательного анализа. У каждого метода есть неоспоримые преимущества, но нужно учитывать, где именно эти преимущества помогут добиться наилучших результатов.

В частности, прунинг может обеспечивать высокую степень сжатия, но требует последующей переподгонки модели. Дистилляция знаний эффективна для переноса характеристик больших моделей, но связана с необходимостью обучения новой модели-ученика.

В данной статье будут рассматриваться различные методы оптимизации нейронных сетей. Но особое внимание будет уделено квантованию. Постобучающее квантование в этом контексте выступает как компромиссный подход, обеспечивающий значительное снижение вычислительных затрат при минимальных требованиях к дополнительным ресурсам.

Экспериментальная часть будет посвящена реализации метода квантования, интерпретации полученных результатов и анализу эффективности данного метода на реальных задачах.

Обзор методов оптимизации нейронных сетей

Рассмотрим ранее упомянутые методы, как прунинг, квантование и дистилляция знаний, более подробно.

Прунинг представляет собой процесс удаления избыточных параметров нейросети, таких как веса, нейроны или фильтры, которые оказывают незначительное влияние на её выходной сигнал. Идея этого метода заключается в том, что большая часть параметров модели в действительности не является критически важной для её корректной работы. Удаляя такие элементы, можно достичь существенного уменьшения объёма модели и числа необходимых вычислений. Существует несколько подходов к реализации прунинга, различающихся степенью структурированности: от точечного удаления отдельных весов до вырезания целых структурных блоков, таких как каналы или фильтры. При этом важно учитывать, что неосторожный прунинг может привести к снижению точности модели, и поэтому часто применяется повторное обучение после удаления параметров для восстановления её первоначального качества. Несмотря на свою эффективность, прунинг требует тщательного выбора критериев важности параметров и может быть достаточно ресурсоёмким процессом^[9].

Другим широко применяемым направлением оптимизации является квантование нейронных сетей. Оно основано на преобразовании весов и активаций из формата с высокой точностью, как правило 32-битных чисел с плавающей точкой, в представление с меньшей разрядностью — например, в 16-битные или 8-битные целые числа. Это позволяет существенно уменьшить объём памяти, необходимый для хранения модели, и ускорить выполнение операций, особенно при использовании специализированных аппаратных решений.

Квантование может проводиться как после обучения модели, без дополнительной её адаптации, так и в процессе обучения с учётом ограниченной разрядности. Последний подход позволяет добиться более высокой точности, поскольку сеть постепенно приспосабливается к условиям низкой точности вычислений.

Кроме того, в рамках квантования могут использоваться различные схемы распределения значений, включая симметричные и асимметричные, в зависимости от характера весов и активаций. Благодаря своей простоте и совместимости с современными фреймворками и библиотеками, квантование стало одним из наиболее востребованных методов оптимизации нейросетей, особенно в промышленной практике и при развёртывании моделей на устройствах с ограниченными ресурсами^{[10, 11]}.

Не менее интересным и перспективным направлением является дистилляция знаний, которая основывается на передаче информации от сложной и высокоточной модели-учителя к более компактной модели-ученику. При этом ученик обучается не на истинных метках обучающей выборки, а на выходных сигналах учителя, что позволяет добиться более сглаженного распределения вероятностей. Такой подход способствует улучшению обобщающих способностей модели-ученика и позволяет существенно уменьшать её размер при умеренном падении точности. Наибольший эффект дистилляция демонстрирует в задачах классификации и обработки естественного языка, где важна аппроксимация сложных распределений на выходе модели.

В реальных приложениях наибольшую выгоду обычно даёт сочетание различных методов оптимизации, а также учёт специфики целевой платформы и требований к задержке и энергопотреблению. Тем не менее, постобучающее квантование остаётся одним из наиболее практичных и универсальных методов, так как не требует доступа к полному обучающему датасету и может применяться к уже готовым моделям, что особенно ценно в условиях ограниченного времени или ресурсов^[12–15].

Постобучающее квантование нейронных сетей

Как говорилось ранее, постобучающее квантование позволяет не переобучать модель, а использовать её на готовой обученной нейросети, что значительно может ускорить решение определённых задач.

Ключевыми этапами постобучающего квантования являются:

• Анализ распределения весов и активаций, то есть сбор статистики, необходимой для правильного определения диапазонов квантования.
• Определение масштабных коэффициентов и нулевых смещений, которые обеспечивают переход от действительных чисел к целочисленным представлениям.
• Преобразование весов модели и параметров слоёв, то есть пересчёт данных в соответствии с выбранными уровнями квантования^{[16, 17]}.

Существует несколько разновидностей постобучающего квантования, отличающихся степенью вмешательства в модель и способом преобразования данных — динамическое и статическое.

Динамическое квантование предполагает, что веса модели квантуются заранее, а активации преобразуются в процессе выполнения. Этот подход часто применяется к моделям обработки естественного языка^[18].

Статическое квантование, наоборот, требует предварительного сбора информации как весов, так и активаций на основе калибровочного набора данных, что позволяет добиться более высокой производительности. Этот подход упрощает реализацию и снижает вероятность потерь точности^[19].

Конкретный выбор динамического или статического метода определяется требованиями к скорости инференса, допустимой потерей точности и характеристиками аппаратной платформы.

Постобучающее квантование обладает рядом значительных преимуществ. Во-первых, оно позволяет сократить размер модели: переход от FP32 к INT8 уменьшает объём занимаемой памяти примерно в четыре раза. Во-вторых, ускоряется инференс, так как целочисленные вычисления выполняются быстрее операций с плавающей точкой, особенно на специализированных ускорителях.

В-третьих, отсутствует необходимость в ресурсоёмком переобучении, что делает PTQ крайне привлекательным в условиях ограниченного доступа к вычислительным ресурсам или исходному обучающему датасету.

В-четвёртых, большинство современных фреймворков машинного обучения, включая TensorFlow Lite, ONNX Runtime и PyTorch, предоставляют встроенные инструменты для применения квантования.

Однако постобучающее квантование не является универсальным решением. В некоторых случаях оно может вызывать снижение точности, особенно при применении к сложным архитектурам или чувствительным задачам, где важны даже минимальные отличия в выходных значениях. Тем не менее, в подавляющем большинстве прикладных сценариев, особенно там, где модели используются для инференса на стороне клиента или в других энергозависимых устройствах, преимущества PTQ перевешивают его недостатки, особенно если модель изначально обладает высоким запасом точности и не используется в критически важных областях.

Сравнительный анализ показывает, что постобучающее квантование выигрывает за счёт минимальных затрат времени и вычислительных ресурсов на подготовку, не требует дополнительных этапов обучения и может применяться к широкому спектру существующих моделей без значительных модификаций структуры. В то же время прунинг и дистилляция знаний остаются актуальными в ситуациях, когда приоритетом является максимальная компактность или минимальный размер модели, и когда есть возможность провести повторное обучение^[20].

Экспериментальная часть

В рамках экспериментальной части исследования были выбраны пять моделей: MobileNetV2, BERT-base, YOLOv5s, EfficientNet-B0 и DistilBERT. Все модели были обучены в двух вариантах: в исходной (полной) форме без применения квантования и в варианте после постобучающего квантования для оценки влияния квантования на точность, размер модели и скорость инференса. Эксперименты проводились на платформе на базе GPU с последующим переносом моделей на CPU для замеров производительности.

В процессе работы был использован язык программирования Python версии 3.10 и следующие основные библиотеки: PyTorch для обучения и квантования моделей, torchvision для работы с компьютерным зрением, а также Hugging Face Transformers и Datasets для работы с текстовыми задачами и загрузки датасетов. Для проведения всех этапов квантования применялись стандартные средства библиотеки PyTorch.

На начальном этапе работы с каждой моделью были загружены предобученные веса, после чего производилось дополнительное обучение на соответствующих задачах. Для MobileNetV2 использовалось подмножество датасета ImageNet, модель обучалась с использованием оптимизатора Adam с начальными параметрами скорости обучения 0.001 и размером батча 128.

Для BERT-base был выбран датасет SST-2 для задачи классификации тональности текста. Модель дообучалась с использованием оптимизатора AdamW при скорости обучения 2e-5 в течение трёх эпох. Сначала оценивалась точность исходной модели без квантования. Затем модель подвергалась динамическому квантованию, затрагивающему только слои полносвязных нейронных сетей, с последующим сравнением результатов.

YOLOv5s была использована для задачи детекции объектов на подмножестве COCO. Модель дообучалась в течение 300 эпох с использованием оптимизатора SGD с моментом 0.9 и начальной скоростью обучения 0.01. Модель в полной форме тестировалась на валидационном наборе, метрикой служила средняя точность (mean Average Precision, mAP). После тестирования YOLOv5s подвергалась статическому квантованию с калибровкой на изображениях и проводилась повторная оценка.

EfficientNet-B0 обучалась на датасете CIFAR-100 с применением базовых аугментаций, таких как случайная обрезка и горизонтальное отражение. Модель оптимизировалась с помощью Adam со скоростью обучения 0.001.

DistilBERT применялся для задачи классификации новостей на датасете AG News. Fine-tuning модели происходил в течение четырёх эпох при скорости обучения 3e-5 с использованием оптимизатора Adam. После обучения производилась оценка точности модели без квантования. Затем модель была подвергнута динамическому квантованию, с фокусом на ускорение инференса без значительного ухудшения качества классификации.

После обучения каждой модели переходили к этапу квантования. Для реализации квантования использовались встроенные инструменты библиотеки PyTorch. В зависимости от типа модели применялись разные схемы квантования.

Для моделей MobileNetV2, YOLOv5s и EfficientNet-B0 использовалось статическое постобучающее квантование. Для этого на этапе подготовки модели производилась замена исходных слоёв на квантованные аналоги с помощью методов из модуля torch.quantization. В процессе калибровки подавалось на модель ограниченное количество реальных обучающих данных, что позволяло определить оптимальные интервалы квантования для весов и активаций. После калибровки модель конвертировалась в квантованный формат и сохранялась для последующего тестирования.

Для моделей BERT-base и DistilBERT применялось динамическое квантование. Оно осуществлялось путём применения функций динамического квантования, которая автоматически заменяла подходящие линейные слои на квантованные версии во время инференса. Данный подход не требовал дополнительной калибровки на обучающих данных и выполнялся значительно быстрее, чем статическое.

На всех этапах процесса квантования контролировалась правильность преобразований, проверялось соответствие архитектуры модели, а также тестировалась работоспособность модели на валидационном наборе данных перед замером итоговых метрик. После квантования модели были сохранены в отдельных файлах для дальнейшего сравнения по размерам, скорости инференса и точности.

В таблице 1 можно увидеть характеристики моделей до квантования.

В таблице 2 можно увидеть характеристики моделей после квантования.

После обучения всех моделей в их исходных (FP32) форматах, я провела оценку их производительности по ключевым метрикам: точность, размер модели, время инференса, вычислительная сложность (FLOPs) и потребление оперативной памяти. Затем к этим же моделям было применено квантование, с последующим повторным измерением указанных характеристик. Это позволило наглядно сравнить эффективность до и после применения методов оптимизации (рис. 1).

Из графика можно заметить, что квантование моделей оказывает минимальное влияние на точность, хотя и приводит к небольшому снижению. Для модели MobileNetV2 точность уменьшилась с 71.8% до 71.2%, что представляет собой малозаметное изменение. Однако для модели YOLOv5s снижение точности более выражено (с 39.2% до 38.5%). Модели с высокими показателями точности, такие как BERT-base (снижение с 82.6% до 81.8%) и DistilBERT (снижение с 79.1% до 78.7%), демонстрируют, что даже после квантования они сохраняют высокую эффективность.

После квантования размер всех моделей значительно сокращается (рис. 2).

Размер модели MobileNetV2 уменьшается с 13.4 МБ до 3.4 МБ, что делает её гораздо более компактной и подходящей для использования в условиях ограниченных вычислительных ресурсов. Для модели YOLOv5s размер также уменьшается с 14.2 МБ до 3.7 МБ, что значительно повышает её мобильность и применимость в реальных системах с ограничениями по памяти. Однако для крупных моделей, таких как BERT-base и DistilBERT, квантование даёт меньший эффект: размер BERT-base уменьшается с 420 МБ до 105 МБ, а DistilBERT — с 250 МБ до 62 МБ.

Время инференса всех моделей сокращается после квантования, что делает их более эффективными для реального применения, где важна скорость обработки (рис. 3).

Для MobileNetV2 время инференса уменьшается с 18 мс до 12 мс, что улучшает скорость работы модели в реальных условиях. Для модели YOLOv5s время инференса также снижается с 45 мс до 28 мс, что существенно ускоряет её работу при обработке изображений в реальном времени. Модели BERT-base и DistilBERT также показывают снижение времени инференса, что особенно важно для задач обработки естественного языка, где необходима высокая скорость принятия решений. Эти результаты подчёркивают, что квантование не только уменьшает размер моделей, но и ускоряет их выполнение, что делает их более подходящими для применения в системах с ограниченными вычислительными ресурсами или с требованиями к скорости.

Заключение

В ходе проведённого исследования была продемонстрирована эффективность постобучающего квантования (PTQ) как метода оптимизации нейросетевых моделей для применения в условиях ограниченных вычислительных ресурсов. Экспериментальные результаты показали, что применение квантования позволяет существенно снизить размер моделей — в среднем в 3–4 раза и ускорить время инференса на 30–40% без критичного ухудшения точности. Для всех рассмотренных моделей, включая MobileNetV2, EfficientNet-B0, YOLOv5s, BERT-base и DistilBERT, наблюдалось лишь незначительное снижение качества предсказаний (не более 1–1.5%), что подтверждает высокую практическую ценность данного подхода.

Особенно примечательным является тот факт, что крупные модели, такие как BERT-base, демонстрируют значительное снижение как объёма (с 420 МБ до 105 МБ), так и времени инференса (с 160 мс до 112 мс), сохраняя при этом приемлемый уровень точности. Это указывает на высокую адаптивность PTQ даже для традиционных архитектур, традиционно считавшихся ресурсоёмкими.

Полученные результаты подтверждают актуальность использования постобучающего квантования при развёртывании нейросетей на устройствах с ограниченными вычислительными возможностями, включая мобильные приложения, IoT-системы и встроенные решения.

Постобучающее квантование доказало свою эффективность как баланс между простотой, производительностью и точностью. С развитием специализированных аппаратных ускорителей (GPU, TPU, NPU) и оптимизацией фреймворков (TensorFlow Lite, ONNX Runtime) PTQ станет ещё более востребованным инструментом разработчиков ИИ и исследователей.