Ключевые слова: большие языковые модели, температура, генерация кода, HumanEval, Qwen2.5.
I. Введение
Современные языковые модели демонстрируют значительный прогресс в генерации программного кода. Однако качество их решений зависит от множества параметров, среди которых важную роль играет коэффициент температуры (temperature) при сэмплировании (sampling).
Этот параметр определяет степень случайности выбора следующего токена (token) и, следовательно, влияет на вариативность и точность генерируемого кода. Температура значительно влияет на качество и разнообразие результатов при генерации текста или кода, при этом зависит от задачи и цели генерации [1].
В данном исследовании рассматривается влияние изменения температуры на способность модели решать задачи программирования из бенчмарка HumanEval [2]. Основной целью является анализ зависимости метрики pass@k от параметра температуры и исследование типов ошибок при различных его значениях.
II. Методология
Для проведения эксперимента используется исходный код большой языковой модели Qwen2.5-3B [3] и набор задач HumanEval от OpenAI.
A. Температуры
Для исследования выбраны значения температур от 0,1 до 1,0 с шагом 0,1. Этот диапазон позволяет охватить различные режимы работы модели: от детерминированного (низкие значения температуры) до более стохастического (высокие значения температуры).
Наивысшие значения и самые качественные результаты ожидаются в диапазоне 0,2–0,8, так как часто именно в нем находятся оптимальные температуры для задачи генерации кода [4].
B. Оценка
Для оценки качества сгенерированного программного кода используется набор задач HumanEval, предложенный OpenAI [2]. Этот бенчмарк включает 164 задачи, охватывающие различные аспекты программирования на языке Python.
Каждая задача содержит описание проблемы, начальный код (функцию-заготовку) и набор автоматических тестов, которые позволяют объективно измерить корректность решений, сгенерированных моделью.
Основной метрикой оценки качества является pass@25 — доля задач, где хотя бы одно из 25 решений является корректным. Эта метрика позволяет оценить вероятность того, что при многократной генерации будет получено ожидаемое решение.
Ошибочные генерации разделены на две группы:
- Синтаксические ошибки — задачи, в которых результат содержит несоответствия правилам языка программирования.
- Логические ошибки — задачи, где код исполняется, но результат неверный.
Число ошибок указывается с учетом всех генераций одной температуры при pass@25.
C. Эксперимент
Для каждого значения температуры генерируются решения всех задач из HumanEval. Каждое значение температуры сопровождается запуском генерации 25 раз для каждой из 164 задач.
Затем производится оценка pass@k и анализ каждой из генераций для определения типов ошибок.
III. Результаты
Конечные результаты вычисления pass@25 для каждой температуры и процентное соотношение типов ошибок представлены в таблице I.
Таблица I. PASS@25 к температуре
| Температура | pass@25, % | Синтаксис, % | Логика, % | Кол-во ошибок |
|---|---|---|---|---|
| 0.1 | 29.3 | 76.2 | 23.8 | 3731 |
| 0.2 | 42.7 | 73.1 | 26.9 | 3700 |
| 0.3 | 54.9 | 71.0 | 29.0 | 3628 |
| 0.4 | 56.7 | 70.0 | 30.0 | 3589 |
| 0.5 | 64.0 | 66.2 | 33.8 | 3485 |
| 0.6 | 68.9 | 60.4 | 39.6 | 3449 |
| 0.7 | 68.9 | 55.6 | 44.4 | 3408 |
| 0.8 | 74.4 | 52.5 | 47.5 | 3425 |
| 0.9 | 64.0 | 47.7 | 52.3 | 3530 |
| 1.0 | 61.0 | 46.0 | 54.0 | 3598 |
При низких значениях температуры ошибки связаны с недостаточным разнообразием решений и повторяющимися ошибочными шаблонами. При высоких значениях температуры увеличивается число логических ошибок, а синтаксических — снижается, из-за чрезмерной стохастичности генерации.
Наивысшие значения pass@25 были достигнуты при диапазоне температур 0,6–0,8. В нем отмечается наименьшее количество ошибок по всему набору генераций. Наивысшей температурой по pass@k оказалась 0,8, хотя общее число ошибок при ней выше, чем при 0,7.
Более адаптивная стратегия изменения температуры во время генерации могла бы повысить качество решений [5].
Рис. 1. Зависимость pass@25 от температуры (в виде градиента).
IV. Выводы
Представлена оценка зависимости качества генерации программного кода БЯМ Qwen2.5-3B от температуры сэмплирования на основе бенчмарка HumanEval.
Полученные результаты показывают, что повышение температуры способствует улучшению метрики pass@k до диапазона 0,6–0,8, после чего качество решений начинает снижаться.
Это позволяет предположить, что оптимальные значения температуры не являются универсальными, и качество результатов зависит от специфики задачи. Таким образом, использование постоянной температуры во время генерации может снижать общий результат работы модели.
Эти данные могут быть полезны при настройке Qwen2.5-3B для автоматизированной генерации программного кода, а также для понимания того, как стохастичность влияет на качество кода.
Дальнейшее исследование будет направлено на детальный анализ типов ошибок при различных значениях температуры и изучение адаптивных стратегий её изменения в процессе генерации кода, что позволит точнее выявить причины ошибок и улучшить баланс между разнообразием и точностью решений модели.
Благодарности
Результаты исследования были получены в рамках выполнения государственного задания Минобрнауки России (Проект № FSSS-2023-0006).
Литература
- Holtzman, A. The Curious Case of Neural Text Degeneration / A. Holtzman, J. Buys, L. Du, et al. // International Conference on Learning Representations. - Addis Ababa: ICLR, 2020. - [Electronic resource]. - Access mode: https://arxiv.org/abs/1904.09751 (16.02.2025).
- Chen, M. Evaluating large language models trained on code / M. Chen, et al. // arXiv preprint arXiv:2107.03374. - 2021. - [Electronic resource]. - Access mode: https://arxiv.org/abs/2107.03374v2 (16.02.2025).
- Yang, A. Qwen2.5 Technical Report / A. Yang, et al. // arXiv preprint arXiv:2412.15115v2. - 2024. - [Electronic resource]. - Access mode: https://arxiv.org/abs/2412.15115 (16.02.2025).
- Zhu, Y. Hot or Cold? Adaptive Temperature Sampling for Code Generation with Large Language Models / Y. Zhu, et al. // arXiv preprint arXiv:2309.02772v3. - 2023. - [Electronic resource]. - Access mode: https://arxiv.org/abs/2309.02772v3 (16.02.2025).
- Doderlein, J.B. Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic / J.B. Doderlein, et al. // arXiv preprint arXiv:2210.14699v2. - 2022. - [Electronic resource]. - Access mode: https://arxiv.org/abs/2210.14699v2 (16.02.2025).