ДонНТУ   Портал магистров

Библиотека материалов по теме выпускной работы

    Собственные публикации и доклады

  1. Сравнительный анализ инструментов для развёртывания больших языковых моделей

    Авторы: И.В. Тарабаева, А.Д. Балабан

    Описание: В данной работе представлен сравнительный анализ трёх популярных инструментов для развёртывания больших языковых моделей: LM Studio, Text Generation Inference и vLLM. Рассмотрены основные характеристики, преимущества и недостатки каждого инструмента, включая производительность, поддержку многозадачности и потребление видеопамяти.

    Источник: Программная инженерия: методы и технологии разработки информационно-вычислительных систем(ПИИВС-2024)

  2. Модель машинного обучения для анализа тональности отзывов к кинофильмам

    Авторы: А.Д. Балабан, О.И.Федяев

    Описание: Статья посвящена автоматизации определения тональности отзывов к кинофильмам. Для решения поставленной задачи предложен метод, основанный на использовании нейронной сети LSTM. В рамках статьи показаны все этапы конвейера NLP: подготовка, обработка данных, построение, обучение и применение модели.

    Источник: Программная инженерия: методы и технологии разработки информационно-вычислительных систем(ПИИВС-2022)

    3. Тематические статьи

  3. LoRA and QLoRA in LLM fine-tuning for custom coding applications: efficiency and scalability

    Авторы: E. Mozharovskii

    Описание: Статья обсуждает использование методов Low-Rank Adaptation (LoRA) и Quantized Low-Rank Adaptation (QLoRA) для дообучения больших языковых моделей (LLM) для специализированных программных задач, подчеркивая их преимущества в улучшении эффективности, масштабируемости и снижении вычислительных затрат при сохранении высокой точности и производительности.

    Источник: Холодная наука. №8/2024

  4. Methods for Optimizing the Training and Fine-Tuning Large Language Models

    Авторы: A. V. Samonov

    Описание: В данной статье рассматриваются методы оптимизации обучения и дообучения больших языковых моделей (LLM), такие как LoRA, QLoRA, выбор размера пакета, накопление градиентов, контроль градиентов, обучение с использованием смешанной точности и FlashAttention-2, с целью снижения вычислительных ресурсов и затрат времени и денег.

    Источник: Интеллектуальные технологии на транспорте. 2024. № 3

  5. Программная система автоматического реферирования текста

    Авторы: Б.Ю. Салып

    Описание: В статье описывается разработка и тестирование программной системы автоматического реферирования текста, проводится анализ датасета для обучения, препроцессинг данных и сравнивается корреляция автоматических метрик с человеческими оценками качества реферирования текста.

    Источник: Проблемы современной науки и образования. 2023. № 7 (185)