Библиотека материалов по теме выпускной работы

Cтатьи по теме исследования

1. Исследование проблемы злонамеренного использования генеративных нейронных сетей и способы защиты

   Авторы: В.А. Пустовой, К.Н. Ефименко, Э.В. Павлыш

   Описание: исследование проблемы злонамеренного использования генеративных нейронных сетей и способы защиты. Рассмотрена проблема злонамеренного использования генеративных нейронных сетей. Определены зловредные действия. Приведены примеры реального использования, а также способы защиты и предотвращения подобных атак в будущем.

   Источник: СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ И НАУЧНЫХ ИССЛЕДОВАНИЯХ СИТОНИ-2025. - 2025.

2. Особенности организации атак на нейронные сети для распознавания образов

   Авторы: М.А. Лапина, Н.В. Ржевская, Д.В. Котляров, Г.Д. Дюдюн

   Описание: в статье рассматривается проблема атак на нейронные сети, используемые для распознавания образов, в контексте информационно-телекоммуникационных систем. Статья подробно описывает состязательные атаки на нейронные сети, которые позволяют обмануть систему путем внесения незаметных искажений или модификаций входных данных. Рассматриваются различные виды атак, включая враждебные атаки, исследуются история исследований и разработки методов атаки и защиты. Приводятся конкретные примеры состязательных атак и обсуждаются их последствия, особенно в областях биометрической аутентификации.

   Источник: Auditorium, №2 (38). – 2023. – С. 79-86.

3. Проблемы использования нейронных сетей в правоохранительной деятельности

   Авторы: А.Г. Карпика

   Описание: нейронные сети все чаще используются в правоохранительных органах Российской Федерации и других государств для решения таких задач, как прогнозный анализ, распознавание образов и некоторых других. Несмотря на то, что подобные системы имеют ряд преимуществ по сравнению с традиционными подходами, существует ряд проблем, связанных с их использованием. В статье рассматриваются возможные негативные последствия применения нейронных сетей в деятельности полиции - предвзятость, обеспечение конфиденциальности, точность, интерпретируемость полученных результатов, а также некоторые юридические и этические проблемы.

   Источник: Юристъ-Правоведъ, № 3 (106). – 2023. – C. 107-113.

4. Глубокое обучение методам защиты от атак

   Авторы: Р.М. Ауси, Е.В. Заргарян, Ю.А. Заргарян

   Описание: в последние годы алгоритмы машинного обучения, а точнее алгоритмы глубокого обучения, широко используются во многих областях, включая кибербезопасность. Однако системы машинного обучения уязвимы для атак со стороны злоумышленников, и это ограничивает применение машинного обучения, особенно в нестационарных средах со враждебными действиями, таких как область кибербезопасности, где существуют настоящие злоумышленники (например, разработчики вредоносных программ). С быстрым развитием методов искусственного интеллекта (ИИ) и глубокого обучения (ГО) важно обеспечить безопасность и надежность реализованных алгоритмов. В последнее время уязвимость алгоритмов глубокого обучения к конфликтующим паттернам получила широкое признание. Изготовленные сфабрикованным образом образцы для анализа могут привести к различному нарушению поведения моделей глубокого обучения, в то время как люди будут считать их безопасными для использования. Успешная реализация атак противника в реальных физических ситуациях и сценариях реального физического мира еще раз доказывает их практичность.

   Источник: Известия Южного федерального университета. Технические науки, №. 2 (232). – 2023. – С. 227-239.

5. Проблемы регулирования искусственного интеллекта

   Авторы: А.В. Минбалеев

   Описание: в статье анализируются отдельные законодательные инициативы в Российской Федерации и за рубежом по регулированию искусственного интеллекта. Автор приходит к выводу, что анализ законодательных инициатив различных стран мира свидетельствует о постановке задач государствами как по решению отдельных, наиболее актуальных вопросов, связанных с применением искусственного интеллекта и робототехники, так и по глобальному определению перспектив системного анализа и регулирования использования искусственного интеллекта в различных сферах общественной жизни, а также обеспечения системы безопасности личности, общества и государства от возможных угроз выхода искусственного интеллекта из под контроля человека.

   Источник: Вестник Южно-Уральского государственного университета. Серия: Право, Т. 18, №. 4. – 2018. – С. 82-87.

6. Современные потребности правового обеспечения искусственного интеллекта: взгляд из России

   Авторы: В.А. Шестак, А.Г. Волеводз

   Описание: искусственный интеллект как технология будущего на современном этапе развития общества активно расширяет свои возможности. В связи с этим возникает проблема применения норм в том числе и международного права при решении вопросов, которые отражают сущность и технический регламент использования искусственного интеллекта. Статья посвящена исследованию проблемных аспектов правового регулирования создания и использования искусственного интеллекта, а также разработки понятийного аппарата и определения искусственного интеллекта согласно общепризнанным научным теориям; анализу доктринальных подходов к пониманию места искусственного интеллекта в правоотношениях; доказыванию правовой необоснованности признания обладания статусом личности искусственного интеллекта; критичному анализу предложений американских исследователей по подчинению искусственного интеллекта напрямую полному спектру законов, применяющихся к его человеческому производителю и оператору.

   Источник: Всероссийский криминологический журнал, Т. 13, № 2. — 2019. — С. 197–206. — DOI: 10.17150/2500-4255.2019.13(2).197-206.

7. Метод защиты нейронных сетей от компьютерных бэкдор-атак на основе идентификации триггеров закладок

   Авторы: А.Б. Менисов, А.Г. Ломако, А.С. Дудкин

   Описание: современные технологии разработки и эксплуатации нейронных сетей уязвимы для компьютерных атак с внедрением программных закладок (бэкдор). Программные закладки могут оставаться скрытыми неопределенное время, пока не будут активированы вводом модифицированных данных, содержащих триггеры. Такие закладки представляют непосредственную угрозу безопасности информации для всех компонентов системы искусственного интеллекта. Такие воздействия злоумышленников приводят к ухудшению качества или полному прекращению функционирования систем искусственного интеллекта. В работе предложен оригинальный метод защиты нейронных сетей, сущность которого состоит в создании базы ранжированных синтезированных триггеров закладок целевого класса бэкдор-атак.

   Источник: Научно-технический вестник информационных технологий, механики и оптики, Т. 22, №. 4. – 2022. – С. 742-750. DOI: 10.17586/2226-1494-2022-22-4-742-750

8. Военные применения машинного обучения

   Авторы: Д.Е. Намиот, Е.А. Ильюшин, И.В. Чижов

   Описание: настоящая статья посвящена прикладным аспектам применения систем машинного обучения. Очевидно, что области практического применения такого рода решений постоянно увеличиваются. Основным двигателем здесь является то, что с практической точки зрения машинное обучение рассматривается как синоним для понятия искусственный интеллект, внедрению которого в развитых странах посвящены специальные программы. Естественно, что среди таких внедрений рассматриваются и военные применения. Причем здесь можно отметить интересную особенность. Если раньше, военные области служили толчком для развития техники, заказывался поиск решений для военной техники и т.д., то в данном случае все, скорее, движется в обратном направлении. Сначала появляются новые решения (разработки), использующие машинное (глубинное) обучение, а затем их начинают использовать, в том числе, и в военных системах. В статье приводится обзор опубликованных военных программ использования искусственного интеллекта в военной сфере, который составлен с целью представить именно технологии и решения в области машинного обучения, которые применяются (используются) для военных систем.

   Источник: International Journal of Open Information Technologies, Т. 10, №. 1. – 2022. – С. 69-76.

9. Классификация механизмов атак и исследование методов защиты систем с использованием алгоритмов машинного обучения и искусственного интеллекта

   Авторы: И.В. Володин, М.М. Путято, А.С. Макарян, В.Ю. Евглевский

   Описание: в данной статье представлена полная классификация атак с использованием искусственного интеллекта. Были рассмотрены три основных выявленных раздела: атаки на информационные системы и компьютерные сети, атаки на модели искусственного интеллекта (атаки отравления, уклонения, извлечения, атаки на конфиденциальность), атаки на сознание и мнение человека (все типы deepfake). В каждом из этих разделов были выявлены и изучены механизмы атак, в соответствии с ними установлены методы защиты. В заключение был проанализирован конкретный пример атаки с использованием предварительно обученной модели и произведена защита от него с помощью метода модификации входных данных, а именно сжатия изображения с целью избавления от постороннего шума.

   Источник: Прикаспийский журнал: управление и высокие технологии, №2 (54). – 2021. – С. 91-98.

10. Атаки на системы машинного обучения – общие проблемы и методы

    Авторы: Е.А. Ильюшин, Д.Е. Намиот, И.В. Чижов

    Описание: в работе рассматривается проблема атак на системы машинного обучения. Под такими атаками понимаются специальные воздействия на элементы конвейера машинного обучения (тренировочные данные, собственно модель, тестовые данные) с целью либо добиться желаемого поведения системы, либо воспрепятствовать ее корректной работе. В целом, эта проблема является следствием принципиального момента для всех систем машинного обучения – данные на этапе тестирования (эксплуатации) отличаются от таковых же данных, на которых система обучалась. Соответственно, нарушение работы системы машинного обучения возможно и без целенаправленных действий, просто потому, что мы столкнулись на этапе эксплуатации с данными, для которых генерализация, достигнутая на этапе обучения, не работает. Атака на систему машинного обучения – это, фактически, целенаправленное выведение системы в область данных, на которых система не тренировалась. На сегодняшний день, эта проблема, которая, в общем случае, связана с устойчивостью работы систем машинного обучения, является главным препятствием для использования машинного обучения в критических приложениях.

    Источник: International Journal of Open Information Technologies, Т. 10, №. 3. – 2022. – С. 17-22.

11. О киберрисках генеративного Искусственного Интеллекта

    Авторы: Д.Е. Намиот, Е.А. Ильюшин

    Описание: настоящая статья посвящена обзору рисков генеративных моделей Искусственного Интеллекта. Бурное развитие больших языковых моделей серьезно повысило внимание к безопасности моделей Искусственного интеллекта. С практической точки зрения, в данном случае, речь идет о безопасности моделей глубокого обучения. Большие языковые модели подвержены атакам отравления, атакам уклонения, атакам, направленным на извлечение тренировочных данных и т.д. Но, вместе с этим, появляются и новые атаки, связанные именно с создаваемым контентом. Причем последние составляют очевидное большинство. Поэтому в последнее время появилось много работ, которые пытаются систематизировать все риски генеративных моделей. Этим занимаются, например, OWASP и NIST. Полная таксономия рисков генеративного ИИ должна послужить основой для построения систем тестирования генеративных моделей. В работе приводится обзор спецификаций рисков генеративного ИИ, изложенных OWASP, профилем NIST и репозиторием рисков от MIT. Цель подобных спецификаций – создать базу для тестирования генеративных моделей и инструментов, предназначенных для AI Red Team.

    Источник: International Journal of Open Information Technologies, Т. 12, №. 10. – 2024. – С. 109-119.

12. Случайное мультимодальное глубокое обучение в задаче распознавания изображений

    Авторы: А.И. Паршин, М.Н. Аралов, В.Ф. Барабанов, Н.И. Гребенникова

    Описание: задача распознавания изображений - одна из самых сложных в машинном обучении, требующая от исследователя как глубоких знаний, так и больших временных и вычислительных ресурсов. В случае использования нелинейных и сложных данных применяются различные архитектуры глубоких нейронных сетей, но при этом сложным вопросом остается проблема выбора нейронной сети. Основными архитектурами, используемыми повсеместно, являются свёрточные нейронные сети (CNN), рекуррентные нейронные сети (RNN), глубокие нейронные сети (DNN). На основе рекуррентных нейронных сетей (RNN) были разработаны сети с долгой краткосрочной памятью (LSTM) и сети с управляемыми реккурентными блоками (GRU). Каждая архитектура нейронной сети имеет свою структуру, свои настраиваемые и обучаемые параметры, обладает своими достоинствами и недостатками. Комбинируя различные виды нейронных сетей, можно существенно улучшить качество предсказания в различных задачах машинного обучения. Учитывая, что выбор оптимальной архитектуры сети и ее параметров является крайне трудной задачей, рассматривается один из методов построения архитектуры нейронных сетей на основе комбинации свёрточных, рекуррентных и глубоких нейронных сетей. Показано, что такие архитектуры превосходят классические алгоритмы машинного обучения

    Источник: Вестник Воронежского государственного технического университета, Т. 17, №. 4. – 2021. – С. 21-26.

13. Информационная безопасность при использовании технологий нейронных сетей

    Авторы: С.Ю. Тырышкин

    Описание: в статье рассматриваются особенности информационной безопасности при использовании технологий нейронных сетей. Отмечено, что технологии нейронных сетей предоставляют удивительные возможности для удовлетворения самых специализированных потребностей клиентов и создания совершенно новых бизнес-моделей. Выявлено, что методо- логические основы безопасности нейросетевых технологий в пространстве проблемы обнару- жения deepfake-модификаций биометрических изображений на основе таких составляющих: базового подхода к обнаружению deepfake-модификаций, структуры методологии безопасно- сти нейросетевых многоуровневых информационных технологий и комплексной системы без- опасности информационного процесса обнаружения deepfake-модификаций на этапе обработки согласно концепции «объект – угроза – защита», являющейся развитием системных подходов к безопасному обнаружению deepfake-модификаций средствами нейронных сетей.

    Источник: Международный журнал гуманитарных и естественных наук, №. 4-1 (103). – 2025. – С. 226-230. – DOI:10.24412/2500-1000-2025-4-1-226-230

14. Искусственный интеллект и мошенничество: новые угрозы и способы противодействия

    Авторы: И.С. Казаченко

    Описание: в статье рассматривается влияние современных технологий искусственного интеллекта (ИИ) на эволюцию мошеннических схем. Анализируются ключевые ИИ-модели (GPT, DALL·E, Deepfake), их использование в создании фальшивого контента, фишинга и финансовых махинаций. Приводятся статистические данные и реальные кейсы, демонстрирующие рост угроз. Предложены меры противодействия, включающие технологические, законодательные и образовательные решения. Особое внимание уделено перспективам развития ИИ-мошенничества и необходимости межсекторного сотрудничества для обеспечения цифровой безопасности.

    Источник: Вестник науки, Т. 3, №. 7 (88). – 2025. – С. 135-139.

15. Противодействие атакам типа инъекция подсказок на большие языковые модели

    Авторы: Р.М. Мударова, Д.Е. Намиот

    Описание: модели машинного обучения привнесли вместе с собой и новый класс кибератак – состязательные атаки. Большие языковые модели не являются исключением и также подвержены атакам. Такие атаки становятся все более опасными в контексте использования глубокого обучения и искусственного интеллекта в различных областях. В мире современных вычислений и искусственного интеллекта, безопасность играет ключевую роль и противодействию таким атакам уделяется все больше внимания. Атаки на большие языковые модели включают, в частности, атаки периода исполнения, известные как Prompt Injection. Эти атаки направлены на нарушение работы больших языковых моделей путем внедрения злонамеренных инструкций или запросов (prompt) для искажения результатов вывода модели, что может привести к серьезным последствиям для конфиденциальности и целостности информации. Технически, они оказываются одними из самых простых в исполнении для злоумышленников. В связи с этим возникает необходимость исследования и разработки эффективных стратегий противодействия Prompt Injection. Данная статья посвящена исследованию и разработке эффективных алгоритмов и методологий, способных обнаруживать и блокировать атаки типа Prompt Injection, с целью повышения безопасности систем и защиты от вредоносных воздействий. Ключевой целью работы является реализация данных методов в виде программных решений, а также оценка их эффективности через эксперименты с использованием различных метрик на тестовых данных. Научная новизна данной разработки заключается в создании уникальных механизмов защиты, способных обеспечить надежную безопасность языковых моделей от атак Prompt Injection.

    Источник: International Journal of Open Information Technologies, Т. 12, №. 5. – 2024. – С. 39-48.

Переводы статей по теме исследования

16. Комплексный обзор глубоких нейронных сетей

    Авторы: Harjinder Singh

    Автор перевода: В.А. Пустовой

    Описание: машинное обучение (ML) в настоящее время применяется во всех отраслях, включая инженерное дело, медицину и многие другие сферы. Подходы глубокого обучения основаны на искусственных нейронных сетях (ANNs), а также на другом типе сетей — стимулированных нейронных сетях (SSNs), которые выступают в качестве замены программных методов машинного обучения. Эмулируя структуру и функции нейронных сетей человеческого мозга, они стремятся воспроизвести коммуникацию между биологическими нейронами. Нейронные сети предоставляют множество надёжных новых методов для распознавания образов, анализа данных и автоматизации. Очень высокая скорость прогресса и способность находить решение задачи по набору примеров являются двумя их примечательными преимуществами. Данное исследование представляет обзор глубокой нейронной сети (DNN), являющейся подмножеством глубокого обучения. В этом обзоре предпринята попытка прояснить суть нейронных сетей и теорию, лежащую в их основе. Также рассматриваются преимущества и области применения нейронных сетей.

    Источник: IJFANS International Journal of Food and Nutritional Sciences. – Vol. 11, № 1. – 2022. – P. 495. – ISSN 2319-1775 (print), 2320-7876 (online).

17. Нейронные сети и глубокое обучение

    Авторы: Riya Anjali Bansal, Aryan Ramesh Pillai

    Автор перевода: В.А. Пустовой

    Описание: нейронные сети и глубокое обучение значительно продвинули область искусственного интеллекта, предлагая решения сложных задач, таких как распознавание изображений, обработка естественного языка и принятие решений. В данной работе исследуются принципы нейронных сетей, особенно моделей глубокого обучения, их эволюция, области применения, вызовы и возможные направления развития. Представлен всесторонний анализ ключевых алгоритмов, архитектур и достижений, с акцентом на практические последствия внедрения глубокого обучения в различных сферах. Понимание основ нейронных сетей позволяет лучше решать проблемы масштабируемости, интерпретируемости и вычислительной эффективности.

    Источник: International Journal of Advanced Research in Electrical, Electronics and Instrumentation Engineering (IJAREEIE), Vol. 14, № 2. – 2025. – P. 505–509. – DOI: 10.15662/IJAREEIE.2025.1402027. – ISSN 2278-8875 (e-ISSN), 2320-3765 (p-ISSN).

18. Двойное назначение технологий искусственного интеллекта в области поиска лекарств

    Авторы: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi, Sean Ekins

    Автор перевода: В.А. Пустовой

    Описание: на международной конференции по вопросам безопасности рассматривалось, каким образом технологии искусственного интеллекта (ИИ), применяемые в поиске лекарств, могут быть использованы для de novo проектирования биохимического оружия. Мыслительный эксперимент перерос в вычислительное доказательство.

    Источник: Nature Machine Intelligence, Vol. 4, № 3. – 2022. – P. 189–191.

19. Не то, на что вы подписались: компрометация реальных приложений, интегрированных с LLM, с помощью промпт-инъекций

    Авторы: Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz, Mario Fritz

    Автор перевода: В.А. Пустовой

    Описание: большие языковые модели (LLM) всё шире интегрируются в различные приложения. Функционал современных LLM может гибко настраиваться через подсказки на естественном языке, что делает их уязвимыми к целенаправленным атакам, таким как Prompt Injection (PI) — когда злоумышленник может переопределить исходные инструкции и ограничения. До сих пор предполагалось, что пользователи напрямую взаимодействуют с LLM. Но что если это не пользователь формирует подсказки? Мы утверждаем, что приложения с интеграцией LLM размывают границу между данными и инструкциями. Мы выявляем новые векторы атак с помощью косвенной инъекции подсказок (Indirect Prompt Injection, IPI), которые позволяют злоумышленникам удалённо (без прямого интерфейса) эксплуатировать приложения с LLM, стратегически внедряя подсказки в данные, которые, вероятно, будут извлечены. Мы разрабатываем комплексную таксономию с точки зрения компьютерной безопасности для систематического исследования последствий и уязвимостей, включая кражу данных, внедрение червей, загрязнение информационной экосистемы и другие новые угрозы.

    Источник: Greshake K. Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection / K. Greshake, S. Abdelnabi, S. Mishra, Ch. Endres, T. Holz, M. Fritz. – Текст: электронный // arXiv:2302.12173 [cs.CR]. – 2023. – URL: https://arxiv.org/abs/2302.12173 (дата обращения: 15.12.2025). DOI: 10.48550/arXiv.2302.12173.

20. Большие языковые модели можно использовать для эффективного масштабирования целевых фишинговых кампаний

    Авторы: Julian Hazell

    Автор перевода: В.А. Пустовой

    Описание: недавний прогресс в области искусственного интеллекта (ИИ), особенно в сфере крупных языковых моделей (LLM), привел к созданию мощных и универсальных систем двойного назначения. Этот интеллект может использоваться для широкого круга полезных задач, однако также может быть применен для причинения вреда. В данном исследовании рассматривается один из видов такого вреда — использование LLM для целевого фишинга (spear phishing), формы киберпреступности, при которой жертва обманом вынуждается раскрывать конфиденциальную информацию. Сначала я исследую способность LLM помогать на этапах разведки и генерации сообщений в атаке целевого фишинга и обнаруживаю, что LLM способны поддерживать фазу генерации электронных писем в таких атаках. Для изучения возможности масштабирования кампаний целевого фишинга с помощью LLM я создаю уникальные сообщения для более чем 600 членов парламента Великобритании с использованием моделей OpenAI GPT-3.5 и GPT-4. Мои результаты показывают, что эти сообщения не только выглядят реалистично, но и экономически эффективны, поскольку стоимость создания каждого письма составляет лишь доли цента.

    Источник: Hazell J. Spear Phishing With Large Language Models / J. Hazell. – Текст: электронный // arXiv:2305.06972 [cs.CY]. – 2023. – URL: https://arxiv.org/abs/2305.06972 (дата обращения: 15.12.2025). DOI: 10.48550/arXiv.2305.06972.