СОСТЯЗАТЕЛЬНЫЕ ВОЗМУЩЕНИЯ НА ОСНОВЕ СКЕЛЕТОНИЗАЦИИ В ЯЗЫКОВОЙ МОДЕЛИ LARGE VISION

Аннотация: В этой работе исследуются визуальные возможности и ограничения базовых моделей путем введения нового состязательного метода атаки, использующего скелетонизацию для эффективного сокращения пространства поиска. Подход специально нацелен на изображения, содержащие текст — особенно математические формулы, сложные из-за их преобразования в LaTeX. Метод оценивает изменения на уровне символов и семантики, что позволяет глубже понять визуальную интерпретацию моделей и их рассуждательные способности. Эффективность подхода подтверждена применением в ChatGPT, демонстрируя его практическую ценность.

1. Введение

Область глубокого обучения оказала значительное влияние на анализ изображений, включая задачи распознавания текста. Большой объем языка Модели (LLM), такие как ChatGPT [1], расширились до включают распознавание зрения, позволяющее обрабатывать изображения. Состязательные атаки, которые тонко манипулируют входными изображениями чтобы заставить модели машинного обучения выдавать непреднамеренные ошибки puts, выявляют уязвимости [2-5]. В то время как большинство исследований было сосредоточено на естественных изображениях, модели распознавания текста, особенно для математических выражений, переведенных в код LaTeX, остаются недостаточно изученными [6]. Сложность распознавания математических выражений и их точного преобразования в Код LaTeX значительно усложняет эти задачи по сравнению с простым распознаванием текста. Состязательные примеры создаются для использования слабых сторон модели и повышения надежности за счет состязательного обучения [2,7]. Это помогает моделям противостоять возмущениям, повышая их эффективность, производительность и безопасность. Однако появляющиеся визуальные возможности базовые модели с поддержкой зрения обнаруживают ограничения которые текущие контрольные показатели часто не учитывают, что требует инновационных систем оценки. Наша работа устраняет эти пробелы, предлагая новый ad- универсальный метод атаки, использующий скелетонизацию для сокращения пространства поиска. Сосредоточив внимание на текстовых областях математического изображения формулы, наш метод эффективен в настройках черного ящика. Мы демонстрируем его эффективность с помощью косинусного подобия оцениваем и подтверждаем его, перенося конкурирующие изображения в ChatGPT. Это исследование также привело к повышению надежности базовых моделей в практических приложениях, таких как предотвращение академической нечестности в образовании, где такие инструменты, как ChatGPT интерпретировать математический контент.

Рисунок 1 - Обзор предлагаемого подхода.

Рисунок 2 - Сравнение эффективности атак при различных методах сужения пространства поиска.

2. Связанные работы

В области компьютерного зрения с использованием моделей глубокого обучения, состязательные примеры используются как для атакующих моделей и для улучшения их с помощью состязательного обучения [7]. Основополагающие методы, такие как метод быстрого градиентного знака (FGSM) [2] классифицируются как атаки типа "белого ящика", которые требуют доступа к параметрам модели и архитектуре. И наоборот, атаки на основе запросов [8-9] относятся к категории "черных ящиков" атаки, которые выполняются без доступа к внутренней работе модели. Хотя они более реалистичны в своем применении, атаки с использованием черного ящика обычно влекут за собой более высокие вычислительные затраты. По сравнению с общими задачами классификации изображений, состязательные примеры для задач распознавания символов представляют уникальные трудности [10-13]. Эта сложность особенно очевидна в задачах, связанных с распознаванием математической формулы изображений, где распознанное изображение впоследствии преобразуется в код LaTeX. Этот дополнительный уровень сложности превосходит уровень сложности простых задач распознавания символов, вводя ad- индивидуальные препятствия. Несмотря на недавние значительные улучшения в распознавании символов LaTeX (или LaTeX OCR), эта область по-прежнему сопряжена с проблемами. Модели, подобные Mathpix и pix2tex 1, в которых используются преобразователи зрения (ViT) [14] и сверточные нейронные сети (CNN) [15], повысили точность распознавания математических формул. Однако, устойчивость этих моделей к атакам противника остается недостаточно изученной. Учитывая сложность математических обозначенийи необходимость точных пространственных соотношений, модели в этой области особенно уязвимы к конфликту возмущения, подчеркивающие необходимость целенаправленных исследований. Большие языковые модели (LLM), такие как ChatGPT, классифицируются как базовые модели с возможностями распознавания изображений [1, 16]. Эти модели предлагают новые возможности широкому кругу пользователей за счет интеграции распознавания изображений, но их ограничения до конца не поняты и требуют дальнейшего обоснования [17]. Цель данного исследования - способствовать пониманию этих ограничений и способствовать лучшему использованию модели путем выделения областей, которые нуждаются в дальнейшем изучении и улучшении.

3. Предлагаемый метод

Предлагаемый нами метод, основанный на атаке одним пикселем Метод [18], представляет новый подход к состязательным атакам на модели распознавания изображений, в частности нацеливанию распознавание математических формул.

A. Скелетонизация

Процесс скелетонизации преобразует входные изображения в одномерные (1D) массивы, значительно сокращая время поиска пространство для состязательных атак и повышает эффективность состязательная атака. Мы исследовали влияние скелетонизации на для этого необходимо выполнить эксперименты в трех различных сценариях, как показано на рисунке 2. Ключевые шаги следующие: • Обнаружение символа, ограничивающего рамку: первоначально мы обнаруживаем ограничивающие рамки всех символов во входных данных изображение. Этот шаг гарантирует, что мы сосредоточимся на областях текста, которые важны для точности распознавания. • Скелетонизация: Далее мы применяем алгоритм скелетонизации алгоритм для каждого обнаруженного символа. Скелетонизация уменьшает символы в их минимальной форме, обычно размером в один пиксель широкие линии, которые представляют основную структуру текста. • Преобразование в одномерный массив: скелетонизированный символ затем области преобразуются в одномерный массив путем объединения упорядочивания значений пикселей строка за строкой. Наконец, эти массивы объединяются сверху вниз и слева направо, создавая уникальное представление в виде одномерного массива для каждого изображения. Сосредоточив внимание на текстовых областях и используя скелетонизацию, мы используем присущую текстовым изображениям разреженность.

B. Процедура атаки и оптимизация

Процедура состязательной атаки включает в себя генерацию начальных состязательные изображения и их итеративное уточнение, чтобы свести к минимуму сходство между чистыми и состязательными результатами, используя модель pix2tex в качестве модели LaTeX OCR. Атака Процесс описан в алгоритме 1, и ключевые шаги описаны ниже:
• Инициализация: мы создаем начальный враждебный образ случайным образом изменяя пиксели внутри скелетонизированных текстовых областей.
• В качестве функции потерь мы используем косинусное подобие между LaTeX-код чистых и состязательных изображений для оценки повысить эффективность атаки. Косинусное сходство равно рассчитано с использованием термина, обратного частоте документа векторы частоты (TF-IDF) [19] последовательностей LaTeX.
• Для оптимизации мы используем три метода: Ковариационный Стратегия эволюции матричной адаптации (CMA-ES) [20], [21], Древовидная оценка Парцена (TPE) [22] и Случайный поиск. Каждый метод итеративно обновляет положения пикселей на противоположном изображении с целью минимизации имитации косинусного сходства, тем самым увеличивая несоответствие между чистыми и состязательными результатами.

C. Сравнение методов оптимизации

Мы оценили эффективность наших состязательных атак на основе двух критериев: изменение характера с использованием косинусного сходства- функциональность и семантическое изменение путем ручной оценки.
• Изменение символов: сначала мы оценили синтаксические различия различия между выводами кода LaTeX для чистых и состязательных изображений. Косинусное подобие, рассчитанное с использованием Векторов Term Frequency-Inverse Document Frequency (TF-IDF) , использовалось в качестве функции потерь при оптимизации .
• Семантическое изменение: Для получения более точной оценки, мы вручную оценили, изменили ли изменения в LaTeX код фактического значения математических выражений.
Для проверки эффективности и возможности переноса наших оптимизированных состязательных атак мы вводим данные о состязательности для каждого добавленные изображения в ChatGPT, базовую модель с визуальными возможностями. Затем мы оценили частоту отказов, сравнив Результаты ChatGPT для чистых и состязательных изображений.

Рисунок 3 - Процедура предлагаемой состязательной атаки (CMA-ES, TPE, Random Search).

4. Эксперимент

A. Набор данных

Для оценки нашего метода состязательной атаки, мы разработали специализированный набор данных, включающий 40 цифровых изображений математических уравнений. Эти изображения были изменены до высоты 50 пикселей для обеспечения согласованной оценки во всех тестовых примерах. Чтобы избежать потенциальной утечки данных из существующих наборов данных, особенно учитывая, что такие модели, как ChatGPT, могут иметь используя для обучения такие наборы данных, как im2latex-100k [12], мы создали совершенно новый набор данных. Такой подход предотвращает любые влияет на ранее просмотренные данные и сохраняет целостность наших результатов. Учитывая, что каждое изображение в нашем наборе данных может иметь несколько допустимых представлений LaTeX, мы, наконец, учли несколько сотни потенциальных вариаций, что гарантирует, что набор данных является всеобъемлющим и достаточно надежным для эффективной оценки наших состязательных атак.

B. Результаты

В этом эксперименте мы сравнили различные методы сужения- ods для областей поражения. В качестве базового метода мы использовали область полного изображения. Мы также использовали технологии обработки изображений- такие приемы, как выделение области символов и применение скелетонизация. Выполняя скелетонизацию, текст становится уменьшен до линий шириной в один пиксель, что упрощает преобразование в одномерный массив. Результаты сравнения приведены в таблице I. Успех Коэффициент представляет собой процент изображений, у которых косинус Сходство упало ниже 1. Точность равна отношению количества идентичных символов к общему количеству Персонажи. PSNR показывает отличие от пикового значения перед атакой. Судя по результатам в таблице I, наблюдалось, что чем больше сужается пространство поиска, тем эффективнее становится атака. Это говорит о том, что каждый пиксель в суженное пространство поиска эффективно влияет на интерпретацию модели с поддержкой видения.

C. Сравнение методов оптимизации

Затем мы сравнили используемые методы оптимизации вместе с сужением пространства поиска. В качестве методов оптимизации использовались стратегии эволюции адаптации ковариационной матрицы egy (CMA-ES), древовидная оценка Парцена (TPE) и Случайный поиск. CMA-ES - это стохастическая эволюционная стратегия предназначен для решения задач многомерной нелинейной оптимизации. IT адаптирует распределение выборки в пространстве поиска для сходимости к оптимальному решению за счет оптимизации направления поиска и размер шага с использованием ковариационной матрицы, что делает ее надежной для сложных целевых функций и задач глобальной оптимизации. TPE - это байесовский метод оптимизации, эффективный для черно- оптимизация блок-функций, особенно при настройке гиперпараметров в рамках машинного обучения. Он выполняет эффективный поиск с ограниченными оценками. Случайный поиск - это простой и обобщенный метод метод оптимизации, который случайным образом выбирает точки выборки, широко используется из-за своей простоты, но потенциально неэффективен в больших или сложных поисковых пространствах. Из таблицы II видно, что случайный поиск последовательно оказался наиболее эффективным методом оптимизации. превосходство, по-видимому, объясняется его способностью исследовать более широкий диапазон и не попадать в ловушку локальных оптимумов по сравнению с другими методами оптимизации.

D. Семантическая оценка

В качестве заключительного эксперимента мы оценили семантическое изменение путем ввода изображений, полученных с помощью нашего оптимизированного атаки на модель pix2tex в ChatGPT (модель GPT-4 в Интернете). Мы оценили код LaTeX, распознанный ChatGPT как с исходного, так и с подвергшегося атаке изображений. В таблице III в верхней строке показаны результаты использования кода LaTeX распознанные ChatGPT по исходному изображению, и В нижнем ряду показано изображение, распознанное по подвергнутому атаке изображению. Предлагаемый нами метод демонстрирует значительные эффекты как в Изменении символов, так и в семантическом изменении, что указывает на то, что черно- блок-трансферные атаки нашего подхода на реальный фонд Модель с возможностями Vision эффективна.

Рисунок 4 - Примеры атакованных формул и результатов распознавания.

5. Заключение

В этом исследовании был представлен новый метод состязательной атаки нацеленный на визуальные базовые модели, особенно на те, которые способны распознавать математические уравнения. Комбинируя скеле- наш подход, основанный на методах оптимизации, оказался эффективным значительно сократил пространство поиска и повысил эффективность атаки. Оптимизированные атаки продемонстрировали значительные результаты в обоих направлениях. синтаксические изменения (смена символов) и семантические изменения. Наши экспериментальные результаты показали, что сужение области поиска использование скелетонизации повысило эффективность состязательные атаки, о чем свидетельствуют более низкие показатели косинусного сходства и более высокие показатели успеха. Кроме того, возможность переноса эти атаки были подтверждены путем ввода конкурирующих изображений возрасты в фактическую эксплуатацию (ChatGPT). Результаты выделены существенные семантические изменения, которые указывают на то, что наш метод показал свою эффективность в реальных сервисах, работающих в условиях черного ящика. Основываясь на наших результатах, которые выявили ограничения и погрешности базовых моделей, ожидается, что эти выводы может помочь повысить честность и надежность будущих моделей. Будущая работа будет сосредоточена на разработке более совершенных атак стратегии, такие как атаки с использованием запросов на основе баллов, для дальнейшего повышения эффективности состязательных возмущений.

Список литературы

1. Achiam, J.; Adler, S.; Agarwal, S.; Ahmad, L.; Akkaya, I.; Aleman, F.L.; Almeida, D.; Altenschmidt, J.; Altman, S.; Anadkat, S. et al. GPT-4 Technical Report [Электронный ресурс] / J. Achiam et al. – arXiv preprint, 2023. – Режим доступа: https://arxiv.org/abs/2303.08774.↑ к тексту
2. Goodfellow, I.; Shlens, J.; Szegedy, C. Explaining and Harnessing Adversarial Examples / I. Goodfellow et al. // International Conference on Learning Representations (ICLR). – 2015.↑ к тексту
3. Chen, P.-Y.; Zhang, H.; Sharma, Y.; Yi, J.; Hsieh, C.-J. ZOO: Zeroth Order Optimization Based Black-Box Attacks to Deep Neural Networks Without Training Substitute Models / P.-Y. Chen et al. // Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. – 2017. – P. 15–26.↑ к тексту
4. Yoshida, M.; Okuda, M. Adversarial Examples for Image Cropping in Social Media / M. Yoshida, M. Okuda. // ICASSP 2022 – IEEE International Conference on Acoustics, Speech and Signal Processing. – IEEE, 2022. – P. 4898–4902.↑ к тексту
5. Namura, H.; Itasaka, T.; Okuda, M. Effects on Selective Removal of Adversarial Examples for Noisy X-ray Images / H. Namura et al. // 2023 5th International Conference on Intelligent Medicine and Image Processing (IMIP). – IEEE, 2023. – P. 72–76.↑ к тексту
6. Wei, J. Adversarial Examples for Visual Decompilers / J. Wei. – Master’s Thesis, EECS Department, University of California, Berkeley, 2017.↑ к тексту
7. Bai, T.; Luo, J.; Zhao, J.; Wen, B.; Wang, Q. Recent Advances in Adversarial Training for Adversarial Robustness / T. Bai et al. // Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence (IJCAI). – 2021. – P. 4312–4321.↑ к тексту
8. Brendel, W.; Rauber, J.; Bethge, M. Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models / W. Brendel et al. // International Conference on Learning Representations (ICLR). – 2018.↑ к тексту
9. Dong, Y.; Su, H.; Wu, B.; Li, Z.; Liu, W.; Zhang, T.; Zhu, J. Efficient Decision-Based Black-Box Adversarial Attacks on Face Recognition / Y. Dong et al. // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). – IEEE, 2019.↑ к тексту
10. Chan, K.; Yeung, D.-Y. Mathematical Expression Recognition: A Survey / K. Chan, D.-Y. Yeung. // International Journal on Document Analysis and Recognition. – 2001. – Vol. 3.↑ к тексту
11. Suzuki, M.; Tamari, F.; Fukuda, R.; Uchida, S.; Kanahori, T. Infty: An Integrated OCR System for Mathematical Documents / M. Suzuki et al. // Proceedings of the 2003 ACM Symposium on Document Engineering. – 2003. – P. 95–104.↑ к тексту
12. Deng, Y.; Kanervisto, A.; Ling, J.; Rush, A.M. Image-to-Markup Generation with Coarse-to-Fine Attention / Y. Deng et al. // International Conference on Machine Learning (ICML). – PMLR, 2017. – P. 980–989.↑ к тексту
13. Mahdavi, M.; Zanibbi, R.; Mouchere, H.; Viard-Gaudin, C.; Garain, U. ICDAR 2019 CROHME+TFD: Competition on Recognition of Handwritten Mathematical Expressions and Typeset Formula Detection / M. Mahdavi et al. // International Conference on Document Analysis and Recognition (ICDAR). – IEEE, 2019. – P. 1533–1538.↑ к тексту
14. Dosovitskiy, A.; Beyer, L.; Kolesnikov, A.; Weissenborn, D.; Zhai, X.; Unterthiner, T.; Dehghani, M.; Minderer, M.; Heigold, G.; Gelly, S. et al. An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale [Электронный ресурс] / A. Dosovitskiy et al. – 2020. – Режим доступа: https://arxiv.org/abs/2010.11929.↑ к тексту
15. He, K.; Zhang, X.; Ren, S.; Sun, J. Deep Residual Learning for Image Recognition / K. He et al. // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – P. 770–778.↑ к тексту
16. Li, C.; Gan, Z.; Yang, Z.; Yang, J.; Li, L.; Wang, L.; Gao, J. Multimodal Foundation Models: From Specialists to General-Purpose Assistants / C. Li et al. // Foundations and Trends® in Computer Graphics and Vision. – 2024. – Vol. 16, No. 1-2. – P. 1–214.↑ к тексту
17. Kasneci, E.; Seßler, K.; Kuchemann, S.; Bannert, M.; Dementieva, D.; Fischer, F.; Gasser, U.; Groh, G.; Gunnemann, S.; Hüllermeier, E. et al. ChatGPT for Good? On Opportunities and Challenges of Large Language Models for Education / E. Kasneci et al. // Learning and Individual Differences. – 2023. – Vol. 103. – P. 102274.↑ к тексту
18. Su, J.; Vargas, D.V.; Sakurai, K. One-Pixel Attack for Fooling Deep Neural Networks / J. Su et al. // IEEE Transactions on Evolutionary Computation. – 2019. – Vol. 23, No. 5. – P. 828–841.↑ к тексту
19. Manning, C.D. An Introduction to Information Retrieval / C.D. Manning. – Cambridge University Press, 2009.↑ к тексту
20. Hansen, N. The CMA Evolution Strategy: A Tutorial [Электронный ресурс] / N. Hansen. – 2016. – Режим доступа: https://arxiv.org/abs/1604.00772.↑ к тексту
21. Hansen, N. The CMA Evolution Strategy: A Comparing Review / N. Hansen. // Towards a New Evolutionary Computation: Advances in the Estimation of Distribution Algorithms. – 2006. – P. 75–102.↑ к тексту
22. Bergstra, J.; Bardenet, R.; Bengio, Y.; Kégl, B. Algorithms for Hyper-Parameter Optimization / J. Bergstra et al. // Advances in Neural Information Processing Systems. – 2011. – Vol. 24.↑ к тексту