Создание графовой модели нейронной сети для электронной коммерции

Введение

Электронная коммерция (E-commerce) — это быстро развивающаяся область, где персонализация пользовательского опыта стала важнейшим компонентом бизнес-процессов. Накопление данных о действиях, предпочтениях и взаимодействии пользователей с платформами требует применения передовых аналитических методов. Графовые нейронные сети предоставляют инструменты для исследования взаимосвязей между такими сущностями, как товары, клиенты и категории, включая временные зависимости.

Рекомендательные системы, использующие нейронные сети, интегрируют эти технологии с методами обработки графов. Однако сохраняются трудности с масштабированием этих технологий, их адаптацией к меняющимся условиям и интеграцией в существующие процессы. Кроме того, остаются важными такие вопросы, как повышение точности прогнозирования CTR, учет широкого спектра пользовательских предпочтений и управление разнородными данными.

Разработка графовых моделей для электронной коммерции широко обсуждается в научной литературе благодаря их потенциалу для повышения качества рекомендаций, прогнозирования поведения пользователей и оптимизации взаимодействия с платформой. Однако внедрение таких решений сопряжено с рядом трудностей, включая высокие вычислительные затраты и необходимость обеспечения интерпретируемости результатов.

В статье представлена ​​архитектура графовой нейронной сети, предназначенной для решения задач электронной коммерции. Предлагаемая методология направлена ​​на повышение точности прогнозирования поведения пользователей.

1 МАТЕРИАЛЫ И МЕТОДЫ

Исследования Чжу Л. и Лю В. и др. [1, 5] описывают такие модели, как графовые нейронные сети с реляционными элементами, анализирующие связи между продуктами через разреженные графы для повышения точности рекомендаций. HiGNN, описанный в работе Ли З. и др. [4], использует иерархические структуры, что повышает масштабируемость алгоритма. Метод DC-GNN, представленный Фэном С. и др. [2], оптимизирует обработку данных путем сегментации этапов обучения. CC-GNN, обсуждаемый в статье Сю Г. и др. [3], решает проблему недостаточности информации. В работе Нгуена Д. М. и др. [10] представлен алгоритм LightSAGE, ориентированный на создание высококачественных вложений элементов с помощью графовых нейронных сетей, решая проблемы холодного старта и «длинного хвоста» в крупномасштабных рекомендациях электронной коммерции.

В исследовании Лу Ю. В. и Ли Ч. Т. [9] описаны нейронные сети на основе временных графов, которые обнаруживают мошеннические действия посредством анализа временных рядов. Алгоритм, представленный в исследовании Инь Х. и др. [11], использует поведенческие графы для отслеживания взаимодействия пользователей и выявления аномального поведения.

Нейронные сети широко используются в анализе данных. В статье Пань Х. и Чжоу Х. [12] свёрточные нейронные сети применяются для прогнозирования продаж, способствуя разработке бизнес-стратегий. Ли Цз. [6] описывает модель, включающую механизмы внимания и стохастические функции, что повышает качество рекомендаций. В исследовании Хуан Цз., Ню С. и Чжан В. [7] описывается многослойная архитектура для анализа пользовательских сеансов, позволяющая прогнозировать поведение.

Подходы к обработке данных в разных исследованиях различаются. В таких статьях, как статьи Xv G. и др. [3] и Li Z. и др. [4], основное внимание уделяется семантическим атрибутам продуктов. Однако такие задачи, как интеграция внешних источников данных (например, социальных сетей) и автоматическая адаптация моделей к динамическим изменениям, всё ещё требуют решения.

Сюй Ц. и др. анализируют использование графовых сетей, основанных на анализе внимания, для прогнозирования объёмов продаж новых продуктов. В исследовании [13] подчёркивается важность учёта взаимосвязей между атрибутами клиентов, характеристиками продукта и данными о взаимодействии. Предлагаемая архитектура интегрирует информацию о продажах с параметрами сети, эффективно моделируя процессы. Этот подход демонстрирует способность выявлять скрытые закономерности, особенно актуальные для продуктов с ограниченными историческими данными.

Петрошану Д. М. и др. посвятили своё исследование [14] созданию направленного ациклического графа для прогнозирования доходов в электронной коммерции. Методология основана на динамически проектируемых глубоких нейронных сетях, учитывающих изменения рыночных условий. Значительное внимание уделяется валидации модели, адаптивности к изменяющимся условиям и обеспечению точности вычислений в условиях изменчивости данных.

В статье Ю. З. и соавторов [8] представлена ​​адаптивная семантическая архитектура для графовых сверточных сетей, предназначенная для анализа текстовых данных в текстово-ориентированных графах. Авторы предлагают методологию, которая интегрирует семантическую информацию в структуру графа, улучшая такие задачи, как классификация текста и извлечение данных. Модель адаптируется к контексту текста, обеспечивая гибкую настройку графа и повышение точности обработки данных.

Лю В. и др. в своей статье [15] предложили подход на основе графовой нейронной сети, ориентированный на анализ взаимозависимостей между товарами. Описанная модель выявляет взаимосвязи, связанные с совместным потреблением и дополнительными покупками. Этот метод повышает точность расчётов за счёт учёта нетривиальных зависимостей между товарами.

В статье рассматриваются методы анализа графов, направленные на построение структур, отражающих взаимодействия и взаимосвязи между элементами. Такие алгоритмы, как GraphSAGE и Node2Vec, преобразуют данные в векторные представления, описывающие закономерности графов. Временные слои графов адаптируются к изменяющимся условиям, облегчая анализ изменений во времени. Механизмы внимания выделяют значимые связи, тем самым повышая точность моделей. Глубокие нейронные сети, включая сверточные графовые сети и рекуррентные архитектуры, оптимизируют прогнозы и повышают качество анализа.

2 РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЯ

Проектирование эффективной графовой архитектуры основано на анализе характеристик объектов и их взаимосвязей. Основные элементы архитектуры графовой нейронной сети для электронной коммерции представлены в таблице 1.

Таблица 1. Элементы архитектуры графовой модели нейронной сети для электронной коммерции

Компонент	Описание	Пример реализации
Тип графа	Тип структуры графа, используемого в модели (направленный, ненаправленный, однородный, неоднородный, взвешенный и т. д.)	Граф покупок клиентов: узлы — пользователи и продукты, ребра — транзакции
Узлы	Элементы графа, представляющие электронную коммерцию	Пользователи, продукты, категории продуктов
Ребра	Связи между узлами графа	Действия по покупке, просмотру, добавлению в корзину
Атрибуты узла	Характеристики каждого узла	Пользовательские узлы: демографические данные, геолокация, история покупок
Атрибуты ребер	Характеристики соединений между узлами	Ребра покупки: время, сумма, тип устройства
Тип модели	Тип нейронной сети, используемой для обработки графов	Графовые нейронные сети (GNN), Графовые сверточные сети (GCN)
Функция агрегации	Метод агрегации информации из соседних узлов	Mean pooling, Max pooling
Задача модели	Цель графовой модели	Классификация узлов — для прогнозирования оттока пользователей, прогнозирования ссылок — для рекомендательной системы
Метрики оценки	Методы оценки качества модели	Accuracy, Precision@K, Recall@K, NDCG, ROC-AUC
Источник данных	Источник данных для обучения и тестирования модели	Журналы активности пользователей, данные о транзакциях
Предварительная обработка данных	Библиотеки для преобразования табличных данных в графический формат	Хранение пользователей, элементов и наборов узлов, а также хранение взаимодействий пользователей в виде пар «пользователь-элемент»
Инструменты и библиотеки	Технологии реализации графовых нейронных сетей	PyTorch Geometric, DGL, Tensorflow GNN
Сложность модели	Сложность модели и вычислительные требования	O(V+E), где V — количество узлов, E — количество ребер

Важным аспектом является выбор методов кодирования узлов и ребер, поскольку их структура определяет способность модели распознавать сложные зависимости [9,11]. На рисунке 1 показана функциональность архитектур графовых нейронных сетей в электронной коммерции.

В контексте электронной коммерции особое внимание следует уделять гетерогенным графам, где элементы, или узлы, различаются по типу, а связи различаются по своим функциональным функциям. Товары, пользователи и категории образуют многослойную структуру, которая служит основой для реализации рекомендательных систем и алгоритмов кластеризации. Временные аспекты включаются в графовые сети посредством временных слоёв, что обеспечивает адекватную обработку изменений данных с течением времени.

Одним из первых этапов проектирования является выбор представления объектов и их взаимосвязей. Графовые вложения создаются с использованием методов, направленных на перенос знаний из графа в плотные векторные пространства. К таким подходам относятся алгоритмы, такие как Node2Vec, исследующий локальные и глобальные закономерности, и более сложные механизмы, такие как GraphSAGE, ориентированный на создание контекстно-зависимых вложений [12].

Для задач электронной коммерции, предполагающих многоуровневое взаимодействие, используются алгоритмы с настраиваемыми параметрами. Взвешенные и помеченные ребра моделируют интенсивность и характер взаимодействий, таких как отзывы, покупки и добавления товаров в корзину.

Обучение графовых нейронных сетей в этой области основано на комбинированных подходах, включающих локальный и глобальный анализ данных. Сочетание графовых сверточных сетей (GCN) с механизмами внимания позволяет выявлять связи, адаптируя модель к характеристикам входных данных. Для задач, требующих временных изменений, графовые сети с рекуррентными слоями анализируют последовательности изменений состояний объектов [6,7].

Сети внимания на графах (GAT) применяются для работы с гетерогенными структурами. Механизмы внимания фокусируются на значимых участках графа, изучая важность связей и улучшая обработку локальных и глобальных закономерностей.

Исследователи из Техасского университета A&M разработали модель нейронной сети на основе графа взаимосвязей товаров (IRGNN), которая выявляет зависимости между товарами, включая взаимодополняемость и взаимозаменяемость. Модель анализирует множественные связи между товарами, что позволяет улучшить рекомендации.

В 2022 году была предложена модель прогнозирования продаж с использованием нейронной сети на основе направленного ациклического графа. Этот подход позволяет прогнозировать выручку по категориям товаров на долгосрочную перспективу с учетом ежедневных изменений.

В 2024 году была представлена ​​модель MycGNN, вдохновлённая адаптивными свойствами мицелия. Используя графовые нейронные сети, модель повышает разнообразие рекомендаций, повышая точность в контексте электронной коммерции [15].

Компания Shopee разработала архитектуру LightSAGE, использующую графовые нейронные сети для поиска товаров в рекламных системах. Модель объединяет данные о поведении пользователей с методами совместной фильтрации, создавая графы товаров.

Модель Gaia, представленная в 2022 году, использует графовые нейронные сети с временными изменениями для прогнозирования валовой стоимости товаров. Модель анализирует корреляции между продавцами, что способствует точному прогнозированию экономических показателей.

Модель нейронной сети на основе графов совместного контента (CC-GNN) интегрирует графы контента и графы совместного контента, а также включает фразы контента в процесс распространения графа, улучшая понимание значений фраз и семантических изменений. Это повышает точность поиска на платформах электронной коммерции [13,14].

Модель Gramian Angular Summation Field (GASF) использует графовые нейронные сети с механизмами внимания для прогнозирования продаж новых продуктов. Она объединяет структурные и временные характеристики данных, позволяя точно прогнозировать динамику продаж на основе изменений в графе и предпочтений пользователей [3,4]. В таблице 2 ниже представлены преимущества и недостатки использования архитектур графовых нейронных сетей в электронной коммерции.

Таблица 1. Преимущества и недостатки использования GNN для электронной коммерции (составлено автором)

Преимущества	Недостатки
GNN моделируют как прямые, так и косвенные связи между пользователями, продуктами и другими объектами, выявляя сложные закономерности, которые другие методы могут упустить из виду.	Обработка крупномасштабных графов, особенно в сфере электронной коммерции с миллионами пользователей и продуктов, требует значительных вычислительных ресурсов и специализированного оборудования.
Используя взаимосвязи внутри графа, GNN могут предоставлять более точные и релевантные рекомендации, повышая персонализацию пользовательского опыта.	По мере роста числа пользователей, продуктов и взаимодействий эффективное масштабирование моделей GNN для обработки больших графов может представлять собой проблему.
Вводя различные типы ребер и присваивая им различные веса, GNN позволяют легко моделировать мультимодальное взаимодействие с контентом: просмотры, клики, показатели досмотра видео, покупки.	Производительность GNN во многом зависит от наличия полных и качественных данных: поддержка дополнительного процесса подготовки графовых данных приводит к техническим затратам.
GNN могут эффективно рекомендовать новые продукты, используя свои связи с существующими узлами графа (например, брендами), смягчая проблему холодного старта.	Разработка, обучение и тонкая настройка GNN требуют специальных знаний как в теории графов, так и в машинном обучении.
Моделируя взаимосвязи между объектами и их контекстами, GNN могут повысить релевантность поиска, предоставляя пользователям более точные результаты.	GNN могут быть очень сложными, а их результаты часто трудно интерпретировать, что может затруднять принятие решений бизнес-аналитиками и снижать прозрачность модели.

Дальнейший анализ в рамках данной работы сосредоточен на практическом применении модели графовой нейронной сети, известной как применение графовой нейронной сети, для прогнозирования кликов на главной странице Zalando. Целью было повышение качества персонализированного контента, отображаемого на главной странице, что способствовало бы более активному взаимодействию пользователей с элементами интерфейса и росту доходов от размещенной рекламы. Проект включал исследование действий пользователей на платформе, таких как клики, просмотры и покупки. Также были рассмотрены свойства контента, включая текстовую информацию, визуальные характеристики, тематические ассоциации, а также данные о географии, устройствах и времени сеанса.

Собранные данные были преобразованы в графовую структуру, где узлы представляли пользователей и контент, а ребра описывали характер их взаимодействий. Векторные представления отражали характеристики пользователей и контента. Модель работала с использованием механизма передачи сообщений для учета связей внутри графа. Кроме того, был использован механизм обработки первичных признаков и выявления наиболее значимых взаимодействий.

Обучение проводилось на основе исторических данных. Модель была обучена предсказывать наличие ребра клика в графе с учётом ребра вида между пользователем и узлом контента. Для повышения производительности вычислений использовались специализированные вычислительные системы: предварительная обработка данных и преобразование в формат графа выполнялись с помощью библиотеки PyTorch Geometric на кластере Spark Databricks. Сама нейронная сеть GNN обучалась на графическом процессоре для обеспечения быстрого цикла экспериментов.

Интеграция рекомендательной системы, полностью работающей на графовых нейронных сетях, крайне сложна, поскольку требует обслуживания и постоянного обновления полного графа пользователь-контент, а также выполнения вывода на GNN требует совершенно другой экосистемы. Поэтому полная интеграция GNN все еще находится в стадии разработки, и в настоящее время предлагаемый подход заключается в использовании GNN для обучения встраиваний пользователей и контента и их использования в задаче прогнозирования кликов по нисходящей цепочке. Добавление этих встраиваний в качестве признаков в производственную модель улучшило нашу основную офлайн-оценочную метрику, ROC-AUC, на 0,6 процентных пункта, что помогло дополнительно повысить релевантность контента для пользователя. Все еще есть много возможностей для улучшения с обеих сторон: тонкая настройка гиперпараметров производственной модели с признаками GNN, а также тестирование архитектурных улучшений для обучения встраиваний GNN.

Внедрение этого решения повышает качество персонализации контента, поскольку встраивание GNN-сетей представляет собой не просто некоторые характеристики клиентов и сущностей, а характеристики, специально обученные для задачи прогнозирования кликов, что позволяет модели кодировать не только постоянные свойства контента, но и его меняющиеся связи с пользователями, что приводит к более точным и контекстно-зависимым прогнозам.

Разработанный подход к моделированию продемонстрировал эффективность современных технологий в повышении производительности платформ электронной коммерции. Помимо повышения точности прогнозирования кликов, GNN предлагают ещё более мощные возможности, позволяющие моделировать такие сложные аспекты, как новизна и разнообразие рекомендуемого контента. Это может помочь компаниям управлять вовлеченностью пользователей не только за счёт релевантности, но и за счёт разнообразного и вдохновляющего контента. Таким образом, графовые нейронные сети открывают новые возможности для создания персонализированных рекомендательных систем, учитывающих сложные взаимосвязи данных. Дальнейшие разработки в этом подходе предполагают интеграцию моделей онлайн-обучения и гибридных архитектур, что повысит эффективность обработки данных и качество персонализации.

ВЫВОДЫ

В данном исследовании была изучена архитектура графовой модели нейронной сети, разработанной для задач персонализации в электронной коммерции. Разработанные структуры учитывали временные аспекты и взаимосвязи между элементами системы, такими как пользователи, товары и категории.

Для представления данных использовались графовые вложения с применением алгоритмов, способных улавливать как локальные закономерности, так и глобальные связи. Введение временных слоёв повысило адаптивность к изменяющимся условиям, а механизмы внимания учитывали динамику предпочтений. Примеры реализации на глобальных платформах демонстрируют эффективность подхода для персонализации контента.

Литература

1. Чжу Лэй. Алгоритм рекомендаций в электронной коммерции на основе графовых нейронных сетей [E-Commerce Recommendation Algorithm based on Graph Neural Network] // Highlights in Science, Engineering and Technology. 2023. Т. 39. С. 1264–1268.
2. Фэн Ч., Ван Ю., Чен Ю. и др. DC-GNN: развязанные графовые нейронные сети для ускорения и повышения качества поиска в крупномасштабной электронной коммерции [DC-GNN: Decoupled graph neural networks for improving and accelerating large-scale e-commerce retrieval] // Companion Proceedings of the Web Conference 2022. Lyon, France, 2022. С. 32–40.
3. Сюй Г., Чжан Чжипэн, Сюй Чжэн и др. Поиск в электронной коммерции на основе совместной графовой нейронной сети содержания [E-commerce Search via Content Collaborative Graph Neural Network] // Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. Лонг-Бич, Калифорния, США, 2023. С. 2885–2897.
4. Ли Чжэн, Лю Фэн, Ян Мин и др. Иерархические двудольные графовые нейронные сети: к применению в крупномасштабной электронной коммерции [Hierarchical bipartite graph neural networks: Towards large-scale e-commerce applications] // 2020 IEEE 36th International Conference on Data Engineering (ICDE) : материалы конференции (Даллас, Техас, США, 20–24 апреля 2020 г.). Даллас, 2020. С. 1677–1688.
5. Лю Вэй, Ли Ян, Луо Сяофэй и др. Графовые нейронные сети для представления отношений между товарами в электронной коммерции [Item relationship graph neural networks for e-commerce] // IEEE Transactions on Neural Networks and Learning Systems. 2021. Т. 33, № 9. С. 4785–4799.
6. Ли Цзинь. Применение модели рекомендаций на основе графа знаний электронной коммерции с интеграцией механизма внимания и случайных признаков [Application on E-Commerce Knowledge Graph Recommendation Model Integrating Attention Mechanism and Random Features] // Proceedings of the 2022 4th International Conference on Robotics, Intelligent Control and Artificial Intelligence. Нью-Йорк : Association for Computing Machinery, 2022. С. 919–923.
7. Хуан Ц., Ню С., Чжан В. Сессионные рекомендации с многослойной параллельной графовой нейронной сетью [Session-Based Recommendation with Multi-layer Parallel Graph Neural Network] // Proceedings of the 2023 9th International Conference on Computing and Artificial Intelligence. 2023. С. 249–257.
8. Юй Чжэнь, Лянь Цзе, Се Син и др. AS-GCN: адаптивная семантическая архитектура графовых свёрточных сетей для сетей с богатым текстовым содержимым [AS-GCN: Adaptive semantic architecture of graph convolutional networks for text-rich networks] // 2021 IEEE International Conference on Data Mining (ICDM) : материалы конференции (Окленд, Новая Зеландия, 2021). 2021. С. 837–846.
9. Лу Юйвэнь, Ли Цзинтай. Обнаружение мошеннических пользователей с помощью временно-усиленных графовых нейронных сетей на платформах электронной коммерции [Fraudulent User Detection with Time-enhanced Graph Neural Networks on E-Commerce Platforms] // 2023 International Conference on Consumer Electronics-Taiwan (ICCE-Taiwan) : материалы конференции. Тайбэй, 2023. С. 49–50.
10. Нгуен Д. М. и др. LightSAGE: графовые нейронные сети для крупномасштабного поиска товаров в рекламных рекомендациях Shopee [LightSAGE: Graph Neural Networks for Large Scale Item Retrieval in Shopee’s Advertisement Recommendation] // Proceedings of the 17th ACM Conference on Recommender Systems. Сингапур, 2023. С. 334–337.
11. Юй Хунь, Ли Чжэн, Чжан Вэй и др. Обнаружение мошенничества на основе графов поведения в электронной коммерции [Behavioral graph fraud detection in E-commerce] // 2022 IEEE International Conference on Data Mining Workshops (ICDMW) : материалы конференции (Орландо, Флорида, США, 2022). 2022. С. 1–8.
12. Пан Хайпэн, Чжоу Хуэй. Исследование свёрточных нейронных сетей и их применение в интеллектуальном анализе данных и прогнозировании продаж в электронной коммерции [Study on convolutional neural network and its application in data mining and sales forecasting for E-commerce] // Electronic Commerce Research. 2020. Т. 20, № 2. С. 297–320.
13. Сюй Ц., Чжао Пэн, Лю Ян и др. Графовые сети с механизмом внимания для прогнозирования продаж новых товаров в электронной коммерции [Graph attention networks for new product sales forecasting in e-commerce] // Database Systems for Advanced Applications: материалы 26-й международной конференции (DASFAA 2021), Тайбэй, Тайвань, 11–14 апреля 2021 г. Часть III. Springer, 2021. С. 553–565.
14. Петрошану Д. М. и др. Прогнозирование доходов от продаж в электронной коммерции путём динамического проектирования, разработки и валидации сети направленного ациклического графа (DAG) для глубокого обучения [E-commerce sales revenues forecasting by means of dynamically designing, developing and validating a directed acyclic graph (DAG) network for deep learning] // Electronics. 2022. Т. 11, № 18. С. 2940.
15. Лю Вэй, Ли Ян, Луо Сяофэй и др. Графовые нейронные сети для представления отношений между товарами в электронной коммерции [Item relationship graph neural networks for e-commerce] // IEEE Transactions on Neural Networks and Learning Systems. 2021. Т. 33, № 9. С. 4785–4799.