Назад в библиотеку

Коваль Кристина Олеговна

студент II-го курса магистратуры 

кафедра экономической кибернетики

ФБГОУ ВО «Донецкий национальный технический университет»

e-mail: Beabeato@mail.ru

г. Донецк, Донецкая Народная Республика, Россия

Искра Елена Александровна

кандидат экономических наук, доцент,

кафедра экономической кибернетики

ФГБОУ ВО «Донецкий национальный технический университет»,

e-mail: iskra_helen@mail.ru

г. Донецк, Донецкая Народная Республика, Россия

ПЕРСОНАЛИЗАЦИЯ ЧАТ-БОТОВ: СОВЕРШЕНСТВОВАНИЕ ЮЗАБИЛИТИ И USER-EXPERIENCE

УДК 004.5

Аннотация:

В данной работе исследуется влияние личностных черт чат-бота на восприятие пользователем взаимодействия с ним, что напрямую связано с понятием User Experience (UX). В работах, посвященных этой теме, утверждается, что соответствие личностных характеристик чат-бота и пользователя может существенно повлиять на качество UX. В рамках исследования сравниваются два чат-бота с различными уровнями человекоподобия, и оценивается, как это влияет на удобство использования и удовольствие от общения с ботом. Оценка этих параметров проводилась с использованием методики AttrakDiff, а полученные данные анализировались с помощью t-критерия Стьюдента. Результаты показали, что личность чат-бота имеет положительное влияние на UX, однако этот эффект зависит от контекста, выполняемых задач и целевой группы пользователей. Исследование подтверждает гипотезу о том, что оптимизация личностных характеристик чат-бота может улучшить качество UX и повысить привлекательность бота.

Ключевые слова:

Чат-бот, User Experience, Dialogflow, User-Centered Design.

Последние достижения в области машинного обучения способствовали быстрому развитию искусственного интеллекта (ИИ) и методов обработки естественного языка для разговорных интерфейсов. Алгоритмы ИИ становятся доступны широкому кругу пользователей, а благодаря программным интерфейсам API чат-боты получают доступ к огромным объемам информации и знаний через тысячи онлайн баз данных. Всё это звучит многообещающе и частично объясняет возрождение интереса к чат-ботам в последние годы. Однако, эти преимущества теряются, если чат-боты не оправдывают ожиданий пользователей. Недавние обзоры показывают, что многие из них остаются «глупыми» и неспособными к полноценному общению [1]. Поэтому не стоит верить излишне оптимистичным прогнозам исследователей.

Для проверки гипотезы о взаимосвязи «человечности» чат-бота и позитивного UX были разработаны две модели чат-ботов: в первом ярко выражена такая черта, как доброжелательность, а во втором – добросовестность (по диспозициональной модели личности человека, Большой пятёрке). «Доброжелательность» показывает, насколько гармонично человек существует в социуме, противопоставляет просоциальную и коллективную ориентацию эгоцентризму [2]. Выраженная «добросовестность» говорит о педантичности и организованности личности, а также о сознательности, с которой человек выполняет свои обязанности. Добросовестный чат-бот был разработан как противоположность дружелюбному. Предполагалось, что он окажется менее подходящим для целевой группы пользователей. UX обеих версий оценивался с помощью инструмента AttrakDiff, предназначенного для измерения привлекательности интерактивных продуктов по двум шкалам качеств: прагматической и гедонистической. Эксперимент показал, что дружелюбная личность чат-бота оказывает значительное положительное влияние на UX по сравнению с добросовестной личностью. Цель данной работы – внести вклад в понимание того, как можно улучшить дизайн чат-ботов, а также восполнить пробелы в исследованиях, посвященных UX чат-ботов, с акцентом на их личностные черты.

Социальное взаимодействие людей – это нечто большее, чем просто использование языка для коммуникации, и если мы хотим улучшить восприятие чат-ботов пользователями, нам нужно понять, как сделать их полноценными социальными субъектами. Большинство исследований в области разговорных интерфейсов и эмоционального дизайна сосредоточены вокруг т.н. «воплощенных разговорных агентов» (ECA, от англ. Embodied Conversational Agents) [3, 4] и «эмоциональных вычислений» (от англ.  affective computing). Однако чат-боты ограничены текстовым интерфейсом (включая преобразование текста в речь), что мешает им использовать язык жестов и интерпретировать невербальные сигналы собеседника.

Исследования показали, что личность играет важную роль в восприятии пользователями разговорных интерфейсов и побуждает их к продолжению диалога [5]. Кроме того, личность обеспечивает согласованность взаимодействия [6]. Так, устойчивая личность чат-ботов создает у людей впечатление, что они общаются с одним и тем же «собеседником» на протяжении всего разговора.

Поскольку не существует чёткой методологии для проектирования чат-ботов с опорой на теорию личности, в данной работе используется комбинация нескольких техник: методология UCD (от англ. User-Centered Design – проектирование с ориентацией на пользователя), брендинг и теория личности. Большинство современных чат-ботов выступают в роли приложений к брендам, поэтому предложенная модель ориентирована на построение личности, которая соответствовала бы как ожиданиям людей, так и миссии бренда.

В соответствии с вышеизложенным подходом к разработке, были выделены четыре основных компонента:

1.                  Миссия и ценности бренда;
2.                  Глубокое понимание пользователей, их потребностей;
3.                  Роль, задачи чат-бота;
4.                  Соответствующая модель личности.

Бренд был выбран случайным образом и использовался как пример для построения структуры личности чат-бота. Миссия бренда заключается в продвижении правильного питания, что стало особенно актуальным в ритейле с 2020 года. Например, категории «фреш» и «ультрафреш» продолжают наращивать свою долю в ассортименте российских ретейлеров. Даже хард-дискаунтеры, несмотря на высокие издержки, расширяют предложение свежих продуктов, так как это стимулирует частые визиты покупателей. Правильное питание становится особенно актуальным среди молодежной аудитории в возрасте 15-30 лет, которая часто сталкивается с нехваткой кулинарных навыков и ограниченностью времени из-за учебы и работы. В ответ на эти потребности было решено создать двух чат-ботов, которые помогут пользователям быстро и легко подобрать рецепты из доступных в супермаркетах продуктов, тем самым стимулируя их к здоровому питанию.

Черты личности чат-бота А, представленные согласно пятифакторной модели:

•                   Доброжелательность (Agreeableness): доверчивый, дружелюбный, скромный, вежливый, готовый помочь;
•                   Экстраверсия (Extroversion): общительный, любящий веселье, уверенный в себе;
•                   Добросовестность (Conscientiousness): надежный, последовательный, проницательный;
•                   Открытость опыту (Openness to experience): интеллектуально любознательный, экспрессивный, неформальный;
•                   Нейротизм (Neuroticism): отсутствует.

Чат-бот B, наоборот, отличается низкой степенью доброжелательности и экстраверсии, умеренной открытостью и высокой добросовестностью. Чат-ботам были отведены роли помощника и мотиватора, поскольку их основная задача – помогать в планировании питания и вдохновлять на изменения.

Оба чат-бота равны по всем параметрам, кроме их личности: они предоставляют одинаковые услуги, выполняют одни и те же задачи и обладают одинаковой ценностью для пользователей (по крайней мере, с точки зрения выполнения задач). Различия в личности проявляются через стиль и тон общения.

Прототипы чат-ботов были созданы при помощи облачного сервиса распознавания естественного языка от Google – Dialogflow. Оба бота были интегрированы в платформу Telegram. Взаимодействие с пользователями осуществлялось посредством текстовых сообщений, без поддержки голосового ввода. Основной функционал включал:

                    планирование меню на неделю или на один день;

                    помощь в использовании оставшихся продуктов;

                    рекомендации по здоровому питанию и увеличению потребления свежих овощей и фруктов;

                    добавление товаров сети магазинов в список покупок.

В эксперименте рассматривалась независимая переменная – личность чат-бота, которая варьировалась на двух уровнях (Чат-бот A и Чат-бот B), с целью оценки её влияния на зависимую переменную – UX. Основой исследования стали следующие гипотезы:

H11: Личность чат-бота влияет на UX;

H12: Чат-бот A будет оценен более высоко, чем чат-бот B.

В дополнение к обозначенным гипотезам были собраны данные о том, какую версию чат-бота участники предпочли и почему.

Участники были набраны методом удобной выборки, их возраст варьировался от 15 до 30 лет. В группу вошли 9 женщин и 7 мужчин. Цель эксперимента участникам не раскрывали – их просто пригласили протестировать две версии интерфейса чат-бота. Для оценки каждой версии участники выполняли ряд задач. В этом эксперименте исследуемая группа являлась одновременно и экспериментальной, и контрольной, поскольку в исследовании использовался смешанный подход (сравнение между группами и внутри групп) – факторный эксперимент с двумя переменными.

Чтобы контролировать эффект последовательности и эффект влияния взаимодействия, половина участников начинала тестирование с чат-бота A, в то время как другая половина – с чат-бота B (таблица 1). Для обеих версий участникам предлагалось заполнить одну и ту же форму.

Таблица 1

Факторный эксперимент с двумя переменными

AttrakDiff был разработан для оценки UX. Он предполагает измерение полезности и удобства использования в рамках прагматического подхода, а также измерение гедонистических качеств, таких как мотивация, стимуляция, вызов и привлекательность. Опросник AttrakDiff позволяет пользователям субъективно оценить юзабилити и дизайн продукта.

                    Прагматическое качество (Pragmatic Quality): полезность и юзабилити системы;

                    Гедоническое качество (Hedonic Quality): мотивация, стимуляция и вызов для пользователя;

AttrakDiff состоит из 28 пунктов. Каждый пункт представлен парой прилагательных-антонимов, размещенных на противоположных концах шкалы интенсивности с семью делениями, где медиана – это нейтральное положение, а три деления слева и справа – степени выраженности одной из двух черт.  

Из средних значений групп пунктов формируются шкалы для оценки прагматического качества (PQ), гедонического качества (HQ, а также HQ-I и HQ-S как подкатегорий, связанных с идентичностью и стимуляцией соответственно) и привлекательности (ATT от англ. attractiveness). Для проведения опроса была выбрана следующая площадка, доступная по ссылке: https://www.attrakdiff.de/index-en.html. Результаты расчета t-критерия Стьюдента для связных выборок представлены в таблице 2.

Таблица 2

Описательная статистика и результаты расчета t-критерия Стьюдента для связных выборок

Анализ t-критерия для связанных выборок показал значительную разницу в оценках чат-бота B и чат-бота A: второй бот получил более высокие оценки, чем первый. Это говорит о том, что доброжелательная личность оказалась наиболее подходящей для выбранной группы пользователей. Однако в других условиях, например, для другой аудитории или другого бренда добросовестная личность, возможно, будет более предпочтительна. Цель исследования заключалась в подтверждении гипотезы, что личность чат-бота должна соответствовать его сфере применения и целевой аудитории.

К другим факторам, которые могли исказить результаты исследования, можно отнести низкую продолжительность диалоговой сессии и тот факт, что AttrakDiff изначально разрабатывался для оценки интерактивных продуктов, из-за чего некоторые пары прилагательных было сложно применить к чат-боту. Ограниченная свобода при общении с чат-ботом также могла повлиять на общее впечатление.

Таким образом, статистический анализ данных выявил значимые различия в прагматическом качестве, гедоническом качестве и привлекательности чат-бота A и чат-бота B. Результаты t-критерия для связанных выборок показали, что чат-бот A оказал значительный положительный эффект на UX по сравнению с чат-ботом B. Полученные данные подтвердили обе гипотезы, что говорит о том, что личность чат-бота влияет на UX и то, что личность чат-бота A позволила получать больше удовольствия от взаимодействия и сделать его наиболее эффективным.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1.                Чат-боты должны были стать следующим прорывом: что же пошло не так? [Электронный ресурс]. – Режим доступа: https://habr.com/ru/companies/productivity_inside/articles/416911/ (Дата обращения: 10.11.2024)
2.                Воронкова, Я.Ю. «Большая пятёрка», или пятифакторная модель личности / Я.Ю. Воронкова, О.М. Радюк, И.В. Басинская // Смысл, функции и значение разных отраслей практической психологии в современном обществе: сборник научных трудов / под ред. Е. Н. Ткач. – Хабаровск: Изд-во Тихоокен. гос. ун-та, 2017. – С.39-45.
3.                Кловайт, Н. Мультимодальный поворот в исследованиях взаимодействия человека и компьютера. / Н. Кловайт, М.А. Ерофеева // Мониторинг общественного мнения: экономические и социальные перемены, 2021. №1 [Электронный ресурс]. – Режим доступа: https://cyberleninka.ru/article/n/the-rise-of-interactional-multimodality-in-human-computer-interaction (дата обращения: 07.11.2024).
4.                Kroczek, L. O. H., May, A., Hettenkofer, S., Ruider, A., Ludwig, B., & Mühlberger, A. (2024). The influence of persona and conversational task on social interactions with a LLM-controlled embodied conversational agent. arXiv preprint, arXiv:2411.05653. DOI: 10.48550/arXiv.2411.05653.
5.                Posokhov, P., Apanasovich, K., Matveeva, A., Makhnytkina, O., & Matveev, A. (2022). Personalizing Dialogue Agents for Russian: Retrieve and Refine. Proceedings of the XXth Conference of Open Innovations Association FRUCT, 31, 1-8. DOI: 10.23919/FRUCT54823.2022.9770895.
6.                Chen, R., Wang, J., Yu, L.-C., & Zhang, X. (2023). Learning to Memorize Entailment and Discourse Relations for Persona-Consistent Dialogues. Proceedings of the AAAI Conference on Artificial Intelligence, 37, 12653-12661. DOI: 10.1609/aaai.v37i11.26489

Koval Kristina Olegovna

Student of the II-st course of the undergraduate

Department Economic Cybernetics

Donetsk National Technical University

e-mail: Beabeato@mail.ru

Donetsk, Donetsk People’s Republic, Russia

Iskra Elena Aleksandrovna

Research Supervisor

Candidate of Economic Sciences, Associate Professor,

Department of Economic Cybernetics

Donetsk National Technical University,

email: iskra_helen@mail.ru

Donetsk, Donetsk People's Republic, Russia

CHATBOT PERSONALIZATION: ENHANCING USABILITY AND USER EXPERIENCE

Abstract:

This study examines the influence of chatbot personality traits on users’ perceptions of interactions, which are directly linked to the concept of User Experience (UX). Research in this field suggests that the alignment between the personality traits of a chatbot and the user can significantly affect UX quality. The study compares two chatbots with varying levels of human-likeness and evaluates how this affects usability and user satisfaction. These parameters were assessed using the AttrakDiff method, with the collected data analyzed through the Student's t-test. The findings indicate that a chatbot's personality positively impacts UX; however, this effect depends on the context, tasks being performed, and the target user group. The study supports the hypothesis that optimizing a chatbot's personality traits can enhance UX quality and increase user engagement.

Keywords:

Chatbot, User Experience, Dialogflow, User-Centered Design.