Измерение пользовательского опыта чат-ботов: подход с точки зрения межличностной коммуникативной компетенции
Marita Skjuve, Petter Bae Brandzaeg
SINTEF, ОСЛО, Норвегия
marita.skjuve@sintef.no
Рост популярности чат-ботов значительно изменяет способы взаимодействия людей с новыми технологиями. Вместо того чтобы привычно перемещаться по веб-страницам с помощью кнопок, пользователи всё чаще получают доступ к контенту и услугам, используя естественный язык, общаясь с искусственным агентом – чат-ботом. Этот переход к диалоговому взаимодействию с технологиями проявляется в более социальном и естественном стиле общения. Это, в свою очередь, требует пересмотра подходов к исследованию и оценке пользовательского опыта общения с чат-ботами.
В данной статье мы предлагаем сосредоточить внимание на социальных аспектах взаимодействия человека и чат-бота, акцентируя внимание на межличностной коммуникативной компетенции. Мы основываемся на существующих исследованиях коммуникативной компетенции в успешных взаимодействиях между людьми, чтобы выделить факторы, которые могут быть важны для оценки межличностной коммуникативной компетенции чат-ботов, и предложить методы их измерения.
Ключевые слова: чат-бот, разговорный интерфейс, естественный язык, взаимодействие человека и чат-бота, пользовательский опыт, межличностная коммуникативная компетенция.
Способность проявлять межличностную коммуникативную компетенцию играет ключевую роль в успешном взаимодействии и налаживании отношений между людьми. Однако до недавнего времени технологии не требовали такого навыка. С развитием разговорных интерфейсов, таких как чат-боты, появилась необходимость разработки новых методов для оценки пользовательского опыта общения с этими системами в контексте взаимодействия человека с компьютером (HCI, от англ. Human-computer interaction).
Чат-боты представляют собой программные агенты, которые выполняют роль разговорных интерфейсов для доступа к данным и услугам в онлайн-пространстве. Термин «чат-бот» является лишь одним из множества названий для таких программ [1]. Также их называют разговорными интерфейсами, интеллектуальными помощниками или агентами.
Использование искусственного интеллекта, машинного обучения и технологий обработки естественного языка позволяет чат-ботам общаться с пользователями так, как это делают люди, – через естественный язык. Это избавляет пользователей от необходимости тратить время на навигацию по веб-страницам: достаточно начать разговор с чат-ботом, и он предоставит необходимую информацию.
Предполагается, что чат-боты кардинально изменят структуру пользовательских интерфейсов, мотивацию пользователей и их поведение при онлайн-взаимодействии. Такой сдвиг требует переосмысления подходов к оценке пользовательского опыта. Поскольку чат-боты могут рассматриваться как социальные технологии, HCI должна учитывать их именно в этом контексте, а не только как функциональные инструменты. Несмотря на признание важности создания комфортного социального взаимодействия при разработке коммуникационных систем, эта тема до сих пор недостаточно изучена в контексте пользовательского опыта, особенно в отношении чат-ботов [2, 3, 4].
Чат-боты признаны перспективным разговорным интерфейсом для доступа к данным и услугам по множеству причин: они эффективны, экономичны, доступны и удобны [5]. В настоящее время они выполняют различные роли: агенты службы поддержки, консультанты по здоровью, терапевты и преподаватели. Некоторые из них могут стать «интернет-друзьями» или даже важными партнёрами. Поэтому разработчикам чат-ботов необходимо учитывать аспекты построения взаимоотношений и социального доверия в процессе взаимодействия человека с чат-ботом.
Чат-боты всё чаще заменяют людей в ролях, которые ранее выполнялись только людьми. Согласно исследованиям, пользователи склонны взаимодействовать с искусственными агентами так, как с другими людьми. Это ставит задачу для разработки у чат-ботов тех способностей, которые обеспечат приятное взаимодействие и положительный пользовательский опыт. Но как можно измерить такой опыт?
Пользовательский опыт – это сложное и многозначное понятие, которое трактуется и измеряется различными способами, что связано с его субъективным характером [6]. При оценке взаимодействия с чат-ботами нельзя полагаться исключительно на традиционные шкалы удобства, такие как System Usability Scale (например, представлена в работе [7]), поскольку пользователь теперь взаимодействует с технологией по-другому. В связи с этим всё чаще используются другие шкалы, такие как анкета Godspeed, оценивающая схожесть с человеком, или шкалы социальной присутствия, измеряющие, насколько тёплым или холодным, личным или безличным воспринимается данный интерфейс.
Эти шкалы служат полезными инструментами для измерения различных аспектов пользовательского опыта. Однако межличностная коммуникативная компетенция, обсуждаемая в данной работе, может влиять на показатели этих шкал [8, 9]. Например, чат-бот с высокой коммуникативной компетенцией будет восприниматься как более человечный и обладающий большим социальным присутствием благодаря тёплому и персонализированному стилю общения.
Тем не менее, для более полного учёта разговорного характера взаимодействия с чат-ботами необходимы новые методы оценки пользовательского опыта. Такие подходы должны охватывать процесс общения, который включает обмен информацией и эмоциями через вербальные и невербальные сообщения между пользователем и чат-ботом.
Цель данной работы состоит в том, чтобы (1) выделить факторы, важные для успешной коммуникации между людьми, которые упоминаются в предыдущих исследованиях, и (2) предложить начальную шкалу для оценки межличностной коммуникативной компетенции у чат-ботов. Эта работа может послужить основой для дальнейших исследований и оценки факторов, определяющих восприятие взаимодействия человека с чат-ботом в будущем.
Спитцберг и Хехт [10] утверждают, что уровень коммуникативной компетенции определяет восприятие взаимодействия. По их мнению, общение между двумя или более людьми должно соответствовать контексту, в котором оно происходит. Они описывают компетентное общение как процесс, через который формируются межличностные впечатления и достигаются удовлетворительные результаты взаимодействия (с. 576).
Авторы выделяют четыре ключевых аспекта, которые играют важную роль в межличностных отношениях: (1) мотивация к общению, (2) знания, (3) навыки и (4) результаты. Эти факторы являются универсальной основой для формирования впечатления о высоком уровне коммуникативной компетенции.
Рубин и Мартин [11] разделяют эту точку зрения, добавляя, что «межличностная коммуникативная компетенция» — это восприятие или оценка способности человека управлять межличностными отношениями в процессе общения. Хотя Спитцберг и Хехт [10] выделяют четыре ключевых аспекта, Рубин и Мартин [11] отмечают, что исследования последних 20 лет пришли к согласию о наличии десяти основных навыков межличностной коммуникативной компетенции (Таблица 1). Эти компетенции пересекаются с четырьмя аспектами, предложенными Спитцбергом и Хехтом, и применяются для оценки межличностной коммуникативной компетентности в различных контекстах, начиная от привязанности и социальной поддержки [12] и заканчивая восприятием роботов [13].
Хотя ранее исследования в основном сосредотачивались на оценке межличностной коммуникативной компетенции в человеческом общении, некоторые работы также применяли эти критерии для анализа пользовательского опыта с искусственными агентами, такими как роботы. Например, Маартье Де Грааф и коллеги [14] показали, что участники, считавшие робота недостаточно общительным, с большей вероятностью прекращали с ним взаимодействие.
На основе анализа компетенций, предложенных Рубином и Мартином [11], а также существующей литературы о чат-ботах, мы выделили десять компетенций, которые имеют особое значение в контексте взаимодействия человека с чат-ботами (Таблица 1).
Таблица 1
Значимые для пользовательского опыта коммуникативные компетенции
Компетенция | Объяснение | Значимость |
Самораскрытие | Чат-бот должен уметь делиться личными мыслями или переживаниями. | Транскрипты взаимодействий показывают, что пользователи часто задают чат-ботам вопросы о них самих [15]. Поэтому чат-бот должен быть способен делиться информацией о себе, когда это уместно. |
Эмпатия | Чат-бот должен демонстрировать, что он понимает и/или сочувствует пользователю, когда это нужно. | Фитцпатрик и коллеги [16] выяснили, что пользователи ценят эмпатичные ответы от чат-бота, а Ким и соавторы [17] показали, что подростки хотят, чтобы чат-бот «сочувствовал» им. |
Социальное расслабление | Чат-бот должен быть уверенным и комфортным в процессе взаимодействия, не испытывая тревоги. | Марринон [18] выяснил, что участникам нравилось, когда чат-бот выглядит спокойным и расслабленным, но они также ценили, когда он общался в «экспертном» и более профессиональном стиле. |
Управление взаимодействием | Чат-бот должен уметь эффективно управлять очередностью реплик и развивать обсуждение различных тем. | Люгер и Селлен [19] заметили, что пользователи часто жалуются на неспособность чат-бота продолжить обсуждение предыдущих вопросов по теме. |
Настойчивость | Чат-бот должен уметь отстаивать свою позицию и права, но при этом уважать права пользователя и не нарушать их. | Керри и Ризер [20] подчёркивают, что чат-боты должны применять стратегии смягчения, чтобы избежать оскорблений и конфронтации. |
Альтерцентризм | Чат-бот должен заставлять пользователя чувствовать, что ему интересно то, что тот говорит, задавать уместные вопросы, быть вежливым и демонстрировать соответствующие эмоциональные выражения и контент. | Ким и соавторы [17] выяснили, что подростки ценят, когда чат-бот не устаёт их слушать. Они также хотят, чтобы чат-бот отвечал адекватно и по существу. |
Экспрессивность | Чат-бот должен уметь выражать свои чувства как вербально (например, смехом), так и невербально (с помощью эмодзи). | Фитцпатрик и соавторы [16] использовали эмодзи в своём боте, чтобы облегчить эмоциональное выражение чат-бота. |
Открытость | Чат-бот должен быть открыт для общения. | Фитцпатрик и соавторы [16] заметили, что пользователям нравится, когда чат-бот сам интересуется их состоянием, а Ким и соавторы [17] показали, что «активное слушание» было признано важной функцией. |
Поддержка | Чат-бот не должен судить пользователя и должен заставлять его чувствовать себя равным собеседником. | Ким и соавторы [17] выяснили, что подростки ценят, когда чат-бот не осуждает их и не обижается на них. |
Контроль над окружением | Чат-бот должен быть способен достигать своих целей и решать задачи. | Люгер и Селлен [19] утверждают, что чат-боты должны чётко объяснять, что они могут и не могут делать, чтобы установить правильные ожидания у пользователей. |
Не все аспекты социальных компетенций, перечисленные в этой таблице, могут быть актуальны для всех типов чат-ботов. Можно выделить различные типы чат-ботов в зависимости от того, как они взаимодействуют с пользователями, какой контент предоставляют и в каком контексте используется приложение [21]. Поэтому важно учитывать, что чат-боты бывают разных форматов и выполняют разнообразные социальные и информационные задачи. Некоторые чат-боты предназначены для длительного использования, в то время как другие актуальны только для одной короткой сессии, например, для получения информации о погоде на день. Таким образом, типы параметров, которые нужно измерять и использовать в разных контекстах, должны соответствовать целям общения и общему контексту работы чат-бота.
Рубин и Мартин [11] предлагают шкалу для оценки межличностной коммуникативной компетентности. Мы адаптировали эту шкалу для использования в контексте чат-ботов. Некоторые вопросы были слегка переформулированы, а два пункта были исключены, так как они не были релевантны (пункт 9: «Я чувствую себя неуверенно в группах незнакомых людей» и пункт 26: «Я стараюсь смотреть людям в глаза, когда разговариваю с ними»).
Таблица 2
Исходная шкала для измерения каждой компетенции
Компетенция | Утверждения |
Самораскрытие | Чат-бот дал мне понять, кто он. Чат-бот поделился со мной своими мыслями. Чат-бот рассказал мне о своих чувствах. |
Эмпатия | Чат-бот, кажется, понимал, как я себя чувствую. Чат-бот демонстрировал, что понимает меня. Чат-бот поставил себя на моё место. |
Социальное расслабление | Чат-бот выглядел уверенным и спокойным во время общения. Чат-бот казался расслабленным и комфортным в разговоре. |
Управление взаимодействием | Чат-бот брал на себя управление диалогом. Чат-бот регулировал темы, которые мы обсуждали. Чат-бот реагировал на мои невербальные сигналы, такие как эмодзи. Чат-бот легко переходил от одной темы к другой. |
Альтерцентризм | Чат-бот сохранял внимание в ходе беседы. Разговор с чат-ботом не выглядел односторонним. Чат-бот давал понять, что понимает мои слова. |
Экспрессивность | Чат-бот показывал свои эмоции, например, радость или грусть. Чат-бот не испытывал трудностей в выражении своих мыслей. Чат-бот свободно выражался словами. |
Поддержка | Я бы описал чат-бота как «тёплого» собеседника Чат-бот не осуждал меня. Чат-бот общался со мной на равных. |
Открытость | Чат-бот дал понять, что ему важно то, что я говорю. Чат-бот вызвал у меня ощущение близости. |
Контроль над окружением | Чат-бот успешно достигал своих целей в общении. Чат-бот умел убедить меня в своей точке зрения. Чат-бот легко находил способ мотивировать меня на выполнение его предложений |
Примечание: Каждая компетенция оценивается с использованием шкалы Лайкерта со следующими градациями:
1 = Совсем не правда, 2 = В основном не правда, 3 = Ни правда, ни не правда, 4 = В основном правда, 5 = Очень правда.
В данной статье предпринята первая попытка предложить новый подход к оценке пользовательского опыта через призму межличностной коммуникативной компетентности, адаптированной для чат-ботов. Были описаны 10 ключевых компетенций, а также модифицирована шкала Рубина и Мартина [11], изначально разработанная для оценки межличностной компетентности в общении между людьми, чтобы применить её к взаимодействию человек-чат-бот. При адаптации шкалы были выявлены несколько важных моментов:
Во-первых, пункты, измеряющие эту компетенцию, требуют уточнения, особенно с учётом контекстов, связанных с оскорблениями. Пользователям может быть не совсем понятно, почему чат-боту важно уметь отстаивать свою позицию. Однако в ситуациях неподобающего поведения это становится критически важным. Известны случаи злоупотребления чат-ботами [20], и Керри и Райзер [20] подчёркивают важность того, чтобы чат-боты могли снижать подобные проявления, предотвращая их эскалацию.
Во-вторых, «социальная расслабленность», как указывают Рубин и Мартин [11], больше связана с субъективным стрессом, который испытывает человек, чем с внешним выражением поведения. В контексте чат-ботов акцент следует сделать на демонстрации уверенности и спокойствия, а не на внутреннем состоянии.
В-третьих, фактор «открытости» частично пересекается с эмпатией. Одним из предложений является сосредоточение на способности чат-бота демонстрировать доступность, например, через push-уведомления или использование методов активного слушания.
В-четвёртых, поскольку взаимодействие с чат-ботами происходит через цифровую среду, шкала должна учитывать специфику этого формата. Это также соответствует мнению Спитцберга [22]. Например, в разделе «управление взаимодействием» можно добавить пункты, такие как: (1) длина ответа соответствовала ситуации, (2) количество ответов было достаточным, (3) время отклика было приемлемым. Эти аспекты могут быть полезны для оценки межличностной компетенции чат-бота.
Мы призываем будущие исследования продолжать развивать предложенную в данной статье основу для измерения межличностной коммуникативной компетентности чат-бота. Это включает, среди прочего, следующие шаги: