Назад в библиотеку

---

Авторы: Antje Janssen, Davinia Rodriguez Cardona, Jens Passlick, Michael H. Breitner
Автор перевода: Дворник А.Н.
Источник: International Journal of Human-Computer Studies, 2022; 168

Как сделать чат-ботов продуктивными – ориентированная на пользователя платформа

Аннотация

Многие организации занимаются внедрением чат-ботов для автоматизации процессов обслуживания. Однако предыдущие исследования выявили наличие практических неудач при внедрении чат-ботов в корпоративной среде. Чтобы получить практическое понимание вопросов, связанных с процессами внедрения с нескольких точек зрения и этапов развертывания, мы провели полуструктурированные интервью с разработчиками и экспертами по разработке чат-ботов. Используя качественный контент-анализ и основываясь на обзоре литературы по взаимодействию человека с компьютером (HCI), информационным системам (ИС) и чат-ботам, мы представляем структуру реализации, которая поддерживает успешное развертывание чат-ботов, и обсуждаем внедрение чат-ботов через пользовательский интерфейс. Предлагаемая структура содержит 101 направляющий вопрос для поддержки внедрения чат-бота в восьмиэтапном процессе. Вопросы структурированы в соответствии с рамками людей, деятельности, контекста и технологий (PACT). Адаптированная структура ПДЛР оценивается посредством интервью с экспертами и обсуждения в фокус-группах (ФГД) и далее применяется в тематическом исследовании. Эту структуру можно рассматривать как мост между наукой и практикой, который служит концептуальной структурой для практиков, позволяющей представить чат-бот структурированным и ориентированным на пользователя способом.

Ключевые слова: фреймворк PACT, фреймворк реализации чат-бота, взаимодействие человека с компьютером, человеко-ориентированный дизайн

Введение

ЭВ последние годы чат-боты становятся все более популярными [1] благодаря крупным разработкам в области машинного обучения (ML) и обработки естественного языка (NLP), которые позволили создать новые формы чат-ботов. Ажиотаж вокруг чат-ботов побудил многие компании в разных областях представить их, чтобы продемонстрировать свое технологическое мастерство или просто предложить новый канал взаимодействия с клиентами. Консультации по чат-ботам способствуют упрощению разработки чат-ботов в течение короткого периода времени (например, «Часто задаваемые вопросы: чат-бот за день»1 и «Узнайте, как создать чат-бота для Facebook – всего за один день!»2), обычно сосредотачиваясь на использовании конкретного инструмент разработки, а не полный процесс разработки. В этом отношении предыдущие исследования были сосредоточены в первую очередь на конкретных аспектах реализации чат-ботов, например, на таких элементах дизайна, как «технические, ситуационные и интеллектуальные особенности» [2], принципах проектирования [2] и задач по внедрению чат-ботов [3] или конкретных прототипов, разработанных на основе тематических исследований [4].

Хотя чат-боты постоянно совершенствуются, они могут быть склонны к функциональным сбоям. Это вызывает беспокойство в исследованиях и практике, поскольку может привести к потере доверия и разочарованию среди пользователей [2,3,4]. Одна из основных причин неудач чат-ботов в настоящее время заключается в том, что ожидания пользователей не соответствуют их функциональности [4]. В быстро меняющемся и все более оцифрованном мире, где люди постоянно сталкиваются с новыми технологическими изменениями, ключевым фактором успеха на этапах проектирования, внедрения и оценки является глубокое понимание того, как люди взаимодействуют с разрабатываемыми технологиями [5]. Зьерау и др. подчеркивают, что контекст задачи и характеристики пользователей до сих пор почти не изучались в исследованиях чат-ботов, хотя отдельные исследования [6] уже интенсивно фокусировались на том, как пользователи используйте чат-ботов. И это несмотря на их влияние на HCI, а также на характеристики и задачи системы [7]. Следовательно, во время реализации также необходимо учитывать не только технические факторы, но и (потенциальных) пользователей, их деятельность и соответствующий контекст [7], что можно сделать с помощью структуры PACT Бениона. Целостная структура, которая предлагает направляющие вопросы для практиков и исследователей, полезна, поскольку она может обеспечить согласованность, ориентированную на пользователя, контекст, деятельность и технологию на каждом этапе. Ставя пользователя в центр, структура помогает практикам и исследователям получить обзор вопросов, которые необходимо задать в процессе внедрения, и разработать чат-ботов независимо от поставщика. С целью разработки артефакта в виде ориентированной на пользователя структуры реализации чат-бота, содержащей руководящие вопросы, которые необходимо учитывать во время реализации, мы стремимся решить следующий исследовательский вопрос:Какие вопросы необходимо учитывать при реализации ориентированного на пользователя чат-бота и как эти вопросы можно структурировать в рамках реализации?

Мы применяем этапы исследования в области науки проектирования HCI, предложенные Вайшнави и Кюхлером [6], чтобы рассмотреть процесс реализации через призму, ориентированную на пользователя [8]. Мы проводим 15 полуструктурированных интервью с практиками, которые уже внедрили чат-ботов. Чтобы понять, как происходит процесс разработки чат-бота, и использовать наши результаты для описания наиболее важных аспектов реализации чат-бота, мы анализируем эти интервью с помощью качественного контент-анализа. Кроме того, мы разрабатываем структуру реализации, содержащую 101 вопрос, и классифицируем их по четырем элементам PACT Бениона и др. [7]. Рамочные вопросы и распределение PACT оцениваются посредством интервью, обсуждения в фокус-группах (ФГД) и демонстрации тематического исследования. Обсуждаются наши результаты, после чего подчеркиваются последствия и ограничения исследования. Наша статья завершается выводами и перспективами дальнейших исследований.

1. Дизайн и методология исследования

1.1 Исследования в области дизайна

Наше исследование направлено на определение условий, ориентированных на пользователя, которые следует учитывать при разработке и внедрении чат-бота. По словам Вайшнави и Кюхлера [8]: «Знания науки о дизайне могут быть в форме артефактов — конструкций, структур, архитектур, принципов проектирования, методов и/или реализаций — и теорий дизайна». Рамки определяются как «реальные или концептуальные ориентиры, служащие поддержкой или руководством» (Вайшнави и Кюхлер, 2015, стр. 20). В соответствии с этим определением мы разработали структуру как человеко-ориентированный артефакт HCI в контексте исследований в области вычислительного дизайна (Rai, 2017). В HCI проводится различие между тремя режимами проектно-научных исследований (DSR). В то время как внешний режим фокусируется на наблюдательном анализе взаимодействия человека с компьютером и поведения пользователя, а гештальт-режим исследует баланс между ИТ-системами и поведением человека посредством сочетания технических и наблюдательных исследований, в этом исследовании мы сосредоточились на внутреннем режиме, который техническое исследование конструкции ИТ-системы, ориентированное на интерфейсы человек-компьютер (Адам и др., 2021). Мы структурировали наш исследовательский проект в несколько этапов в соответствии с исследовательским подходом Вайшнави и Кюхлера [7], основанным на науке о дизайне. Этапы и процедуры исследования показаны на рис. 1.

1.2 Осознание проблемы на основе соответствующей литературы

Чат-боты — это интерактивные прикладные системы, которые могут вести текстовый разговор на конкретную тему с человеком, используя методы НЛП и машинного обучения [9]. Благодаря своим интерактивным возможностям чат-боты используются в бесчисленных частных и коммерческих сферах (например, в образовании, здравоохранении, повседневной жизни, совместной работе и поддержке клиентов). У каждого из них совершенно разные требования, которые определяются их возможностями и задачами [9], что делает их дизайн еще более важным.

Чат-боты рассматриваются как идеальный пример артефакта HCI [7], поскольку успех технологии напрямую зависит от взаимодействия с пользователем. Но, по мнению ряда исследователей, чат-боты решительно отличаются от других систем HCI своими возможностями взаимодействия и интеллекта [8]. Они используют интерфейс на естественном языке с визуальными элементами, разговорным дизайном, эмоциональными компонентами [10] и чертами антропоморфизма (Gnewuch et al., 2020). Способность некоторых чат-ботов передавать управление агенту-человеку также отличает их от других систем ИБ [11]. Кроме того, непрерывное обучение пониманию действий пользователей для предоставления соответствующей информации уникально для чат-ботов по сравнению с другими существующими платформами [11].

Тем не менее, выбор подходящего набора элементов дизайна чат-бота возможен только после четкого разграничения контекста и направленности приложения (например, бизнес-задачи). Следовательно, определение предварительных социотехнических условий для развертывания чат-бота имеет решающее значение для разработки рамок проектирования [12]. В связи с этим предыдущие научные исследования в основном были сосредоточены на выявлении элементов дизайна чат-ботов как архитектурных аспектов взаимодействия человека и чат-бота в различных областях приложений [12]. Эти элементы дизайна представляют собой «отличительные технические, ситуационные и интеллектуальные особенности, которые определяют структуру чат-ботов и действуют как определяющие факторы того, в какой степени чат-боты, специфичные для конкретной предметной области, могут поддерживать интерактивный процесс общения, подобный человеческому, с осознанием и пониманием обсуждаемой темы». теме» [12]. После этого исследователи разработали принципы и структуры проектирования, которые облегчают и поддерживают разработку и развертывание чат-ботов [13]. Например, Ди Просперо представил архитектурную структуру, улучшающую разработку чат-ботов, в которой чат-боты разделены на четыре основных компонента: пользовательский интерфейс, ядро приложения, внешние сервисы и источники, а также обработку персональных данных, без учета требований, специфичных для предметной области. Гневух и др. использовали теорию социального реагирования, чтобы вывести четыре принципа проектирования и 12 метатребований для управления разработкой чат-ботов в сфере обслуживания клиентов. С другой стороны, Ма и Хо представили «структуру чат-бота на основе потоков» для развертывания пяти шаблонов диалога между человеком и чат-ботом в трех различных сценариях применения. Между тем, Мейер фон Вольф и др. разработали структурированную модель процедур для проектов чат-ботов в компаниях, сосредоточив внимание на знаниях в области дизайна из научной литературы и своем предыдущем опыте. Модель процедуры включает 41 задачу в рамках четырех этапов «планирование», «разработка», «тестирование» и «эксплуатация». Более того, Шуцлер и др. вывели три основных вопроса реализации (т. е. «должны ли мы создать чат-бота?», «какую технологию нам следует использовать?» и «насколько человекоподобным должен быть чат-бот?»), Основываясь на своем опыте. исследования и разработки чат-ботов. Что касается первого вопроса, статья отличается от другой литературы, в которой технология чат-ботов преимущественно рассматривается как высеченная в камне. Левандовски и др. определили метатребования и принципы проектирования для управления жизненным циклом чат-ботов, разработав четыре этапа: «инициация», «разработка и обучение», «внедрение» и «эксплуатация». Калдарини и др. дали обзор методов реализации чат-ботов, различая чат-боты, основанные на правилах, и чат-боты, основанные на искусственном интеллекте. В своем обзоре они сосредоточились на представлении соответствующих алгоритмов и наборов данных, которые могут быть полезны. В целом, в научной литературе можно найти несколько статей, из которых можно извлечь подсказки и этапы проектирования реализации чат-бота. Однако Зьерау и др. , проанализировав 107 научных работ, связанных с проектированием чат-ботов, определили, что контекст задач и разработка требований, ориентированных на пользователя, до сих пор мало изучались в исследованиях чат-ботов, хотя эти компоненты оказывают фундаментальное влияние на HCI [13]. Подводя итог, можно сказать, что существует несколько фреймворков с точки зрения реализации чат-ботов, представляющих мета-требования, общие шаги и центральные вопросы, но целостная структура с интеграцией элементов HCI и ориентацией на будущего пользователя все еще отсутствует.

В информационных системах (ИС) внедрение технологий имеет давнюю традицию, начиная с объединения процесса внедрения как моста между проектированием и использованием технологии. Однако сегодня центральными элементами являются два направления исследований: принятие технологий и успех ИБ [10]. Поэтому исследователи разработали структуру процесса внедрения технологий в организационном контексте, проводя различие между организационным и индивидуальным уровнем, а также адаптацией и постадаптационным поведением. Помимо общих моделей реализации ИС, существуют многочисленные модели процессов для конкретных областей приложений, таких как разработка программного обеспечения для игр, для которой Aleem et al. (2016) выделили 21 элемент, упорядоченный по этапам «этап подготовки к производству», «этап производства» и «этап постпроизводства». Эти модели также существуют для систем бизнес-аналитики, таких как система бизнес-аналитики жизненного цикла Гангадхарана и Свами (2004). Даже если описанные этапы в основных аспектах очень похожи, описания могут не соответствовать области специализации чат-бота. В области HCI использовались различные ориентированные на пользователя структуры и методы проектирования с различной степенью участия пользователей для информирования о разработке артефактов HCI с использованием подходов к совместному проектированию с пользователями в качестве активных партнеров по проектированию (например, совместное проектирование) или с помощью подходов к проектированию. с пользователями в качестве реагирующих информаторов . К ним относятся, например, «DIN EN ISO 9241-210:2011-01: Человеко-ориентированный дизайн для интерактивных систем», в котором представлена основа для разработки интерактивной системы, «Естественная структура диалога для диалогового UX-дизайна», ориентированная на разговорный UX-дизайн. особенности дизайна для установления естественного разговора и структура PACT, разработанная Benyon et al., в котором представлены четыре элемента HCI (т. е. люди, виды деятельности, контекст и технологии), которые следует учитывать при проектировании, ориентированном на человека. По данным Бениона и др. , «Люди используют технологии для осуществления деятельности в определенных контекстах». В цитате очерчены зависимости четырех элементов (людей, деятельности, контекста и технологий), образующих дизайн интерактивных систем, структурированных как сложное целое. Другими словами, PACT — это система оценки, которая помогает организациям выявить требования к разработке интерактивных систем, уделяя при этом внимание людям. Для разработки интерактивных технологий важно понимать разнообразие четырех элементов. Чат-боты взаимодействуют иначе, чем другие интерактивные системы , что, в свою очередь, определяется системой, задачей и контекстом (помимо пользователя) . В связи с этим PACT обеспечивает интегративную систему координат, охватывающую фундаментальные технические и социальные элементы HCI, которые необходимо принимать во внимание, направляя разработку оперативных чат-ботов, ориентированных на пользователя . Тем не менее, целостный чат-бот Структура реализации, которая объединяет все элементы HCI, в то же время ставя пользователя в центр внимания, по-прежнему отсутствует. Чтобы устранить этот пробел, настоящим разрабатывается 101 вопрос, содержащий структуру реализации ориентированного на пользователя чат-бота, предназначенную для структурирования процесса реализации решений вокруг четырех фундаментальных элементов HCI.

1.3 Разработка структуры реализации чат-бота

1.3.1 Дизайн и методология исследования

Для включения практического опыта в разработку структуры реализации ориентированного на пользователя чат-бота были проведены углубленные полуструктурированные экспертные интервью с 15 экспертами. Отбор экспертов проводился методом выборки, в ходе которого с людьми связывались по электронной почте и через сайты социальных сетей, ориентированных на карьеру (LinkedIn и Xing). В число этих экспертов вошли те, кто уже внедрил чат-ботов или внедрял их, как сообщается в пресс-релизах. Размер компании и численность сотрудников варьировались от менее 1000 сотрудников (n = 5) до компаний с численностью 650 000 человек (n = 10). Мы провели углубленные полуструктурированные экспертные интервью с (i) ИТ-директорами, владельцами продуктов и менеджерами ИТ-проектов, ответственными за планирование или мониторинг внедрения чат-бота в компаниях со штаб-квартирой в Германии, а также (ii) ИТ-руководителями, не связанными с чат-ботом. фирмы-разработчики в Германии, ответственные за или непосредственно участвующие в процессе разработки чат-бота, например, проектирование и прототипирование. Все эксперты имели опыт работы в соответствующих областях от двух до пяти лет. Чат-боты, разработанные экспертами, включали как частный пользовательский домен (например, чат-бот для телешоу, СМИ (Exp07), чат-бот для финансовых (Exp08) или консультирования по телекоммуникационным контрактам (Exp14)) так и бизнес-сферу, например, чат-бот с часто задаваемыми вопросами по продуктам в индустрии автоматизации. (Exp02). В зависимости от наличия опрошенных экспертов качественные интервью проводились либо лично (n = 4), либо по телефону (n = 11).

Чтобы направлять процесс собеседования по сбору качественной информации о подходе, которому следуют различные компании, внедрившие чат-ботов, сначала было разработано руководство для полуструктурированных интервью (см. Руководство по проведению собеседований формата А4 в Приложении). Преимущество этого заключалось в том, что задавался заранее определенный спектр вопросов, но в гибкой последовательности. Руководящие вопросы были открытыми. При создании анкеты формулировка вопросов интервью была адаптирована таким образом, чтобы была создана дискуссия между экспертом и интервьюером (Богнер и Менц, 2009). Кроме того, к этим подвопросам были созданы основные вопросы (Богнер и Менц, 2009). Это позволяло сначала задать основной вопрос и дать возможность интервьюируемому свободно на него ответить, а при необходимости можно было вставить подвопросы. Руководство по проведению интервью было отправлено экспертам заранее, что позволило подготовиться к нему. Согласие интервьюируемых было получено до записи интервью. Продолжительность интервью варьировалась от 25:38 минут до 44:36 минут. Все интервью проводились на немецком языке и соответственно переводились. Они были дословно расшифрованы и впоследствии систематизированы с использованием программного обеспечения MAXQDA для качественного анализа данных.

Интервью проводились в две итерации. Первая итерация проходила с июля по август 2019 года. В итерации 1 участники с Exp01 по Exp08 были опрошены об их предыдущем опыте внедрения чат-ботов. На основе имеющейся литературы и результатов первых интервью был разработан прототип структуры реализации PACT. Вторая итерация проходила с февраля по март 2020 года. Во второй итерации участники Exp09–15 давали интервью с немного расширенными вопросами из руководства, чтобы получить больше информации о структуре реализации чат-бота PACT. Хотя первые два блока вопросов (входные и ключевые вопросы) остались идентичными, анкета для итерации 2 была расширена оценочными вопросами (см. руководство по проведению интервью формата А4 в Приложении). Эти оценочные вопросы первоначально задавались в рамках третьего блока интервью во второй итерации для первоначальной оценки структуры реализации. Порядок и результаты раздела оценки описаны в разделе 1.4.1.

1.3.2 Разработка структуры реализации чат-бота

Разработка структуры реализации чат-бота. Чтобы разработать структуру реализации чат-бота и определить соответствующие вопросы на основе мнений экспертов в ходе интервью, мы закодировали стенограммы интервью с помощью подхода качественного контент-анализа. Схема кодирования была разработана на основе транскриптов итерации 1, которая впоследствии была применена в транскриптах итерации 2. Приложение А1 содержит подробное описание процедуры и иллюстративный обзор формирования категории. Подробное представление категорий, формируемых на каждом этапе, представлено в Приложении А2. Обобщенные результаты процесса кодирования можно увидеть в Приложении A3.

В соответствии с артефактом, который будет разработан в рамках этой статьи, мы сгруппировали утверждения респондентов по восьми последовательным этапам реализации: (I) предварительные соображения (т. технологии, которые могут помочь их оптимизировать), (II) определение вариантов использования (т. е. выявление потенциальных вариантов использования внутри организации, выявление заинтересованных сторон проекта и разработка плана взаимодействия с заинтересованными сторонами), (III) определение характеристик чат-бота (т. е. , определение интеллекта, взаимодействия и технических характеристик чат-бота), (IV) построение дерева диалогов (т. е. картирование процессов и оцифровка соответствующих технических документов), (V) разработка прототипа (т. е. разработка доказательства концепции) и дальнейшее совершенствование дерева диалога посредством обучения и тестирования), (VI) приемочное тестирование (т.е. внутреннее приемочное тестирование и тестирование для конкретной целевой группы), (VII) измерение эффективности (т.е. определение и мониторинг ключевых показателей эффективности), и (VIII) пост-реализация (т. е. доработка чат-бота). Они составляют основу окончательной структуры реализации чат-бота. Два автора классифицировали выявленные проблемы по этим восьми шагам, при необходимости переформулируя их в вопросы. Более того, эти вопросы были структурированы в рамках элементов PACT. После проведения итерации 1, а также анализа литературы было выявлено 63 (люди = 16; деятельность = 21; контекст = 11; технологии = 17) вопросов, которые были присвоены каждому элементу. 36 (люди = 8; активность = 5; контекст = 12; технологии = 11) вопросов были дополнительно сформулированы на основе мнений, полученных в ходе интервью итерации 2. Итоговый артефакт в виде структуры реализации содержит 101 вопрос, отнесенный к определил восемь шагов и элементов PACT. Кроме того, на каждом этапе изучалась литература, чтобы подкрепить утверждения интервью научными данными.

1.4 Оценка структуры

1.4.1 Экспертные интервью

Согласно процедуре DSR Вайшнави и Кюхлера, центральным шагом является оценка артефакта. Это было сделано путем проведения семи экспертных интервью (интервью интервью 2) и ФГД. Первая оценка разработанной структуры PACT была проведена с использованием руководства по проведению интервью . Эта оценка имела целью оценить общую структуру структуры и проводилась во второй итерации интервью с Exp09–15. Сначала экспертам была отправлена репрезентативная выдержка из структуры (см. Приложение A5). Первые впечатления экспертов от системы были положительными. В Exp11 и Exp15 общая структура структуры описана как «понятная», в Exp14 указано, что она «относительно последовательная и постоянная [выглядит]», а в Exp12 говорится: «В ней есть импульсы, заставляющие задуматься, которые обязательно нужно взять с собой». ». Предложения по улучшению были также упомянуты в ходе оценки интервью, которые впоследствии были реализованы, как описано ниже. Что касается разработки первого прототипа, то эксперты отметили, что важно опираться прежде всего на минимальное решение и не тратить слишком много времени на конструкцию, которая в итоге не будет принята. Вместо этого следует использовать итеративный подход, то есть собирать результаты после первого запуска и соответствующим образом модифицировать чат-бота (Exp11, Exp13, Exp14). Согласно Exp14, это скорее цикл, «постоянная модель построения-измерения-обучения-строительства-измерения-обучения-построения-измерения-обучения», в которой вы можете «вернуться назад на четыре [шага]». Exp11 согласился с этим и сказал, что «измерение добавленной стоимости [...] представляет собой постоянный цикл» и что «построение дерева диалогов [...] чередуется с диалогами прототипа, улучшения диалогов, тестирования, прототипа, диалогов улучшения качества». . Это всегда происходит в этом цикле [a], пока вы не дойдете до момента, когда вы скажете: «Это то, что у нас есть минимум».

Еще одна область, которая, по мнению некоторых экспертов, должна быть включена в структуру, — это «правовой аспект». Не так актуально для многих компаний, но для нас [это], возможно, тем временем стало проблемой из-за GDPR [Общего регламента защиты данных] и Co [...]» (Exp15). Тогда могут возникнуть вопросы: «Какие данные мы можем использовать? Что мы узнаем о пользователе?» (Exp12). Согласно GDPR ЕС, можно «получить большой объем данных, но не получить разрешения на это» (Exp12). Последний аспект был добавлен впоследствии. Из обсуждений можно сделать вывод, что вопросы, актуальные для одной компании или варианта использования, не важны для других реализаций чат-бота.

1.4.2 Обсуждение в фокус-группе

Обсуждение в фокус-группеПосле первоначальной и общей оценки концепции с использованием интервью с экспертами пересмотренная структура обсуждалась на ОФГ в апреле 2020 года в соответствии с требованиями Роземана и Весси (2008). Основное внимание здесь было уделено контент-анализу вопросов, заданных в рамках восьми шагов (см. Приложение A6). Таким образом, отличие от интервью состоит в том, что участникам была доступна вся и уже расширенная структура для оценки, и им могло потребоваться больше времени, чтобы ознакомиться с ней. Поскольку Розманн и Весси (2008) потребовали, чтобы были выбраны участники, имеющие отношение к области исследования, ОФГ была проведена с пятью участниками из промышленной компании, имеющими опыт внедрения чат-ботов. Один участник (Exp02) уже принимал участие в итерации 1. Участники были разделены на экспертов с опытом внедрения чат-ботов (Exp02, Exp16 и Exp17) и ИТ-консультантов (Exp18 и Exp19) с опытом внедрения других ИТ-инструментов. Поскольку оцениваемая структура реализации чат-бота специально предназначена для людей, которые хотят впервые представить чат-бота, Exp18 и Exp19 могут проверить, насколько хорошо эта структура помогает при запуске чат-ботов и их реализации.n

Продолжительность ФГД составила 90 минут. В обсуждении на месте приняли участие четыре участника, один подключился через Skype. ОФГ началась с презентации структуры реализации, ее распечатки на листе бумаги (см. Приложение A5) и рабочего листа, содержащего анкету фокус-группы (см. Приложение A6), чтобы ознакомить участников с объектом исследования. Каждому участнику было предложено ответить на вопросы, касающиеся разделения на восемь шагов, а также список соответствующих вопросов в рамках этих шагов. Участников также спросили о потенциальных областях использования структуры и о применении руководства для индивидуальной реализации чат-ботов. Акцент был сделан на понятность, логику и полноту шагов. Анализ ФГД проводился путем обобщения всех имеющихся данных в виде полевых записей и магнитофонной записи (Роузманн и Весси, 2008). Один из периодически обсуждаемых вопросов касался этапов I–IV. Первоначально эти шаги не были всеобъемлющими для всех участников. После первых рассуждений (шаг I «предварительные соображения») был определен этап II «вариант использования». Однако был поднят вопрос о том, что учитывается при определении варианта использования и при определении «характеристик чат-бота» на этапе III. В Exp16 указано, что «вариант использования» шага II должен отвечать на вопрос «Чего я хочу достичь с помощью чат-бота?» Тогда он сможет более точно определить «характеристики», спросив: «Что должно быть у чат-бота, а что нет?». Тогда на этапе IV, по мнению всех экспертов, больше внимания будет уделяться технической реализации диалогового дерева. В целом участники согласились, что первые четыре шага не следует объединять, а рассматривать отдельно. Более того, Exp02 полагал, что цикл шагов II, III и IV будет представлять реальную последовательность этих шагов. Этот цикл был основан на собственном опыте участников: попытка построить дерево диалога показала, что то, что было запланировано как область применения и было доработано на третьем этапе, не могло быть преобразовано в диалог (Exp02). Отсюда следует, что после четвертого шага, возможно, придется вернуться к третьему шагу и посмотреть, как можно изменить свойства чат-бота в области приложения таким образом, чтобы впоследствии чат-бот можно было реализовать в диалоге. строительство. Если в области применения не будет обнаружено никаких выгодных изменений, сама область будет пересмотрена (шаг II) (Exp02). С точки зрения эксперта, разработка не ведется последовательно от этапа I до разработки прототипа; может потребоваться вернуться на один или два шага назад с шага IV. Что касается возможностей применения и дополнительной ценности структуры, эксперты предположили, что базовая структура может внести положительный вклад во внедрение чат-ботов, помогая в качестве руководства.

1.5 Демонстрация тематического исследования

По данным фон Броке и др. (2020), артефакт DSR следует применять в соответствующей среде. Чтобы проверить применимость системы, в июле и августе 2020 года было проведено единственное тематическое исследование. Здесь был разработан прототип чат-бота для автосалона. Разработчик чат-бота, который ранее не участвовал в процессе разработки фреймворка, был ознакомлен с фреймворком, чтобы можно было провести разработку структурированным образом. При этом во время разработки основное внимание уделялось пользовательскому опыту. Чат-бот создан для поддержки клиентов при заказе и поиске товаров. На данный момент завершены первые шесть этапов рамочной программы. После продуктивного использования чат-бота была определена добавленная стоимость, чтобы можно было пройти этап после внедрения.

Вначале состоялись предварительные размышления относительно возможностей и будущих перспектив чат-бота в автосалоне. Второй этап реализации заключался в определении варианта использования, который должен создавать добавленную стоимость в процессе автосалона как для сотрудников, так и для клиентов, учитывая, что последние, которые хотят продать или купить новый автомобиль, также должны быть поддержаны на протяжении всего процесса реализации. процесс. Поскольку автосалон, для которого должен был быть разработан чат-бот, уже проводил некоторые маркетинговые кампании с помощью Facebook Messenger, в качестве платформы для чат-бота был выбран именно этот канал. Исходя из этого, на третьем этапе были определены важные свойства и характеристики чат-бота. Эти свойства и характеристики легли в основу построения потенциальных путей разговора. Вот, например, было принято решение разработать чат-бота на немецком языке, поскольку анализ Facebook показал, что почти все посетители фан-страницы приезжают из Германии. На четвертом этапе было решено предоставить пользователю кнопки ответа для общения, поскольку это позволяет вести разговор в фиксированных рамках с меньшими шансами на проблемы с разборчивостью. Наконец, состоялась собственно разработка прототипа.

Принятие прототипа пользователями было проанализировано с помощью опроса 20 выбранных пользователей. Опрос содержал как закрытые вопросы, на которые давались ответы по 7-бальной шкале, так и открытые вопросы. Это было добровольно и анонимно. Около двух третей (65%) респондентов не имели опыта работы с чат-ботами. Однако они также не сильно по-разному оценили чат-бота. Высокий уровень одобрения (около 95%) был достигнут за ясность, простоту использования и способ обращения к пользователю. Естественность чат-бота оценили ниже (83%). Однако 25% заявили, что больше не будут использовать чат-бота, что было оправдано отсутствием функциональности в полях для произвольного текста. Управляющий директор автосалона также остался доволен результатом и увидел большой потенциал в поддержке клиентов. Дальнейшее развитие чат-бота будет вестись, прежде всего, для повышения удовлетворенности клиентов.

Разработчик чат-бота счел использование этой платформы полезным, поскольку она структурировала дизайн и разработку чат-бота и уделяла приоритетное внимание пользовательскому опыту. Он отметил: «Эта модель послужила очень хорошей дорожной картой на этапах структурированного подхода от предварительных рассмотрений до разработки и оценки. Адаптация структуры PACT помогла понять вариант использования соответствующего автосалона и проанализировать каждый из четырех элементов для использования взаимодействия с чат-ботом». Однако разработчик добавил, что не все технологические вопросы применимы в этом случае, поскольку инструмент разработки чат-ботов (например, ManyChat) не всегда предлагает технические возможности, касающиеся вариантов взаимодействия. В целом разработчик чат-бота отметил: «[Модель] облегчила общие этапы реализации и послужила обзором того, какие аспекты влияют на взаимодействие с пользователем».

2 Результаты и анализ

Чтобы ответить на наш вопрос, наша окончательная структура реализации чат-бота, адаптированная к PACT, содержит восемь последовательных шагов реализации, которые должны быть выполнены в рамках разработки чат-бота. Эти восемь шагов изображены на рис. 2. В следующих разделах мы описываем эти последовательные шаги реализации с разных точек зрения структуры ПДЛР. Весь список вопросов могут быть вставлены практиками и исследователями в процессе внедрения чат-бота. Далее четыре элемента структуры PACT будут описаны с точки зрения реализации чат-бота, чтобы показать, какие соответствующие вопросы, связанные с пользователями, следует учитывать в ходе реализации. Таким образом, структура помогает понять обоснование использования системой людьми, связанные с ней действия, которые они хотят выполнять с помощью системы, контекст и происходящие действия. Благодаря этому мы получаем обзор функций технологии. Далее будет описан каждый шаг реализации. Подробное описание шагов может помочь получить исходную информацию из исследования и найти отправную точку для более глубокого понимания.

Выводы

Чтобы заполнить пробел в исследованиях требований и реализации чат-ботов, мы определили аспекты, которые необходимо учитывать при разработке чат-бота. Поэтому 15 экспертов в этой области, уже занимавшиеся внедрением чат-ботов, поделились своим опытом в полуструктурированных интервью. Содействуя знаниям о реализации чат-ботов, мы разработали ориентированную на пользователя структуру реализации PACT Бениона. Наша структура включает 101 вопрос для разработки ориентированной на пользователя реализации чат-бота с использованием результатов проведенных интервью, а также литературы. Мы оценили эту структуру в трехэтапном процессе оценки, проведя интервью, а также ОФГ. Результаты нашего исследования дают полное представление о том, как может произойти успешное внедрение чат-ботов. Наши результаты могут помочь специалистам-практикам отслеживать соответствующие проблемы на протяжении всего процесса внедрения чат-бота, а также помочь научным исследователям в сборе знаний о дизайне в качестве основы для дальнейших исследований.

Список используемых источников:

1. Adam et al., 2021 M.T. Adam, S. Gregor, A. Hevner, S. Morana Design science research modes in human-computer interaction projects AIS Trans. Hum.-Comput. Interact., 13 (1) (2021), pp. 1-11

2. Adamu, 2019 M.S. Adamu Designing and evaluating learning technology: an African dilemma and approach Proceedings of the International Conference on Computer Supported Education (2019), pp. 184-191

3. Aleem, Capretz and Ahmed, 2016 S. Aleem, L.F. Capretz, F. Ahmed Game development software engineering process life cycle: a systematic review J. Softw. Eng. Res. Dev., 41 (2016), pp. 1-30

4. Araujo, 2018 T. Araujo Living up to the chatbot hype: the influence of anthropomorphic design cues and communicative agency framing on conversational agent and company perceptions Comput. Hum. Behav., 85 (2018), pp. 183-189

Bashir et al., 2018 A.M. Bashir, A. Hassan, B. Rosman, D. Duma, M. Ahmed Implementation of a neural natural language understanding Procedia Comput. Sci., 142 (2018), pp. 222-229

6. Benner et al., 2021 D. Benner, E. Elshan, S. Sch?bel, A. Janson What do you mean? A review on recovery strategies to overcome conversational breakdowns of conversational agents International Conference on Information Systems (2021)

7. Benyon, Turner and Turner, 2005 D. Benyon, P. Turner, S. Turner Designing Interactive Systems: People, Activities, Contexts, Technologies Addison-Wesley, New-York (2005)

8. Benyon, 2014 D. Benyon Designing Interactive Systems: A Comprehensive Guide to HCI, UX and Interaction Design Pearson, Harlow, England (2014)

9. Bharadwaj et al., 2013 A. Bharadwaj, O.A. El Sawy, P.A. Pavlou, N. Venkatraman Digital business strategy: toward a next generation of insights MIS Q., 37 (2) (2013), pp. 471-482

10. Bittner, Oeste-Rei? and Leimeister, 2019 E. Bittner, S. Oeste-Rei?, J.M. Leimeister Where is the bot in our team? Toward a taxonomy of design option combinations for conversational agents in collaborative work Proceedings of the Hawaii International Conference on System Sciences (2019), pp. 284-293

11. Bittner and Shoury, 2019 E. Bittner, O. Shoury Designing automated facilitation for design thinking: A chatbot for supporting teams in the empathy map method Proceedings of the Hawaii International Conference on System Sciences (2019)

12. Bogner and Menz, 2009 A. Bogner, W. Menz The Theory-Generating Expert Interview: Epistemological Interest, Forms of Knowledge, Interaction. Interviewing Experts Palgrave Macmillan, London (2009), pp. 43-80

13. Brandtzaeg and F?lstad, 2017 P.B. Brandtzaeg, A. F?lstad Why people use chatbots International Conference on Internet Science, DOI, Springer, Cham (2017), pp. 377-392,

14. Brandtzaeg and F?lstad, 2018 P.B. Brandtzaeg, A. F?lstad Chatbots: changing user needs and motivations Interactions, 25 (5) (2018), pp. 38-43