Использование методов интеллектуального анализа текста для анализа письменных ответов учащихся на дилемму лидерства учителя

Аннотация

В этой статье описывается использование IBM SPSS Text Analytics for Surveys для анализа письменных ответов студентов на дилемму лидерства учителей. Целью этого исследования было проверить точность категорий, созданных IBM SPSS Text Analytics for Surveys. Наши результаты корреляционного анализа показывают, что между методом анализа текста из IBM SPSS Text Analytics for Surveys и человеческими оценками существовала значительная межэкспертная надежность.

Ключевые слова

Technology in education, text mining, teacher leadership dilemma, IBM SPSS text analytics for surveys.

I. Введение

Концепция учителя-лидера получила распространение во всем мире и в штате Кентукки. В 2008 году Совет по профессиональным стандартам образования штата Кентукки (EPSB) сделал лидерство учителей одним из стандартов учителей штата Кентукки (стандарт 10) и начал требовать от государственных университетов Кентукки реорганизации магистерских программ для руководителей учителей и запланированных программ пятого года обучения для развития лидеров среди учителей. Концепция учителя-лидера – это не подготовка учителей к работе в школе. Напротив, речь идет о том, чтобы дать учителям возможность играть более активную роль в улучшении школы. Ожидается, что руководитель учителя будет определять возможности лидерства в школе, использовать данные учеников для улучшения обучения, выступать с инициативами в сообществе и сотрудничать с коллегами. Текущие исследования показывают, что лидерство учителей имеет решающее значение для устойчивого улучшения школы [1] – [3] и обучения учащихся [4] – [7].

A. Пути развития и оценка учителей

Лидерству учителей можно способствовать как за счет формального обучения, так и за счет поддержки на рабочем месте [7]. В Кентукки в государственных университетах была создана программа подготовки учителей-лидеров (TLM), чтобы помочь учителям, работающим без отрыва от производства, развивать лидерские качества учителей. Типичная программа на получение степени TLM предлагает систематическое изучение лидерских навыков и стратегий для развития лидерских качеств учителей. Например, программа получения степени TLM в Государственном университете Мюррея состоит из основных курсов по лидерству учителей, управлению классом, разработке учебной программы, инструктажу для разных студентов и исследованиям. Кроме того, для успешного выхода из программы TLM требуется, чтобы кандидат в лидеры учителей выполнил два лидерских проекта (классный и школьный / районный) [8]. Второй подход – поддержка со стороны учителя на рабочем месте. Семадени (2010) описал одну модель под названием Fusion, в которой учителя сотрудничают, чтобы изучать, экспериментировать и обучать друг друга стратегиям, основанным на исследованиях (стр. 66) [9]. Сообщается, что модель Fusion эффективна в распознавании лидерского потенциала учителей и предлагает лидерские возможности для дальнейшего развития этого потенциала.

Текущие подходы к оценке лидерских качеств учителей включают объективный опрос типа выборочного ответа [10], структурированное наблюдение и интервью [11], [12] и дилемму лидерства учителей [13]. Структурированное наблюдение, интервью и дилемма лидерства учителей, вероятно, дадут письменные ответы. Доминирующий метод анализа письменных ответов в области руководства учителями – использование критериев оценки и независимых людей(экспертов), что требует больших затрат и времени. Следовательно, имеет смысл изучить использование методов интеллектуального анализа текста при оценке лидерских качеств учителей.

B. Методы интеллектуального анализа текста

Text Mining направлен на автоматизацию процесса извлечения и категоризации полезной информации из текстовых данных. На сегодняшний день разработаны различные методы интеллектуального анализа текста, такие как (1) скрытый семантический анализ, (2) вероятностный скрытый семантический анализ, (3) скрытое распределение Дирихле и (4) коррелированная тематическая модель. Ли, Сонг и Ким (2009) сообщили, что генеративные модели (например, вероятностный латентный семантический анализ, латентное распределение Дирихле, коррелированная тематическая модель) демонстрируют более высокую производительность, чем дискриминационная модель (например, латентный семантический анализ) [14]. На основе этих методов был разработан и применен ряд программ для интеллектуального анализа текста в бизнесе [15], [16], [17] и образовании [18], [19].

C. Программное обеспечение для интеллектуального анализа текста

Доступны как бесплатное программное обеспечение с открытым исходным кодом, так и коммерческое программное обеспечение для анализа текста. Nature Language Toolkit [20] – это программа для анализа текста с открытым исходным кодом, однако она требует владения языком Python, что может быть сложной задачей для некоторых преподавателей без формальных навыков программирования. Некоторые коммерческие программы анализа текста, такие как IBM SPSS Text Analytics for Surveys и Provalis Research's WordStat, используют графический пользовательский интерфейс и кажутся более удобными для пользователя. В этой статье мы сообщаем об использовании IBM SPSS Text Analytics for Surveys для анализа письменных ответов студентов на дилемму лидерства учителей.

Целью этого исследования было проверить точность категорий, созданных IBM SPSS Text Analytics for Surveys. В частности, вопрос нашего исследования заключался в следующем: Как результаты, полученные с помощью алгоритма интеллектуального анализа текста для IBM SPSS Text Analytics for Surveys, сопоставимы с результатами, полученными независимым оценщиком с использованием рубрик?

II. МЕТОДОЛОГИЯ

A. Участники и обстановка

В этом исследовании приняли участие 47 студентов государственного университета США. Двадцать два были студентами бакалавриата, прошедшими предварительную подготовку учителей, набранными на одном курсе бакалавриата (Психология человеческого развития). Двадцать пять учителей были приняты на работу из одного аспирантского курса (методы исследования).

B. Инструмент дилеммы лидерства учителя

Дилемма лидерства учителя была разработана, чтобы измерить лидерство учителя. Участникам была предложена следующая гипотетическая дилемма лидерства учителей: Предположим, вы учитель английского языка в средней школе, и вы полагаете, что конкретная книга (эта книга может вызывать споры) чрезвычайно полезна для обучения ваших учеников. Вы хотите использовать его в своем классе. Вы пытались получить одобрение директора, но не смогли. Что ты будешь делать дальше? Участникам было предложено рассмотреть все аспекты открытого вопроса и записать свои ответы кратко и по существу. Подсчет слов в письменном ответе каждого участника показал, что диапазон слов, написанных в ответе, составлял от 17 до 111 слов при средней длине 55 слов.

C. Две рубрики

Для анализа письменных ответов студентов были разработаны две рубрики. Одна рубрика фокусируется на количестве признанных скрытых заинтересованных сторон. Гипотетическая дилемма представляет трех явных заинтересованных сторон: учителя, директора и учеников. Неявные заинтересованные стороны в этой дилемме могут включать родителей, коллег, школьный совет, сообщество и профессию. Чем больше можно определить скрытые заинтересованные стороны, тем больше вероятность того, что этот человек будет руководить учителем. Другая рубрика используется для определения уровня принятия риска в действиях, которые нужно предпринять, при этом 1 означает минимальный риск, а 5 – экстремальный риск. Одним из возможных действий с минимальным риском может быть подчинение пожеланиям принципала. Одним из возможных действий чрезвычайного риска может быть использование книги в любом случае без одобрения директора. Утверждается, что готовность идти на риск или вести за собой также отражает лидерский потенциал.

D. Процедуры интеллектуального анализа текста

В этом исследовании использовался IBM SPSS Text Analytics for Surveys. Сначала мы подготовили данные в соответствии с требованиями программного обеспечения к вводу данных. Во-вторых, мы использовали Мастер создания нового проекта (рис. 1), с помощью которого мы определили переменные для нашего анализа и выбрали параметры извлечения (рис. 2).

Затем IBM SPSS Text Analytics for Surveys автоматически извлекает понятия и частоту понятий (рис. 3). Последний шаг связан с построением категорий с использованием правил и методов сопоставления текста (рис. 4).

Мы разработали алгоритм интеллектуального анализа текста (правила и методы сопоставления текста для IBM SPSS Text Analytics for Surveys) на основе двух рубрик.

E. Анализ данных

IBM SPSS Text Analytics for Surveys может экспортировать категории в SPSS и EXCEL в виде дихотомии типа данных и типа данных категорий. Для сравнения результатов интеллектуального анализа текста и человеческого рейтинга был рассчитан коэффициент корреляции Пирсона между количеством распознанных неявных заинтересованных сторон, о которых сообщалось при интеллектуальном анализе текста, и человеческим рейтингом. Второй коэффициент корреляции Пирсона был рассчитан между уровнем принятия риска, полученным с помощью интеллектуального анализа текста, и человеческим рейтингом.

III. ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ

A. Признанные неявные заинтересованные стороны

IBM SPSS Text Analytics for Surveys предоставила 241 уникальную концепцию и их частоту. В таблице I показаны уникальные концепции, которые встречались в данных три или более раз в соответствии с процедурой извлечения концептов.

IBM SPSS Text Analytics for Surveys предлагает некоторые инструменты для дальнейшего изучения каждой уникальной концепции в ее вхождении в данные и вручную классифицировать каждую уникальную концепцию по типам и шаблонам. Это также позволяет пользователям создавать свои собственные правила сопоставления текста и алгоритмы категоризации при построении категорий. Мы применили неявный алгоритм заинтересованных сторон. Из 47 ответов 20 ответов (42%) были успешно классифицированы как содержащие неявные заинтересованные стороны. Остальные 27 ответов были отнесены к категории непризнанных неявных заинтересованных сторон. Результаты были экспортированы в SPSS. Для каждого участника было вычислено общее количество признанных неявных заинтересованных сторон. Общее количество признанных неявных держателей находится в диапазоне от 0 до 3. В таблице II представлены средние значения и стандартные отклонения числа признанных неявных заинтересованных сторон программным обеспечением и человеком-оценщиком.

Количество признанных неявных заинтересованных сторон, сгенерированных с помощью IBM SPSS Text Analytics for Surveys, значительно коррелировало с количеством признанных неявных заинтересованных сторон, полученным от независимого оценщика, использующего рубрику (r = 0,877, p <0,001).

B. Уровни принятия риска

В IBM SPSS Text Analytics for Surveys 39 ответов были распределены по категориям после применения алгоритма уровня принятия риска. Исследователь просмотрел оставшиеся 8 ответов (17%) и распределил ответы по соответствующим категориям на основе рубрики (рис. 5).

ТАБЛИЦА I: УНИКАЛЬНЫЕ КОНЦЕПЦИИ, АВТОМАТИЧЕСКИ СОЗДАВАЕМЫЕ IBM SPSS TEXT ANALYTICS ДЛЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ SURVEYS

Средние значения и стандартные отклонения уровней принятия риска программным обеспечением и человеком-оценщиком представлены в таблице III. Уровень риска, полученный с помощью IBM SPSS Text Analytics for Surveys, значительно коррелировал с уровнем риска, полученным независимым оценщиком, использующим критерии оценки (r = 0,484, p = 0,001).

IV. ОБСУЖДЕНИЕ И ЗАКЛЮЧЕНИЕ

IBM SPSS Text Analytics for Surveys – это решение на основе лингвистики, специально разработанное для категоризации текстовых ответов на опросы [21]. В настоящем исследовании из 47 ответов на дилемму лидерства учителей IBM SPSS Text Analytics for Surveys может автоматически генерировать 241 уникальную концепцию, которая дает некоторое представление о лингвистической структуре наших необработанных данных. Мощность методов интеллектуального анализа текста может быть максимизирована только за счет использования правильного алгоритма категоризации. В этом смысле точность методов интеллектуального анализа текста зависит от разрабатываемого алгоритма, который, в свою очередь, зависит от понимания структуры данных и возможного выражения шаблонов.

ТАБЛИЦА II: СРЕДСТВА И СТАНДАРТНЫЕ ОТКЛОНЕНИЯ КОЛИЧЕСТВА ПРИЗНАННЫХ НЕЗАВИСИМЫХ ЗАИНТЕРЕСОВАННЫХ СТОРОН ПО ПРОГРАММНОМУ ОБЕСПЕЧЕНИЮ И ЧЕЛОВЕЧЕСКОМ РЕЙТИНГУ

Наши результаты корреляционного анализа показывают, что между оценками, созданными с помощью алгоритмов, разработанных для IBM SPSS Text Analytics for Surveys, и человеческими оценками существовала значительная межэкспертная надежность. Однако наши результаты также показали, что сила межэкспертной надежности невысока, особенно в аспекте уровня риска. Тщательное изучение ответов, которые оценивались по-разному человеком и программным обеспечением, показало, что алгоритм работает более точно, когда он может охватывать большинство естественных языковых выражений определенного понятия. Для неявных заинтересованных сторон, признанных в этой дилемме, виды выражений относительно ограничены, и алгоритм неявных заинтересованных сторон, похоже, способен точно классифицировать большинство выражений. Принимая во внимание, что для категоризации необработанных данных по соответствующим уровням риска, алгоритм интеллектуального анализа текста должен выходить за рамки простого сопоставления текста в область понимания значения слов в общем контексте, что является непростой задачей. Это частично объясняет скромную силу межэкспертной надежности в аспекте уровня риска.

ТАБЛИЦА III: СРЕДСТВА И СТАНДАРТНЫЕ ОТКЛОНЕНИЯ УРОВНЕЙ ПРИНЯТИЯ РИСКА ПРОГРАММНЫМ ОБЕСПЕЧЕНИЕМ И ЧЕЛОВЕЧЕСКИМ РЕЙТОРОМ

Ограничением настоящего исследования было то, что был нанят только один независимый оценщик. Было бы целесообразно иметь двух независимых оценщиков для дальнейшего определения надежности и достоверности человеческого рейтинга по рубрике. Кроме того, алгоритм уровней принятия риска нуждается в дальнейшем улучшении на основе большего набора данных. Тем не менее, мы считаем, что программное обеспечение для интеллектуального анализа текста имеет большой потенциал в области образования, особенно потому, что оно менее затратно и требует много времени, чем использование независимых оценщиков.

Ссылки