<< Назад
ДонНТУ   Портал магистров

РАЗРАБОТКА РЕЙТИНГОВОЙ СИСТЕМЫ, ОСНОВАННОЙ НА КОМПЕТЕНЦИЯХ, ДЛЯ АНАЛИЗА ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ ПРЕПОДАВАТЕЛЕЙ УНИВЕРСИТЕТА


Авторы: Н.В. Морзе, О.П. Буйницкая, В.А. Смирнова
Автор перевода: Решетняк Д.В.
Источник: Семинар по облачным технологиям в образовании.

Аннотация:

Одним из показателей влияния и конкурентоспособности университета является участие в международных и местных рейтингах. В методологиях наиболее авторитетных рейтингов качество и прозрачность университетов оценивается по показателям издательской активности преподавателей университетов. В статье анализируется опыт проектирования систем, анализирующих исследовательскую деятельность преподавателей вузов, инструменты и компоненты оценки эффективности научных исследований, разработана структурная и функциональная модель рейтинговой системы для анализа исследовательской деятельности преподавателей университета с учетом исследовательских и цифровых компетенций. Разработанная модель обеспечивает выполнение основных функций и позволяет осуществлять систематический мониторинг открытости, прозрачности, эффективности исследовательской составляющей профессиональной деятельности преподавателей вузов. Модель была основана на ключевых показателях для оценки эффективности исследований – показателях цитирования трех наиболее важных наукометрических баз данных – Scopus, Web of Science, Google Scholar. Связь между показателями, представленными в модели , формирует портрет научной деятельности преподавателей университета, дает общую оценку продуктивности, влияния и вклада в исследовательское направление университета в целом. В статье описан 1 этап внедрения представленной модели путем разработки “Рейтинга прозрачности структурных Единиц”, эффективность экспериментального ранжирования. Исследование установило положительное влияние внедрение рейтинговой системы, определены основные мероприятия по повышению наглядности, присутствия, распространения результатов исследований, систематическое внедрение которых способствует оптимальному представлению ученого в рейтинговой оценке исследовательской составляющей профессиональной деятельности преподавателей университета, повышению цифровой компетентности преподавателей и положительно влияет на показатели качества научной работы университета в местных и международных рейтингах, такие как наличие система и формирование рейтингов является стимулом для преподавателей университетов представлять и распространять свою собственную издательскую деятельность в международном научном онлайн-сообществе.

Вступление

Главным приоритетом каждого университета является предоставление качественных образовательных услуг, повышение конкурентоспособности на образовательном рынке и привлечение наиболее перспективных студентов. Участие в международных и отечественных рейтингах является важным инструментом измерения конкурентоспособности университетов. В методологиях наиболее авторитетных рейтингов качество и прозрачность университетов оцениваются по показателям издательской активности исследователей. Показатели качества научных цитирований по данным Google Scholar Citations и цитируемости во влиятельных научных журналах учитываются в международных рейтингах – “Академический рейтинг университетов мира” (ARWU), “QS Top University Ranking”, вебометрический рейтинг университетов мира “Webometrics”, “Прозрачный рейтинг: лучшие университеты по версии Google Scholar Цитирования” и украинские – “Рейтинг университетов по показателям Scopus”, “Топ-200 Украины”, “Сводный рейтинг высших учебных заведений Украины”, “Библиометрия украинской науки”. [1]. Обеспечить оптимальное представительство университета в международных и украинских рейтингах, необходимо разработать и внедрить рейтинговую систему анализа научно-исследовательской деятельности преподавателей университетов для мониторинга и качественного анализа эффективности научно-исследовательской деятельности преподавателей университетов и своевременной разработки системных мер по повышению открытости, прозрачности результатов научно-исследовательской деятельности, широкому распространению в международных научных сетевых сообществах для популяризации и сотрудничества. Целью исследования является построение структурно-функциональной модели рейтинговой системы для анализ исследовательской составляющей деятельности преподавателей университета на основе ключевых показателей исследовательской и цифровой компетенций.

Исследование опыта анализа исследовательской деятельности преподавателей университета в европейском пространстве высшего образования

Дельгадо Лопес-Козар и др. [2], Мартин-Мартин и др. [3], Быков и Спирит [4], Быков и др. [5], Семериков и др. [6], Макаренко [7] изучали особенности анализа результатов исследований с использованием открытых наукометрических и библиометрических систем.

Теоретические основы рейтинговой оценки деятельности преподавателей украинских университетов были изучены Дзобой [8], Рехейло [9], Ярошенко [10]. Ярошенко [10] подчеркнул необходимость модернизации показателей научно-исследовательской деятельности преподавателей в соответствии с современными реалиями университетского образования, обобщил основные характеристики рейтинговой оценки преподавателей: цель, задачи, функции и принципы ранжирования. Ре Хелло [9] рассмотрел основные концептуальные принципы оценки эффективности исследовательской деятельности преподавателей, проанализированы принципы, структурные компоненты и показатели оценки научной деятельности преподавателей в европейском пространстве высшего образования.

Вопросы оценки качества результатов исследований были изучены Костенко и др. [11], Шиненко и др. [12], Гаспаряном и др. [13]

Хохунский и др. [14] определили, что использование профилей учеными в Google Scholar, ORCID, Mendeley, Academia, ResearchGate повышает видимость публикаций в информационном пространстве и положительно влияет на увеличение показателей цитирования.

В [11] информационно-аналитическая система “Библиометрия украинской науки”, разработанная исследовательским центром социальных коммуникаций, которая представляет собой реестр библиометрических профилей исследователей и исследовательских коллективов в наиболее авторитетных наукометрических базах данных, таких как Scopus, Web of Science и Google Scholar. Система позволяет анализировать местный научный потенциал, проводить сравнительный анализ эффективности украинских ученых в областях науки, городах, филиалах, агентствах и т.д. путем построения рейтинговых таблиц по значению h-индексов в базах данных Scopus, Web of Science или Google Scholar [15]. Открытые профили ученого в наукометрических базах данных - это паспорт ученого в европейском пространстве высшего образования, который отражает его авторитет и влияние на развитие конкретной области.

Спиваковский и др. [16] описывают опыт проектирования информационной системы для анализа научно-исследовательской деятельности преподавателей вузов, апробированный на базе Херсонского государственного университета и Херсонской государственной морской академии. В системе реализованы инструменты построения рейтингов преподавателей по основным показателям научного цитирования в базах данных Scopus, Web of Science, Google Scholar, Semantic Scholar, Tutor Network. Рейтинги строятся в разрезе структурных подразделений, кафедр и научных журналов. Рейтинг отделов основан на максимальном значение профилей цитирования всех сотрудников отдела в этих базах данных [17].

Проект Открытый Украинский индекс цитирования (OUCHI), разработанный Государственным научно- Техническая библиотека Украины, была изучена Назаровцем [18]. OUCI - это поисковая система и база данных научных цитат, которая содержит метаданные всех публикаций, использующих сервис цитирования Crossref и поддерживающих инициативу открытого цитирования. База данных OUCI содержит метаданные научных публикаций, которые получают DOI от Crossref, и учитывает ссылки между публикациями. OUCI предназначен для упрощения поиска и анализа исследований результаты и расширить представление и видимость украинских научных публикаций в международных поисковых системах, таких как Dimensions, Lens.org , 1findr, Scilit и т.д. [19]. Реализованный аналитический инструмент позволяет оценить состояние и динамику развития научного потенциала с точки зрения областей знаний, лет, выбрать соответствующий научный журнал для публикации.

Инструменты для определения издательской активности преподавателей университета

Наиболее распространенными инструментами оценки издательской активности преподавателей университета являются определение индексов цитирования в наукометрических базах данных. Базы данных Scopus и Web of Science позволяют проводить наукометрический анализ продуктивности ученого путем анализа динамики количества публикаций во влиятельных международных изданиях, влияния и востребованности научной работы, анализа динамики библиографических ссылок и индексов цитирования по годам.

Scopus и Web of Science обладают мощными аналитическими инструментами SciVal и InCites. Инструменты позволяют проводить всесторонний анализ эффективности исследований по широкому спектру показателей: влияние, производительность, сотрудничество, открытый доступ, влияние журналов и т.д. в визуализированном формировать; определять перспективные направления исследований, расширять спектр научного сотрудничества.

Альтернативой коммерческим системам является бесплатная система Google Scholar, которая индексирует полнотекстовые научные публикации по многим дисциплинам в различных базах данных. Главным преимуществом Google Scholar является его свобода и тот факт, что его индекс не ограничивается определенным списком журналов, в отличие от коммерческих наукометрических баз данных, таких как Scopus, Web of Science, но более широко охватывает веб-пространство, он индексирует публикации на сайтах электронных журналов, репозиториев, электронных конференций, личных блогов ученые и т.д. Для эффективной индексации веб-ресурсов должен быть основан на платформах со специальными метатегами (EPrints, DSpace, Open Conference System) , из которого система Google Scholar получает базовые метаданные публикации или файлы публикации, оформленные в соответствии с определенными требованиями к форматированию документа, оформлению заголовков, личным данным авторов, основному содержанию статьи, списку использованных источников и т.д. [4]. То Система Google Scholar позволяет исследователю создавать личный профиль и добавлять в него публикации, проиндексированные системой. В профиле исследователя Google Scholar есть инструменты для анализа статистики по цитированиям публикаций по годам, позволяет отслеживать общее количество цитирований, h-индекс и i10-индекс, которые рассчитываются на основе общего количества публикаций и количества цитирований по отдельным показателям за весь период научной работы и за последние 5 лет в цифровом виде и в виде сравнительной гистограммы.

Сравнение доступных показателей для оценки эффективности исследовательской деятельности исследователя в профилях наиболее распространенных наукометрических баз данных приведено в таблице 2. Анализ показателей подтверждает, что для полноценной комплексной оценки эффективности исследований в различных областях необходимо использовать набор показателей важных

Результаты исследования

Наиболее важными наукометрическими базами данных, демонстрирующими эффективность исследовательской деятельности преподавателей университета, являются Scopus, Web of Science и Google Scholar, в которых значения библиографического цитирования используются в качестве количественных показателей оценки и анализа. В то же время преподавателям университетов важно соблюдать Корпоративный стандарт проведения исследований Деятельности и Корпоративный стандарт цифровой компетентности, поскольку уровень исследований и цифровой компетентности напрямую влияет на качество исследований и, следовательно, на рейтинг университета в международные и местные рейтинги. Именно поэтому основой модели рейтинговой системы для анализа исследовательской деятельности преподавателей университета являются эти три наукометрические базы данных.

Основными принципами при разработке методологии рейтинговой системы для анализа исследовательской деятельности преподавателей университета были объективность, измеримость и прозрачность. Именно поэтому в качестве показателей эффективности исследовательской деятельности преподавателей университета были выбраны показатели цитирования научных публикаций в открытых профилях преподавателей в Scopus, Web of Science и Google Scholar, которые легко получить и проверить – количество библиографических ссылки, h-индекс и i10-индекс

Выводы

Для оптимального представления деятельности университета в международных и украинских рейтингах, обеспечения конкурентоспособности университета важно систематически отслеживать открытость, прозрачность эффективности научно-исследовательской деятельности преподавателей университета. Эффективным инструментом мониторинга является разработка и внедрение рейтинговой системы для анализа исследований.

Система основана на трех важнейших наукометрических базах данных – Scopus, Web of Science, Google Scholar и обеспечивает основные функции – информационную, визуализацию, мотивацию, компетентность, аналитическую, прогностическую и управленческую. Рейтинговая система реализована в виде веб-ориентированной клиент-серверной архитектуры. Одним из компонентов, реализованных в системе на 1-м этапе исследования, является “Рейтинг прозрачности структурных подразделений” по показателям цитирования в Google Scholar. По результатам исследования были разработаны рекомендации для повышения качества исследовательской деятельности. Формирование рейтинга подтвердило важность разработки системы для анализа исследовательской деятельности, повышения качества научных исследований, распространения результатов исследований в международном образовательном пространстве, анализа собственного профессионального развития преподавателей, мониторинга научного роста профессорско-преподавательского состава университета и получения визуализированных анализов в режиме реального времени. Перспективы дальнейших исследований рассматриваются при добавлении в рейтинг других показателей исследовательской деятельности, реализации обновлений в режиме реального времени в рейтинговая система, интеграция современных систем бизнес-аналитики для построения визуализированной статистики для анализа эффективности исследовательской составляющей деятельности университета.

Систематическая реализация мер по обеспечению открытого доступа к результатам собственных исследований, повышению наглядности, прозрачности и распространению результатов исследовательской деятельности в интернет-пространстве способствует оптимальному представлению деятельности ученого в рейтинговой оценке исследовательской составляющей профессиональной деятельности преподавателей университета, повышению профессиональная компетентность преподавателей и положительно влияющая на показатели качества научной работы университета в местных и международных рейтингах.

Литература

  1. O. Buinytska, B. Hrytseliak, V. Smirnova, Rating as assessment tool of quality and competitiveness of university, Open educational e-environment of modern University 4 (2018) 16–32.
  2. E. Delgado L?pez-C?zar, E. Ordu?a-Malea, A. Mart?n-Mart?n, Google scholar as a data source for research assessment, in: W. Gl?nzel, H. F. Moed, U. Schmoch, M. Thelwall (Eds.), Springer Handbook of Science and Technology Indicators, Springer International Publishing, Cham, 2019, pp. 95–127.
  3. A. Mart?n-Mart?n, E. Orduna-Malea, M. Thelwall, E. Delgado L?pez-C?zar, Google scholar, web of science, and scopus: A systematic comparison of citations in 252 subject categories, Journal of Informetrics 12 (2018) 1160–1177.
  4. V. Bykov, O. Spirin, Information and analytical support of scientific and pedagogical research based on electronic bibliometric systems, in: Reporting scientific-practical conference of the Institute of Information technologies and learning tools of the National Academy of Pedagogical Sciences of Ukraine, 2016, pp. 1–3.
  5. V. Bykov, O. Spirin, A. Biloshchytskyi, O. Kuchansky, O. Dikhtiarenko, O. Novytskyi, Open digital systems for assessment of pedagogical research results, Information Technologies and Learning Tools 75 (2020) 294–315.
  6. S. O. Semerikov, V. S. Pototskyi, K. I. Slovak, S. M. Hryshchenko, A. E. Kiv, Automation of the export data from Open Journal Systems to the Russian Science Citation Index, CEUR Workshop Proceedings 2257 (2018) 215–226.
  7. O. Vakarenko, Scientometric databases: from system of obtaining information to instrument for evaluating scientific research, Science of Ukraine in the world information space 15 (2018) 9–15.
  8. O. H. Dzoba, Rating assessment of scientific and pedagogical workers: theoretical and methodical aspects within a market approach, Scientific Bulletin of Ivano-Frankivsk National Technical University of Oil and Gas (Series: Economics and Management in the Oil and Gas Industry) 1(19) (2019) 84–95.
  9. I. Reheilo, Theoretical bases of estimation and development of scientific and pedagogical workers of universities in the context of realization of scientific activity, in: Y. Skyba (Ed.), Theoretical bases of development of scientific and pedagogical potential of universities of Ukraine in the context of expansion of institutional autonomy: preprint (analytical materials) (Part I), IVO NAPS of Ukraine, Kyiv, 2020, pp. 72–103.
  10. O. Yaroshenko, Theoretical bases of rating as a tool for evaluating the activities of scientific and pedagogical staff of ukrainian universities, in: Y. Skyba (Ed.), Theoretical bases of development of scientific and pedagogical potential of universities of Ukraine in the context of expansion of institutional autonomy: preprint (analytical materials) (Part I), IVO NAPS of Ukraine, Kyiv, 2020, pp. 57—-71.
  11. L. Kostenko, T. Symonenko, O. Zhabin, Project "Bibliometrics of Ukrainian science": idea, realization, plans, Bulletin of the Book Chamber 5 (2019) 30–33.
  12. M. A. Shynenko, A. V. Kilchenko, S. M. Tukalo, Application of scientific metric indicators to evaluate the performance of scientific and pedagogical research, in: Reporting scientificpractical conference of the Institute of Information technologies and learning tools of the National Academy of Pedagogical Sciences of Ukraine, Kyiv, Ukraine, 2021, pp. 89–93.
  13. A. Y. Gasparyan, M. Yessirkepov, A. Duisenova, V. I. Trukhachev, E. I. Kostyukova, G. D. Kitas, Researcher and author impact metrics: Variety, value, and context, Journal of Korean Medical Science 33 (2018) e139.
  14. V. D. Hohunskyi, V. O. Yakovenko, T. O. Liashchenko, T. V. Otradska, General mechanisms of citation system of scientific articles, Bulletin of NTU "KhPI 1173 (2016) 14–18.
  15. Bibliometrics of Ukrainian science, 2022.
  16. A. Spivakovsky, M. Vinnyk, M. Poltoratskiy, Y. Tarasich, Y. Spivakovska, G. Gardner, K. Panova, Information system of scientific activity indicators of scientific organizations: Development status and prospects, CEUR Workshop Proceedings 2393 (2019) 220–228.
  17. Rating of departments of Kherson State University, 2021.
  18. S. Nazarovets, Open Ukrainian Citation Index (OUCI) project: idea, working principle and development prospects, Intellectual Property in Ukraine 3 (2019) 10–13.
  19. Open Ukrainian Citation Index, 2022.
  20. N. Morze, O. Buinytska, Rating indicators system of evaluation teacher’s activities in modern universities, Scientific journal of National Pedagogical Dragomanov University 26 (2017) 34–44.
  21. Corporate Standard of Research Activity of the staff of Borys Grinchenko Kyiv University, 2018.
  22. Corporate Standard of Digital Competence of Teachers of Borys Grinchenko Kyiv Univer sity, 2021.