Психологические и педагогические аспекты проведения компьютерного тестирования студентов. Оценка качества образования при реализации компетентностного подхода

Федоров С. Е.

http://sovet.muh.ru/index.files/page0018.htm

В современной педагогической теории и практике измерение и оценка качества образовательного процесса становится одной из ключевых проблем, получившей статус самостоятельного научного направления – педагогической квалиметрии [1]. Развитие системы оценки качества образования в России направлено на реализацию квалиметрического мониторинга образования и квалиметрию основных его компонент: учебных планов и учебных программ дисциплин, контента образования, образовательных технологий, педагогических кадров, и, в конечном счете - результатов образования.

Актуальность проблемы квалиметрии образования обусловлена целым рядом объективных факторов, среди которых следует выделить: глобальное и интенсивное внедрение в учебный процесс вузов современных информационных технологий, направленность высшего образования на новый результат обучения – универсальные и профессиональные компетенции; вхождение России в европейское образовательное сообщество и интеграция национальных систем аккредитации образовательных программ.

Одной из базовых характеристик образовательного процесса является качество знаний, умений и навыков (ЗУН) студентов. Постановка и практическое решение такой задачи как измерение этой единой дидактической триады - ЗУН по техническим направлениям подготовки не вызывает принципиально новых вопросов в педагогической среде вузов. Более значимым становится вопрос оценки динамики формирования в процессе обучения компетенций, задаваемых вскоре вводимым новым Федеральным государственным образовательным стандартом высшего профессионального образования. Оценка универсальных и профессиональных компетенций вне непосредственного процесса профессиональной деятельности будущих бакалавров, инженеров и магистров технических направлений подготовки - достаточно новая для российских вузов задача.

Анализ педагогической практики российских и зарубежных образовательных учреждений показывает, что в основу современной педагогической квалиметрии ЗУН составляют методы тестологии, особенно востребованные при реализации информационно-коммуникационных дистанционных образовательных технологий. Традиционный контроль с оценкой, основанной на опыте и интуиции преподавателя, никогда не был лишен субъективизма, а в ряде случаев порождал конфликты, разочарования, пессимизм со стороны студентов. При реализации компетентностного подхода возникает задача оценивания сформированности умений, навыков, компетенций студентов в условиях, максимально приближенных к профессиональной деятельности. Требуется оценивание реальных достижений студентов в процессе их обучения. В связи с этим появилось новое требование к диагностике процесса обучения и оценке уровня овладения студентами ЗУН как обеспечение ее аутентичности, включая аутентичность широко и давно обсуждаемой оценки остаточных знаний.

Именно в этих условиях на базе бурно развивающихся информационных технологий в вузах все шире используются компьютерные тесты для контроля ЗУН, которые сводят до минимума вероятность субъективизма в оценке ЗУН студентов и обеспечивают высокую оперативность этой диагностической процедуры. Перспектива объективной оценки ЗУН и возможность оперативной и объективной самооценки студента значительно повышают эффективность всего процесса обучения и поэтому приемы стандартизированного контроля образовательного процесса становятся методической платформой диагностики современного обучения в вузах.

Однако к настоящему времени не существует научно обоснованного с позиций дидактики, тестологии и педагогической квалиметрии, в целом, единого и учитывающего требования ФГОС ВПО подхода к решению поставленной проблемы. Однако развивающаяся система оценки качества образования в России ставит задачу осуществления квалиметрического мониторинга качества образования. В качестве объектов квалиметрии выделяются следующие компоненты: учебные планы, программы и учебники как определяющие содержание образования, образовательные технологии, педагогические кадры, результаты образования. К квалиметрическому обеспечению, по сравнению с традиционными методами диагностики, предъявляются особые требования: объективность, оперативность, возможность соотнесения результатов диагностики с измерительными шкалами. Квалиметрическое обеспечение связано с такими педагогическими категориями как: цель, содержание, результат образования. Основа квалиметрического подхода – разработка требований к уровню подготовки выпускника вуза, которые определяются ФГОС ВПО и профессиограммами по видам и профилям профессиональной деятельности выпускника вуза.

Тестирование является мощным инструментом, который открывает широкие возможности не только для оценки ЗУН студентов, но и для контроля за эффективностью функционирования всей образовательной системы как отдельного вуза, так всего образовательного сообщества страны. В последние годы явно проявляется тенденция замены типовых тестовых процедур закрытого типа на тесты открытого типа, широко используемые за рубежом и в ряде российских компаний в так называемых Ассессмент-центрах (Центрах оценки), где производится оценка компетенций сотрудников через наблюдение их реального поведения в деловых играх. Внешне ситуация очень похожа на тренинг: участникам предлагаются задания (например, метод проектов), но цель процедуры не развитие умений и навыков, а оценка действий играющих. Замена тестов в их традиционном понимании как системы закрытых заданий (например, заданий с выбором ответа) на систему стандартизированных заданий разного типа произошла в связи с широкой критикой тестов за ограниченность их использования, в основном только для оценки ЗУН на репродуктивном уровне.

Российское образование еще не вступило в период активного распространения и развития системы тестов в вузах. Расширение спектра проверяемых умений и навыков привело к увеличению доли открытых заданий, позволяющих оценить не только правильность полученного ответа, но и способы решения, логику изложения, обоснованность суждений и многие другие умения, включая практические, которые невозможно оценить с помощью закрытых заданий. Процесс тестирования должен обеспечивать валидность результатов - значимость тестирования студента при оценке конкретных ЗУН. При этом в условиях новой парадигмы российского образования возникает необходимость перехода от одномерного к многомерному измерению качества обучения студента – к оценке компетенций как интегративных параметров обучения, определяемых совокупностью ЗУН, личностно-ориентированными качествами и способностями студента к выполнению задач и функций в соответствии с требованиями ФГОС ВПО и профессиограммой по направлению подготовки, которые проецируются на инвариантную и вариативную компоненты учебного плана.

Непосредственная разработка тестов для оценки универсальных и профессиональных компетенций предваряется декомпозицией итоговых компетенций по видам профессиональной деятельности на итоговые, а затем модульные ЗУН и социально-личностные качества, формируемые в процессе кредитно-модульного обучения. При реализации компетентностного подхода приобретаемые студентами ЗУН синергетически влияют на формирование компетенций, которые в результате не просто накапливаются, а качественно от них отличаются: от знаний – существованием в виде деятельности, а не только информации о ней; от умений – переносом на различные объекты воздействия; от навыков – осознанностью, позволяющей человеку действовать даже в нестандартной обстановке.

Большинство тестируемых в настоящее время в вузах ЗУН можно отнести к репродуктивному уровню их использования и редко к продуктивному. Проектирование учебного процесса при компетентностом подходе выдвигает задачу тестирования продуктивного и креативного, творческого уровней применения ЗУН в будущей профессиональной деятельности студента. Учитывая единство процессов обучения и оценки его результативности, а также первичность познавательной деятельности по отношению к ее контролю, предлагаемая в данной работе методология реализации компетентностного подхода в образовательном процессе позволяет определить дидактико-квалиметрическую платформу для оценки формируемых компетенций.

Как следует из рассмотренной методологии обучения и развития самопроцессов при компетентностном подходе, квалиметрия сформированности компетенций должна основываться на измерении ни сколько объема знаний, которыми обладает студент или выпускник вуза, а в первую очередь, на оценке их способностей применить эти знания, умения и навыки на практике. Уровень сложности тестового задания и объем используемых при его выполнении ЗУН, необходимых для успешного ее решения, зависит от уровня оцениваемых ЗУН. Однако широко используемое закрытое тестирование при любом уровне сложности не соответствует целям оценки уровней сформированности итоговых компетенций как конечного результата обучения в вузе. Действительно, студент на традиционных экзаменах может блестяще проявить глубокие знания теоретических вопросов специальных и общепрофессиональных дисциплин, но потом зачастую после выпуска из вуза обнаруживается, что он не справляется с практическими заданиями по причине отсутствия необходимых для выполнения этих заданий умений, навыков и компетенций.

Таким образом, тестирование компетенций должно реализовываться, как и их приобретение, в процессе учебно-профессиональной деятельности на дидактической платформе МУПов, структуру и проведение которых можно проектировать в значительно расширенной в новых ФГОС ВПО вариативной части учебных планов. Результатом анализа учебно-профессиональной деятельности студента является формализованное описание его компетенций в терминах знаний, умений, навыков с выделением уровней развития компетенций в терминах способностей выполнения задач и функций в соответствии с требованиями ФГОС ВПО и профессиограммой выполнения.

В специально созданных ситуациях в МУПах в динамике выполнения ключевых задач, функций и операциональных действий, проектируемых на основе рассмотренной выше декомпозиции итоговых компетенций, моделируется профессиональная деятельность, что позволяет непосредственно наблюдать и оценивать действия и поведение студентов. Здесь создаются условия для квалиметрического мониторинга формирования социально-личностных качеств студента: целеустремленности, организованности, трудолюбия, коммуникабельности, умения работать в коллективе, ответственности за конечный результат своей профессиональной деятельности, гражданственности, толерантности, повышения общей культуры.

Процедура тестирования предусматривает испытание различными взаимодополняющими видами тестирования и заданиями, как закрытых по форме теста, так и открытыми, которые при компетентностном подходе становятся определяющими при фиксировании достигнутых студентом уровней компетенций. При выполнении каждого задания оценивается несколько показателей, запрограммированных в них как индикаторов одной или нескольких компетенций. Для обеспечения надежности и аутентичности каждый показатель-индикатор оценивается в нескольких тестовых заданиях. Основная проблема при создании тестов заключается в том, чтобы в процессе проектирования базы тестовых заданий была заложена возможность получения результатов в рамках надежных шкал измерений. Для этого необходимо уметь оценивать качество всего теста и качество входящих в его состав тестовых заданий.

Как уже отмечалось, элементы теста и тест в целом должны быть валидны и надежны. Тестовые задания апробируется, их качество проверяется с помощью экспертной оценки. При массовой оценке ЗУН и компетенций студентов можно дать полную характеристику ряду принципиально важных качеств базы тестовых заданий. Статистический анализ накапливаемых данных тестирования позволяет осуществлять коррекцию базы тестовых заданий на основании объективных показателей. Например, экспертная оценка устанавливает уровень сложности тестовых заданий априори, что не исключает влияние субъективного мнения преподавателя. Анализ результатов тестирования позволяет исключить из базы тестовых заданий как недопустимо сложные, так и недопустимо легкие задания.

Оценка сложности каждого из заданий базового банка позволяет группировать задания по уровням сложности для последующего формирования тестовых вариантов с необходимыми для оценки различных уровней компетенций показателями-индикаторами. Статистический анализ данных тестирования позволяет также корректировать критериальные баллы, структуру и контент блока тестовых заданий, что позволяет достигать высокой валидности и аутентичности тестирования и избегать ошибок при текущей и итоговой аттестации студентов. Изучение динамики процесса проверки знаний с помощью тестов позволяет установить индивидуальное время тестирования для каждого конкретного набора тестовых заданий. Нередко время тестирования для различных дисциплин устанавливается одинаковым на основании некоторого стандарта, не принимая во внимание специфику конкретной дисциплины и ее учебного модуля. Оценка производится не только на основе компьютерных тест-технологий, но и преподавателями по результатам наблюдения деятельности студента в процессе выполнения открытых тестовых заданий и анализа их итогов, что делает возможным оценку сложно поддающихся формализованному описанию показателей-индикаторов формирования социально-личностных качеств студента.

Проектирование рассматриваемой процедуры квалиметрического мониторинга процесса формирования компетенций основывается на комплексных и междисциплинарных тест-заданиях, иерархически построенных по кластерам видов профессиональной деятельности, уровней сложности и объемов ЗУН, необходимых для их успешного выполнения как типовых продуктивных видов деятельности, так и для решения проблем, требующих творческого подхода и синтеза в когнитивной сфере новых знаний. Вся информация, полученная в ходе процедур тестирования и наблюдения за деятельностью студентов, должна поступать для компьютерной обработки в формализованном виде в тестовую базу данных, где все измерения показателей-индикаторов и качественные аспекты деятельности студента соотносятся с различными видами компетенций для последующей статистической обработки и вынесения квалиметрических решений.

Процесс квалиметрического тестирования как и сам педагогический процесс многофункционален. Непрерывность квалиметрического мониторинга должна обеспечить не только регулярность диагностики ЗУН, сформированности компетенций и качеств личности, но и коррекцию траектории обучения студента, воспитание проектируемых качеств личности студента и создание условий для саморазвития через диагностируемое и корректируемое самообучение. Рассматриваемая диагностика позволяет студенту проходить самообследование, что безусловно стимулирует его деятельность в вузе и позволяет определять рост своего социального статуса в учебном коллективе и в будущем профессиональном сообществе.

Проектируемая в данной работе кредитно-модульная образовательная среда оптимально согласуется с накопительно-рейтинговой системой оценки уровня освоения студентом формируемых ЗУН и компетенций, позволяющая на основе аутентичных и валидных тестов и непрерывной квалиметрической диагностики образованности студентов устанавливать по итогам семестра и учебного года индивидуальный рейтинг. Переход на рейтинговую систему усиливает мотивацию студентов к систематической и активной самостоятельной работе в течение семестра и всего учебного года, стимулирует творческую активность при выполнении учебных заданий. При этом создаются объективные предпосылки к усилению взаимодействия основных участников образовательного процесса: студент - педагог, что несомненно сказывается, в свою очередь, на повышении качества образовательного процесса.

Такой интегральный подход к оценке учебной деятельности студентов повышает точность и обеспечивает полноту и достоверность проводимой диагностики освоения студентами проектируемых ЗУН и формируемых на их основе компетенций. Анализ результатов комплексной квалиметрии всех формируемых компетенций, может дать синергетические результаты по новым психолого- личностным и профессиональным параметрам-индикаторам, которые в каждом отдельном тестовом задании не обеспечивали их валидность. Это позволит прогнозировать степень успешности деятельности студента по конкретному виду профессиональной деятельности и ее профилям. Если у студента достаточно низкий уровень системности и гибкости мышления, то он сможет выполнять задания и решать задачи, не требующие высокого уровня творческой мыслительной деятельности, действуя строго по заданному алгоритму. Для решения задач более высокого уровня сложности студент может обладать достаточным уровнем знаний и даже умений, но необходимого уровня требуемых компетенций он может не достичь. При этом сложные аналитические задачи, требующие самостоятельного синтеза алгоритма их решения, поиска нестандартных решений, при нетиповых, определяющих способ решения условиях, вероятно никогда не будут им решаться с необходимой эффективностью.

Таким образом, формировать компетенцию как способность креативного применения ЗУН по научно-исследовательскому профилю не целесообразно, так как недостаточно высокий уровень мыслительных способностей не позволит ему реализовывать эти ЗУН на практике. И наоборот, студент с высокими мыслительными способностями, но не обладающий необходимыми знаниями, при самообучении приобретет требуемую компетенцию. Здесь возникает чрезвычайно интересная возможность профильной ориентации студента в процессе обучения и профессионального отбора в вузе кадрового резерва для профессионального сообщества, которое может и должно активно взаимодействовать с вузами-партнерами.

Использованные источники

1. Снигирева Т.А. Диагностика формируемой структуры знаний на основе квалитативной технологии // Современные диагностические оценочные средства для аттестации качества образования и применение компьютерно-информационных технологий: материалы ХI Всеросс. симп. «Квалиметрия в образовании: методология, методика, практика». Ч.3. – М.: Исслед. центр проблем качества подготовки специалистов, 2006. – С. 67-73.