Автор статьи ставит своей целью познакомить читателей с возможностями современной интернет-ориентированной технологии сбора экспертных оценок. Данная методика может послужить инструментом проведения перекрестной экспертизы пользовательских интерфейсов портальных проектов в образовании с целью согласования нормативных требований и выработки стандартов – оптимальных эргономических (интерфейсных) решений.

В 2002 году в ходе исполнения госзаказа Минобразования Российской Федерации по программе «Развитие единой информационно-образовательной среды» в российском сегменте Интернета появились первые 10 официальных федеральных образовательных портала. Разработчики, выигравшие конкурс на исполнение этих проектов, представляли различные организации и учреждения и не смогли пока в кратчайшие сроки, отведенные на выполнение работ, преодолеть известный разнобой в выборе определенных проектных решений. Следует сделать специальную оговорку: именно в этом организационном контексте требование унификации интерфейса пользователя не является досужей бюрократической выдумкой чиновников, но отвечает реальным потребностям широкого круга пользователей: пользователь должен легко ориентироваться в системе портальных ресурсов, опираясь на единые стандарты в размещении и оформлении информации, а также ключевых интерактивных сервисов. Именно в случае определенной унификации могут быть достигнуты основные цели масштабного проекта по созданию «единой образовательной среды».

Автор статьи является руководителем одного из перечисленных портальных проектов, а именно проекта создания «Портала информационной поддержки единого государственного экзамена» (адрес в Интернете – www.ege.edu.ru).

Несмотря на достаточно высокую популярность и наличие определенных положительных откликов от пользователей различного уровня, данный портал вовсе не рассматривается самим автором как эталон для подражания, как воплощение лучших образцов. Точно также не будет продуктивной попытка взять в качестве образца интерфейс головного образовательного портала (так называемого «горизонтального портала») «Российское образование» (адрес в Интернете – edu.ru). Автор исходит из принципиального допущения, что любой эталон – продукт более или менее стихийно складывающейся конвенции наиболее активных участников в определенной сфере производства (производителей). На ранних этапах, каким в настоящее время является отечественное российское «порталостроительство», любая попытка директивного навязывания образца, который не отвечает интересам и представлениям непосредственных производителей и их клиентов (посетителей порталов в данном случае), обречена на неудачу. Поэтому эффективная технология определения нормативных требований заключается в том, чтобы их ВЫЯВИТЬ, извлечь из осознанных (или почти осознанных) экспертных знаний, представлений, уже приближающихся к рангу «общепризнанных» - вызревающих конвенций. Используя образное сравнение, можно сказать: дорогу надо прокладывать не там, где легче всего подвозить щебенку, бетон и асфальт, а там, где люди начинают ходить. Конечно, посещаемость портала – не единственный критерий, но один из немаловажных для выбора эффективных решений. Этот критерий интуитивно всегда учитывается опытными специалистами-разработчиками, имеющими значительный опыт навигации в Интернете – опыт изучения других сайтов и порталов, разработанных другими специалистами. Поэтому так важно организовать эффективную процедуру изучения «коллективного экспертного опыта», которые в отличие от единичного экспертного знания, достигает практически всегда более высокой степени приближения к тем неявным конвенциям, которые мы пытаемся выявить и сформулировать.

Методика «Взаимных многокритериальных перекрестных оценок» (ВМПО) широко используется в экспертной практике в самых разных предметных областях науки и производства – от технического проектирования до организационного консультирования. Она характеризуется следующими особенностями:
1. В качестве экспертов методику выполняют сами авторы проектов: к оценке привлекаются именно те, кто имеет опыт разработки проектов. Предполагается, что люди, не имеющие опыта разработки, разбираются в проблеме хуже.
2. Оценка производится по набору формализованных (лаконично стандартно- сформулированных) критериев. Перечень критериев (краткие и развернутые формулировки) согласуется со всеми участниками экспертизы.
3. Оценка производится с использованием простой качественно- количественной (ранговой) шкалы. Нередко достаточно использовать трехбалльные шкалы («лучше», «средне», «хуже») или пятибалльные («заведомо лучше», «скорее лучше», «средне», «скорее хуже», «заведомо хуже»).
4. Оценки производятся заочно, тем самым обеспечивается независимость экспертных суждений.
5. По каждому критерию производится статистический анализ уровня конкордации – согласованности экспертных оценок. По тем критериям, по которым не достигнута удовлетворительная конкордация, решение не принимается.
6. Процедура выполняется иногда в несколько туров. После очередного тура производится новое обсуждение тех критериев, по которым не достигнута конкордация, критерии переформулируются и независимые оценки собираются вновь.
7. При критериям, по которым достигнута конкордация, выявляются объекты оценивания (проекты), которые могут служить эталоном наилучшего решения по данному критерию.
8. При реализации методики с помощью Интернета каждый эксперт получает логин и пароль для доступа к редактированию критериев, затем (на втором этапе) заполняет оценками матрицы «объект – критерий» - для всех объектов (проектов) и для всех критериев. Результаты сохраняются на сервере и автоматически обрабатываются.

Независимо от экспертной оценки по прежнему одним из ключевых инструментов выяснения успешности определенных интерфейсных решений является опрос пользователей.

С помощью своих сотрудников автор опубликовал на портале ege.edu.ru и провел опрос пользователей. Хотя выборка респондентов и объектов оценивания в данном случае резко тематически ограничена (пока подобные опросы не проводились для своих пользователей разработчиками других образовательных порталов), тем не менее результаты этого опроса могут представить определенный интерес.

В опросе приняло участие 66 пользователей портала (по числу протоколов, заполненных до конца – по всем 18 вопросам). Вот как выглядит перечень вопросов вместе с результатами, приведенными в виде процента избранных вариантов ответа.

Пользователи даже вполне популярных и удачных интернет-порталов нередко бывают не удовлетворенны тем, насколько предлагаемые на том или ином портале интерфейсные решения согласуются со стихийно сложившимися у них (по определенных образцам) стереотипами. Создание «Единой образовательной среды» требует активного поиска унифицированных решений, облегчающих работу пользователей. В настоящий момент в среде разработчиков не существуют общепризнанных представлений об эталонных образцах, задающих стандарт качества в области вебдизайна. Автор статьи предлагает методику согласования экспертных оценок, которую можно просто и эффективно реализовать с помощью интернет-шкалирования, что не вызовет никаких затруднений при опросе респондентов, работа которых тесно связана с Интернетом.