При экспертном оценивание большое значение придается методам организации экспертиз.
Анкетирование – один из основных методов организации экспертиз.
Основные типы анкет:
Фактографические анкеты – это анкеты, в которых запрашивается объективная информация об объекте экспертизы. Такого типа анкеты используются, например, когда предполагается систематизация данных, разработка банков и баз данных. Они могут быть использованы также для получения статистических данных об объектах экспертизы.
Тематические анкеты – это анкеты, в которых определяется мнение экспертов в конкретной области по определенному кругу проблем.
Целевые анкеты – это анкеты, предназначенные для анализа управленческих технологий или их элементов.
Анкеты решений – это анкеты, в которых представляются варианты решений тех или иных управленческих проблем.
Тематические, целевые и анкеты решений могут принадлежать к классу оценочных, если в них присутствуют специальные графы, в которых должна даваться оценка объекта управления по тому или иному критерию по оговоренной в анкете шкале. Наиболее распространены критерии, по которым производятся оценки, - сравнительная важность оцениваемого альтернативного варианта решения. Оценочные анкеты могут быть и неявного типа, т.е. в них может требоваться указание не точной количественной оценки, а качественной оценки, по которой при обработке анкеты может быть восстановлена необходимая количественная оценка. Иногда вместо указания точной количественной оценки в анкете может требоваться лишь указание диапазона значений, в которых находится оценка.
Анкеты бывают открытого и закрытого типа. В анкете закрытого типа на каждый вопрос даны варианты ответа, а в анкете открытого типа ответы могут быть выражены в произвольной форме.
Метод комиссий состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии.
Преимущества метода комиссий: возможен рост информированности экспертов, поскольку при обсуждении эксперты приводят обоснования оценок, и обратная связь – под воздействием полученной информации эксперт может изменить первоначальную точку зрения.
Недостатки метода комиссий: Отсутствие анонимности. Это приводить к присоединению мнения эксперта к мнению более компетентных и авторитетных экспертов даже при наличии противоположной собственной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов.
Метод суда используются аналогии с судебным процессом. Часть экспертов объявляется сторонниками рассматриваемой инициативы и выступает в качестве защиты, приводя доводы в пользу рассматриваемой инициативы и выступает в качестве защиты, приводя доводы в пользу защиты этой инициативы. Часть экспертов объявляется ее противниками и пытается выявить отрицательные стороны. Часть экспертов регулирует ход экспертизы и выносит окончательное решение. В процессе экспертизы по методу суда функции экспертов могут меняться. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссий.
Метод мозговой атаки, разработан в 50-60-х годах. Один из наиболее применяемых методов проведения экспертиз. Основная задача – выявление новых идей. Для этой цели организаторы экспертизы должны создать атмосферу, наиболее благоприятствующую генерированию идей, атмосферу благожелательности, поддержки, освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована. Любая идея должна быть обсуждена и не должна быть признанной ложной.
Метод Делфи, разработан О. Хелмером и Н. Делки. В методе Делфи предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, с другой стороны. Ещё одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказывавших крайние точки зрения. Экспертизы по методу Делфи проводятся чаще всего в 4 тура. В первом туре экспертам сообщают цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы для эксперта предъявляются в виде анкеты, иногда с пояснительной запиской. Информация, полученная от эксперта, поступает в распоряжение аналитической группы. Во втором туре экспертам предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние оценки. Указания представляются анонимно. После получения дополнительной информации эксперты, как правило корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. Третий и четвертый туры не отличаются от второго. Характерная особенность метода Делфи – уменьшающийся от тура к туру разброс оценок, их возрастающая согласованность.
Основные особенности метода Делфи: анонимность суждений, обоснование точек зрения экспертов, давших крайние оценки, обратная связь, реализуемая с помощью многотуровой процедуры.
Метод прогнозного графа, создан авторским коллективом во главе с В.М. Глушковым. Используется при прогнозировании. Основная часть метода прогнозного графа – коллективная экспертиза формирования набора исходных проблем. Каждым экспертом разрабатывается матрица «цель-средства», в которой указываются цели, необходимые для достижения глобальной цели, а также средства достижения каждой из них. Характерная особенность метода прогнозного графа – многоэтапность экспертизы. Центральная процедура метода – формирование прогнозного графа. В первом туре экспертизы составляется предварительный список промежуточных целей, необходимость для достижения конечной цели, указывается отношение подчиненности. Эта экспертная информация используется при определении списка целей для второго тура экспертизы. Во втором туре экспертизы анализу подвергается уже не конечная, а промежуточные цели, сформированные экспертами в первом туре. Эксперты второго тура обладают правом корректировать цели, сформированные экспертами первого тура. Последующие туры экспертизы аналогичны второму. Процедура заканчивается тогда, когда эксперты доходят до уровня целей, для реализации которых нет необходимости проводить дополнительные исследования и разработки. На основе полученной информации формируется прогнозный граф. Следующий этап – привлечение достаточно представительной группы экспертов, способных оценить каждую из представленных в прогнозном графе вершин-целей.
Далее приводятся численные оценки целей прогнозного графа.
Метод сценариев. Сценарии позволяют с тем или иным уровнем достоверности определить возможные тенденции развития, взаимосвязи между действующими факторами, получать возможные состояния, к которым может прийти ситуация под влиянием тех или иных воздействий. Метод сценариев предполагает создание технологий разработки сценариев, обеспечивающих более высокую вероятность выработки эффективного решения в тех ситуациях, когда это возможно, и более высокую вероятность сведения ожидаемых потерь к минимуму в тех ситуациях, когда потери неизбежны. В настоящее время известны такие варианты метода сценариев, как метод получения согласованного мнения, повторяющегося объединения независимых сценариев, как метод получения согласованного мнения, повторяющегося объединения независимых сценариев и др.
Основные моменты, на которые необходимо обращать внимание при оценивании качества экспертиз.