Авторы: Ю. Сидельников, С. Салтыков
Источник: Сидельников Ю.В., Салтыков С.А. Процедура установления соответствия между задачей и методом. // Экономические стратегии, № 7, 2008. – с. 102–109.
Актуальность задачи повышения точности экономических прогнозов и на этой основе качества управленческих решений связана с увеличением масштабов преобразований экономики и изменением экономического уклада. Одной из мер, помогающих решить эту задачу, является обоснованный выбор метода экономического прогнозирования.
Есть предположение, что в наибольшей степени этот обоснованный выбор определяется сложностью прогнозной задачи (1). Поэтому целью исследования является разработка алгоритма определения уровня сложности прогнозной задачи оценивания, что, в свою очередь, поможет установить соответствие между задачами определенного вида и группами экспертных методов.
В научной литературе по экспертным методам и экспертному прогнозированию существует два основных подхода к отбору лучшей методики или процедуры. Первый подход сводится к попарному сопоставлению нескольких методик и отражен, как правило, в зарубежной литературе.
Так, например, в 1960-е гг. в корпорации РЭНД под руководством Нормана Дэлки была проведена серия экспериментальных исследований (2), выявивших следующий факт: модификация традиционного метода дельфи, так называемый метод дельфи-II, использующий многоточечные оценки, в большинстве случаев предпочтительнее метода дельфи.
В начале 1970-х гг. сотрудник Питсбургского университета Дэвид Форд провел серию аналогичных тестовых экспериментов по сопоставлению трех методик: стандартной дельфи, дельфи-II и собственной итеративной процедуры, названной автором «шанг» (3). Автор получил следующие результаты: его собственная методика повышала точность оценок на последнем туре процедуры и, значит, имеет право на существование, а относительно сопоставления дельфи и дельфи-II результат был прямо противоположен тестовым экспериментам Брайана Берниса Брауна, Сэмюэля Кохрана и Нормана Делки.
Среди современных зарубежных работ в рамках такого же подхода необходимо отметить исследования Международного института системного анализа (4). Авторы рассматривают проблему выбора лучшего метода прогнозирования для конкретного класса задач — демографического прогнозирования. Они рассмотрели достоинства и недостатки применения различных методов для их задачи и сопоставили статистические методы, метод дельфи и разработанную авторами прогностическую процедуру. Сравнив различные варианты, авторы предлагают отобрать как наиболее подходящую для их задачи ими же разработанную процедуру.
В СССР и России исследования, направленные на разработку процедур отбора наиболее эффективных методов для решения прогнозных задач, проводились лишь эпизодически и практически всегда в рамках другого подхода. В рамках такого подхода:
Почему же столь интересные и серьезные исследования, упомянутые выше, не нашли практического применения при отборе наиболее эффективных экспертных методов для решения прогнозных задач? Мы предполагаем, и в этом будут состоять наши гипотезы, что для решения задачи по отбору наиболее эффективной процедуры (метода) необходимо учесть нижеследующие дополнительные требования (условия):
В отличие от С.Н. Селиванова и И.В. Гущина, мы рассматриваем трудоемкость исследования с применением данной методики как характеристику не методики или метода, а пары «задача — метод». Точно так же характеристикой кортежа «задача — метод» являются точность решений данного класса задач с помощью рассматриваемой группы методов или методик. Основные характеристики задачи оценивания будут подробно рассмотрены в следующем разделе.
Предложим и опишем две характеристики задачи оценивания, существенные для выбора наиболее эффективного метода ее решения. Мы считаем, что ими являются сложность задачи и ее обширность (10).
Поясним понятие «сложность задачи оценивания». В рамках данной статьи это понятие будет использоваться как синоним понятий «нетривиальность», «креативность». Для раскрытия этого понятия применим понятие «парадигмальное основание», играющее, по сути, роль основополагающего утверждения, используя которое, можно вывести основы новой теории, направления или же объяснить ранее не понятное явление, используя набор объясняющих правил. Примерами таких парадигмальных оснований могут служить:
Кроме того, в данной работе мы будем использовать такую характеристику прогнозной задачи, как обширность. Выделим три ее уровня, основываясь на усредненной скорости получения информации об исследуемом объекте (процессе) большинством научного сообщества.
Задача имеет i-й уровень обширности, если информация, которая поможет ее решить, может быть получена из:
Отдельно стоит отметить, что, скорее всего, задач V и IV уровней, сложности и I уровня обширности не существует.
Вслед за Г.С. Альтшуллером (11) мы выделяем пять уровней сложности задачи, но трактовать их будем по-другому. Для этого более детально рассмотрим схематичное изображение алгоритма определения уровня сложности прогнозной оценочной задачи, приведенное на рис. 1.
Рис. 1. Блок-схема процедуры определения уровня сложности прогнозной задачи оценивания.
К задачам I уровня сложности относятся те, способ решения которых уже известен. Это своего рода крайний случай.
Для задач II уровня сложности:
Мы полагаем, что в этом случае целесообразна систематизация направлений поиска решения исследователем. Этой систематизацией в ходе решения задачи преодолевается инерция мышления эксперта.
Для задач III уровня сложности:
Мы полагаем, что в этом случае целесообразна хаотизация направления поиска задачи в надежде найти «ключик» для ее решения. В ходе решения такой задачи также преодолевается инерция мышления эксперта.
Для решения задач IV и V уровней сложности необходимо в явном виде осознать парадигмальные основания, на которых базируются представления об исследуемом объекте.
После того как существующие парадигмальные основания осознаны и понята необходимость выработки новых, следуют такие шаги:
В ходе решения задач IV и V уровня сложности преодолеваются психологические барьеры (ограничения), связанные с имеющимися неосознанными парадигмальными основаниями в представлениях эксперта.
Таким образом, для задач IV уровня сложности:
Для задач V уровня сложности:
Исходя из вышеприведенного описания уровней сложности задачи, построим древовидное разбиение совокупности прогнозных оценочных задач (рис. 2).
Рис. 2. Древовидное разбиение совокупности прогнозных оценочных задач.
Поясним рис. 2. Понятия «нормальная задача» и «экстраординарная задача» по смыслу схожи с введенными Томасом Куном понятиями нормального и экстраординарного исследования (12).
В результате все прогнозные оценочные задачи были поделены на пять совокупностей. Важно отметить, что задание порядка на этих совокупностях задач (т.е. определение уровней сложности задач) имеет смысл лишь для больших хозяйствующих субъектов (например, корпораций). Это связано с тем, что исследователей, способных решать задачи высокого уровня сложности, почти всегда меньше, чем тех, которые решают несложные задачи. Этот феномен подтверждается исследованиями Альтшуллера по определению доли изобретений каждого уровня сложности в СССР (13). Он проанализировал достаточно много изобретений за 1965 и 1969 гг. Результаты этого анализа приведены в табл. 1.
Табл. 1. Доля изобретений различных уровней сложности.
Причем Альтшуллер анализировал изобретения, представленные в авторских свидетельствах, среди которых не должно быть изобретений I уровня, т.к. это тривиальный уровень, или, говоря его же словами, «неизобретательские изобретения». Среди изобретений, не являющихся тривиальными (с уровня II по уровень V), видим строго монотонное убывание доли изобретений при увеличении уровня сложности, что говорит отчасти об уменьшении числа изобретателей, способных решать более сложные задачи.
Поэтому отношение порядка на пяти изображенных на рис. 2 совокупностях задач (т.е. уровни сложности) для больших хозяйствующих субъектов задается через долю исследователей, способных решить задачу соответствующего уровня сложности. Но такое задание порядка может не иметь смысла для отдельно взятого исследователя.
Определять уровень сложности нужно априорно и апостериорно. Последнее легче, потому что к этому моменту исследователь обладает сравнительно большей информацией, можно определить конкретный уровень сложности и напрямую пользоваться вышеприведенным описанием уровней сложности.
Нам же для выбора наиболее эффективного метода необходимо определять уровень сложности задачи априорно. Для этого случая рассмотрим схему применения алгоритма определения уровня сложности задачи, представленную на рис. 1. Исследователь обладает меньшей информацией, и напрямую использовать вышеприведенное описание затруднительно. Поэтому для ответа на каждый из вопросов приведенного алгоритма используются не просто балльные оценки, а нечеткий их аналог — многоточечные оценки второго рода, где сама оценка эксперта представлена несколькими балльными оценками, а степень уверенности в этом эксперта задана в виде распределения 100% на всем множестве представленных балльных оценок, т.е. может быть представлена гистограммой или эмпирической плотностью распределения. Именно это, по сути, подтверждает утверждение Куна о том, что «вопросы выбора парадигмы никогда не могут быть четко решены исключительно логикой и экспериментом». Например, можно представить оценку сложности задачи как II либо III уровень, при этом степень уверенности эксперта составит соответственно 60% на 40%. Теперь перейдем к другой проблеме, связанной с алгоритмом, приведенным на рис. 1, и выясним, к какому из двух уровней сложности относится наша задача — ко II или к III. При априорной оценке уровня сложности задач, решаемых исходя из представлений, основанных на текущих парадигмальных основаниях, не всегда можно определить примерное число вариантов, перебираемых при решении. Мы предлагаем ориентироваться на степень уверенности исследователя в правильности решения задачи. Предполагается, что если задача — II или III уровня сложности, то структура множества вариантов решения задачи примерно известна. Чаще всего в первом приближении она может быть представлена в виде двух- или трехмерной матрицы (таблицы), графом типа «дерево» с небольшим числом вершин и т.д. Это делает возможным перебор вариантов для случая, когда мы можем ограничиться этой грубой идеализацией. А мы можем ограничиться ею в случае, если от исследователя требуется не очень высокая степень уверенности в правильности решения задачи, тогда полагаем, что это задача — II уровня сложности. Когда же требуется высокая степень уверенности в правильности решения задачи, следует учесть, что многое из реального мира не «впишется» во множество вариантов решений, представленных, скажем, в виде двухмерной таблицы. В этом случае систематизировать перебор вариантов решения задачи не получится и придется хаотизировать процесс поиска решения, т.е. действовать как в случае с задачей III уровня сложности.
Теперь перейдем к еще одной проблеме, связанной с рассматриваемым алгоритмом, и выясним, как узнать, к какому из двух уровней сложности относится наша задача — к IV или V. Если при априорном оценивании мы решили, что будем пытаться решать задачу исходя из новых парадигмальных оснований, то для того, чтобы определить уровень сложности задачи — IV или V, необходимо определить примерное число различных экспериментов, которые будут проверять полученное решение. Задача определения примерного числа различных экспериментов представляет собой отдельную, самостоятельную задачу, по-видимому более низкого уровня сложности. Таким образом, получается, что высокие уровни сложности определяются посредством использования задач более низких уровней сложности, т.е. рекурсивно.
Проверки какой-либо гипотезы при помощи большого или малого числа экспериментов качественно различны в том смысле, что они по-разному выявляют уровень несоответствия в построенных научных конструкциях (теориях, дисциплинах, наборах объясняющих правил и т.д.), на основе которых решается оценочная задача. Эта разница связана с тем, что результаты небольшого числа экспериментов часто можно обосновать довольно простой совокупностью объясняющих правил или научной конструкцией. Когда же число экспериментов сильно увеличивается, эти объяснения начинают «трещать по швам». И тогда исследователь убеждается, что такая научная конструкция не имеет объяснительной и предсказательной силы. Для увеличения уровня воспроизводимости результатов, для того чтобы перейти от объясняющих правил, работающих на малом числе экспериментов, к целостной теории, способной выдержать большое число проверочных экспериментов, необходима как парадигма погоня за точностью измерений. Например, когда уровень развития измерительной техники был не очень высок, некоторый круг явлений вполне логично и внятно можно было объяснить на основе теории флогистона. По этому поводу Кун заметил, что, «например… теория флогистона внесла упорядоченность в большой ряд физических и химических явлений. Она объяснила, почему тела горят… и почему металлы имеют намного больше общих друг с другом свойств, нежели их руды… Кроме того, теория флогистона объяснила ряд реакций получения кислоты при окислении веществ, подобных углероду и сере. Она также объяснила уменьшение объема, когда окисление происходило в ограниченном объеме воздуха» (14). Эта цитата показывает, как в целом разумно и логично можно объяснить довольно разнородные явления, предполагая существование не рассматриваемой современной наукой универсальной горючей субстанции.
Итак, мы показали, что разбиение прогнозных оценочных задач на уровни сложности существует и является группировкой. Более того, можно определить уровень сложности задачи до того, как она решена, т.е. априорно. Теперь покажем, что оно может быть эффективно использовано для выбора метода, что между разбиением задач на уровни сложности и неким разбиением методов на группы существует глубокая, органичная связь. Рассмотрим древовидное представление совокупности экспертных методов.
Рис. 3. Древовидное разбиение совокупности экспертных методов.
Сопоставляя рис. 2 и 3, видим, что древовидные разбиения совокупностей прогнозных экспертных задач (рис. 2) и экспертных методов (рис. 3) сходны друг с другом (как ориентированные графы).
Исходя из этого, полагаем, что задачи II уровня сложности соотносятся с группой методов, в основе которых лежит систематизация перебора вариантов решения задачи, а задачи III уровня сложности соотносятся с группой методов хаотизации перебора.
Итеративные процедуры позволяют решать задачи, не выходя за пределы текущих парадигмальных оснований. И между собой объединяет их то, что они, кроме прочего, преодолевают инерцию мышления экспертов путем их взаимодействия. Способ преодоления инерции мышления в данном случае — систематизация или хаотизация — не конкретизируется. Отсюда делаем вывод, что эта группа методов соотносится как со II, так и с III уровнем сложности.
Покажем, что такая связь есть и для решения задач уровня сложности выше III. Сначала рассмотрим трактовку уровней рефлексии по Д.А. Новикову и А.Г. Чхартишвили (15). «Рефлексия начальных уровней также может интерпретироваться следующим образом. Предположим, что есть субъект, который воспринимает окружающий его мир. Можно выделить несколько уровней восприятия (уровней рефлексии). На нулевом (бытийном, нерефлексивном) уровне у субъекта существуют определенные представления об окружающем мире (возникающие как его отражение), однако он не осознает, что представления могут быть неполными, искаженными и т.д… Первый уровень восприятия, на котором уже присутствует рефлексия, назовем научным, т.к. именно на нем впервые возникают осознанные различия между субъективным и объективным описанием действительности (характерным примером первого ранга рефлексии является научная рефлексия по Г.П. Щедровицкому (16). Второй уровень рефлексии назовем философским, так как он характеризуется появлением представлений о многообразии способов отражения и осознанием возможности выбора способа познания». Итак, субъект со вторым уровнем рефлексии, кроме прочего, обладает философским видением мира и, стало быть, способен к философскому анализу. Полезен ли для нас философский анализ? Наверное, да, ведь Кун в качестве инструмента для перехода к новой парадигме (для решения задачи высокого уровня сложности) предлагал использовать именно «философский анализ» (17): «…в периоды осознания кризисов… ученые обращаются к философскому анализу как средству для раскрытия загадок в их области». И далее: «...мы отмечали, что полного ряда правил, которого добивается философский анализ, не существует. Но это не означает, что поиски предположений (даже не существующих) не могут быть эффективным способом для ослабления власти старых традиций над разумом и выдвижения основы для новой традиции».
Таким образом, это дает возможность предположить, что философский анализ (упомянутый Куном) может осуществляться субъектом со вторым уровнем рефлексии, и этот уровень рефлексии, в числе прочего, дает возможность двигаться к осознанию парадигмальных оснований. Зададимся вопросом: существует ли метод получения новой информации от эксперта, который включал бы в себя элементы рефлексии? Да, существует. При внимательном рассмотрении списка контрольных вопросов Тима Эйлоарта (18) видим, что нижеприведенные вопросы базируются на рефлексивной схеме:
Вопрос № 18. Уточнить, чья это проблема. Почему его?
Вопрос № 20. Кто еще решал эту проблему и чего добился?
Стоит отметить, что нам важен рефлексивный подход не сам по себе, а лишь как средство для движения к осознанию ограничений существующими парадигмальными основаниями, поэтому уместен последний вопрос из списка Эйлоарта и примечательно, что он замыкающий.
Вопрос № 21. Определить общепринятые граничные условия и причины их установления.
Это позволяет предположить, что подобную реализацию метода контрольных вопросов можно использовать для решения задач IV уровня сложности.
Рассмотрим теперь, как же можно решать задачи V уровня сложности. Предполагаем, что список контрольных вопросов может быть дополнен некими подсказками, или эвристиками, которые позволят исследователю отделить создающиеся основы перечней объясняющих правил от основ целостной теории. Эти эвристики мы не знаем, но предполагаем, что они существуют, так как существуют исследователи, которые решили несколько крупных задач V уровня сложности, создав основы целостных новых теорий. Так, например, Альберт Эйнштейн сумел разработать и специальную, и общую теорию относительности, что позволило, например, устранить расхождения в экспериментальных данных и теоретических расчетах относительно оценки величины движения перигелия Меркурия. Т.е. имеются основания полагать, что можно найти методы для решения задач V уровня сложности.
В соответствии с этим составим таблицу соответствия между уровнями сложности и группами методов по Ю.В. Сидельникову.
Табл. 2. Соответствие между уровнями сложности задачи и группами методов.
Из таблицы видно, что на II и III уровни сложности задачи «ложится» большая часть методов получения новой информации. Поэтому для повышения избирательности обоснованного отбора метода полезно использовать такую характеристику прогнозной задачи, как обширность задачи, оценка которой имеет три различных уровня.
Таким образом, мы получили, что произвольную оценочную задачу можно отнести к одному из 15 классов (исходя из пяти уровней сложности и трех уровней обширности).
Полезность введения понятия «обширность» может быть проиллюстрирована следующим примером. Для решения некой задачи II уровня сложности можно использовать и, скажем, морфологический анализ, и процедуру дельфи. Какой из этих методов (инструментов) целесообразно выбрать в данном конкретном случае зависит, кроме прочего, от обширности задачи. Если это некая задача I уровня обширности, то, скорее всего, морфологический анализ будет предпочтительней, т.к. он переберет все варианты и будет не намного более трудоемким (если будет), чем процедура дельфи. Если же задача III уровня обширности, то морфологический анализ в типичном случае будет существенно более трудоемким, чем дельфи, что перекроет преимущество в точности (если оно будет). Поэтому более предпочтительной окажется процедура дельфи. При одинаковом уровне сложности уровень обширности позволяет сделать обоснованный выбор метода более селективным.
Полученные характеристики задачи (сложность и обширность) используются в многокритериальной модели ситуации принятия решения наряду с другими характеристиками задачи, метода и кортежа «задача — метод» для отбора нескольких наиболее эффективных методов решения рассматриваемой прогнозной оценочной задачи.
В данной работе впервые рассмотрена процедура установления соответствия между прогнозной задачей оценивания и экспертным методом, позволяющая проводить обоснованный выбор группы методов. Для реализации процедуры разработан алгоритм определения уровня сложности прогнозной задачи оценивания, причем градации этих уровней одинаково интерпретируются различными прогнозистами (что позволит в дальнейшем автоматизировать процедуру отбора нескольких наиболее эффективных методов).