В начале семидесятых годов был проведен обширный эксперимент (на стыке с психофизиологией) по изучению поведения экспертов. Каждому из них было предъявлено пять образцов. Эксперты рассматривались как "приборы", которые сравнивали образцы по весу. Оказалось, что ответы экспертов одинаково хорошо соответствуют как модели Терстоуна, так и модели Бредли-Терри-Льюса [9]. А ведь эти модели принципиально различны, выводы на их основе существенно отличаются!
На наш взгляд, сказанного достаточно, чтобы относиться с сомнением к обоснованности применения параметрических моделей экспертных оценок.
Непараметрические модели экспертных оценок опираются лишь на предположения общего характера о возможности вероятностно-статистического описания поведения экспертов с помощью непрерывных функций распрекделения или люсианов, параметрами для которых служат нечеткие множества - вектор вероятностей ответов "да". Поэтому во многих ситуациях такие модели представляются адекватными.
Под моделями анализа данных понимаем здесь модели, не использующие вероятностные соображения. Очевидно, они наиболее адекватны и защищены от критики, поскольку не претендуют на выход на пределы имеющихся данных, не предполагают построения и обоснования какой-либо вероятностно-статистической модели реального явления или процесса. Однако с их помощью, очевидно, нельзя сделать никаких заключений о будущих аналогичных ситуациях. А ведь экспертные опросы проводятся ради обоснования поведения в будущем! Другими словами, методы и модели анализа данных - наиболее обоснованные и наиболее бесполезные.
Итак, без вероятностных моделей не обойтись. Поскольку параметрические модели обычно невозможно обосновать, остается использовать непараметрические.
Математические методы анализа экспертных оценок
При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику (по нашей оценке, к прикладной статистике относится не менее 1 000 000 статей и книг, а из них не менее 100 000 являются актуальными в настоящее время). В этом утверждении нет ничего нового: поскольку одно из научных направлений желает рассматривать эксперта как прибор, измеряющий интересующий ЛПР параметр - номер лучшего по конкурентоспособности изделия, ранжировку проектов и т.д. - то и экспертные оценки оно сопоставляет с результатами измерений - традиционным видом данных, обрабатываемых с помощью методов прикладной статистики.
Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.
Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы (см., например, [18,22,23,38,40-42]).
Почему ответы экспертов носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответа в форме числа - значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е.определяемого произвольно принятыми соглашениями) характера балансовой прибыли, амортизационных отчислений и других экономических показателей [43]. Поэтому фраза типа "фирма стремится к максимизации прибыли" не может иметь строго определенного смысла. Достаточно спросить: "Максимизация прибыли - за какой период?"
Эксперт может сравнить два объекта, дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физических измерений. В случае произвольности оцифровки выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. В [22,38] это утверждение продемонстрировано на примере неадекватного данным усреднения отношения школьников к профессиям: десяти градациям были произвольно приписаны баллы 1,2,3,...,10. Столь же естественно было бы использовать баллы 1,4,9,...,100 или (-50),(-30),(-5),..., 17, т.е. произвольные десять числовых значений, расположенных в порядке возрастания. С позиций репрезентативной теории измерений [22,23] следует применять алгоритмы анализа данных, результаты работы которых не меняются при допустимом преобразовании шкалы.
Настоящая глава раздела отчета соответствует другой парадигме по сравнению с многими публикациями по вопросам статистики объектов нечисловой природы, например, статьями [40-42]. Здесь мы рассматриваем конкретную научно-практическую дисциплину, в которой постоянно используются методы статистического анализа нечисловых данных, в то время как работы [40-42] посвящены одному из разделов прикладной математической статистики. Другими словами, настоящая глава раздела отчета написана с позиций специалиста по экспертным оценкам, а статьи [40-42] - с позиций специалста по статистическим методам.
Сначала мы развивали тематику экспертных оценок, изучая возможность использования в этой области методов репрезентативной теории измерений [44,45], нечетких множеств [46,47], аксиоматического введения метрик [22,48] и т.д. Разработанные подходы, методы, результаты рассматривались как часть математической теории экспертного оценивания. Соответствующие статьи [49-55] публиковались в сборниках по экспертным оценкам и были написаны на языке экспертных оценок. И лишь затем, после десятилетней работы, было осознано, что разработана новая область прикладной математической статистики, которая может применяться не только в экспертных оценках, но и в технических науках, медицине, социально-экономических исследованиях, практически во всех напрвлениях научных и практических исследований. С другой стороны, для конкретной работы в области экспертных оценок, возможно, более полезны практические рекомендации [1] , чем упомянутые математические результаты и содержащие их публикации. Однако сейчас пришло время вернуться к прежней парадигме, разработанный математический аппарат статистики объектов нечисловой природы использовать для решения конкретных задач практики экспертных исследований.
Тесная связь между экспертными оценками и статистикой объектов нечисловой природы позволяет опустить здесь описание математического аппарата экспертных оценок, отослав читателя к обзорам [40-42]. В настоящей главе раздела отчета мы ограничиваемся обсуждением вопросов использования этого аппарата (см. также предыдущую главу).
Проверка согласованности и классификация экспертов
Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться. Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) (основные результаты теории люсианов описаны в работах [32,53]) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.
При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать методами кластер-анализа, предварительно введя метрику в пространство мнений экспертов. Идея Кемени [37] об аксиоматическом введении метрик нашла в СССР многочисленных продолжателей [18,22,48]. Однако методы кластер-анализа обычно являются эвристическими, в частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один [56]. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу [32,53]. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.
Нахождение итогового мнения комиссии экспертов
Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое(среднее, общее) мнение комиссии? Согласно идее Кемени, описанной в монографии [37], следует найти среднее мнение как решение оптимизационной задачи - минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. В [26] так найденное среднее мнение названо "медианой Кемени".