Организаторы проведения экспертизы выбирают процедуру осуществления экспертизы. Известны различные подходы к этому вопросу. Можно проводить
-индивидуальный или групповой опрос,
-очный или заочный;
-открытый или закрытый.
Индивидуальный опрос заключается в интервьюировании эксперта и позволяет максимально использовать способности и знания каждого эксперта.
Групповой – при этом методе эксперты могут обмениваться мнениями, могут учесть упущенный момент каждым из них, скорректировать свою оценку. Недостаток группового мнения заключается в сильном влиянии авторитетов на мнения большинства участников экспертизы, в трудности публичного отказа от своей точки зрения, психологической несовместимости некоторых участников экспертизы.
Из методов группового опроса используют: различные модификации метода Дельфи.[1],[2]
Метод Дельфи
Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки и техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные как на строго логическом анализе, так и на интуитивном опыте. Метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики. Таким образом, метод Дельфи позволяет исследователю получить на порядок более достоверные результаты исследования, нежели те, которые могли быть получены в ходе традиционной экспертной оценки.
Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта производится исходя из следующих принципов:
1) вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;
2) опрос экспертов проводится в несколько туров, в ходе которых вопросы и ответы все более уточняются;
3) все опрашиваемые эксперты знакомятся после каждого тура с результатами опроса;
4) эксперты обосновывают оценки и мнения, отклоняющиеся от мнения большинства;
5) статистическая обработка ответов производится последовательно от тура к туру с целью получения обобщающих характеристик.
Таким образом, с помощью метода Дельфи выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, вместе с тем, периодически взвешивать свои суждения с учетом ответов и доводов коллег.
Пересмотр и возможность изменения своих прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулируют опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.
При использовании метода Дельфи учитывают следующие факторы:
Способ стабилизации экспертной группы заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных из коллег-ученых. Из полученного списка специалистов вычеркивают 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется группа экспертов. Полученную группу экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.
Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.
Метод Дельфи реализуется по следующему алгоритму:
1) формирование репрезентативной экспертной группы;
2) подготовка экспертизы;
3) проведение экспертизы;
4) обработка полученных ответов;
5) анализ результатов;
6) разработка сценария и мероприятий по устранению выявленных недостатков;
7) подготовка и проведение повторных экспертиз;
8) подготовка рекомендаций по распределению ресурсов;
9) анализ результатов и принятие окончательного решения.
В первом туре, после того, как экспертам разъяснена цель экспертизы и представлены вопросы (персонально в виде анкеты или пояснительной записки), они представляют свои ответы без аргументации. Вся экспертная информация поступает в рабочую группу. Производится обработка и анализ полученной информации. Полученные результаты сообщаются экспертам и проводится второй тур опроса.
На втором туре опроса у тех экспертов, чьи оценки значительно отличались от общих, просят представить обоснованные аргументы в пользу своих суждений. Подобная информация в анонимном виде доводится до остальных экспертов. Это позволяет им учесть те обстоятельства, которые они по какой-то причине пропустили или пренебрегли. В результате эксперты могут пересмотреть свои суждения или откорректировать данные, которые они указали в предыдущем туре. Скорректированная информация вновь поступает в группу управления экспертизой, реализуя обратную связь.
После обработки результатов второго тура скорректированные групповое и «оригинальные» мнения, а также вся аргументация с сохранением анонимности сообщаются экспертам и проводится очередной тур.
В результате такой многотуровой процедуры опроса с последующей обработкой могут наблюдаться две ситуации. Во-первых, от тура к туру растет согласованность мнений экспертов. Во-вторых, от тура к туру растет размежевание мнений экспертов на подгруппы с высокой согласованностью внутри подгрупп. Последнее может объясняться либо наличием представителей различных научных школ, либо неодинаковой интерпретацией исходной информации специалистами различные профилей. В любом из этих случаев руководитель группы управления принимает решение либо на проведение дальнейшего опроса с целью подтверждения создавшегося положения, либо на окончание проведения экспертизы и составление отчета по ней. Однако часто имеет место сходимость оценок в многотуровой экспертизе.
Существует большое количество различных модификаций метода Дельфи. Ряд модификаций связан с ограничениями анонимности ответов. Это связано с тем, что в оригинале условие полной анонимности было введено для того, чтобы суждения экспертов основывались лишь на собственных предпочтениях и при этом другие мнения за и против не влияли на эксперта. Однако в практике нередко приходится выбирать между частичным исключением анонимности и полным отказом от использования метода Дельфи.
Другие модификации связаны с ограничением обратной связи. В этом случае обратная связь направлена только к так называемым «независимым» экспертам (на основании того, что они могли бы оказаться единственными специалистами, дающими правильный ответ), которых просят подтвердить свою точку зрения. Если с точки зрения группы управления суждение «независимого» эксперта подтверждается, то его оценка принимается за искомую. В противном случае за искомую принимается групповое мнение.
Для выявления экспертов, наиболее влияющих на согласованность мнений, в ряде модификаций используют прием последовательного исключения одного или нескольких участников экспертизы и вычисления коэффициента согласия .
Достоинством метода Дельфи является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок.
К основным недостаткам метода Дельфи можно отнести большие затраты времени на многотуровую экспертизу и полное исключение прямого столкновения мнений экспертов. Более того, в процессе длительного разнесенного по времени многотурового опроса может сложиться лишь видимость высокой согласованности индивидуальных мнений за счет стремления экспертов побыстрее отделаться от вопросов. Это приводит к поверхностному индивидуальному анализу проблемы и стремлению к «групповому» мнению. Длительность процедуры часто приводит к нестабильности состава экспертной группы.[3],[4]
Применение метода «Дельфи» для мониторинга наноиндустрии.
В связи с ключевой важностью наноиндустрии появились задачи организации, контроля и упорядочения деятельности в этом направлении, системного подхода, планирования и управления процессом развертывания нанотехнологий. В своей работе я хочу разобрать общий пример составления прогнозов экспертов применительно к задачам наноиндустрии.