•разработка процедуры проведения экспертизы;
•отбор, проверка компетентности и формирование группы экспертов;
•проведение опроса экспертов и получение их оценок;
•обработка, формализация и интерпретация полученной информации.
В зависимости от процедуры и способов организации и проведения экспертизы среди методов экспертных оценок различают следующие методы группового опроса.
Метод комиссий. Предполагает регулярные собрания экспертов для проведения групповых дискуссий по обсуждаемой проблеме и выработки в ходе таких дискуссий согласованного решения. Этот метод при умелом использовании способствует созданию творческой обстановки в группе экспертов и разработке альтернатив решения. Однако метод комиссий обладает и недостатками, прежде всего это отсутствие анонимности. Оно может приводить к довольно сильным проявлениям конформизма со стороны экспертов, присоединяющихся к мнению более компетентных или авторитетных специалистов даже при наличии противоположной собственной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов. Другой существенный негативный фактор — различная активность экспертов, не всегда связанная с их компетентностью. Кроме того, публичность высказываний может приводить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии изменилось. Поэтому организаторы экспертизы должны уделить особое внимание подбору экспертов: привлекать специалистов, обладающих независимостью мнений, устойчивостью к мнению большинства (нонконформистов), способных не поддаваться «магии авторитета» и, кроме того, способных работать в команде, психологически совместимых.
Метод мозговой атаки (коллективной генерации идей) применяется, как правило, в тех случаях, когда решается новая, малоизученная проблема, или требуется найти новое, нетривиальное решение. Отличительная особенность этого метода заключается в том, что он запрещает критику предлагаемых альтернатив в процессе их выдвижения, что обеспечивает наиболее полное выявление и использование творческого потенциала экспертов и возможность свободного высказывания и появления самых «безумных» идей. Проведение экспертизы методом мозговой атаки предполагает следующую последовательность этапов.
Этап 1 — формирование экспертной группы. Эмпирическим путем установлено, что наиболее продуктивной является группа численностью 10 — 15 человек. В состав группы рекомендуется включать специалистов как в области решаемой проблемы, так и в других областях знаний, что способствует более широкому исследованию и разнообразию предлагаемых альтернатив. При этом целесообразно учитывать, что экспертную группу следует формировать из специалистов примерно одного ранга, если они знают друг друга. Если же эксперты не знакомы, они могут быть и разного ранга и положения, но тогда их участие в группе должно оставаться анонимным.
Этап 2 — составление проблемной записки. Ее составляет группа анализа проблемы. Записка содержит:
• описание метода мозговой атаки и правил ее проведения;
• краткое описание проблемной ситуации и причин ее возникновения;
• описание вероятных последствий возникшей проблемы (при этом считается полезным некоторое преувеличение, чтобы необходимость найти решение ощущалась острее);
• анализ опыта решения подобных проблем (если он имеется);
• перечень возможных альтернатив решения проблемы;
• формулировку проблемной ситуации в виде главного вопроса и нескольких дополнительных вопросов.
Этап 3 — генерация идей. Он начинается с того, что ведущий раскрывает содержание проблемной записки и обращает внимание участников экспертной группы на необходимость соблюдения следующих правил поведения:
• высказывания участников обсуждения должны быть четкими и краткими;
• каждый эксперт может выступать несколько раз, но не подряд;
• критика предыдущих выступлений и какие-либо скептические замечания и реплики не допускаются;
• запрещается зачитывать заранее подготовленные выступления.
На этом этапе большая роль отводится ведущему, который должен быть хорошим психологом, войти в контакт с аудиторией и пробудить у людей потребность найти решение проблемы, а также создать творческую и непринужденную обстановку в группе. Однако этим роль ведущего почти исчерпывается, так как после начала обсуждения проблемы и генерации идей он должен лишь следить за соблюдением участниками правил поведения.
Чем больше количество и разнообразие мнений и предложений, тем лучше, так как шире охват проблемы и больше вероятность появления ценной идеи. Продолжительность этапа генерации идей (собственно, это и есть мозговая атака) рекомендуется от 20 до 90 мин в зависимости от количества и активности участников.
Высказываемые идеи записываются на магнитофон, чтобы не пропустить ни одного ценного предложения и иметь возможность их последующей систематизации.
Этап 4 — систематизация идей. Группа анализа проблемы систематизирует полученные от экспертов предложения в следующей последовательности:
• составляется перечень всех высказанных идей;
• каждая идея формулируется в общеупотребительных терминах;
• определяются дублирующие или дополняющие идеи и объединяются в виде одной комплексной идеи;
• определяются признаки, по которым могут быть классифицированы (сгруппированы) идеи;
• по этим признакам производится объединение идей в группы;
• в каждой группе идеи упорядочиваются от более общих к частным.
Этап 5 — деструкция (разрушение) идей. Под «разрушением» понимается специальная процедура оценки идей на практическую реализуемость, когда каждая из них подвергается всесторонней критике, т.е. как бы испытывается на прочность. На этом этапе эксперты — участники мозговой атаки — меняются. Это уже новая группа, сформированная из высококвалифицированных специалистов в области решаемой проблемы, численностью 20 — 25 человек. Суть этого этапа в том, что каждая из предложенных идей рассматривается с точки зрения препятствий на пути ее осуществления и в то же время может быть высказана контридея, снимающая эти препятствия или ограничения. Процесс деструкции продолжается до тех пор, пока каждая из идей не будет проанализирована и не подвергнется критике.
Этап 6 — составление перечня практически применимых идей. Снова работает группа анализа проблемы. Ее действия осуществляются следующим образом:
• составляется сводная таблица предложенных альтернатив, соответствующих им критических замечаний и опровержений и оценок практической применимости;
• вычеркиваются нереальные, практически не применимые альтернативы решения;
• составляется окончательный список возможных альтернатив.
В настоящее время одним из наиболее распространенных методов коллективной экспертной оценки является метод Дельфи.
Метод Дельфи. Достоинство данного метода состоит в том, что он позволяет обобщать индивидуальные мнения отдельных экспертов в согласованное групповое мнение. Метод Дельфи характеризуют три специфические особенности:
• анонимность экспертов;
• регулируемая обратная связь;
• статистическая обработка результатов опроса и формирование группового ответа.
Анонимность экспертов заключается в том, что в ходе проведения экспертизы участники экспертной группы неизвестны друг другу и их взаимодействие в процессе опроса полностью исключено. Это достигается использованием специальных анкет, а также другими способами индивидуального опроса, например, в режиме диалога с компьютером.
Регулируемая обратная связь обеспечивается проведением нескольких туров опроса, результаты которых сообщаются экспертам.
Статистическая характеристика группового ответа заключается в том, что группа экспертов рекомендует вариант решения, опирающийся на мнение большинства, т.е. такую альтернативу, которую выбрало бы большинство членов группы.
Например, при помощи метода Дельфи проводится экспертиза с целью оценки возможных альтернатив решения некоторой сложной проблемы и выбора наиболее предпочтительной. В этом случае опрос проводится в несколько туров (как правило — четыре), на каждом из которых экспертов информируют о результатах предыдущего и просят обосновать свое мнение, что дает возможность уменьшить разброс индивидуальных оценок. Но это не значит, что эксперт должен соглашаться с чьим-то мнением, он может остаться и при своем.
С другой стороны, в результате такой процедуры эксперт может и изменить свою оценку без огласки, не «теряя лица», так как опрос анонимный. В каждом туре опроса эксперт дает свою количественную оценку параметрам сравниваемых альтернатив (например, срок реализации или уровень риска) по заранее разработанной шкале. Получают числовой ряд, который обрабатывают следующим образом. Допустим, в результате получено 17 оценок: n1, n2, …, n17. Все эти оценки располагают в порядке убывания. Средний член такого ряда — n9 — называется медианой. Медиана делит ряд таким образом, что количество оценок с большим и меньшим значениями признака одинаково. Затем ряд делят на четыре равные части — квартили. В средних квартилях, соседних с медианой, собраны наиболее предпочтительные альтернативы, которые и принимаются в расчет. Таким образом, медиана служит характеристикой группового ответа, а диапазон квартилей — показателем разброса индивидуальных оценок.
Метод сценариев. Суть этого метода — написание экспертами сценариев развития анализируемой ситуации с целью определить тенденции возможного развития и сформировать картину состояний, к которым она может прийти под влиянием тех или иных факторов, в том числе под воздействием определенных управленческих решений или при их отсутствии. Государственный деятель, принимающий ответственное политическое решение, и бизнесмен, выбирающий стратегию развития фирмы, военачальник, анализирующий ход военной операции, и конструктор, закладывающий основы принципиально нового объекта, при разработке принципиально важных решений, как правило, пытаются предугадать возможный сценарий развития событий, чтобы принять решение, приводящее к успеху. Поэтому данный метод широко используется для разработки стратегических решений в различных сферах деятельности: политике, военном деле, экономике и реализуется в двух основных модификациях: