В то же время экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой — имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение. Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется. Это на самом деле не всегда верно, и можно привести случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.
Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, например связанных с прогнозированием рыночной ситуации в нестабильных политико-экономических условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, будут основаны в лучшем случае на традиционных, привычных оценках, тогда как высококвалифицированные специалисты обнаружат и оценят скрытые факторы.
Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.
Зачастую оценки экспертов не обладают достаточной устойчивостью, т.е. эксперт может одни и те же события при нескольких повторных экспертизах оценить по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза вследствие организационных и финансовых трудностей применяется крайне редко.
Достоверность оценок можно повысить следующим образом. Нужно проанализировать данные о расхождениях экспертных оценок и их действительных значений, найденных в процессе реализации событий, и сделать соответствующие переоценки компетентности экспертов. В частности, поставив оплату труда экспертов в прямую зависимость от уровня их компетентности. Экспертов, обладающих низкой компетентностью, в дальнейшем не привлекать к проводимым экспертизам.
Наличие способа точного определения достоверности априорных оценок по существу предполагает знание истинных оценок, что одновременно исключает необходимость их определения.
При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность совсем иного рода, обусловленная заинтересованностью экспертов в результатах оценки, что обязательно скажется на их достоверности. Наличие такого рода погрешности может значительно искажать оценки, вследствие чего необходимо предусмотреть соответствующие меры для устранения погрешности.
Например, всегда существует опасность систематического занижения оценок, потенциального спроса со стороны сбытовиков, которые заинтересованы иметь легко выполнимый план по продажам, а в конце планового периода добиться значительного превышения плановых показателей. Отметим следующие варианты коррекции таких оценок, снижающие риск систематической погрешности:
— попросить торговых работников самостоятельно определить степень погрешности их оценок. Эти данные можно затем использовать для уточнения прогноза;
— далее возможно скорректировать оценки торговых работников с помощью регионального менеджера по продажам, который может иметь более широкий взгляд;
— возможно ввести корректирующий коэффициент, основанный на учете погрешностей в прошлых прогнозах каждого торгового работника.
Одним из показателей, характеризующих пригодность эксперта, является степень его надежности. Под степенью надежности понимается относительная частота случаев, когда он приписывал более высокую вероятность тем событиям, которые впоследствии реализовывались. На этом основании считается, что чем чаще эксперт оказывался прав, тем выше его авторитет. Однако необходимо иметь в виду, что могут существовать обстоятельства, когда эксперт, несведущий в данном вопросе, дает правильный ответ с высокой степенью вероятности. Например, на стабильных рынках можно успешно прогнозировать ситуацию на ближайшее будущее, принимая ее такой же, как и сегодня.
Применяются как индивидуальные, так и групповые (коллективные) экспертные опросы.
Основными целями использования индивидуальных экспертных оценок являются:
— прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем (количественная и качественная оценка вероятности реализации определенного события в будущем, прогнозирование характеристик рынка и направлений их развития, определение целей и стратегий маркетинговой деятельности, ранжирование различных объектов и т.д.);
— анализ и обобщение результатов, представленных другими экспертами;
— составление сценариев;
— выдача заключений на работу других специалистов или организаций (рецензии, отзывы, экспертизы и т.д.).
Отдельный эксперт в раде случаев может быть очень полезен как источник информации и как советник для руководителей, принимающих решения.
Даже в том случае, если работа выполнена одним экспертом, она может по существу обобщить мнения многих людей и дать крайне полезные исходные данные для анализа.
К числу групповых экспертных опросов относятся:
— открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;
— закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;
— свободные высказывания без обсуждения и голосования. Групповые экспертные оценки могут быть получены при опросе экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры.
Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение второй и третий типы групповых экспертных оценок.
Второй тип групповых экспертных оценок можно подразделить на две категории: экспертный опрос, проводимый в один тур путем одноразового заполнения анкет, и проводимый в несколько туров путем многократного заполнения анкет экспертами с целью последовательного уточнения оценок.
Методы экспертных оценок нашли широкое применение в прогнозировании и перспективном планировании, там, где отсутствуют достаточно достоверные статистические данные об изучаемом вопросе, где имеется несколько вариантов решений и необходим выбор наиболее предпочтительного из них. Также эти методы применяются при разработке новых программ в отраслях промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках.
При анализе и прогнозировании экономической ситуации возникает ряд трудностей:
-невозможность точного предсказания последствий принимаемых решений;
-неповторяемость и невозможность экспериментальной проверки предполагаемого хода и результатов решения;
-наличие факторов, которые не поддаются контролю со стороны принимающего решения;
-наличие нескольких возможных путей решения и необходимость выбора одного из них;
-неполнота исходной информации, на основе которой приходится формировать проблему и принимать решение (часто исходная информация имеет качественный характер и не поддается количественному измерению).
Предпосылками использования экспертизы являются:
-недостаточность и недостоверность информации о состоянии тех или иных условий, в которых осуществляется создание и развитие продукции;
-стохастический (вероятностный) характер объекта информации;
-сложность и новизна проблем.
Организация экспертизы проводится в несколько этапов:
1.Определение целей и задач экспертизы.
2.Выбор процедуры проведения экспертизы.
3.Отбор и формирование группы экспертов.
4.Организация самой процедуры экспертизы;
5.Обработка информации.
6.Принятие решения по результатам экспертизы.
Определение целей и задач экспертизы
Сначала ставится проблема – определяется предыстория, рассматриваются доводы в пользу ее решения, происходит обсуждение со всеми заинтересованными лицами. Главное здесь – распознать мнимые проблемы. Поэтому при постановке проблемы необходима гласность и обсуждение.
После того как проблема обоснована, определяются границы ее существования, совокупность внутренних и внешних факторов, влияющих на проблему. Для этого выделяется центральный вопрос и расщепляется на подвопросы. При этом пытаются ограничить поле только теми вопросами, без которых нельзя получить ответ на центральный вопрос. Далее формулируются цели и задачи реализации выбранной проблемы. Таким образом, выбираются главные события, факторы, центральные и второстепенные вопросы.
Необходимо иметь в виду – с увеличением детализации – увеличивается точность экспертизы, НО снижается согласованность мнений экспертов.