4. Требование фактологичности отражает необходимость того, чтобы каждый показатель имел фактологическую основу, опирался на факты и возможность их использования при конструировании или расчете показателя. Известно, что не всегда и не всякая информация отражает реальные факты действительности. Очень часто она несет в себе элемент субъективности, идеализации, желание видеть только то, что хотелось бы видеть. Это положение может фиксироваться и в показателях.
5. Требование допустимой простоты. Показателем тем эффективней оперировать, чем проще он по конструкции, расчетам, условиям использования, структуре информации. Но существуют пределы упрощения, за которыми теряется назначение и валидность показателя.
6. Требование функциональной определенности, заключается не только в ясной принадлежности показателя к функции управления, но и в определенности роли показателя в процессе управления, его собственной функции — агрегация информации, средство анализа, рычаг воздействия при мотивировании, контроле, регулировании и т.д.
7. В исследовании управлении используется множество различных показателей. Они должны быть увязаны друг с другом, представлять собой целостность по критериям объекта управления и цели его функционирования. Следовательно, должно действовать и требование системности. Это важное требование "увязки" показателей, обеспечения их совместимости, соответствие интегрирующему назначению цели. Это исключение дублирования и неоправданного пересечения показателей, которые, как правило, запутывают понимание ситуации и проблемы.
8. Показатель должен отражать реальные потребности исследования управления, быть ориентирован на практическое использование. Это также очень важное требование. Уже система показателей, на которых строится исследование, может показать его характер, предполагаемую эффективность и практическую значимость.
Данные требования касаются многих сторон работы с показателями: конструирование показателей, их отбор и определение состава, методические приемы использования.
3. ПРИНЦИПЫ ОЦЕНИВАНИЯ
Оценки разделяются на коллективные и индивидуальные. В практике исследований используются как точные, так и приблизительные оценки. По процессным признакам существуют оценки эпизодические и периодические; по масштабам оцениваемых явлений выделяются оценки общие и локальные; по организации и методикам проведения существуют простые и сложные оценки. Последние всегда построены на специальных расчетах, агрегировании информации, построении синтетических показателей.
Выбор вида оценки имеет большое значение в достижении успеха исследования.
Для оценки необходимо:
• выделение объекта и предмета оценки;
• установление критериев оценки и шкалы измерения;
• построение процедуры и системы оценки;
• выбор средств и методов оценки;
• использование результатов оценки.
Существуют определенные принципы оценивания, благодаря которым возможны адекватная оценка реальной действительности, глубокое понимание ситуаций, проблем, результатов или тенденций.
1. Принцип научности. В основе оценки всегда находятся методики ее проведения или осуществления. А они могут быть разными: можно оценивать на основе здравого смысла, богатого опыта, но можно строить оценку и на использования научных методов, математического моделирования, там, где это возможно. В этом случае и оценивать должен тот, кто знает предмет оценки, владеет ее методикой, способен подойти к ней с объективных позиций.
2. Важным дополнением этого принципа является такжепринцип целевого назначения. Оценка может проводиться вообще или быть ориентирована на некоторые предположительные результаты, но может иметь и ясную, конкретную цель. Можно оценивать, скажем, в целях стимулирования деятельности, группирования работников, нормирования работы, распределения финансовых средств и т. д. Целью оценки может быть и поиск путей развития, установление закономерностей, контроль тенденций.
3. Принцип разнообразия, полноты и системности. Очень часто подлежат оценке только те характеристики, которые известны, доступны, понятны, измеряемы. В результате такого подхода получается деформированная оценка, которая не дает полной картины события или ситуации, явления или проблемы. При проведении оценки очень важно учитывать связь характеристик, стремиться к их полноте, видеть разнообразие и достаточность.
4. Принцип критериальной определенности. Можно оценивать грубо, приблизительно, предварительно, но не бывает оценки без критерия. Критерий оценки — это точка отсчета, шкала измерений, это констатация специфики характеристики, подлежащей оцениванию. Чем точнее установлен критерий, тем объективнее и значительнее оценка. При проведении оценки недопустимо произвольное изменение критерия.
5. Принцип количественной определенности оценки. Оценивать можно в параметрах констатации качества, описания особенностей, но оценка может проводиться в количественных показателях, которые дают точную информацию и позволяют эффективнее оперировать оценками: сравнивать, синтезировать, улавливать изменения. В исследованиях систем управления необходимо, по возможности, стремиться к количественным оценкам. Но при этом нельзя отрицать, что в определенных обстоятельствах эвристические оценки могут быть богаче и полезнее. Количественные измерения нередко обедняют ситуацию.
6. Принцип сочетания оценки состояния и изменений. Чаще всего оценка является фиксацией состояния той или иной характеристики, фотографией остановившегося мгновения, констатацией степени проявления характеристики. Но в исследовании наиболее богатой информацией обладают оценки динамики, способные показать тенденции изменений, позволяющие предвидеть последствия. В конечном итоге необходимо сочетание того и другого.
7. Но оценка — это не просто установление и измерение тех или иных характеристик, это, помимо прочего, и деятельность исследователя или группы исследователей, работа экспертов, математиков, программистов. И это обстоятельство не может не быть отражено впринципах оценки.
Принцип независимости заключается в том, что оценка должна быть отделена, насколько это возможно, от личностных отношений, служебной зависимости, амбиций и самолюбия. Она должна быть защищена от влияния заинтересованных лиц, доброжелателей или недоброжелателей.
Это достигается как посредством методики оценки, так и соответствующей организацией ее проведения.
4. СИСТЕМА ПОКАЗАТЕЛЕЙ
Оценки могут быть различными. В каждом конкретном случае исследователю приходится выбирать тот вид, который может быть наиболее приемлемым и эффективном. Этот выбор определяется как характером исследуемых проблем, так и возможностями оценивания. Специфика оценивания проблем управления заключается в том, что все они в конечном итоге связаны с деятельностью человека и его человеческими качествами. Многие параметры управления невозможно измерить достаточно точно, а некоторые даже вообще выделить и каким-либо образом отграничить. Поэтому многие оценки необходимо строить на статистическом анализе, либо использовать социометрические методы тесты и экспертные оценки.
1. По области и масштабам оценивания тех или иных ситуаций можно выделить оценки общие и локальные. Так проявляются и проблемы управления. Одни из них имеют общий характер, другие — ограничены какой-либо областью деятельности. Методология исследования должна предусматривать различие этих видов.
2. Оценки могут быть простыми и сложными, в зависимости от того, предполагают ли они множество расчетов или построены на измерении первичной информации. В сложных оценках нередко случается нарушение валидности показателей, смещение акцентов актуальности и важности, потеря информации. Необходимо избегать таких случаев при конструировании показателей.
3. В оценках большую роль играет момент и продолжительность их проведения. По этому критерию можно выделить оценки эпизодические и периодические. Первые вызываются необходимостью конкретной ситуации, возникновением и обострением новых проблем, вторые — систематическим исследованием управления, мониторингом качества.
4. Всякая оценка отражает потребность поиска и решения проблем и требует затрат определенных ресурсов. Поэтому можно дифференцировать оценки по критерию точности измерения параметров. Существуют оценки точные и приблизительные (грубые, предварительные, ориентировочные, порядковые). Вторая группа способствует экономии ресурсов при поиске ведущих проблем. Но глубокий анализ и ответственные исследования необходимо строить на предельно строгих и точных оценках.
5. По организации оценивания можно выделить оценки коллективные и индивидуальные. Часто используется их сравнительный анализ. При этом необходимо учитывать параметры и коллектива, и личности — опыт, образование, квалификация, мотивы, социальность и пр.
6. Методика проведения оценки имеет ключевое значение в ее корректности. В исследовании управления часто используются два вида оценки — тестовая и экспертная. Не исключаются и их различные комбинации.
Тестовая оценка может быть очень эффективной, но зависит от качества тестов, а успех экспертной оценки в значительной мере определяется принципами формирования экспертных групп и организации их работы.
7. По получению информации и методике ее обработки можно выделить также статистическую и нестатистическую оценку. Искусство исследования, помимо всего прочего проявляется и в выборе вида оценок в конкретных обстоятельствах.