Он имеет много вариантов, различающихся способами, при помощи кото рых из индивидуальных оценок получается обобщенная. При этом используются также различные методы согласования оценок: 1) простейшие, основанные на получении средней вероятности или средневзвешенного значения вероятности p^=iikiP)liY.k^ где к. - веса, приписываемые оценке каждого эксперта; 2) специальные методы оценки измерения и повышения коэф фициентов согласованности (или коэффициентов непротиворе чивости) мнений экспертов; 3) методы, основанные на отборе экспертной группы с высо ким коэффициентом согласованности мнений (например, пред ложенный В.В. Черняевым в [7] метод, основанный на преобра зовании первых трех рангов дискретной шкалы в непрерывную и нормировании этой новой шкалы, отражающей мнения отобран ных экспертов). Наиболее часто при обработке материалов коллективной эк спертной оценки используются методы теории ранговой корре ляции. Для количественной оценки степени согласованности мне ний экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между со бой ряды предпочтительности, построенные каждым экспертом. Значение коэффициента находится в пределах О < W^ < 1, РК = О, это означает полную противоположность, з, W = I - полное со впадение ранжировок. Практически достоверность считается хо рошей, если W= 0,7...0,8. Небольшое значение коэффициента конкордации, свидетель ствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупнос ти экспертов действительно отсутствует общность мнений; внут ри рассматриваемой совокупности экспертов существуют груп пы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны. Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент пар ной ранговой корреляции р, он принимает значения -1< р < +1. Значение р = +1 соответствует полному совпадению оценок в ран гах двух экспертов (полная согласованность мнений двух экспер тов), а р = (-1) - двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мне нию другого). 811 в качестве одного из методов повышения согласованности экспертных оценок применяют л/втоб) «дельфийского оракула», или «Дельфи»-метод (см.). Тип используемых процедур экспертизы зависит от задачи оценивания. При проведении социологических измерений [8, 9], которые можно рассматривать как разновидность экспертных оценок (осо бенно в случае организации выборочного социологического ис следования), используют обычно качественные шкалы разного рода, которым ставятся в соответствие количественные оценки степени значимости. Например («очень важно», «важно», «скорее важно, чем нет» и т.д.), оценивается введенный в вопросе качественный признак (в форме «пол ностью согласен», «согласен», «не согласен», «категорически не согласен», или «да», «скорее да, чем нет», «скорее нет, чем да», «нет» и т.д.). При этом могут применяться соответствующие методы обработки результатов. Например, при использовании шкалы Лайкерта [И], в которой за даваемые группе лиц вопросы должны оцениваться по пятибалльной шкале (5 - «полностью согласен», 4 - «согласен», 3 - «нейтрален», 2 - «не согласен», 1 - «полностью не согласен»), при их обработке рекомен дуется применять метод суммарных оценок. Шкалограммный анализ Гуттмана сводится к построению шкал порядкового уровня измерения, представляющих собой одноместные шкалы, формируемые на основе первоначально используемой иерархизированной шкалы путем исклю чения вопросов или факторов, посторонних по отношению к измеряе мой характеристике. В случае использования метода «семантического» дифференциала, разработанного Ч. Осгудом [12] для измерения смысла понятий и слов и дифференциации эмоциональной стороны значения оцениваемого понятия, в качестве промежуточных методов обработки применяются графические, помогающие определить профиль распреде ления установок. Выбор подходов и методов зависит от конкретных задач и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые необходимо понимать при проведе нии любых экспертных опросов. Кратко охарактеризуем их. Возможность использования экспертных оценок, обоснова ние их объективности обычно базируются на том, что неизвест ная характеристика исследуемого явления трактуется как случай ная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о досто верности и значимости того или иного события. При этом пред- 812 полагается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок р. G Р (где Р = = </'р/>2' • • 'Pi' •• '^i"^ ^^^^ репрезентативная выборка), получа емых от группы экспертов, и что обобщенное коллективное мне ние является достоверным. Однако в некоторых теоретических исследованиях это пред положение подвергается сомнению. Например, в [2] предлагает ся разделить проблемы, для решения которых применяются экс пертные оценки, на два класса. К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно исполь зовать принцип «хорошего измерителя», считая эксперта храни телем большого объема информации, а групповое мнение экс пертов - близким к истинному. Ко второму классу относятся проблемы, в отношении кото рых знания для уверенности в справедливости названных пред положений недостаточны. Экспертов нельзя рассматривать как «хороших измерителей», и необходимо осторожно подходить к обработке результатов экспертного опроса, поскольку в этом случае мнение одного (единичного) эксперта, уделяющего боль ше внимания, чем другие, исследованию малоизученной пробле мы, может оказаться наиболее значимым, а при формальной об работке оно будет утрачено. В связи с этим к задачам второго класса в основном следует применять качественную обработку результатов. Использование методов усреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам. Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. При этом для повышения объек тивности результатов целесообразно при обработке оценок вы являть противоречивые и «редкие» мнения и подвергать их более тщательному анализу. Другая особенность, которую нужно иметь в виду при исполь зовании экспертных оценок, заключается в следующем. Экспертные оценки несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно субъективные, присущие коллегии экспертов. И если первые устраняются в про цессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки ни применялись, а при 813 использовании «Дельфи»-процедуры и методов повышения со гласованности мнений экспертов даже могут усиливаться. Один из способов устранения недостатков, связанных с рас сматриваемой особенностью, - при проведении экспертных оп росов для принятия решений в организационных системах обра щать особое внимание на формирование экспертной группы и на методы обработки результатов опроса, особо выделяя и учиты вая редкие и противоречивые мнения. При этом на получаемые усредненные оценки следует смот реть, как на некоторую «общественную точку зрения», завися щую от уровня научно-технических знаний общества относитель но предмета исследования или принятия решения, которая может меняться по мере развития системы и наших представлений о ней. Такой способ получения информации о сложной проблеме, ха рактеризующейся большой степенью неопределенности, должен стать своего рода «механизмом» в сложной системе, т.е. необхо димо создавать регулярную систему работы с экспертами. Еще одна особенность заключается в том, что эксперт-лидер при организации экспертного опроса в форме «Дельфи»-проце- дуры с устным обсуждением результатов оценки между турами опроса может постепенно «увести» группу экспертов в желаемом направлении. На эту особенность обратил внимание A.M. Гендин, назвав ее «эффектом Эдипа». Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при про ведении экспертных опросов бывает затруднено, а иногда и не возможно (из-за невозможности доказать представительность выборки). Поэтому в настоящее время ведутся исследования ха рактера вероятности экспертной оценки, базирующиеся на тео рии размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятнос ти достижения цели [3]. Последнее направление развивается на основе информационного подхода к анализу систем (см.). Рассмотренные особенности экспертных оценок приводят к необходимости разработки методов организации слоэ1сных экспер тиз (см.), которые помогают получать более объективные и дос товерные оценки, расчленяя большую неопределенность на час ти, вводя критерии оценки и применяя различные формы опроса.
Ви переглядаєте статтю (реферат): «Метод согласования оценок» з дисципліни «Теорія систем і системний аналіз в управлінні організаціями»
