Изучению особенностей и возможностей применения экспер тных оценок посвящено много работ. В них рассматриваются: • проблемы формирования экспертных групп, включая тре бования к экспертам, размеры группы, вопросы тренировки экс пертов, оценки их компетентности; • формы экспертного опроса (разного рода анкетирование, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, де ловые игры и т.п.); • подходы к оцениванию (ранжирование, нормирование, раз личные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.); • методы обработки экспертных оценок; • способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции Кен- далла, Спирмена, коэффициента конкордации и т.п.), методы повышения согласованности оценок путем соответствующих спо собов обработки результатов экспертного опроса. При использовании экспертных оценок обычно предполага ется, что мнение группы экспертов надежнее, чем мнение отдель ного эксперта. В некоторых теоретических исследованиях отме чается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относятся следую щие: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинако выми подгруппами, выбранными случайным образом, должны быть близки. При получении и обработке экспертных оценок применяют различные методы. С обзором форм и методов получения и об работки экспертных оценок можно познакомиться, например, в [4,8,9, 10 и др.]. В частности, Б.Г. Литвак [4] на основе обобщения и исследова ния видов шкал измерений и отношений рассматривает особенно сти мер близости разного рода (на неметризованных и векторных отношениях, структурные, евклидовы); характеризует принципы и методы, основанные на выборе различных способов упорядоче- 799 ния и отношений предпочтения (в том числе методы ранжирова ния и гиперупорядочения, методы парных сравнений Черчмена- Акоффа, Терстоуна, метод «смешанной альтернативы» Неймана- Моргенштерна, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кемени, метризованные ранжиро вания, алгоритмы выбора по принципу Парето, методы определе ния предпочтений на множествах многомерных альтернатив и т.п.). К наиболее употребительным процедурам экспертных изме рений относятся: • ранжирование; • парное сравнивание; • множественные сравнения; • непосредственная оценка; • последовательное сравнение; • метод Терстоуна; • метод Неймана-Моргенштерна. Целесообразность применения того или иного метода опре деляется характером анализируемой информации [5, 6]. Если оп равданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирова ния, парного и множественного сравнения. Если характер анализируемой информации таков, что целе сообразно получить численные оценки объектов, то можно ис пользовать тот или иной метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и Неймана-Моргенштерна. При описании каждого из перечисленных методов будет пред полагаться, что имеется конечное число измеряемых или оцени ваемых альтернатив (объектов) А = {а^, ..., а J и сформулирова ны один или несколько признаков сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, методы измерения будут различаться лишь процедурой сравне ния объектов. Она включает построение отношений между объек тами эмпирической системы, выбор преобразования ф и опреде ление типа шкал измерений. Рассмотрим указанные вопросы для каждого метода измерения. Ранжирование. Метод представляет собой процедуру упоря дочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, ру ководствуясь одним или несколькими выбранными показателя- 800 ми сравнения. В зависимости от вида отношений между объекта ми возможны различные варианты упорядочения объектов. Рассмотрим эти варианты. Пусть среди объектов нет одина ковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только от ношение строгого порядка. В результате сравнения всех объек тов по отношению строгого порядка составляется упорядочен ная последовательность а^ > а2 > ... > а^, где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов, и т.д. Полученная система объектов с отношением строгого поряд ка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказа но существование числовой системы, элементами которой явля ются действительные числа, связанные между собой отношением неравенства «>». Это означает, что упорядочению объектов со ответствует упорядочение чисел х^> ... > х^, где х.- ф {а.). Воз можна и обратная последовательность Xj < ... < лгд^, в которой наиболее предпочтительному объекту приписывается наимень шее число, и по мере убывания предпочтения объектам приписы ваются большие числа. Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотон ность преобразования. Следовательно, допустимое преобразова ние при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэто му ранжирование объектов есть измерение в порядковой шкале. В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел: X, = ф («,) = 1, Х2 = ф («2) = 2, ... , Хдг = ф (Лдг) = N , т.е. используется числовая последовательность. Числа х,, Х2,.--, л'дг в этом случае называются рангами и обычно обозначаются буквами ГрГ2,...,^ Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить 801 порядок между объектами. Поэтому наряду с ними используют ся отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного поряд ка, например, полезности), отношения типа «более предпочти тельно» (х), «менее предпочтительно» (-<), «равноценно» («) или «безразлично» (--). Упорядочение объектов при этом может иметь следующий вид: щ^^ а2^ аз^ а4^ as^ (26^ ••• ^ ctn-\ ~ cin- Данное упорядочение образует нестрогий линейный порядок. Для такого отношения доказано существование числовой систе мы с отношениями неравенства и равенства между числами, опи сывающими свойства объектов. Любые две числовые системы для рассматриваемого порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале. В практике ранжирования объектов, между которыми допус каются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наи более предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно, имея в виду техноло гии последующей обработки экспертных оценок, назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги на зывают связанными рангами. Для приведенного примера упорядочения на основе нестро гого линейного порядка при N = 10 ранги объектов а^ а^, а^ бу дут равными: ^з ~ ''4 ~ ^5 ~ (3+4+5) /3 = 4. В этом же примере ранги объектов а^, а^^ также одинаковы и равны среднему арифметическому г^ = г^^ = (9+10) /2 = 9,5. Связанные ранги могут оказаться дробными числами. Удоб ство использования связанных рангов заключается в том, что сум ма рангов N объектов равна сумме натуральных чисел от едини цы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упро щает обработку результатов ранжирования при групповой экс пертной оценке. 802 При групповом ранжировании каждый ^-й эксперт присваи вает каждому /-му объекту ранг г.^. В результате проведения экс пертизы получается матрица рангов || г.^Ц размерности Nxk, где А^ - число объектов; к - число экспертов; S =1, ...,/:;/ =1, ..., Л^. Результаты группового экспертного ранжирования удобно пред ставить в виде табл. 1. Т а б л и ц а 1 Объект «1 "г а. 5, /•м ''21 '•«1 ^2 >'п ''22 '•«2 3, '-\к Ги ''пк 1 Аналогичный вид имеет таблица, если осуществляется ран жирование объектов одним экспертом по нескольким показате лям сравнения. При этом в таблице вместо экспертов в соответ ствующих графах указываются показатели. Поскольку ранги объектов определяют только порядок рас положения объектов по показателям сравнения, они как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим. Если, например, ранг объекта равен 3, то отсюда не следует делать вы вод о том, что этот объект в три раза более предпочтителен, чем объект, имеющий ранг, равный 1. Достоинство ранжирования как метода экспертного измере ния - простота осуществления процедур, не требующая трудоем кого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов больше 10- 15 эксперты затрудняются в построении ранжировки. Объясне ния в том, что в процессе ранжирования эксперт должен устано вить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов число свя зей между ними растет пропорционально квадрату числа объек тов. Сохранение в памяти и анализ большой совокупности взаи мосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оператив ная память человека позволяет оперировать в среднем не более 803 чем с 7 ± 2 объектами одновременно. Поэтому при ранжирова нии большего числа объектов эксперты могут допускать суще ственные ошибки. Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возмож ных пар. В отличие от ранжирования, в котором упорядочивают все объекты, парное их сравнение - задача более простая. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение, так же как и ранжирование, есть измерение в порядковой шкале. В результате сравнения пары объектов а., а.эксперт упорядо чивает ее, высказывая либо а. у а., либо а. > л., либо а.~ а.. Вы бор числового представления ф(а.) можно провести так: если а. у а., то ф(г/.) > ф(а); если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. ф(л.) < ф(а). Нако нец, если объекты эквивалентны, то естественно считать, что ф(а.) = ф(л^.). В практике парного сравнения используются следующие чис ловые представления: 1, если ^; >- а; или а .--а :, О, если ai < а j , i, j = l,N, ^// = I, если ai =(7;, (2) 10, если Qj >- a J, /, j = l,N Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, есть пять объектов л,, ^2, ciy а^, а^ и проведено парное сравнение этих объектов по предпочти тельности. Результаты сравнения представлены в виде c/j>^c/2, а^ У ciy а, у а^, а^ ^ а^, а^у ciy а^ у а^, а^ч ^'з' ^^з ~ ^U^ ^h ^ ^'з' ^^4^ ^^5- Используя числовое представление (1), составим матрицу из мерения результатов парных сравнений (табл. 2). В ней на диаго нали всегда будут расположены единицы, поскольку объект эк вивалентен себе. Представление (2) характерно для отображения результатов спортивных состязаний. За выигрыш (футбол, хоккей и т.п.) даются два очка, за ничью - одно и за проигрыш - нуль очков. Предпочтительность одного объекта перед другим 804 трактуется в данном случае как выигрыш одного участника тур нира у другого. Таблица результатов измерения при использова нии числового представления не отличается от таблиц результа тов спортивных турниров, за исключением диагональных элементов (обычно в турнирных таблицах диагональные элемен ты заштрихованы). В качестве примера в табл. 3 приведены ре зультаты измерения пяти объектов с использованием представ ления (2), соответствующие табл. 2. ^1 ^2 ^3 ^4 ^5 ^1 ^2 «3 а, Оь ^1 1 0 0 0 1 ^^ 1 0 0 0 2 «2 I I 0 0 I ^2 2 I 0 0 2 а, ^3 2 2 I 1 2 ^4 а, 2 2 1 1 2 Т а б л и ц а 2 ^ 5 1 0 1 0 0 0 1 Т а б л и ц а 3 ^5 0 1 0 1 0 1 0 1 1 1 Вместо представления (2) часто используют эквивалентное ему представление, которое получается из (2) заменой 2 на +1, 1 на О и О н а - 1 . ^/У +1,если а^ >- cij, О, если ai -aj, -1,если а^ >• a^J,]~l,N. (3) Если пары объектов сравнивают отдельно по различным по казателям или сравнение проводит группа экспертов, то по каж дому показателю или эксперту составляется своя таблица резуль татов парных сравнений. 805 Сравнение во всех возможных парах не дает полного упоря дочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения. Однако, как показывает опыт, эксперт далеко не всегда пос ледователен в своих предпочтениях. В результате использования метода парных сравнений он может указать, что объект а^ пред почтительнее объекта «2^ ^2 предпочтительнее объекта г/з и в то же время а^ предпочтительнее объекта c/j. В случае разбиения объекта на классы эксперт может к одному классу отнести пары а^ и (32, «2 и ciy но в то же время объекты а^ и а^ отнести к различ ным классам. Такая непоследовательность эксперта может объяс няться различными причинами: сложностью задачи, неочевидно стью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы не имеет смысла), неудовлетворительной компетентностью экс перта, недостаточно четкой постановкой задачи, многокритери- альностью рассматриваемых объектов и т.д. Непоследовательность эксперта приводит к тому, что в ре зультате парных сравнений при определении сравнительной пред почтительности объектов не удается получить ранжирование и даже отношения частичного порядка - не выполнено свойство транзитивности. Если целью экспертизы при определении сравнительной пред почтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная иден тификация. В этих случаях имеет смысл в качестве результирую щего отношения выбирать отношение заданного типа, ближай шее к полученному в эксперименте. Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а трой ки, четверки, ... , /7-ки {п < N) объектов. Эксперт их упорядочива ет по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточ ное положение между парными сравнениями и ранжированием. С одной стороны, в результате одновременного соотнесения объекта не с одним, а с большим числом объектов они позволя ют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения. С другой стороны, при ранжировании объектов их может оказаться слиш ком много, что затрудняет работу эксперта и негативно отража- 806 ется на качестве результатов экспертизы. В этом случае множе ственные сравнения позволяют уменьшить до разумных преде лов объем поступающей к эксперту информации. Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперт дол жен поставить в соответствие каждому объекту точку на опреде ленном отрезке числовой оси. При этом необходимо, чтобы эк вивалентным объектам приписывались одинаковые числа. На рисунке в качестве примера приведено такое представление для пяти объектов на отрезке числовой оси [0,1]. Поскольку за начало отсчета выбрана нулевая точка, в данном примере измерение проводится в шкале отношений. Эксперт со единяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов (см. рисунок): Оцениваемые объекты Шкала отношений ф(а,) = 0,28; ФС^З) = ф(б/5) = 0,75; ф(аз) = 0,2; i^{a^) = 0,5. Измерения в шкале интервалов могут быть достаточно точ ными при полной информированности экспертов о свойствах объектов. Такие условия на практике встречаются редко, поэто му для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, ко торым приписывают баллы. 807 Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяют ся 5-, 10- и 100-балльные шкалы. Последовательное сравнение (метод Черчмена-Акоффа). Этот метод относится к числу наиболее популярных при оценке аль тернатив. В нем предполагается последовательная корректиров ка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем: • каждой альтернативе «. (/ = 1, N) ставится в соответствие дей ствительное неотрицательное число ф(«^); • если альтернатива а. предпочтительнее альтернативы aj, то ф(а.) > ф(д•), если же альтернативы а. и а. равноценны, то ф (д.) = = Ф(«у); • если ф (д.) и ф (а.) - оценки альтернатив а. и а., то ф (л.) + + ф(й.) соответствует совместному осуществлению альтернатив д. и д.. Наиболее сильным является последнее предположение об ад дитивности оценок альтернатив. Согласно методу Черчмена - Акоффа альтернативы AJ, «2,... , Qj^ ранжируются по предпочтительности. Пусть для удобства изложения альтернатива Й, наиболее предпочтительна, за ней сле дует ^2 и т.д. Эксперт указывает предварительные численные оцен ки ф(а.) для каждой из альтернатив. Иногда наиболее предпочти тельной альтернативе приписывается оценка 1, остальные оценки располагаются между О и 1 в соответствии с их предпочтительно стями. Затем эксперт сравнивает альтернативу а^ и суммы аль тернатив «2,..., «дг. Если л J предпочтительнее, то эксперт коррек тирует оценки так, чтобы Ф ( « 1 ) > Е Ф ( « / ) - В противном случае должно выполняться неравенство Ф(А,)<ХФ(«/). /=2 Если альтернатива а. оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив «2» ^з' *•• ' ^N-\ ^ '^•Д- После того как альтер натива а у оказывается предпочтительней суммы альтернатив ^2 v ... , aj^{K>2), она исключается из рассмотрения, а вместо оценки 808 альтернативы а^ рассматривается и корректируется оценка аль тернативы t?2. Процесс продолжается до тех пор, пока не откор ректированы оценки всех альтернатив. При достаточно большом А^ применение метода Черчмена - Акоффа становится слишком трудоемким. В этом случае целесо образно разбить альтернативы на группы, а одну из альтерна тив, например максимальную, включить во все группы. Это по зволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы. Метод Черчмена - Акоффа является одним из самых эффек тивных. Его можно успешно использовать при измерениях в шка ле отношений. В этом случае определяется наиболее предпочти тельная альтернатива а.^. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем а.^. Для корректировки чис ленных оценок альтернатив можно использовать как стандарт ную процедуру метода Черчмена - Акоффа, так и парное сравне ние предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их пред почтительности, проводится корректировка.
Ви переглядаєте статтю (реферат): «ЭКСПЕРТНЫЕ ОЦЕНКИ» з дисципліни «Теорія систем і системний аналіз в управлінні організаціями»
