При попытке снизить неэквивалентность групп с помощью процедуры уравнива ния появляется особый вид угрозы внутренней валидности исследования. В толь ко что рассмотренном примере эта проблема не возникла, но в прикладных иссле дованиях она иногда появляется. Уравнивание описывалось в главе 6 как альтер натива случайному распределению, подходящая для создания эквивалентных групп в случае управляемой независимой переменной. При использовании урав нивания участников разделяют на пары в зависимости от значения переменной уравнивания, а затем случайным образом распределяют по группам (см. о проце-Квазиэкспериментальные планы 3 5 7 дуре уравнивания в главе 6). Однако, если при использовании плана с неэквива лентной контрольной группой две группы были набраны из популяций, имеющих значимые отличия друг от друга в отношении переменной уравнивания, уравни вание может вызвать проблемы. Использование процедуры уравнивания в этом случае может усилить эффект регрессии и даже привести к отказу от эффектив ной программы. Рассмотрим гипотетический пример. Предположим, вы разрабатываете программу развития навыков чтения у пло хо читающих детей. Вы объявляете о наборе добровольцев для участия в новой обучающей программе и отбираете тех, кто наиболее нуждается в помощи (т. е. детей с очень низкими средними результатами). Чтобы держать под контролем социоэкономпческий класс, вы набираете добровольцев, живущих в таких же рай онах, но в других городах, и создаете из них контрольную группу. Главная задача заключается в том, чтобы создать группы с одинаковыми начальными навыками чтения, поэтому вы решаете уравнять группы в отношении этой переменной. Вы проводите предварительный тест на навыки чтения у добровольцев из изучаемого района и у потенциальных членов контрольной группы, а затем по полученным результатам формируете две группы с одинаковыми средними оценками. Допус тим, что результаты теста варьируются от 0 до 50 баллов. Вы решаете для обеих групп отобрать детей со средней оценкой 25 баллов. Далее группа воздействия за нимается но разработанной программе, а контрольная группа не подвергается воз действию. Используется обычный план с неэквивалентной группой: Экспериментальная группа Контрольная группа Предварительное тестирование Предварительное тестирование Программа ио чтению — Заключительное тестирование Заключительное тестирование Вы уверены, что ваша программа совершенна и действительно способна помочь множеству детей, и с нетерпением ждете результатов исследования. Поэтому вы шокированы, когда получаете следующие данные: Экспериментальная группа Контрольная группа Предварительное тестирование = 25 Предварительное тестирование = 25 Программа по чтению - Заключительное тестирование - 25 Заключительное тестирование = 29 По-видимому, разработанная программа не просто не работает, но даже препят ствует развитию навыков чтения — у контрольной группы обнаружено заметное улучшение! Что же произошло? Очень вероятно, что эффект регрессии, вызванный процедурой уравнивания, перекрыл эффект экспериментального воздействия. Не забывайте, что экспери ментальная группа была сформирована из детей со слабыми навыками чтения как наиболее нуждающихся в этой программе. Если провести тестирование всех детей, попадающих в эту категорию (т. е. в эту популяцию), то средняя оценка может ока заться довольно низкой, скажем 17. Однако при использовании процедуры урав нивания вы были вынуждены отобрать детей с гораздо более высокими оценками, чем в среднем у детей из популяции «плохо читающих». Возможно, что некоторые 3 5 8 Глава 10. Квазиэкспериментальные планы и прикладные исследования дети из этой группы в ходе предварительного тестирования получили оценки выше, чем они должны были бы получить, ведь никакой тест не обладает абсолютной надежностью и могла возникнуть некоторая ошибка измерений. Поэтому при за ключительном тестировании многие из этих детей получили более низкие оценки вследствие регрессии к среднему. Предположим, что программа была действитель но эффективной и увеличивала оценку навыка чтения в среднем на 4 балла. Одна ко если эффект регрессии состоял в снижении оценки в среднем на 4 балла, то в результате будет обнаружено отсутствие изменений результатов от предваритель ного к заключительному тестированию: 25 + (+4) + (-4) = 25. С участниками контрольной группы могло произойти обратное. Возможно, сред няя оценка для их популяции была намного выше, чем 25 (например, 35) и они доволь но хорошо читали (т. е. образовывали популяцию, отличающуюся от эксперименталь ной группы). Отбор участников, чьи оценки гораздо ниже, чем в среднем у популяции, проведенный с той целью, чтобы результаты предварительного тестирования соответ ствовали оценкам экспериментальной группы, мог привести к тому, что из-за эффек та регрессии оценки заключительного тестирования оказались выше. На результаты этих детей, полученные при заключительном тестировании, повлиял такой же эффект регрессии, заключающийся в изменении оценок на 4 балла. Таким образом: 25 + 0 + (+4) = 29. На рис. 10.4 эта проблема представлена наглядно. Регрессия и вызванные програм мой улучшения взаимно исключили друг друга в экспериментальной группе, а на кон трольную группу повлияла только регрессия, сдвинувшая оценки в сторону увеличе ния. В целом, программа по чтению могла быть весьма хорошей, но процедура уравни вания вызвала эффект регрессии, сделавший незаметной ее эффективность 1 . Этот вид регрессии обнаружил свой эффект при первой крупномасштабной попыт ке оценить эффективность программы «Рывок» (60-х гг. XX в.) — одной из централь ных программ законодательной инициативы президента Линдона Джонсона «Ве ликое общество» (Campbell & Erlebacher, 1970). Программа была начата в 1965 г. и представляла собой масштабную попытку дать возможность дошкольникам из бедных семей сделать «рывок» к школе: развить у детей различные, связанные со школой на выки, а также привлечь к этому процессу их родителей. К 1990 г. около 11 млн детей участвовали в программе, и сегодня «Рывок» считается самой успешной социальной программой, проводимой правительством (Horn, 1990). В начале 70-х гг. ее критико вали за неспособность вызывать продолжительный эффект. Критики преимуществен но основывались на «Вестингхаузовском исследовании» (названном так, поскольку его позволил начать грант, выданный Вестингхаузовской корпорации обучения и Уни верситету штата Огайо), проведенном Виктором Цицирелли и его коллегами (Cicirelli, V.G., Cooper, W.H. & Granger, R.L., 1969). ' Хотя проведение прикладного исследования в нолевых условиях может предотвратить подобную проблему, лучше всего проверить навыки чтения у большой группы детей, уравнять их по результа там данного теста, а затем случайным образом распределить их на экспериментальную и конт рольную группы. К в а з и э к с п е р и м е н т а л ь н ы е планы 3 5 9 Р и с . 1 0 . 4 . Гипотетическое влияние эффекта регрессии при уравнивании неэквивалентных групп В ходе Вестпнгхаузовского исследования был обнаружен «эффект затухания» — раннее развитие способностей у детей, произошедшее под влиянием программы «Рывок», к третьему классу стиралось. Вывод, конечно, был сделан такой, что фе деральные доллары тратятся на неэффективную социальную программу. Именно на это в своем обращении к конгрессу указал президент Никсон, ссылаясь на вес- тингхаузовское исследование. Впоследствии в годы правления Никсона финанси рование «Рывка» неоднократно ставилось под сомнение. В то же самое время глав ный фундамент критики, вестннгхаузовское исследование, получил отрицатель ную оценку социологов. Из-за того, что программа «Рывок» уже давно действовала к моменту, когда стар товал вестингхаузовский проект по ее оценке, в ходе его было невозможно случай ным образом распределить детей на экспериментальную и контрольную группы. Вместо этого исследовательская группа набрала группу детей, участвующих в про грамме «Рывок», и уравняла их по когнитивным показателям с группой детей, не принимающих участия в этой программе. Но для того чтобы уравнять детей по когнитивным показателям, из участников программы «Рывок» были отобраны дети, чьи оценки заметно превышали среднее значение, и контрольные дети, чьи оценки были заметно ниже средних для их группы. А это в точности повторяет ситуацию, только что описанную в приведенном гипотетическом примере програм мы развития навыков чтения. Таким образом, отсутствие улучшений в третьем классе у группы из программы «Рывок» было, но крайней мере отчасти, связано с регрессией, вызванной процедурой уравнивания (Campbell & Erlebacher, 1970). В защиту вестингхаузовской исследовательской группы следует отметить, что они отчаянно возражали политикам, которые собирались закрыть программу. Ци- цирелли (Cicirelli V.G., 1984) настаивал на том, что исследование «не показало, что "Рывок" был неудачным» (р. 915; курсив автора), что необходимы дополнительные 3 6 0 Глава 10. Квазиэкспериментальные планы и прикладные исследования исследования, а также что должны быть предприняты «серьезные усилия по рас ширению и усовершенствованию этой программы» (р. 916). Не так давно (Cicirelli, V.G., 1993) Цицирелли отметил, что исходя из вестингхаузовского исследования можно порекомендовать «не останавливать программу "Рывок", а на основании от крытии, сделанных в ходе применения этой программы, постараться сделать ее более эффективной» (р. 32). Планы с неэквивалентной контрольной группой не всегда приводят к разногла сиям, подобным тем, которые возникли в ходе вестингхаузовского исследования. Нижеследующий пример демонстрирует попытку поднять самооценку бейсболи стов малой лиги с помощью особого курса занятий для тренеров.
Ви переглядаєте статтю (реферат): «Регрессия и уравнивание» з дисципліни «Дослідження в психології: методи і планування»
