Успехи математики, физики, философии и других наук, повышение практических потребностей в статистической обработке анализе данных, стремительный прогресс вычислительной техники способствовали развитию статистического метода. Повысился теоретический уровень методов, возникших в XIX п., появилось множество новых методов. Четко обозначились главные направлении применения статистического метода: и пространстве (статические исследования) и во времени (динамические исследования). Статистическое наблюдение. Выборочный метод Выборочные наблюдения, включая опросы населения, — основной метод сбора данных за рубежом. Поэтому служба сбор данных там весьма развита: разработаны теория организации обследований (в том числе панельных), методы интервьюирования. Особое значение для практики имеет развитие теории выборочного метода и ее применения. Сама идея выборки как основы для принятия решения существует с давних времен. Так, покупая партию пшеницы, купец ограничивался несколькими пробами, не просматривая весь товар, следовательно, он исходил из возможности по этим пробам судить о всей партии. Многие косвенные расчеты политических арифметиков были основаны на несплошных данных. Как отмечалось в гл. 1, в 1802 г. под руководством Лапласа выборочным методом была определена численность населения Франции. Примечательно, что Лаплас мотивировал применение выборки не только тем, что сплошная перепись — операция несравненно1бо-пее дорогая, но и тем, что ее трудно выполнить точно. Известны и ДРУГИС примеры практики выборочного наблюдения до того, как было' дано его полное теоретическое обоснование. В XIX в. в США стали широко применять несплошные анкетные наблюдения (например, для изучения условий жизни), в которых неполнота возникала как неизбежное зло — в результате несовершенных приемов наблюдения (из-за частичного возврата заполненных анкет при почтовом опросе и т. д.). Это были примеры неорганизованного (заранее неспланированного) несплошного наблюдения. Проводились несплошные опросы населения Франция, Германии, Бельгии, состоялось несколько крупных опросов в Англии. В 1895 г. директор Норвежского статистического бюро Андерс Николфи Клэр (1838--1919) на заседании Международного статистического института поставил вопрос о необходимости внедрении выборочных обследований ъ статистическую практику. Он определял выборочное наблюдение как «частичное», поскольку считал выборку частицей всей совокупности, в миниатюре отражающей все ее свойства. Клэр подчеркивал, что выборочное наблюдение должно быть достаточно массовым, а его объем должен быть определен заранее. Клэр широко практиковал несплошные обследования в Норвегии: в 1895 г. с целью обследования условий труда были опрошены 120 тыс. работающих (причем эта численность планировалась заранее); в 1900 г. было обследовано 5% общего числа сельских хозяйств и 10% частных заведений в городах; для изучения вопроса об инвалидности было проведено обследование Vi2 всех жителей Христиании (Осло) в возрасте старше 50 лет (причем при планировании выборки обращалось внимание на пропорциональность представительства разных районов города). После целого ряда докладов в 1903 г. на Берлинской сессии Международного статистического института была принята резолюция о том, что выборка может дать точные результаты, если соблюдаются условия отбора наблюдаемых единиц. Теоретические основы выборочного метода окончательно сформировались в трудах представителей петербургской математической школы —Чебышева, Ляпунова, Маркова (см. гл. 4). Но теория вероятностей медленно внедрялась как в естественные, так и в социально-экономические науки; к тому же недостаточно осознавалась связь выборочного метода с теорией вероятностей и законом больших чисел. В 1901 г. русский статистик Борткевич Указал, что теоретической основой выборочного метода должно служить исчисление вероятностей. Решение задачи в 1906 г. дал английский статистик Артур Боули (1869—1957) на основе работ К- Пирсона и Фрэнсиса Из ид р о Эджворта (1845— 1926). Он показал, как могут определяться случайные ошибки выборочного наблюдения. С этого времени началось широкое использование выборочного метод в конкретных исследованиях и дальнейшая детализация его теории. Боули также при- . надлежит идея стратифицированной (районированной) выборки. Он показал, что если известны точные веса страт (районов) в генеральной совокупности, то для получения наиболее точной средней следует общий объем выборки распределить пропорционально этим весам: ni=n*(Ni/N), где n1 —объем выборки для i-той страты; n — общий объем выборки; -— объем i-той страты в гене реальной совокупности; N —общий объем генеральной совокупности, Кроме того, Боули выдвинул идею планомерно-организованного отбора (целевого отбора) и вывел формулу ошибки выборки при этом отборе. Однако он не сумел до конца понять преимуществ стратификации, так как использовал случайные основания для выделения страт, что давало незначительное уменьшение дисперсии внутри них по сравнению с общей дисперсией. В 1934 г. Е. Нейман ввел в теорию выборочного метода идею оптимальной выборки — размещение общей численности выборки но стратам (районам) пропорционально не только численности единиц, но и вариации в стратах. Это позволило обеспечить минимизацию дисперсия выборочной средней. В дальнейшем индиец Т. Далениус заметил, что очень важно учитывать зависимость тою, что изучается, от того, по каким основаниям проводится стратификация объекта. При наличии тесной связи между признаками можно значительно снизить ошибку выборки за счет уменьшения дисперсии внутри страт (внутрирайонной дисперсии). Все особенности современной практики статистического метода— повышение точности наблюдения путем ограничения «игры случая» (метод отношения средних, метод регрессии и систематический (механический отбор)) подробно разработаны У. Кокре-ном н Ф. Йейтсом. Кокрен ввел в формулы ошибки выборки учет конечности объема генеральной совокупности. Для экономии объема выборки при получении выводов с заданной вероятностью был разработан . и подробно исследован Д. Вальдом (США) метод последовательного отбора. Его развитием явился способ «взаимопроникающей» выборки, предложенный индийским математиком профессором Прасанта Чандра М а х а л а лоноб и со м (1893—1972). Все эти методы предполагают разделение выборки на подгруппы с целью повышения ее устойчивости и репрезентативности и исходят из того, что достоверность индуктивного вывода повышается с ростом однородности данных. Применением выборочного метода в динамических исследованиях занимался Оскар Николаевич Андерсон {1887— 1960), норвежский ученый, родившийся и получивший образование в России, ученик А. Л. Чупрова. Он указал на особые сложности обеспечения однородности временных данных из-за появления новых факторов и структурных сдвигов. Распространение за рубежом выборочных опросов населения привело к необходимости специальной разработки проблем, связанных с ошибкой респондента, понижением стоимости обследований, ограниченной численностью изучаемых объектов. Была разработана теория квотных выборок- Традиционной областью применения выборочных обследований являются бюджетные обследования. Выборки стали применяться также при изучении занятости, образа жизни, жилищных условий, динамики пен, качества потребительских товаров, общественного мнения по различным социально-политическим вопросам, контроля качества продукции, проверки материалов, деталей и узлов машин и т. д. Развитие теорий оценивания и испытания статистических гипотез Внедрение в статистику теории ошибок измерения, начиная с Кетле, привело к разработке теории оценивания. В начале XX в. благодаря трудам русского статистика А. А. Чупрова (см. гл. 4 распространилась трактовка всех статистических характеристик как выборочных, что усилило внимание к методологическим проблемам статистического оценивания (точечного и интервального) К. Пирсон видел основу их решения в понятии апостериорной или обратной вероятности и теореме Т. Бейеса (1763), согласно которой, если по данным о вероятности события можно судить о его частости, то и по данным о частости события можно судить о его вероятности. Эту точку зрения разделял Ф. И. Эджворт. На основе метода наименьших квадратов и метода моментов Пирсон получил оценки основных характеристик ряда распределения, коэффициента корреляции. Все они основывались на предположении о нормальности распределения выборочных характеристик. Он исследовал распределение у2 и предложил критерий х 2 (1900); который считал всего лишь «критерием добротности выравнивания». Эджворт разработал методы оценки существенности различий двух средних величин (для больших выборок), предложил формулу средней квадратической ошибки коэффициента регрессии! Процедура оценивания у него тесно связана с группировкой данных, выделением однородных объектов, подчиненных нормальному распределению. В 1908 г. англичанин Вильям Госсет (1876—1937), опубликовавший свой труд под псевдонимом «Стьюдент», получил; одно из наиболее важных статистических распределений— t-pacпределение (распределение Стьюдента). Было доказано, что вероятность ошибки выборочной средней (или доли, частости) зависит не только от величины отклонения от генеральной средней (или вероятности), но и от объема выборки. Это послужило основанием для решения проблем малой выборки. Следующий шаг в развитии теории оценивания был сделан Р. А. Фишером. Он отверг теорию апостериорной вероятности теорему Бейеса и предложил новый метод оценивания — метод максимального правдоподобия (1925). Фишер строго разграничивал параметры — неизвестные характеристики генеральной совокупности, и статистики — наблюдаемые характеристики. Он ввел понятия состоятельных, эффективных, достаточных статистик, которые стали фундаментальными понятиями математической статистики. Фишер показал, что в случаях малых выборок и при значениях коэффициентов корреляции, близких к 1 (по абсолютной величине), распределение коэффициента корреляции не может считаться нормальным, и предложил специальные методы дл определения того, что наблюденная корреляция существенно отличается от некоторого теоретического значения и что две наблюденные корреляции существенно отличаются друг от друга Нейман ввел понятие наилучшей несмещенной оценки, подчеркнув, что среди различных возможных расчетов наибольшей точностью будет обладать тот, который включает минимальный показатель вариации. Он развивал теорию интервального оценивания (1937). В разработку эффективных оценок при заданных функциях потерь и других проблем оценивания значительный вклад внес шведский математик Гарольд Крамер (р. 1893). В период 1925—1935 гг. сформировалось новое направление математической статистики — теория испытания статистических гипотез. Ее становление и развитие связаны с трудами Р. Л. Фишера. Разработанный им дисперсионный анализ — отделение дисперсии, приписываемой одной группе причин, от дисперсии, приписываемой другой группе причин, возник как метод испытания статистических гипотез на основе предложенного им критерия, который американский статистик Снедекор назвал в его честь F-критерием. Фишер показал, что критерии х2 Пирсона и t Стьюдента могут рассматриваться как критерии проверки гипотез. Развивая идеи Стьюдента, он разработал методологию оценки существенности разности между двумя средними при малых выборках. Заслуга Фишера также в обосновании необходимости рандомизации (случайного отбора) как условия для проявления закона случая. Идея рандомизации способствовала развитию планирования эксперимента — особого направления математической статистики. Фишер утверждал, что критерии дают возможность отбрасывать маловероятные гипотезы. Не отрицая этого, И. П. Лемани, Ш. Закс и другие обращали особое внимание на трудности различии испытуемой и альтернативной гипотез при повышении мощности критерия. В развитие теории и приемов испытания статистических гипотез внес вклад Эгон Пирсон (сын К. Пирсона). В современной прикладной статистике применяется множество статистических критериев (тестов). При всей их условности целесообразность их использования несомненна. Изучение любой серьезной проблемы включает определенную последовательность действий, столь многообразных и взаимосвязанных, что в какой-то момент исследователь должен остановиться и решить, что делать дальше, и в этих случаях статистические тесты позволяют уменьшить частоту неправильных действий. Новая стадия в развитии методов оценивания и испытания гипотез возникла с разработкой многомерного статистического анализа. Многомерным статистическим анализом (МСА) называют обобщение, представление и интерпретацию данных с измерением более чем одной характеристики выборки. Многомерный анализ имеет дело с оценками, доверительными интервалами, испытанием гипотез для средней, дисперсии, ковариации, корреляционных xaрактеристик и т. д. В разработке принципиальных подходов МСД приоритет при-] надлежит Р. А. Фишеру. Он разработал классификацию статистических гипотез и критериев. Его работы вдохновили других исследователей. Впшарт (США, 1931) рассмотрел распределен пие выборочных дисперсий и ковариацнй в многомерной нормаль-: ной совокупности; американский статистик и математик Гарольд Хоте л л инг (1895—1973) вывел распределение обобщенного /-критерия (1932), который представляет собой обобщение (-критерия Стьюдепта для задач многомерного анализа. С а м у э л ь Стенли Уилкс (1906—1964) разработал процедуру для дополнительной проверки гипотезы о средних, дисперсиях, коварнацнях. Значительные результаты в этой области получили представители индийской математико-статистичсской школы — С. Р. Рао н П. Ч. Мзхаланобис. Разработка методов оценивания и испытания статистических гипотез быстро внедрилась в исследовательскую практику и дала мощный толчок развитию статистических методов контроля качества продукции В этой области главные достижения принадлежат В. А. Шухарту (США, 1939).
Ви переглядаєте статтю (реферат): «РАЗВИТИЕ ОСНОВ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ» з дисципліни «Історія статистики»
