Приступая к статистической обработке своих исследований, психо-лог должен решить, какие методы ему более подходят по особенностям его материала -- параметрические или непараметрические. Раз-личие между ними легко понять.

Ранее уже говорилось об измерении двигательной скорости детей-шес-тиклассников.

Как обработать эти данные?

Нужно записать все произведенные измерения -- в данном случае это будет число точек, поставленных каждым испытуемым, -- затем вычис-лить для каждого испытуемого среднее арифметическое по его резуль-татам. После этого расположить все данные в их последовательности, например начиная с наименьших к наибольшим. Для облегчения обозри-мости этих данных их обычно объединяют в группы; в этом случае можно объединить по 5-9 измерений в группе. Вообще же при таком объеди-нении желательно, если общее число случаев не более ста, чтобы общее число групп было порядка двенадцати.

Далее нужно установить, сколько раз в опытах встретились числовые значения, соответствующие каждой группе. Сделав это, для каждой группы записать ее численность. Полученные в такой таблице данные носят назва-ние распределения численностей или частот. Рекомендуется предста-вить это распределение в виде диаграммы, на которой изображается по-лигон распределения, или гистограмма распределения. Контуры этого полигона помогут решить вопрос о статистических методах обработки.

Нередко эти контуры напоминают контуры колокола, с наивысшей точкой в центре полигона и с симметричными ветвями, отходящими в ту и другую сторону. Такой контур соответствует кривой нормально-го распределения. Это понятие было введено в математическую ста-тистику К. Ф. Гауссом (1777-1855), поэтому кривую именуют также кривой Гаусса . Он же дал математическое описание этой кривой. Для построения кривой Гаусса (или кривой нормального распределения) теоретически требуется бесчисленное количество случаев. Практиче-ски же приходится довольствоваться тем фактическим материалом, который накоплен в исследовании. Если данные, которыми распола-гает исследователь, при их внимательном рассмотрении или после пе-реноса их на диаграмму лишь в незначительной степени расходятся с кривой нормального распределения, то это дает право исследователю применять в статистической обработке параметрические методы, ис-ходные положения которых основываются на нормальной кривой рас-пределения Гаусса.

Нормальное распределение называют параметрическим потому, что для построения и анализа кривой Гаусса достаточно иметь всего два параметра: среднее значение, которое должно соответствовать высоте перпендикуляра, восстановленного в центре кривой, и так называемое среднее квадратическое, или стандартное, отклонение величины, ха-рактеризующей рассеивание значений вокруг среднего значения; о спо-собах вычисления той и другой величины будет рассказано ниже.

Параметрические методы обладают для исследователя многими преимуществами, но нельзя забывать о том, что применение их право-мерно только тогда, когда обрабатываемые данные показывают рас-пределение, лишь несущественно отличающееся от гауссовского.

При невозможности применить параметрические надлежит обра-титься к непараметрическим методам . Эти методы успешно разраба-тывались в последние 3-4 десятилетия, и их разработка была вызвана прежде всего потребностями ряда наук, в частности психологии. Они показали свою высокую эффективность. Вместе с тем они не требуют сложной вычислительной работы.

Современному психологу-исследователю нужно исходить из того, что «...имеется большое количество данных, которые либо вообще не поддаются анализу с помощью кривой нормального распределения, либо не удовлетворяют основным предпосылкам, необходимым для ее использования».

Генеральная совокупность и выборка . Психологу постоянно при-ходится иметь дело с этими двумя понятиями.

Основные методы математической статистики - оценка параметров распределения, проверка статистических гипотез, дисперсионный анализ - применяются в предположении, что распределение генеральной совокупности известно. В частности, t - критерий для сравнения средних двух генеральных совокупностей и однофакторный дисперсионный анализ для сравнения средних нескольких совокупностей пригодны только в случае нормального распределения последних. Однако нередко встречаются данные, для которых эти предположения не выполняются. Например, результаты социологических опросов обычно имеют форму ответов типа "да" или "нет" и представляются в виде таблиц, содержащих частоты положительных и отрицательных ответов. Традиционные методы математической статистики не могут использоваться для обработки таких данных. В этих случаях обращаются к непараметрическим методам, т.е. методам, не зависящим от распределения генеральной совокупности.

Непараметрические методы применяются для качественных данных, представленных в номинальной шкале, данных, измеряемых в порядковой шкале (т.е. представленных в виде рангов), а также количественных данных в том случае, когда распределение генеральной совокупности нельзя определить, так как выборка мала, либо когда распределение не следует

нормальному закону и параметрические методы не применимы.

В пакете STATISTICA непараметрические

Рис .4.1. Стартовая панель модуля Nonpametrics/Distrib

процедуры выполняются в модуле

Nonpametrics/Distrib. Стартовая панель модуля приведена на рис.4.1.

Опишем последовательно соответствующие методы

и приведем примеры выполнения процедур.

В модуле Nonpametrics/Distrib содержится большое количество процедур. При решении конкретной задачи необходимо выбрать определенный метод. Помощь в таком выборе может оказать следующая классификация непараметрических методов, используемых для проверки гипотезы о том, что анализируемые данные - это выборки из однородных генеральных совокупностей. Заметим, что понятие однородности генеральных совокупностей понимается достаточно широко: это могут быть генеральные совокупности, имеющие одну и ту же

4) меры статистической зависимости: ранговый коэффициент корреляции Спирмена, коэффициент корреляции τ Кендалла.

2. Исходные данные: k независимых выборок объемами

n 1 ,n 2 , …,n k .

1) однофакторный дисперсионный анализ Краскела

Уоллиса.

2) медианный критерий.

3. Исходные данные: две связанные выборки объемами n .

Проверяемая гипотеза H 0 : выборки принадлежат однородным генеральным совокупностям.

1) критерий знаков;

2) критерий Вилкоксона.

4. Исходные данные: k связанных выборок объемамиn .

Проверяемая гипотеза H 0 : выборки принадлежат однородным генеральным совокупностям.

1) однофакторный анализ Фридмана;

2) меры связи - коэффициент конкордации Кендалла.

5. Связанные выборки, измеряемые в номинальной шкале.

5а) Исходные данные: две связанные выборки объемов n переменных X иY , каждая из которых

Метод: критерий Макнимара.

5б) Исходные данные: две связанные выборки объемов n переменных X 1 ,X 2 , ...,X k , каждая из которых принимает два значения.

Проверяемая гипотеза H 0 : эффект воздействия отсутствует.

Метод : критерий Кокрена.

6. Независимые выборки, измеряемые в номинальной шкале.

6а) Исходные данные: выборки двух случайных переменных

X и Y , каждая из которых принимает два значения.

Проверяемая гипотеза H 0 :X иY независимы.Метод: анализ таблицы сопряженности2× 2

(точный критерий Фишера, критерий χ 2 ).

6б) Исходные данные: выборки k случайных переменных, каждая из которых принимаетr значений.

Проверяемая гипотеза H 0 : выборки получены из одной генеральной совокупности.

Метод: анализ таблицы сопряженностиk × r (критерийχ 2 ). Анализ таких таблиц проводится в

4.1. Таблицы сопряженности 2 × 2, статистикиχ 2 , φ, критерий Макнимара, точный критерий Фишера (2× 2 Tables

Xi/Vi/Phi, McNemar, Fisher exact)

В таблице сопряженности 2× 2 записываются частоты для двух случайных переменныхX иY , каждая из которых принимает два значения: 0 и 1, "да" и "нет" и т.д.

Пример 4.1. Чтобы определить отношение телезрителей разного пола к телевизионной передаче опросили 60 человек: 35 мужчин и 25 женщин. Оказалось, что 25 мужчин одобряют, а 10 - не одобряют передачу. В то же время 16 женщин высказывают свое отрицательное отношение к передаче, а 9 - положительное.

Выяснить, зависит ли отношение к передаче от пола телезрителей.

Решение. Данные можно записать в виде таблицы сопряженности2× 2 :

Формально задача состоит в определении независимости двух рассматриваемых признаков X (пол) иY (отношение к передаче) или в проверке нулевой гипотезыH 0 : отношение к передаче не зависит

от пола при альтернативной гипотезе Н 1 : отношение к

передаче зависит от пола.

Эквивалентная формулировка такова. Рассмотрим две выборки: 35 мужчин и 25 женщин. Проверяется нулевая гипотеза H 0 : доля мужчин, одобряющих передачу (р 1 ), равна доле женщин, одобряющих

передачу (р 2 ), при альтернативной гипотезеН 1 : доли

мужчин и женщин, одобряющих передачу не равны. Нулевая гипотеза есть гипотеза о равенстве параметров р 1 ир 2 двух генеральных совокупностей, имеющих

биноминальное распределение.

Для проверки гипотезы H 0 применяется критерий Фишера , позволяющий рассчитать точные значения вероятностей наблюдаемых результатов и результатов с более крайними распределениями (см. , с. 345). Односторонние (one-tailed ) и двусторонние (twotailed ) уровни значимости p для критерия Фишера ( Fisher exact p ) вычисляются и приводятся в таблице результатов выполнения процедуры для таблицы сопряженности 2× 2.

При объеме выборки n ³ 30 менее трудоемкой процедурой являетсякритерий χ 2 . Чтобы пояснить

необходимые расчеты, запишем таблицу сопряженности 2× 2 в следующем виде:

В рассматриваемом примере эта таблица имеет вид:

наблюдаемыми частотами a ,b ,c ,d и ожидаемыми частотамиa 0 , b 0 , c 0 , d 0 , вычисляемыми при условии, что гипотезаH 0 верна:

a 0 =(a + b ) (a + c ) =35 × 34 »19,83; n 60

b 0 = (a+ b) n (b+ d) = 35 60 × 26 » 15,17;

c 0 = (c + d ) (a + c ) = 25 × 34 » 14,17; n60

d 0 = (c+ d) n (b+ d) = 25 60 × 26 » 10,83.

Выборочное значение статистики c в 2 вычисляется по формуле:

При n → ∞ статистикаc в 2 имеет распределениеc 2 с одной степенью свободы. Если ожидаемые частоты≤ 5 , то выборочное значение статистикиc в 2 вычисляют с поправкой Йетса на непрерывность:

отношение к передаче зависит от пола.

Эти же результаты получим, введя данные в соответствующую процедуру пакета STATISTICA. Таблица результатов приведена на рис.4.2.

Рис .4.2. Результаты процедуры2× 2 Tables…

Р -значения для статистикиχ 2 , статистикиχ 2 ,

скорректированной по Йетсу, и точного критерия Фишера для двусторонней проверки соответственно равны 0,0063; 0,0137 и 0,0087. Таким образом, на уровне значимости α = 0,05 гипотеза H 0 отклоняется. В таблице результатов приводится мера связи между переменными

X и Y - коэффициент фи- квадрат (средний коэффициент сопряженности):

ϕ2 =χ в 2 = 0,124. n

Значение ϕ 2 изменяется от 0 (между переменными

нет зависимости) до 1 (между переменными имеется абсолютная зависимость, т.е. все частоты расположены на диагонали таблицы 2× 2 ).

Критерий значимости изменений Макнимара

применяется, если исходные данные - две связанные выборки. Над одним и тем же объектом или индивидуумом проводятся два наблюдения: одно до, другое после некоторого воздействия (приема лекарства, обучения, рекламной компании и т.д.).

Параметрические методы оценивания

Применение параметрических методов предполагает априор­ное знание теоретического закона распределения исследуемой ве­личины или его определение по эмпирическим данным, что обусловливает необходимость проверки согласованности ЭД и выбранного теоретического закона. Параметрическая оценка по цензурированным выборкам основывается на традиционных методах математической статистики (максимального правдоподобия, моментов, квантилей), методах линейных оценок и ряде других.

Обработка многократно цензурированных выборок ме­тодом максимального правдоподобия допускается при следующих условиях:

Когда эти ограничения не выполняются, можно вычислять только нижнюю доверительную границу параметров распределения.

Оценки, получаемые по методу максимального правдоподобия, при относительно нежестких ограничениях асимптотически эффективны, не смещены и распределены асимптотически нормально. Если непрерывная переменная с функцией плотности f (x , t ) цензурирована в точках а и b (a <b ), то функция плотности распреде­ления при цензурировании определяется как

Функция правдоподобия при N наблюдениях

.

Если переменная дважды цензурирована в фиксированных точках a и b , так, что не наблюдаются k 1 наименьших и k 2 наибольших элементов выборки, то функция правдоподобия

где k 1 и k 2 являются случайными величинами.

При цензурировании с постоянными величинами k =r 1 и k 2=r 2 функция правдоподобия равна

где v1=x r 1+1, v2 =x N - r 2

Решение уравнения правдоподобия при различных схемах цензурирования является достаточно сложной задачей. В явном виде такие решения можно получить только для однопараметрических законов распределения. Известны уравне­ния для нахождения параметров типовых законов распределения показателей надежности по цензурированным слева выборкам.

Экспоненциальное распределение . Точечные оценки параметра распределения l при различных планах наблюдения:

где Ф(х ) – функция нормального распределения, f (x ) – функция плотности нормального распределения.

Система уравнений (8.7) допускает только численное решение. При таком решении уравнений в качестве начальных приближений неизвестных параметров обычно берут оценки математического ожидания и среднеквадратического отклонения, вычисленные по объединенной выборке.

Логарифмически нормальное распределение . Оценки параметров вычисляют по формулам для нормального закона распределения с заменой значений наработок их натуральными логарифмами.

Р аспределение Вейбулла . Оценки параметров d и b для плана [NUz ] вычисляются на основе системы уравнений

где t m = t r для плана [NUr ], t m = Т для плана [ NUT ].

Системы уравнений (8.8) – (8.9) не имеют аналитического решения и требуют применения численных методов: вначале находится корень первого уравнения (оценка параметра b), затем прямой подстановкой значение оценки параметра d. Для двухпараметрического распределения Вейбулла большие (b>4) или малые (b<0,5) значения параметра свидетельствуют о том, что ЭД не подчиняются этому закону или отношение r /N мало. В таких случаях следует применить непараметрические методы оценивания или перейти к трехпараметрическому закону распределения Вейбулла.

Трудности применения метода максимального правдопо­добия обусловливают разработку других методов. Метод моментов обычно приводит к простым вычислительным процедурам, позволяет получить асимптотически эффективные, несмещенные и нормально распределенные оценки, но требует учета типа цензурирования и применим при относительно большом объеме выборки (не менее 30). Использование метода квантилей для оценок параметров законов распределений менее критично к типу цензурирования. Высокая точность оценок достигается оптимальным подбором квантилей, хотя такой подбор не всегда удается осуществить.

Метод линейных оценок применяют при небольшом объеме выборки, он обеспечивает высокую эффективность, состоятельность и несмещенность оценок параметров распределения. Этот метод основан на нахождении линейной функции от порядковых статистик (упорядоченных элементов выборки), которая была бы несмещенной оценкой искомого параметра. Применение связано с необходимос­тью использования специальных видов распределений, что вызывает определенные неудобства и затрудняет автоматизацию расчетов.

2.1. Основные понятия

Параметрические методы обработки экспериментальных данных опираются на основополагающий факт, в соответствии с которым свойства результатов экспериментальных исследований, рассматриваемых как случайные объекты, описываются некоторым законом распределения. При этом предполагается, что анализ экспериментальных данных позволяет с достаточной степенью точности определить вид и конкретную форму закона распределения или значения его параметров, если нет необходимости в использовании самого закона. Такая информация даёт возможность в полном объёме использовать методы теории вероятностей для решения задач обработки.

Так как действительный закон распределения и значения его параметров неизвестны, то параметрические методы оперируют с их приближениями – статистическими законами распределения и оценками параметров распределения.

Статистическим законом распределения случайной величины называется закон распределения данной величины, установленный с помощью статистических методов обработки данных.

Статистический закон распределения может быть определён в виде статистической функции распределения , статистической плотности распределения или статистического ряда распределения P * (x i ), .

Статистическими оценками параметров закона распределения случайной величины называются приближённые значения данных параметров (статистики), полученные с помощью статистических методов обработки данных.

В дальнейшем статистические оценки для краткости называются просто оценками.

Если некоторый закон распределения характеризуется параметрами a 1 , a 2 ,…, a m , то их оценки будем обозначать в виде , ,…,. Наиболее распространёнными видами параметров законов распределения при обработке экспериментальных данных являются математическое ожидание , дисперсия или среднее квадратическое отклонение , а для системы случайных величин – корреляционный момент или коэффициент корреляции . Иногда используются центральные моменты третьего и четвёртого порядков. Соответственно при обработке данных используются их статистические аналоги – оценки математического ожидания, корреляционного момента и т.д.

Таким образом, если имеется совокупность экспериментальных данных x 1 , x 2 ,…, x n , то и статистический закон распределения, например функция , и оценки его параметров представляют собой некоторые функции этих данных:

, . (2.1.2)

Вид статистик y и f j определяет качество оценок и . В связи с этим возникает ряд проблем, основной из которых является проблема определения условий, при которых оценки (2.1.1) и (2.1.2) могут с требуемой достоверностью представлять теоретические законы распределения и их параметры. Эти условия формируются предельными теоремами теории вероятностей. Именно они служат тем фундаментом параметрических методов обработки экспериментальных данных, на основе которого могут быть получены подходящие оценки законов и параметров распределения наблюдаемых характеристик.

Вторая проблема состоит в выборе достаточной статистики , т.е. такой статистики, которая позволяет в конкретных условиях получать оценки заданного качества. Так как на основе результатов наблюдений x 1 , x 2 ,…, x n может быть образован большой спектр статистик (2.1.1) и (2.1.2), данная проблема сводится к выбору из них оптимальной в определённом смысле статистики. Решение проблемы осуществляется методами теории статистических решений.

Как видно из рис.1.1, к проблеме принятия решений при обработке экспериментальных данных сводится не только задача выбора достаточной статистики. Большинство задач обработки данных в разной степени может быть отнесено к задачам принятия решений. В связи с этим фундаментом параметрических методов обработки служат также принципы принятия статистических решений, на основе которых сформированы критерии принятия оптимальных в определённом смысле решений. Особую роль среди данных принципов играет принцип максимального правдоподобия и вытекающий из него для случая нормального закона распределения метод наименьших квадратов.

В настоящей брошюре рассматриваются вопросы параметрической обработки экспериментальных данных.

2.2. Предельные теоремы теории вероятностей

Использование параметрических методов обработки данных предполагает выявление условий, определяющих справедливость априорных предположений о виде закона распределения исследуемой случайной величины и свойствах его параметров. Эти условия формулируются в виде предельных теорем теории вероятностей. Ниже излагаются содержание и сущность теорем без доказательства, а также некоторые рекомендации по их практическому применению.

Одним из факторов, ограничивающих применения статистических критериев, основанных на предположении нормальности, является объем выборки. До тех пор, пока выборка достаточно большая (например, 100 или больше наблюдений), можно считать, что выборочное распределение нормально, даже если нет уверенности в том, что распределение переменной в генеральной совокупности является нормальным. Тем не менее, если выборка мала, то параметрические критерии следует использовать только при наличии уверенности, что переменная действительно имеет нормальное распределение. Однако и для таких переменных нет способа проверить это предположение на малой выборке (статистические критерии проверки на нормальность эффективно начинают работать на выборке содержащей не менее чем 51 наблюдение).

Непараметрические методы наиболее приемлемы, когда объем выборок мал и данные отнесены к порядковым или номинальным шкалам. Если же эмпирических данных достаточно много (например, n>100), то часто не имеет смысла и даже видится некорректным использовать непараметрическую статистику. Если размер выборки очень мал (например, n=10 или меньше), то уровни значимости р для тех непараметрических критериев, которые используют нормальное приближение, можно рассматривать только как грубые оценки.

Применение критериев, основанных на предположении нормальности, кроме того, ограничено принадлежностью исследуемых признаков к определенной шкале измерений. Такие статистические методы, как, например, t-критерий Стьюдента (для зависимых и независимых выборок), линейная корреляция Пирсона, а также регрессионный, кластерный и факторный анализ предполагают, что исходные данные непрерывны (значения изучаемых переменных отнесены к интервальной шкале или шкале отношений). Однако имеются случаи, когда данные, скорее, просто ранжированы (измерены в порядковой шкале), чем измерены точно. Тогда целесообразным видится использовать такие статистические критерии, как, например, Т-критерий Вилкоксона, G-критерий знаков, U-критерий Манна‑Уитни, Z-критерий Валъда‑Волъфовица, ранговая корреляция Спирмена и др. На номинальных данных будут работать свои статистические методы, например, корреляция качественных признаков, ХИ-квадрат критерий, Q-критерий Кохрена и др. Выбор того или иного критерия сопряжен с гипотезой, которую выдвигает исследователь в ходе научных изысканий, и далее пытается ее доказать на эмпирическом уровне.

Итак, для каждого параметрического критерия имеется, по крайней мере, одна непараметрическая альтернатива. В общем, эти процедуры попадают в одну из следующих категорий: (1) оценка степени зависимости между переменными; (2) критерии различия для независимых выборок; (3) критерии различия для зависимых выборок.

Для оценки зависимости (взаимосвязи), или степени тесноты (плотности, силы) связи, вычисляют коэффициент корреляции Пирсона (r). Строго говоря, его применение имеет также ограничения, связанные, например, с типом шкалы, в которой измерены данные и нелинейностью зависимости. Поэтому в качестве альтернативы используются непараметрические, или так называемые ранговые коэффициенты корреляции (например, коэффициент ранговой корреляции Спирмена (ρ), статистики тау Кендалла (τ), Гамма (Gamma)), применяемые для порядковых (ранжированных) данных. Если имеется более двух переменных, то используют коэффициент конкордации Кендалла (Kendall Coeff. of Concordance). Он применяется, например, для оценки согласованности мнений независимых экспертов (например, баллов, выставленных одному и тому же испытуемому, участнику конкурса).

Если данные измерены в номинальной шкале, то их естественно представлять в таблицах сопряженности, в которых используется критерий ХИ‑квадрат Пирсона с различными вариациями и поправками на точность.

Различия между независимыми группами . Если имеются две выборки (например, юноши и девушки), которые нужно сравнить относительно некоторого среднего значения, например, креативного мышления, то можно использовать t-критерий для независимых выборок (t-test for independent samples). Непараметрическими альтернативами этому тесту являются критерий серий Валъда‑Волъфовица (Wald-Wolfowitz runs test), U-критерий Манна-Уитни (Mann‑Whitney U test) и двухвыборочный критерий Колмогорова-Смирнова (Kolmogorov‑Smirnov two‑sample test). Следует помнить, что двухвыборочный критерий Колмогорова-Смирнова чувствителен не только к различию в положении двух распределений, но также и к форме распределения. Фактически он чувствителен к любому отклонению от гипотезы однородности, но не указывает, с каким именно отклонением исследователь имеет дело.

Различия между зависимыми группами . Если надо сравнить две переменные, относящиеся к одной и той же выборке, например, показатели агрессивности одних и тех же испытуемых до и после коррекционной работы, то обычно используется t-критерий для зависимых выборок (t-test for dependent samples). Альтернативными непараметрическими тестами являются критерий знаков (Sign Test) и критерий Вилкоксона парных сравнений (Wilcoxon matched pair test). Критерий Вилкоксона предполагает, что можно ранжировать различия между сравниваемыми наблюдениями. Если этого сделать нельзя, то используют критерий знаков, который учитывает лишь знаки разностей сравниваемых величин.

Если рассматриваемые переменные категориальные (номинальные), то подходящим является ХИ-квадрат Макнемара (McNemar Chi-square). Если же имеются две категориальные переменные, то для оценки степени зависимости используют стандартные статистики и соответствующие критерии для таблиц сопряженности: ХИ-квадрат (Chi-square), ФИ-коэффициент (Phi-square), точный критерий Фишера (Fisher exact).

В ниже приведенной таблице представлены параметрические критерии и их непараметрические альтернативы с учетом следующих категорий: 1) оценка степени зависимости между переменными; 2) критерии различия.

Таблица 4.1 - Параметрические и непараметрические критерии

Если рассматривается более двух переменных, относящихся к одной и той же выборке (например, до коррекции, после коррекции-1 и после коррекции-2), то обычно используется дисперсионный анализ с повторными измерениями, который можно рассматривать как обобщение t-критерия для зависимых выборок, позволяющее увеличить чувствительность анализа. Английское сокращение дисперсионного анализа - ANOVA (Analysis of Variation). Дисперсионный анализ позволяет одновременно контролировать не только базовый уровень зависимой переменной, но и другие факторы, а также включать в план эксперимента более одной зависимой переменной. Альтернативными непараметрическими методами являются дисперсионный анализ Краскела-Уоллиса и медианный тест (Kruskal-Wallis ANOVA, median test), ранговый дисперсионный анализ Фридмана (Friedman ANOVA by Ranks).