Высокие статистические технологии

Здравствуйте, Александр Иванович!
Столкнулся с задачей перепроверить количественные данные других авторов, поскольку значимость заявленных у них изменений вызвала сомнения. Решил воспользоваться проверкой гипотез методом доверительных интервалов, описанной в учебнике Стентона Гланца Медико-биологическая статистика. Пер. с англ. — М., Практика, 1998. - с. 203
Находится доверительный интервал для разности средних значений до и после каких-либо воздействий на организм и далее цитирую Гланца:
"Истинная разность средних может находиться в любой точке доверительного интервала, поэтому если доверительный интервал содержит ноль, то мы не можем отвергнуть возможность того, что μ(до) – μ(после) = 0, то есть нулевую гипотезу. С другой стороны, нахождение истинной разности средних вне доверительного интервала маловероятно. Поэтому, если доверительный интервал не содержит нуля, справедливость нулевой гипотезы о равенстве средних маловероятна. Можно сформулировать следующее правило.
Если 100(1 – α)-процентный доверительный интервал разности средних не содержит нуля, то различия статистически значимы (Р < α); напротив, если этот интервал содержит ноль, то различия статистически не значимы (Р > α)."
Если это правило справедливо, то становится возможным перепроверять данные других авторов, как правило, представленные только точечными значениями среднего и стандартного отклонения, без обращения к первичным данным. Буду крайне признателен, если подтвердите или опровергните это правило.

Доверительный интервал для оценивания параметра строится так, чтобы вероятность накрытия им неизвестного значения параметра равнялась доверительной вероятности. Строить его можно по-разному. Например, можно исходить из симметричности доверительного интервала относительно оценки параметра, а можно этого не требовать. Все методы построения доверительных интервалов относятся к теории статистического оценивания.

При проверке статистических гипотез речь идет о критической области (при попадании в которую статистики критерия нулевая гипотеза отклоняется), а не о доверительном интервале. Соответственно говорят об уровне значимости, а не о доверительной вероятности.

Однако иногда два упомянутых типа статистических задач рассматривают совместно. Судя по всему, Вы пишете об этом случае. Для построения доверительного интервала и для проверки статистической гипотезы используется одна и та же статистика (одна и та же функция от результатов наблюдений. Дополнение доверительного интервала оказывается критической областью. Сумма доверительной вероятности и уровня значимости равна 1. [quote="Ринад Минвалеев"]Здравствуйте, Александр Иванович!
Столкнулся с задачей перепроверить количественные данные других авторов, поскольку значимость заявленных у них изменений вызвала сомнения. Решил воспользоваться проверкой гипотез методом доверительных интервалов, описанной в учебнике Стентона Гланца Медико-биологическая статистика. Пер. с англ. — М., Практика, 1998. - с. 203
Находится доверительный интервал для разности средних значений до и после каких-либо воздействий на организм и далее цитирую Гланца:
"Истинная разность средних может находиться в любой точке доверительного интервала, поэтому если доверительный интервал содержит ноль, то мы не можем отвергнуть возможность того, что μ(до) – μ(после) = 0, то есть нулевую гипотезу. С другой стороны, нахождение истинной разности средних вне доверительного интервала маловероятно. Поэтому, если доверительный интервал не содержит нуля, справедливость нулевой гипотезы о равенстве средних маловероятна. Тогда можно применять приведенное Вами правило:
Если 100(1 – α)-процентный доверительный интервал разности средних не содержит нуля, то различия статистически значимы (Р < α); напротив, если этот интервал содержит ноль, то различия статистически не значимы (Р > α)."

Дополнительный нюанс может состоять в необоснованном принятии гипотезы нормальности результатов измерений и применении критерия Стьюдента для проверки значимости различий. На самом деле надо применять критерий Крамера-Уэлча.

Глубокоуважаемый Александр Иванович!
Спасибо огромное за ответ! Насколько я понимаю, при допущении нормального распределения статистическое оценивание нахождением критической области и доверительного интервала дополняют друг друга и взаимозаменяемы. Иными словами, можно ли применять упомянутый в книге Стэнтона Гланца способ проверки гипотез вычислением доверительного интервала истинной разности средних величин, указанных как выборочные средние двух зависимых выборок (до и после какого-либо воздействия)?
Чтобы было понятно, приведу численный пример:
В работе [Raghuraj 2008] приведена таблица 3, где в первой строке представлены численные данные изменения систолического артериального давления до и после изолированного дыхания через правую ноздрю в виде средних (далее M1 и M2) и характеристики разброса в виде стандартных отклонений (далее S1 и S2):
до – 110.57 ± 6.52, после – 116.67 ± 5.41***.
Три звездочки означают, что значимость найденного результата (вероятность ошибки 1­ого рода) меньше, чем α=0.001, чему соответствует (1-α)100 или 99,9% доверительный интервал.
Проверяем это заявление применением интервального метода. Найдем 99,9%-доверительный интервал истинной разности средних величин [µ1-µ2] с учетом указанного объема выборки и допущения о нормальности закона распределения изучаемых величин по известной формуле (2) [Glantz 1994] :
(M1-M2) - tα SM1-M2 < [µ1-µ2] < (M1-M2) + tα SM1-M2 , (2)
где M1-M2 - разность выборочных средних, tα- критическое значение критерия Стьюдента с учетом объема выборки (n), числа степеней свободы df =2(n-1), и заданного уровня значимости (P value или α), SM1-M2 - стандартная ошибка разности средних, которая вычисляется на основе объединенной оценки дисперсии S^2=1/2(S1^2+S2^2) .
Тогда для рассматриваемого примера:
M1-M2 = 110.57 - 116.67 = -6.1 мм рт.ст,
t0.001= 3.551 с учетом числа степеней свободы df =2(21-1)=40,
S^2=1/2(S1^2+S2^2) = 1/2(6.52^2+5.41^2)=35.9 ,
SM1-M2= √(35.9/21+35.9/21) = 1.85,
и наконец,
-6.1 - 3.551∙1.85 < [µ1-µ2] < -6.1 + 3.551∙1.85
или -12.67 < [µ1-µ2] < 0.465 мм рт.ст.
Найденный доверительный интервал разности истинных средних содержит нулевое значение. А поскольку истинная разность средних может находиться в любой точке доверительного интервала, то нет оснований отвержения нулевой гипотезы ( [µ1-µ2] = 0). Последнее означает, что заявленная в работе [Raghuraj 2008] значимость повышения систолического артериального давления после изолированного дыхания через правую ноздрю α = 0.001 не выдерживает вычислительной проверки.

Вопрос был в том, можно ли применять такой способ проверки точечных значений указанным интервальным методом, поскольку чаще всего первичных данных в большинстве статей не найти?

Глубокоуважаемый Ринад!

Можно с Вами и Гланцем согласиться, хотя есть замечания. Пишете:

Здесь проведено доверительное оценивание. Термин "значимость" неуместен. Вероятность попасть вне доверительного интервала с доверительной вероятностью 0,999 равна 0,001, что не соотносится с объемом выборки 21. При таком объеме выборки можно говорить о доверительной вероятности 0,95.
Нормальный закон принят без всякого обоснования. Хорошо известно, что распределения реальных данных, как правило, ненормальны.
Не описана вероятностно-статистическая модель порождения исходных данных. Не ясно, идет ли речь о проверке однородности независимых выборок или о проверке однородности связанных выборок.

Советую вначале разобраться с теоретические основами. Например, по учебнику:
Орлов А.И. Прикладная статистика. Учебник для вузов. — М.: Экзамен, 2006. — 672 с. http://ibm.bmstu.ru/nil/biblio.html#books-09-prikstat

Глубокоуважаемый Александр Иванович!
Спасибо большое за положительный ответ. Стало быть, можно проверять описанным методом доверительного оценивания результаты точечных оценок, приводимые в работах других авторов прошлых лет, поскольку доступа к первичным данным, как правило, нет.
В вышеприведенном примере термин "значимость" применен к точечным оценкам других авторов, которые вызвали у нас сомнения. Мы проверили их методом доверительного оценивания, оставаясь в рамках параметрического семейства нормального распределения.
Разумеется, в реальных выборках нормального закона нет. И Ваши рекомендации о приоритете непараметрических методов проверки статистических гипотез всегда использую в обработке собственных данных. Однако здесь я проводил метаанализ множества работ индийских авторов, которые, как выяснилось, предпочли ложноположительные результаты в оценке влияния дыхания через изолированные ноздри на артериальное давление и сердечный ритм. И, конечно, они применяли в основном параметрические методы для связанных выборок (чаще всего, парный t-критерий Стьюдента).
В любом случае, еще раз сердечно благодарю за то, что всегда конструктивно отвечаете на вопросы!

Публичные восторги изобретателя нового слова в статистике нахожу слегка преждевременными, поскольку:

1. Гланц рассматривает экспериментальную схему "Case-Control", т.е. с независимыми выборками. Индусы обрабатывают схему "До-После", т.е. эксперимент с повторностями (выборки связанные). Критерий Стьюдента в этих случаях считается по разным формулам.
2. Гланц рассматривает стерильно чистый пример для статистически неразличимых дисперсий. Только в этом случае дисперсию разности средних можно выразить через оценки дисперсий исходных выборок простым усреднением. В случае связанных выборок вообще нельзя гарантировать, что выборки будут отличаться только сдвигом в центральной тенденции и не будут отличаться разбросом. Следовательно, дисперсия разности средних для связанных выборок не выражается через оценки разброса исходных (связанных) выборок. Степеней свободы при этом будет, конечно же, не df=2*(n-1).

В общем, автору темы рекомендуется воздержаться от ревизии индийской науки и не позорить отечественную науку в глазах индусов. Хинди руси бхай-бхай!

Уважаемый Дольчев&Габбанов,
"новое слово в статистике" (с) в данном случае просто применение алгоритма, изложенного в учебнике Гланца.
1. Доверительное оценивание разности истинных средних, вроде бы, применимо и для зависимых выборок. Схема то одна.
2. Особенность учебника Гланца состоит в том, что большинство примеров взяты из реальных экспериментальных данных. Обсуждаемый алгоритм тоже. Объединенная дисперсия им не обосновывается, но дается как данность. Оценить правомерность оной моей квалификации не хватает. Число степеней свободы взял из численных примеров Гланца.
3. Мы проверили в собственном эксперименте влияние изолированного дыхания через правую или левую ноздрю на артериальное давление и пульс, и не нашли различий. Поэтому возник вопрос к индийским авторам, утверждающим, что различия есть.

Схема одна, а технические детали, в которых кроется дьявол, разные: н-р, t(.001) может не быть равной 3,551, стандартная ошибка разности средних не будет равна 1,85 и правая часть ДИ может быть < 0.



Это все из серии "Капитан Очевидность разъясняет". Однако, с 1928 г. в статистике есть понятие "проблемы Беренса_Фишера". Гланц тактично не нагружает неофитов такими подробностями, поэтому рассматривает построение ДИ для стерильно теоретического случая-гомогенности выборочных дисперсий.



Вы их взяли неправильно.



Мне это ни о чем не говорит, поскольку не описана вероятностно-статистическая модель порождения данных, и неизвестно, как именно вы эти различия искали. Если одновременно изучаются целых 2 показателя (АД+пульс), то здесь вообще требуется многомерный ДА с повторными измерениями (1-Way MANOVA with Repeated Measures).

У меня все.

Уважаемый Дольчев&Габбанов,
1.
Все возможно, а возможно, что ничего не возможно (с)

2. Относительно "проблемы Беренса-Фишера". Гланц, разумеется, не загрузил свой учебник обсуждением этой проблемы, поскольку писал руководство, а не монографию. И вроде бы для достижения "гомогенности выборочных дисперсий" дал объединенную оценку дисперсии, в которой смешиваются выборочные стандартные отклонения?

3. По числу степеней свободы я использовал рекомендации Гланца. Если он не прав, то какова правильная формула?

4. Не очень понимаю, зачем здесь нужен многомерный дисперсионный анализ. Результаты измерений артериального давления и пульса до и после воздействия отдельно сравнили парным критерием Стьюдента и его непараметрическим аналогом - парным критерием Вилкоксона. В обоих случаях не было оснований отвергнуть нулевую гипотезу.

Дорогой Ринад,

мне думается, Вам не надо торопиться с ответом на мои (скромные) замечания по поводу того, что статистика для независимых выборок и статистика для связанных выборок - это сильно не одно и то же, и внимательно посозерцать формулы для парного и непарного критерия Стьюдента, критерия Уилкоксона -Манна-Уитни и критерия знаковых рангов Уилкоксона, критерия Хотеллинга для независимых многомерных совокупностей и его же аналог для многомерных связанных совокупностей и т.д. Уверен, что просветление настанет быстро. Очень советую проделать вычисления вручную. Тогда сразу станет понятнее, почему я настаиваю на том, что вычисления для случая с независимыми выборками из примера Гланца нельзя механически перенести на случай со связанными выборками.

После этого в качестве полезного упражнения рекомендую поискать ответ на вопрос, почему в однофакторном дисперсионном анализе в статистических пакетах предусмотрены формальные тесты на гомогенность дисперсий (Бартлетта, Левене, Брауна-Форсайта), а в дисперсионном анализе с повторными измерениями - нет. Так сказать, для закрепления положительного эффекта.

После этого можно приступать к поиску ответов на вопрос что такое многомерная статистика, и с чем ее едят.

Надеюсь еще услышать о Ваших успехах.
Держите нас в курсе и не пропадайте надолго.

Уважаемый Дольчев&Габбанов,
посозерцал формулу наблюдаемой t для зависимых (повторных) выборок, и вроде бы нашел способ прикинуть доверительный интервал для среднего истинной разности зависимых выборок. Разность средних по правилу средних равна среднему разности, соответственно в числителе будет та же разность средних, что и для независимых выборок. Проблема в дисперсии от среднего разности зависимых выборок, однако и ее можно прикинуть по заданному или вычисленному значению альфы или p-value. По обратной функции распределения Стьюдента для числа степеней свободы n-1 и указанного p-value восстанавливаем наблюдаемое t. Неизвестную дисперсию вычисляем из известной формулы для наблюдаемого t. Собственно, все численные значения для вычисления доверительного интервала есть. Другое дело, для перепроверки точечных оценок этот способ, действительно, не годится, но для оценки величины эффекта в самый раз.

Уважаемые участники,
в продолжение темы. При построении доверительного интервала для зависимых выборок, исходя из обычных данных, предоставляемых в медико-биологических статьях (среднее+/-стандартное отклонение/стандартная ошибка среднего), наибольшую трудность вызывает нахождение стандартного отклонения попарной разности исходных данных. Попробовал воспользоваться известными свойствами суммы/разности дисперсий зависимых случайных величин X и Y как суммы дисперсий D(X) и D(Y) минус удвоенная ковариация между этими случайными величинами:
D(X-Y)=D(X)+D(Y) – 2cov(X,Y)
Для восстановления ковариации как меры линейной зависимости между случайными величинами X и Y воспользуемся ее максимально возможным значением по известному свойству ковариации, которая по абсолютной величине не превосходит произведения стандартных отклонений зависимых случайных величин X и Y:
сov (X,Y) ≤ SxSy
Тогда квадратный корень из найденной разности дисперсий D(X-Y) даст нам искомое стандартное отклонение попарной разности повторных (зависимых) случайных величин, которое будет максимально возможной оценкой, но не превосходящей выборочное значение стандартного отклонения попарной разности средних случайных величин.
Вопрос: насколько допустим такой метод нахождения стандартного отклонения попарной разности зависимых выборок, необходимый для построения доверительного интервала?
Искренне Ваш, Ринад Минвалеев

Непонятно, что такое "зависимые выборки".
Известна вероятностно-статистическая модель порождения данных в задаче проверки однородности независимых выборок.
Известна вероятностно-статистическая модель порождения данных в задаче проверки однородности связанных выборок.
А здесь что?
Пока не описана вероятностно-статистическая модель порождения данных, обсуждения не имеет смысла.

Нинасколько.

П.ч. трюизм |сov (X,Y)| ≤ SxSy имеет примерно такую же познавательную ценность, как и аналогия со сломанными часами, которые дважды в сутки показывают точное время. Так и здесь: точное равенство достигается только в случае функциональной зависимости X и Y, а в случае стохастической зависимости этому неравенству удовлетворяет бесконечное множество значений ковариации. Построив таким образом бесконечное количество ДИ, вы с удивлением обнаружите, что какая-то часть из них включает 0, а какая-то - нет. Ну, и к чему это гадание на кофейной гуще?
Словом, пишите индусам, нехай вышлют эмпирическое значение коэффициента корреляции между связанными выборками, опосля чего вы единственным образом построите ДИ, и, наверное, навсегда сотрете этот очаг возбуждения из своей коры/подкорки...

Глубокоуважаемый Александр Иванович,
здесь под термином "зависимые" выборки подразумеваются связанные (повторные) выборки, полученные до и после внешнего воздействия (в данном случае, дыхания через изолированные ноздри).

Глубокоуважаемый Дольчев&Габбанов,
исходные данные очевидно никто не предоставит, хотя некоторые журналы уже требуют доступности оных. Приравнивая ковариацию к произведению стандартных отклонений мы получаем ее максимальную оценку с коэффициентом вариации, равным единице, но никак не бесконечное множество доверительных интервалов.

Шутку оценил. Спасибо.

И Вам спасибо за конструктивную критику

Вы не по делу острите: смешнее, чем было, уже не получится.

Лучше скажите, как вы собираетесь решать, например, проблему знака: произведение стандартных отклонений отрицательным быть ну никак не желает, в то время как ковариация (как и коэффициент корреляции) отрицательной может быть запросто.
Далее. Пусть D(X)=100, D(Y)=100. Тогда D(X-Y)=D(x)+D(Y)-2cov(X,Y)[где cov(X,Y)=sd(X)*sd(Y) как вы предлагаете]=100+100-2*10*10=0. Т.е. в случае равенства дисперсий ДИ невозможно построить - он вырождается в точку.
В общем, бросайте-ка вы эту затею и не выносите мозг профессору.

1. Похоже, знак ковариации не меняет знак в формулах суммы/разности дисперсий, то есть всегда
D(X+Y)=D(x)+D(Y)+2cov(X,Y) и D(X-Y)=D(x)+D(Y)-2cov(X,Y). Одно из доказательств нашел в сети:
D(X±Y)=cov(X±Y,X±Y)=соv(X,X±Y)±cov(Y,X±Y)=сov(X,X)±cov(X,Y)±C(Y,X)+C(Y,Y)=D(X)+D(Y)±2сov(X,Y)
2. Вместо функциональной зависимости с коэффициентом корреляции, равном 1, можно принудительно задать, например, 0.5, и построить доверительные интервалы с этим допущением. Просто задался целью применить к индийским данным инструмент метаанализа, а там без доверительных интервалов никак.

Жаль, что участники обсуждения проигнорировали мое требование того, что начинать надо с формулировки вероятностно-статистической модели. Все-таки удалось заставить констатировать, что обсуждаются связанные выборки (X(i), Y)i)), i = 1,2,...,n. Для анализа таких выборок использую.т модель X(i) = a(i) + Z(i), Y(i) = a(i) + W(i), где числа a(i) - мешающие параметры, i = 1,2,...,n, причем Z(1), Z(2),...Z(n) - независимые одинаково распределенные случайные величины, W(1), W(2),...,W(n) - также независимые одинаково распределенные случайные величины (с вообще говоря, другой функцией распределения, чем функция распределения Z(1), Z(2),...Z(n)). См. об этой модели мои учебники. Из модели следует, что бессмысленно формально рассчитывать коэффициент корреляции для набора пар (X(i), Y)i)), i = 1,2,...,n, поскольку этот формальный коэффициент зависит от мешающих параметров a(i) i = 1,2,...,n.