Высокие статистические технологии

Александр Иванович, я опять с просьбой о помощи.

Если я сравниваю неким статистическим критерием две выборки объемом n1=n2=100
и в результате применения "складного ножа" получаю 100 результатов тестирования, из которых нулевая гипотеза отвергается, скажем, в 80 случаях ("успех"), и не отвергается в 20 ("неудача"), то можно ли долю "неудач", равную 20%, сравнивать с номинальным уровнем значимости (а=0,05), на котором я веду исследования?
Какие вообще выводы можно сделать в этой ситуации?
Заранее спасибо.

Чтобы ответить, надо понять, что Вы делаете.
Что Вы называете ?

Пытаюсь проверить устойчивость вывода, полученного в "однократном" эксперименте: сначала тестирую 100 значений с обеих выборках, затем из обеих выборок исключаю по одному наблюдению и вновь проверяю Но, затем возвращаю эти наблюдения назад, но исключаю следующую пару и т.д. Так можно делать?

Да, так можно делать.
Из первой выборки исключить одно наблюдение - 100 возможностей, из второй выборки исключить одно наблюдение - 100 возможностей, всего 100х100 = 10 000 проверок гипотезы.
Из которых нулевая гипотеза отвергается, скажем, в 8000 случаях ("успех"), и не отвергается в 2000 ("неудача"), то можно долю "неудач", равную 20%, сравнивать с номинальным уровнем значимости (а=0,05), на котором Вы веду исследования.
При этом 0,2 (20%) - это оценка вероятности принятия гипотезы, т.е. достигаемый уровень значимости (в предположении нулевой гипотезы од однородности выборок). Поскольку 0,2 больше, чем 0,05 (номинальный уровень значимости), то отклонить гипотезу однородности нельзя, надо принять. Эффект не обнаружен (при переходе от одной выборки к другой не обнаружено различие).

Спасибо еще раз, теперь при тестировании гипотез буду чувствовать себя увереннее.