LПроизвольные уровни значимости определяются до расчета статистики контраста, а непроизвольные уровни значимости зависят от значения, принимаемого статистикой контраста, оба из которых зависят от распределения, за которым следуют данные.
Другими словами, произвольные уровни значимости всегда будут одинаковыми для разных значений тестовой статистики, а непроизвольные уровни значимости будут разными для разных значений тестовой статистики.
Не произвольно
Когда указывается концепция, характеристика произвольности означает, что ценность этой концепции выбирается исследователем. априори (до) проведения эксперимента, не полагаясь на какую-либо связанную информацию.
P-значение и слоны
Например, предположим, что мы хотим проверить количество слонов на лугу.
Прежде чем увидеть луг и слонов, которые существуют на самом деле, мы предполагаем априори количество слонов. Мы говорим, что слонов может быть 10. Итак, идем на поляну и подсчитываем количество слонов, которые видим: 1, 2, 3, 4, 5, 6 и 7.
Наша нулевая гипотеза заключалась в том, что количество слонов на лугу равно 10, а наша альтернативная гипотеза заключалась в том, что их было меньше 10. Итак, учитывая, что слоны есть, мы отклонили бы нулевую гипотезу. Но… Что, если на лугу есть еще 3 слона, но они спрятаны за деревьями? Мы бы отвергли нашу нулевую гипотезу, если бы она могла быть верной, если бы вместо подсчета слонов мы вычислили максимальное количество слонов, которое может вместить пастбище.
Анализ
Выбор 10 слонов в начале был совершенно произвольным, потому что мы не видели размер луга и, следовательно, мы не знаем, 10 слонов - это много или мало.
С другой стороны, если, учитывая размер луга, мы вычислим максимальное количество слонов, которое он может разместить, мы будем знать, какое максимальное значение имеет, чтобы не отвергать нулевую гипотезу. Так что найти реальное число будет намного проще.
Сравнение
То же самое верно для уровней значимости 1%, 5% и 10% по сравнению с p-значением. Во многих случаях мы выбираем уровень значимости, не принимая во внимание никакой информации, кроме распределения. Обычно в качестве уровня значимости (альфа) используется 5%, оставляя 95% выборки в пределах доверительного интервала.
Проблема произвольного присвоения уровня значимости - та же проблема, что и в примере со слоном. Если мы считаем, что правильно применять 5% (уровень значимости), мы можем отклонить нулевую гипотезу, когда минимум, который следует отклонить, составляет 2% (значение p). Мы получили бы ошибочные результаты, просто установив 5% вместо минимального значения, которое будет отклонено (2%).
Другими словами, мы делаем вывод, что на лугу меньше 10 слонов, но на самом деле есть еще 3 слона, но они спрятаны. Таким образом, гораздо быстрее вычислить, какой максимальный или минимальный уровень значимости мы бы не отвергли или отвергли бы нулевую гипотезу.
Правило отклонения
Если значение - p < уровень значимости => отклонение H0.
Если значение - p > уровень значимости => Нет отклонения H0.