Обнаруживать выбросы с помощью нормального распределения

Обнаружение выбросов с помощью нормального распределения - это процесс, который включает определение порога стандартного отклонения и с помощью которого он предназначен для поиска экстремальных значений выборки.

Другими словами, чтобы обнаружить выбросы с помощью нормального распределения, нужно найти экстремальные значения набора данных с помощью стандартизированной нормальной формулы.

  • Ценности крайности называются выбросы на английском.
  • Ценности внутренний называются инсайдеры на английском.

Визуальное обнаружение выбросов может быть вариантом, когда у вас очень мало данных. При работе с базами данных очень непрактично находить выбросы вручную. Чтобы решить эту проблему, мы можем вычислить, какие значения считаются экстремальными, сравнивая с порогом отклонений.

В случае нормального распределения значение считается экстремальным, если оно находится на расстоянии 3 стандартных отклонений от среднего. Поскольку нормальное распределение имеет 2 хвоста, мы должны учитывать, что его можно уменьшить как с отрицательной, так и с положительной стороны.

Формула для обнаружения выбросов с использованием нормального распределения

Набор наблюдений может быть выражен предыдущим способом, где x - среднее значение, в пределах которого значения колеблются, а сигма - дисперсия колебаний указанных значений. Другими словами, сигма - это расстояние наблюдений от среднего значения.

Мультипликативный фактор определяет, является ли он выбросом или инсайдером. Если z принимает значения 3 или -3, тогда, согласно нормальному распределению, наблюдение y будет выбросом.

Чтобы узнать ценность z мы используем предыдущее уравнение:

  • Если z> = 3 или z = <-3, то согласно нормальному распределению можно сказать, что Y это экстремальное значение или выброс.
  • Если z <3 или z <-3, то согласно нормальному распределению можно сказать, что Y является внутренней ценностью или инсайдерской.

Нормальный стандарт

Вы знакомы с приведенным выше уравнением?

Точнее, это выражение наблюдения, которое следует нормальному распределению после стандартизации или типизации. Это называется так, потому что при делении на стандартное или стандартное отклонение разница числителя выражается в отклонениях.

По этой причине мы можем связать значения отклонения с z и таким образом можно будет купить его с порогом в 3 отклонения.

Пример

Найдите экстремальные значения следующих наблюдений согласно нормальному распределению:

Представляем наблюдения на графике:

С самого начала мы можем видеть, что значение, наиболее удаленное от остальных, скорее всего, будет выбросом.

Сначала мы вычисляем среднее значение и стандартное отклонение:

x = среднее значение = 5,8

сигма = стандартное отклонение = 10,51

Затем подставляем значения в формулу и вычисляем значение z для каждого наблюдения:

Приведенные выше значения являются мультипликативными коэффициентами сигмы, то есть z. Все, что больше 3 или меньше -3, будет экстремальным значением.

Мы видим, что значение z значение, превышающее 3 стандартных отклонения, соответствует наблюдению 49.

Следовательно, экстремальное или резко отклоняющееся значение набора данных будет 49.

Популярные посты

Крупнейшие банки мира 2018

Еще один год мы собираем список самых важных банков мира. За последний годовой финансовый год стоимость китайских банков значительно выросла. По сравнению с предыдущим годом, мы можем увидеть рост рыночной капитализации крупнейших банков мира до 5,4 трлн евро.…