Мультиколлинеарность - это сильная линейная зависимость между более чем двумя независимыми переменными в множественной регрессии, которая нарушает предположение Гаусса-Маркова, когда оно является точным.
Другими словами, мультиколлинеарность - это высокая корреляция между более чем двумя независимыми переменными.
Мы подчеркиваем, что линейная связь (корреляция) между независимыми переменными должна быть сильной. Объясняющие переменные регрессии очень часто коррелируют. Итак, следует отметить, что эта связь должна быть сильной, но никогда не идеальной, чтобы ее можно было рассматривать как случай мультиколлинеарности. Линейная связь была бы идеальной, если бы коэффициент корреляции был равен 1.
Когда эта сильная линейная (но не идеальная) связь возникает только между двумя независимыми переменными, мы говорим, что это случай коллинеарности. Было бы мультиколлинеарностью, когда сильная линейная связь возникает между более чем двумя независимыми переменными.
Предположение Гаусса-Маркова о точной немультиколлинеарности определяет, что объясняющие переменные в выборке не могут быть постоянными. Кроме того, не должно быть точных линейных отношений между независимыми переменными (не должно быть точной мультиколлинеарности). Гаусс-Марков не позволяет нам точную мультиколлинеарность, но приближает мультиколлинеарность.
Регрессионный анализПриложения
Есть очень частные случаи, обычно нереалистичные, в которых регрессионные переменные совершенно не связаны друг с другом. В этих случаях мы говорим об экзогенности объясняющих переменных. Социальные науки обычно славятся включением приблизительной мультиколлинеарности в свои регрессии.
Точная мультиколлинеарность
Точная мультиколлинеарность возникает, когда более двух независимых переменных представляют собой линейную комбинацию других независимых переменных в регрессии.
Проблемы
Когда Гаусс Марков запрещает точную мультиколлинеарность, это происходит потому, что мы не можем получить оценку обыкновенных наименьших квадратов (OLS).
Математическое выражение предполагаемого бета-суб-i в матричной форме:
Таким образом, если существует точная мультиколлинеарность, это приводит к тому, что матрица (X'X) имеет определитель 0 и, следовательно, не может быть обратимой. Необратимость подразумевает невозможность вычисления (X'X)-1 и, следовательно, ни одна из оценок Beta sub-i.
Примерная мультиколлинеарность
Приблизительная мультиколлинеарность возникает, когда более двух независимых переменных не являются в точности (приближением) линейной комбинацией других независимых переменных в регрессии.
Переменная k представляет собой случайную величину (независимую и одинаково распределенную (i.i.d)). Частота ваших наблюдений может быть удовлетворительно приближена к стандартному нормальному распределению со средним значением 0 и дисперсией 1. Поскольку это случайная величина, это означает, что в каждом наблюдении i значение k будет различным и не зависит от любого предыдущего значения.
Проблемы
Математически выразив в матричной форме:
Таким образом, если есть приблизительная мультиколлинеарность, это приводит к тому, что матрица (X'X) будет приблизительно равна 0, а коэффициент детерминации будет очень близок к 1.
Решение
Мультиколлинеарность можно уменьшить, исключив регрессоры переменных с высокой линейной зависимостью между ними.
Коэффициент линейной корреляции