MULTICOLINEALIDAD

En el modelo de regresión lineal múltiple

(9.1)

el estimador por mínimos cuadrados se obtiene resolviendo el sistema de ecuaciones

(9.2)

Por tanto, para calcular es necesario invertir la matriz . Se pueden dar las siguientes situaciones:

	Una (o más) de las columnas de la matriz de diseño X, ..j, es una combinación lineal exacta de las otras columnas, esto es, una variable explicativa es combinación lineal de las otras. Entonces el rang < k + 1, el = 0 y no existe -1. Por tanto el sistema = XtY no tiene solución única. No se puede estimar unívocamente el vector . Este sería el caso extremo de multicolinealidad que en la práctica no se suele dar.
	El caso opuesto al anterior se da cuando las variables regresoras son ortogonales. Esto es, (9.3) En este caso los resultados del modelo de regresión se pueden interpretar sin ambigüedad. La matriz XtX es diagonal y la matriz V ar también es diagonal, lo que implica que los estimadores i, i = 1,2,...k, son incorrelados. El signo de i es igual al signo del coeficiente de correlación r, y la contribución de la variable regresora xi a R2 es independiente de las otras variables regresoras que están incluídas en el modelo de regresión, esto es, si se elimina alguna variable regresora o se añade una nueva (ortogonal), la contribución de xi es la misma.
	En la mayoría de las situaciones lo que ocurre es una situación intermedia entre los dos casos extremos anteriores. Esto es, existe una cierta relación entre las variables explicativas lo que hace que los estimadores i estén correlacionados. Si está relación es muy fuerte porque dos o más variables regresoras “están próximas” a una relación de linealidad del tipo   siendo 1,2,...,k números no todos iguales a cero. Entonces se tiene un problema de multicolinealidad. Aunque exista problema de multicolinealidad, se puede ajustar y estimar el modelo de regresión lineal, pero con mucha variabilidad, en el sentido de que las varianzas de los estimadores de los coeficientes del modelo son muy altas, lo que afecta al estudio del modelo.

Desde otro punto de vista, comparando la V ar cuando se utiliza el modelo de regresión lineal múltiple con dos regresores y cuando se utiliza el modelo de regresión lineal simple de un solo regresor. Se obtiene que

si existe alta multicolinealidad 1 - r₁₂² 0 y, por tanto, V ar >> V ar.

La última ecuación se generaliza para un modelo de regresión lineal con k variables regresoras, de la siguiente forma

(9.4)

donde r_i^.resto² es el coeficiente de correlación múltiple entre la variable explicativa x_i y el resto de variables explicativas.

Se denomina factor de incremento de la varianza al número

(9.5)

Por tanto,

(9.6)

De (9.6) se deduce que V ar < V ar, lo que implica que el modelo de regresión lineal simple estima con mayor precisión la influencia de la variable x_i en la variable respuesta que el modelo de regresión múltiple.

Si existe multicolinealidad, el FIV es muy grande y V ar es mucho mayor que V ar.

De todo lo anterior se deduce que en un problema de regresión múltiple con fuerte multicolinealidad se verificará:

	Los estimadores i tendrán varianzas muy altas y estarán muy correlacionados entre sí.
	Por la alta variabilidad de los estimadores i puede ocurrir que los contrastes individuales (contrastes de la t) sean no significativos mientras que el contraste conjunto (contraste de la F) sea altamente significativo.
	La multicolinealidad normalmente afecta a unas variables y a otras no, por tanto, puede afectar a unos parámetros del modelo y a otros no.
	La multicolinealidad no afecta a las predicciones , residuos , y varianza poblacional .
	En resumen la multicolinealidad es un problema de la muestra de la que se quiere obtener más información de la que contiene.
	Se resuelve el problema de multicolinealidad eliminando del modelo las variables explicativas dependientes. Esto es, se deben eliminar del modelo aquellas variables que proporcionan una información que se obtiene de otras variables ya incluídas en el modelo.

Detectando la multicolinealidad.

La multicolinealidad indica que existe una fuerte correlación entre las variables regresoras, por lo tanto para detectarla se debe estudiar:

Gráfico de dispersión matricial.

El gráfico de dispersión matricial de las regresoras permite tener una idea acerca de la posible relación lineal entre dos regresoras (ver Figura 9.1.).

 

	La matriz de correlaciones de las variables regresoras, R. La existencia de algún valor alto fuera de la diagonal de esta matriz (ri,j, ij, es próximo a ±1) , indica que existe una fuerte relación lineal entre las variables regresoras xi y xj. Pero ésto no es suficiente ya que la matriz R no detecta fuertes relaciones de una variable regresora con un conjunto de variables regresoras.  Por ejemplo, considérese un conjunto de k (k grande) regresoras, donde las variables x1,x2,...,xk-1 son independientes pero la variable xk está relacionada con las otras por la siguiente relación exacta   Éste es un caso extremo de multicolinealidad y no se puede calcular  ya que rang = k. Pero si k es grande todos los términos de R son pequeños, ri,j = 0, si ij, i,j = 1,...,k - 1  y  ri,k 0, i = 1,...,k - 1.
	Los elementos de la diagonal de la matriz R-1. Ya que se verifica que el i-ésimo elemento de esta matriz es (8.7) por tanto si FIV es un valor muy alto, existe multicolinealidad causada por la variable xi. Por ejemplo  si diagR-1 = FIV > 10 ri.resto2 > 0'9. Como consecuencia se debería eliminar la variable explicativa xi del modelo de regresión. El inconveniente de este método es que la matriz R-1 se calcula con poca precisión (depende mucho de la muestra) cuando la matriz R es casi singular (su determinante es próximo a cero).
	Calcular los autovalores de la matriz R. Si las variables regresoras son ortogonales, todos los autovalores de R son iguales a uno, pero si hay multicolinealidad, al menos uno de los autovalores de R es próximo a cero, la variable regresora asociada a ese autovalor será la que es aproximadamente una combinación lineal de las otras variables regresoras. Para medir si un autovalor es próximo a cero o, equivalentemente, para medir la multicolinealidad asociada a la matriz R se utiliza el índice de condicionamiento de la matriz R que es una buena medida de la singularidad de esta matriz. La definición del índice de acondicionamineto es la siguiente, (9.8)

 

A modo indicativo se puede utilizar el siguiente criterio:

* Si 10 < IC no hay multicolinealidad.

* Si 10 < IC < 30, hay moderada multicolinealidad.

* Si IC > 30, hay alta multicolinealidad.

Autovalores y autovectores de una matriz.

Sea A una matriz cuadrada de orden k. Considérese la ecuación

donde I es la matriz identidad. A las soluciones de esta ecuación se les denomina autovalores (raíces características) de la matriz A. Debe tenerse en cuenta que si es próximo a cero entonces uno (al menos) de los autovalores de A es próximo a cero.

Dado el autovalor _i, i = 1,...,k, los autovectores (o vectores característicos) _i asociados a _i se obtienen resolviendo la siguiente ecuación vectorial

esta ecuación se puede escribir de forma matricial como sigue

donde E es una matriz diagonal cuyos elementos son los autovalores y V es la matriz cuyas columnas son los autovectores que se pueden elegir ortogonales y unitarios. Entonces V es una matriz ortonormal, sus filas (o columnas) son ortogonales y de módulo 1, verificando la siguiente relación

de donde