Descomposición en valores singulares

En álgebra lineal, la descomposición en valores singulares (o DVS) de una matriz real o compleja es una factorización de la misma con muchas aplicaciones en estadística y otras disciplinas.

Dada una matriz real ${displaystyle Ain mathbb {R} ^{m imes n}}$, los autovalores de la matriz cuadrada, simétrica y semidefinida positiva ${displaystyle A^{T}Ain mathbb {R} ^{n imes n}}$ son siempre reales y mayores o iguales a cero. Teniendo en cuenta el producto interno canónico vemos que:

${displaystyle left(A^{T}A ight)^{T}=A^{T}left(A^{T} ight)^{T}=A^{T}A}$. O sea que es simétrica

${displaystyle <x,A^{T}Ax>=x^{T}A^{T}Ax=(Ax)^{T}Ax=||Ax||^{2}geq 0}$, es decir ${displaystyle A^{T}A,}$ es semidefinida positiva, es decir, todos sus autovalores son mayores o iguales a cero.

Si ${displaystyle lambda _{i},}$ es el i-ésimo autovalor asociado al i-ésimo autovector, entonces ${displaystyle lambda _{i}in mathbb {R} }$. Esto es una propiedad de las matrices simétricas. Ver demostración.

Sean ${displaystyle lambda _{1}geq lambda _{2}geq cdots geq lambda _{n}geq 0}$ los autovalores de la matriz ${displaystyle A^{T}A,}$ ordenados de mayor a menor. Entonces ${displaystyle sigma _{i}={sqrt {lambda _{i}}}}$ es el i-ésimo Valor Singular de la matriz ${displaystyle A,}$.

Sea ${displaystyle Ain mathbb {R} ^{m imes n}}$ y ${displaystyle lambda _{1}geq cdots geq lambda _{r}>lambda _{r+1}=cdots =lambda _{n}=0}$ los autovalores de ${displaystyle A^{T}A,}$. Es decir los primeros ${displaystyle r,}$ autovalores no nulos, ordenados de manera decreciente y los ${displaystyle n-r,}$ autovalores nulos.

Sea ${displaystyle {ig {}v_{1},cdots ,v_{n}{ig }}}$ una base ortonormal de ${displaystyle mathbb {R} ^{n},}$ formada por autovectores de ${displaystyle A^{T}A,}$. Entonces:

Una DVS de ${displaystyle A,}$ es una factorización del tipo ${displaystyle A=USigma V^{T},}$ con ${displaystyle Uin mathbb {R} ^{m imes m}}$, ${displaystyle Vin mathbb {R} ^{n imes n}}$ ortogonales y ${displaystyle Sigma in mathbb {R} ^{m imes n}}$ una matriz formada con los Valores Singulares de ${displaystyle A,}$ en su diagonal principal ordenados de mayor a menor.

Sean ${displaystyle lambda _{1}geq cdots geq lambda _{r}>lambda _{r+1}=cdots =lambda _{n}=0}$ los autovalores de ${displaystyle A^{T}Ain mathbb {R} ^{n imes n}}$ ordenados de esta manera. Sea ${displaystyle {ig {}v_{1},cdots ,v_{n}{ig }}}$ una base ortonormal de ${displaystyle mathbb {R} ^{n},}$ formada por autovectores de ${displaystyle A^{T}A,}$, cada uno asociados (en orden) a un autovalor.

Recordemos que el conjunto ${displaystyle {Big {}Av_{1},cdots ,Av_{n}{Big }}}$ es ortogonal, con ${displaystyle Av_{r+1}=cdots =Av_{m}=0_{mathbb {R} ^{m}}}$. Si llamamos ${displaystyle u_{1}={frac {Av_{1}}{sigma _{1}}},cdots ,u_{r}={frac {Av_{r}}{sigma _{r}}}}$, vemos que:

${displaystyle USigma =underbrace {[u_{1}quad quad cdots quad quad u_{m}]} _{Uin Re ^{m imes m};ortogonal}underbrace {left[{egin{array}{ccccccc}sigma _{1}&0&cdots &0&0&cdots &0\0&sigma _{2}&cdots &0&0&cdots &0\vdots &vdots &ddots &vdots &vdots &ddots &vdots \0&0&cdots &sigma _{r}&0&cdots &0\0&0&cdots &0&0&cdots &0\vdots &vdots &ddots &vdots &vdots &ddots &vdots \0&0&cdots &0&0&cdots &0\end{array}} ight]} _{Sigma in Re ^{m imes n}}=[sigma _{1}u_{1}quad cdots quad sigma _{r}u_{r}quad 0quad cdots quad 0]}$

Claramente ${displaystyle AV=USigma ,}$ y, finalmente, como ${displaystyle V,}$ es una matriz ortogonal ${displaystyle A=USigma V^{T},}$. Esta es la ecuación de una DVS de ${displaystyle A,}$.

Viendo esta descomposición, es claro que la matriz ${displaystyle A,}$ puede escribirse como combinación lineal de matrices de rango 1 tal que:

${displaystyle A=sum _{i=1}^{r}sigma _{i}u_{i}v_{i}^{T}}$

Toda matriz ${displaystyle Ain mathbb {R} ^{m imes n}}$ admite una DVS.

Este tipo de descomposición resulta de quedarse sólo con los ${displaystyle r,}$ autovectores unitarios asociados a los ${displaystyle r,}$ Valores Singulares no nulos. Las matrices ${displaystyle U,,V,y,Sigma }$ entonces son:

${displaystyle U_{r}=[u_{1}quad cdots quad u_{r}]^{T}}$

${displaystyle V_{r}=[v_{1}quad cdots quad v_{r}]^{T}}$

${displaystyle Sigma _{r}=diag[sigma _{1}quad cdots quad sigma _{r}]^{T}}$

${displaystyle A=U_{r}Sigma _{r}V_{r}^{T}}$

Observación: ${displaystyle Sigma _{r},}$ es una matriz diagonal de dimensión ${displaystyle r imes r,}$

Las matrices a continuación denotadas con la letra ${displaystyle P,}$, son de proyección sobre el subespacio indicado. Las matrices denotadas con la letra ${displaystyle I,}$ son las identidades del orden denotado.

${displaystyle forall quad 1leq ileq r,,:quad Av_{i}=sigma _{i}u_{i}Longleftrightarrow Aunderbrace {A^{T}Av_{i}} _{lambda _{i}cdot v_{i}}=sigma _{i}cdot AA^{T}u_{i}Longleftrightarrow lambda _{i}cdot Av_{i}=sigma _{i}^{2}cdot underbrace {Av_{i}} _{sigma _{i}u_{i}}=sigma _{i}cdot AA^{T}u_{i}Longleftrightarrow AA^{T}u_{i}=sigma _{i}^{2}cdot u_{i}=lambda _{i}cdot u_{i}}$

Este resultado es útil para facilitar el cálculo de Valores Singulares. Por ejemplo, dada ${displaystyle Ain mathbb {R} ^{2 imes 8},}$, entonces ${displaystyle A^{T}Ain mathbb {R} ^{8 imes 8},}$ tiene un polinomio característico de grado 8 y ${displaystyle AA^{T}in mathbb {R} ^{2 imes 2},}$ tiene un polinomio característico de grado 2. Como los autovalores no nulos de ambas matrices coinciden, el cálculo de Valores Singulares de ${displaystyle A,}$ se hace más sencillo.

Para una matriz no cuadrada ${displaystyle A}$ descompuesta en valores singulares ${displaystyle A=USigma V^{T},}$, su pseudoinversa es

${displaystyle A^{+}=VSigma ^{+}U^{T},}$

donde ${displaystyle Sigma ^{+}}$es la pseudoinversa de ${displaystyle Sigma }$, que siendo una matriz diagonal se computa reemplazando todos los valores no ceros de la diagonal por sus recíprocos, y luego trasponiendo.

La pseudoinversa es un camino para resolver cuadrados mínimos lineales.

La pseudoinversa obtenida mediante la DVS permite hallar x que minimiza la norma ||Ax-b|| . La solución esː

${displaystyle x_{min}=A^{+}b=VSigma ^{+}U^{T}b}$

Se aplica para aproximar la solución del sistema de ecuaciones indeterminado Ax = b.

Un conjunto de ecuaciones lineales homogéneas se puede escribir Ax = 0 para una matriz A y un vector x. Una situación típica consiste hallar x no cero, conociendo A. Las soluciones son todos los vectores singulares cuyo valor singular es cero, y toda combinación lineal entre ellos. Si A no tiene ningún valor singular cero, entonces no hay solución aparte de x = 0.

El problema de minimización por cuadrados mínimos totales consiste en hallar x que minimiza la norma ||Ax|| bajo la condición ||x|| = 1

${displaystyle min _{x}parallel Axparallel }$ para ${displaystyle parallel xparallel =1}$

La solución es el vector singular correspondiente al mínimo valor singular no cero.

Si ${displaystyle A=left[{egin{array}{cc}0&0\0&9\3&0end{array}} ight]}$, entonces ${displaystyle A^{T}A=left[{egin{array}{cc}9&0\0&81end{array}} ight]}$ cuyos autovalores son ${displaystyle lambda _{1}=81quad wedge quad lambda _{2}=9}$ asociados a los autovectores ${displaystyle v_{1}=[0quad 1]^{T}quad wedge quad v_{2}=[1quad 0]^{T}}$. Ya que la matriz es simétrica, estos vectores son ortogonales (ver diagonalización de matrices Hermíticas).

Entonces, los Valores Singulares de ${displaystyle A,}$ son ${displaystyle sigma _{1}={sqrt {81}}=9quad wedge quad sigma _{2}={sqrt {9}}=3}$. Observamos que, efectivamente, la cantidad de Valores Singulares no nulos coincide con el rango de la matriz.

Ahora buscamos los vectores ${displaystyle {ig {}u_{1},u_{2},u_{3}{ig }}}$ con ${displaystyle u_{i}in mathbb {R} ^{3}}$, que deberán cumplir

${displaystyle left{{egin{array}{c}Av_{1}=sigma _{1}u_{1}\Av_{2}=sigma _{2}u_{2}\Av_{3}=0_{mathbb {R} ^{3}}end{array}} ight.}$

Esto es ${displaystyle u_{1}={frac {Av_{1}}{sigma _{1}}}={frac {1}{9}}[0quad 9quad 0]^{T}=[0quad 1quad 0]^{T}}$ y ${displaystyle u_{2}={frac {Av_{2}}{sigma _{2}}}={frac {1}{3}}[0quad 0quad 3]^{T}=[0quad 0quad 1]^{T}}$.

Entonces completamos una base ortonormal de ${displaystyle mathbb {R} ^{3},}$ con ${displaystyle {Big {}[0quad 1quad 0]^{T},[0quad 0quad 1]^{T},[1quad 0quad 0]^{T}{Big }}}$.

Nuestras matrices ortogonales son:

${displaystyle U=left[{egin{array}{ccc}0&0&1\1&0&0\0&1&0end{array}} ight]quad V=left[{egin{array}{cc}0&1\1&0end{array}} ight]}$

Y la matriz compuesta por los Valores Singulares ordenados:

${displaystyle Sigma =left[{egin{array}{cc}9&0\0&3\0&0end{array}} ight]}$

Por lo tanto la DVS de ${displaystyle A,}$ es:

${displaystyle A=left[{egin{array}{ccc}0&0&1\1&0&0\0&1&0end{array}} ight]left[{egin{array}{cc}9&0\0&3\0&0end{array}} ight]left[{egin{array}{cc}0&1\1&0end{array}} ight]=9cdot left[{egin{array}{c}0\1\0end{array}} ight]cdot [0quad 1],+,3cdot left[{egin{array}{c}0\0\1end{array}} ight]cdot [1quad 0]=left[{egin{array}{cc}0&0\0&9\3&0end{array}} ight]}$.

Y la DVS Reducida es

${displaystyle A=left[{egin{array}{cc}0&0\1&0\0&1end{array}} ight]left[{egin{array}{cc}9&0\0&3end{array}} ight]left[{egin{array}{cc}0&1\1&0end{array}} ight]}$

Observación: No siempre ocurre que ${displaystyle V=V^{T},}$ como en este caso.

Sea ${displaystyle B=left[{egin{array}{ccc}0&0&1\0&0&1end{array}} ight]}$. Entonces, para hacer más sencillo el proceso, calculamos ${displaystyle BB^{T}=left[{egin{array}{cc}1&1\1&1end{array}} ight]}$ que tiene un polinomio característico de grado 2. Los autovalores son ${displaystyle lambda _{1}=2quad wedge quad lambda _{2}=0}$ asociados a los autovectores de norma unitaria ${displaystyle u_{1}={frac {1}{sqrt {2}}}cdot [1quad 1]^{T}quad wedge quad u_{2}={frac {1}{sqrt {2}}}cdot [-1quad 1]^{T}}$. Nuestro único valor singular no nulo es ${displaystyle sigma _{1}={sqrt {2}}}$

Observaciones:

${displaystyle B^{T}B=left[{egin{array}{ccc}0&0&0\0&0&0\0&0&2end{array}} ight]Longrightarrow pleft(lambda ight)=detleft(B^{T}B-lambda cdot I_{3} ight)=-lambda ^{3}+2lambda ^{2}}$

Ahora, sabemos que ${displaystyle Bv_{i}=sigma _{i}u_{i}Longleftrightarrow B^{T}Bv_{i}=sigma _{i}^{2}v_{i}=sigma _{i}cdot B^{T}u_{i}}$, es decir ${displaystyle B^{T}u_{i}=sigma _{i}v_{i}Longleftrightarrow v_{i}={frac {B^{T}u_{i}}{sigma _{i}}}}$. Entonces, resulta del único Valor singular no nulo: ${displaystyle v_{1}={frac {1}{2}}cdot [0quad 0quad 2]^{T}=[0quad 0quad 1]^{T}}$.

Ahora, completamos una base ortonormal de ${displaystyle mathbb {R} ^{3},}$ con ${displaystyle {Big {}[0quad 0quad 1]^{T},[1quad 0quad 0]^{T},[0quad 1quad 0]^{T}{Big }}}$. En este ejemplo, nuestras matrices ortogonales son:

${displaystyle U={frac {1}{sqrt {2}}}cdot left[{egin{array}{cc}1&-1\1&1end{array}} ight]quad V=left[{egin{array}{ccc}0&1&0\0&0&1\1&0&0end{array}} ight]}$

${displaystyle Sigma =left[{egin{array}{ccc}{sqrt {2}}&0&0\0&0&0end{array}} ight]}$

Y la DVS resulta entonces:

${displaystyle B={frac {1}{sqrt {2}}}cdot left[{egin{array}{cc}1&-1\1&1end{array}} ight]left[{egin{array}{ccc}{sqrt {2}}&0&0\0&0&0end{array}} ight]left[{egin{array}{ccc}0&0&1\1&0&0\0&1&0end{array}} ight]=left[{egin{array}{c}1\1end{array}} ight]left[{egin{array}{ccc}0&0&1end{array}} ight]=left[{egin{array}{ccc}0&0&1\0&0&1end{array}} ight]}$

Nota: la DVS reducida se muestra en la segunda igualdad de la ecuación anterior.

---