Descomposición en valores singulares

En álgebra lineal, la descomposición en valores singulares (o DVS) de una matriz real o compleja es una factorización de la misma con muchas aplicaciones en estadística y otras disciplinas.

Definiciones previas

Dada una matriz real $A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )$, los valores propios de la matriz cuadrada, simétrica y semidefinida positiva $A^{t}A\in {\mathcal {M}}_{n}(\mathbb {R} )$ son siempre reales y mayores o iguales a cero. Teniendo en cuenta el producto escalar estándar vemos que:

$(A^{t}A)^{t}=A^{t}(A^{t})^{t}=A^{t}A$, o sea que es simétrica.

$\langle x,A^{t}Ax\rangle =x^{t}A^{t}Ax=(Ax)^{t}Ax=\|Ax\|^{2}\geq 0$, es decir $A^{T}A$ es semidefinida positiva.

Por ser $A^{t}A$ una matriz real simétrica, todos sus valores propios son reales —en particular, como es semidefinida positiva, son todos mayores o iguales a cero—. Ver demostración.

Definición

Sean $\lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{n}\geq 0$ los valores propios de la matriz $A^{t}A$ ordenados de mayor a menor. Entonces $\sigma _{i}:={\sqrt {\lambda _{i}}}$ es el $i$-ésimo valor singular de la matriz $A$.

Teorema

Sea $A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )$ y $\lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r 1}=\cdots =\lambda _{n}=0$ los valores propios de $A^{t}A$. Es decir, los primeros $r$ valores propios no nulos, ordenados de manera decreciente, y los $n-r$ valores propios nulos.

Sea $(v_{1},\ldots ,v_{n})$ una base ortonormal de $\mathbb {R} ^{n}\,$ formada por valores propios de $A^{T}A$ —que existe por el teorema espectral—. Entonces:

1. Los vectores $Av_{1},\ldots ,Av_{r}$ son ortogonales dos a dos y $\|Av_{i}\|={\sqrt {\lambda _{i}}}=\sigma _{i}$.
2. ${\big (}{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big )}$ es una base ortonormal del subespacio fundamental $\operatorname {Col} (A)$.
3. $(v_{r 1},\ldots ,v_{n})$ es una base ortonormal del subespacio fundamental $\operatorname {Nul} (A)$.
4. $\operatorname {rg} (A)=r$ es decir, el rango de la matriz $A$ coincide con la cantidad de valores singulares no nulos.

Demostración

1. $\langle Av_{i},Av_{j}\rangle =v_{i}^{t}A^{t}Av_{j}=\lambda _{j}v_{i}^{t}v_{j}={\begin{cases}\lambda _{j}&i=j\\0&i\neq j\end{cases}}$. Teniendo en cuenta este resultado, $\|Av_{i}\|={\sqrt {\langle Av_{i},Av_{i}\rangle }}={\sqrt {\lambda _{i}}}=\sigma _{i}$.
2. Como la familia de vectores $(v_{i})_{1\leq i\leq r}$ es ortonormal —en particular, linealmente independiente—, los productos $Av_{i}$ son combinaciones lineales de las columnas de $A$, por lo que el subespacio generado por estos productos está contenido en $\operatorname {Col} (A)$. Además, los vectores $Av_{1},\ldots ,Av_{r}$ son ortogonales dos a dos —en particular, linealmente independientes—, por lo tanto deducimos que $\dim {\big (}{\big \langle }{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big \rangle }{\big )}=r=\dim(\operatorname {Col} (A))$, de donde $\operatorname {Col} (A)={\big \langle }{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big \rangle }$. Así, teniendo en cuenta lo demostrado en el punto anterior, ${\big (}{\tfrac {1}{\sigma _{1}}}Av_{1},\ldots ,{\tfrac {1}{\sigma _{r}}}Av_{r}{\big )}$ es una base ortonormal de $\operatorname {Col} (A)$.
3. Es claro que si la familia de vectores $(v_{i})_{r<i\leq n}$, está asociada a valores propios nulos, teniendo en cuenta lo visto en el punto 1 y también sabiendo que $\operatorname {Nul} (A)=\operatorname {Nul} (A^{t}A)$ —demostración en el último punto de esta lista de propiedades— se ve que $(v_{r 1},\ldots ,v_{n})$ es una base ortonormal de $\operatorname {Nul} (A)$
4. Mirando la dimensión del subespacio hallado en el punto 2 de esta demostración, es claro que $\operatorname {rg} (A)=r$.

Descomposición en valores singulares de una matriz

Una DVS de $A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )$ es una factorización del tipo $A=U\Sigma V^{t}$ con $U\in {\mathcal {M}}_{m}(\mathbb {R} )$ y $V\in {\mathcal {M}}_{n}(\mathbb {R} )$ ortogonales y $\Sigma \in {\mathcal {M}}_{m\times n}(\mathbb {R} )$ una matriz formada por los valores singulares de $A$ en su diagonal principal ordenados de mayor a menor, y ceros en el resto de entradas.

Teorema

Toda matriz $A\in {\mathcal {M}}_{m\times n}(\mathbb {R} )$ admite una DVS.

Demostración

Sean $\lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r 1}=\cdots =\lambda _{n}=0$ los valores propios de $A^{t}A\in {\mathcal {M}}_{n}(\mathbb {R} )$ ordenados de esta manera. Sea $(v_{1},\ldots ,v_{n})$ una base ortonormal de $\mathbb {R} ^{n}$ formada por vectores propios de $A^{t}A$, cada uno asociado —en orden— a un valor propio.

Recordemos que los vectores $Av_{1},\ldots ,Av_{n}$ son ortogonales dos a dos, con $Av_{r 1}=\cdots =Av_{m}=0$. Si llamamos $u_{1}:={\frac {1}{\sigma _{1}}}Av_{1},\ldots ,u_{r}:={\frac {1}{\sigma _{r}}}Av_{r}$, vemos que:

• $u_{1},\ldots ,u_{r}$ son ortonormales. Entonces, si $r<m$, podemos completar con vectores $u_{r 1},\ldots ,u_{m}$ hasta formar una base ortonormal de $\mathbb {R} ^{m}$

• $\left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\\vdots \\Av_{r}=\sigma _{r}u_{r}\\Av_{r 1}=0\\\vdots \\Av_{n}=0\end{array}}\right.$

• Reescribiendo este último sistema de ecuaciones de manera matricial con las matrices $V={\begin{pmatrix}|&&|\\v_{1}&\cdots &v_{n}\\|&&|\end{pmatrix}}\in {\mathcal {M}}_{n}(\mathbb {R} )$ ortogonal y

$U\Sigma =\underbrace {\begin{pmatrix}|&&|\\u_{1}&\cdots &u_{m}\\|&&|\end{pmatrix}} _{U\in {\mathcal {M}}_{m}(\mathbb {R} ){\text{ ortogonal}}}\underbrace {\begin{pmatrix}\sigma _{1}&0&\cdots &0&0&\cdots &0\\0&\sigma _{2}&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma _{r}&0&\cdots &0\\0&0&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &0&0&\cdots &0\\\end{pmatrix}} _{\Sigma \in {\mathcal {M}}_{m\times n}(\mathbb {R} )}={\begin{pmatrix}|&&|&|&&|\\\sigma _{1}u_{1}&\cdots &\sigma _{r}u_{r}&0&\cdots &0\\|&&|&|&&|\end{pmatrix}}$

Claramente $AV=U\Sigma \,$ y, finalmente, como $V$ es una matriz ortogonal, $A=U\Sigma V^{t}$. Esta es la ecuación de una DVS de $A\,$.

Viendo esta descomposición, es claro que la matriz $A$ puede escribirse como combinación lineal de matrices de rango 1 tal que:

$A=\sum _{i=1}^{r}\sigma _{i}u_{i}v_{i}^{t}$

Descomposición en valores singulares reducida (DVS reducida)

Este tipo de descomposición resulta de quedarse sólo con los $r$ vectores propios unitarios asociados a los $r$ valores singulares no nulos. Las matrices $U$, $V$ y $\Sigma$ entonces son:

$U_{r}={\begin{pmatrix}|&&|\\u_{1}&\cdots &u_{r}\\|&&|\end{pmatrix}}^{t}$

$V_{r}={\begin{pmatrix}|&&|\\v_{1}&\cdots &v_{r}\\|&&|\end{pmatrix}}^{t}$

$\Sigma _{r}=\operatorname {diag} (\sigma _{1},\ldots ,\sigma _{r})$

$A=U_{r}\Sigma _{r}V_{r}^{t}$

Observación: $\Sigma _{r}$ es una matriz diagonal de tamaño $r\times r$.

Propiedades

Las matrices a continuación denotadas con la letra $P$, son de proyección sobre el subespacio indicado. Las matrices denotadas con $\operatorname {Id}$ son las identidades del orden denotado.

• $P_{\operatorname {Col} (A)}=U_{r}U_{r}^{t}$

• $P_{\operatorname {Nul} (A^{t})}={\operatorname {Id} _{m}}-U_{r}U_{r}^{t}=U_{m-r}U_{m-r}^{t}$

• $P_{\operatorname {Fil} (A)}=V_{r}V_{r}^{t}$

• $P_{\operatorname {Nul} (A)}={\operatorname {Id} _{n}}-V_{r}V_{r}^{t}=V_{n-r}V_{n-r}^{t}$

• $U_{r}^{t}U_{r}=U_{m-r}^{t}U_{m-r}=\operatorname {Id} _{m}$

• $V_{r}^{t}V_{r}=V_{n-r}^{t}V_{n-r}=\operatorname {Id} _{n}$

• $(u_{1},\ldots ,u_{r})$ es una base ortonormal de $\operatorname {Col} (A)$

• $(u_{r 1},\ldots ,u_{m})$ es una base ortonormal de $\operatorname {Nul} (A^{t})$

• $(v_{1},\ldots ,v_{r})$ es una base ortonormal de $\operatorname {Fil} (A)$

• $(v_{r 1},\ldots ,v_{n})$ es una base ortonormal de $\operatorname {Nul} (A)$

• $A=U\Sigma V^{t}$ implica que $A^{t}=(U\Sigma V^{t})^{t}=V\Sigma ^{t}U^{t}$.

• $A^{t}A=V\Sigma ^{t}U^{t}U\Sigma V^{t}\Leftrightarrow A^{t}=V\Sigma ^{t}\Sigma V^{t}\Leftrightarrow A^{t}A=V_{r}\operatorname {diag} (\lambda _{1},\ldots ,\lambda _{r})V_{r}^{t}$ —una diagonalización ortogonal de $A^{t}A$—.

• Las matrices simétricas $A^{t}A\in {\mathcal {M}}_{n}(\mathbb {R} )$ y $AA^{t}\in {\mathcal {M}}_{m}(\mathbb {R} )$ tienen los mismos valores propios no nulos y, por lo tanto, los valores singulares no nulos de la matriz $A$ pueden calcularse usando cualquiera de estas dos. Además, todos los vectores del conjunto $\{u_{1},\ldots ,u_{r}\}$ son vectores propios de $AA^{t}\in {\mathcal {M}}_{m}(\mathbb {R} )$ y también, como ya se mencionó, $\operatorname {Nul} (A^{t})=\langle u_{r 1},\ldots ,u_{m}\rangle$. Esto es fácil de ver, teniendo en cuenta que

$\forall 1\leq i\leq r,\ Av_{i}=\sigma _{i}u_{i}\Leftrightarrow A\underbrace {A^{t}Av_{i}} _{\lambda _{i}v_{i}}=\sigma _{i}AA^{t}u_{i}\Leftrightarrow \lambda _{i}Av_{i}=\sigma _{i}^{2}\underbrace {Av_{i}} _{\sigma _{i}u_{i}}=\sigma _{i}\cdot AA^{t}u_{i}\Leftrightarrow AA^{t}u_{i}=\sigma _{i}^{2}u_{i}=\lambda _{i}u_{i}$

Este resultado es útil para facilitar el cálculo de valores singulares. Por ejemplo, dada $A\in {\mathcal {M}}_{2\times 8}(\mathbb {R} )$, entonces $A^{t}A\in {\mathcal {M}}_{8}(\mathbb {R} )$ tiene un polinomio característico de grado 8 y $AA^{t}\in {\mathcal {M}}_{2}(\mathbb {R} )$ tiene un polinomio característico de grado 2. Como los valores propios no nulos de ambas matrices coinciden, el cálculo de valores singulares de $A$ se hace más sencillo.

Aplicaciones

Pseudoinversa

Para una matriz no cuadrada $A$ descompuesta en valores singulares $A=U\Sigma V^{t}$, su pseudoinversa es

$A^{ }:=V\Sigma ^{ }U^{t}$

donde $\Sigma ^{ }$ es la pseudoinversa de $\Sigma$, que siendo una matriz diagonal se computa reemplazando todos los valores no nulos de la diagonal por sus recíprocos, y luego trasponiendo.

La pseudoinversa es un camino para resolver cuadrados mínimos lineales.

Solución de norma mínima

La pseudoinversa obtenida mediante la DVS permite hallar $x$ que minimiza la norma $\|Ax-b\|$. La solución esː

$x_{\text{min}}=A^{ }b=V\Sigma ^{ }U^{t}b$

Se aplica para aproximar la solución del sistema de ecuaciones indeterminado $\|Ax-b\|$.

Solución de ecuaciones lineales homogéneas

Un conjunto de ecuaciones lineales homogéneas se puede escribir en la forma $Ax=0$ para una matriz $A$ y un vector $x$. Una situación típica consiste hallar $x$ no nulo, conociendo $A$. Las soluciones son todos los vectores singulares cuyo valor singular es cero, y toda combinación lineal entre ellos. Si $A$ no tiene ningún valor singular cero, entonces no hay solución aparte de $x=0$.

Minimización de cuadrados mínimos totales

El problema de minimización por cuadrados mínimos totales consiste en hallar $x$ que minimiza la norma $\|Ax\|$ bajo la condición $\|x\|=1$:

$\min _{\|x\|=1}\|Ax\|$.

La solución es el vector singular correspondiente al mínimo valor singular no cero.

Ejemplos de cálculo de DVS

Ejemplo 1

Si $A={\begin{pmatrix}0&0\\0&9\\3&0\end{pmatrix}}$, entonces $A^{t}A={\begin{pmatrix}9&0\\0&81\end{pmatrix}}$, cuyos autovalores son $\lambda _{1}=81$ y $\lambda _{2}=9$ asociados a los autovectores $v_{1}=(0,1)$ y $v_{2}=(1,0)$. Ya que la matriz es simétrica, estos vectores son ortogonales (ver diagonalización de matrices Hermíticas).

Entonces, los valores singulares de $A$ son $\sigma _{1}={\sqrt {81}}=9$ y $\sigma _{2}={\sqrt {9}}=3$. Observamos que, efectivamente, la cantidad de valores singulares no nulos coincide con el rango de la matriz.

Ahora buscamos los vectores $u_{1},u_{2},u_{3}\in \mathbb {R} ^{3}$ que deberán cumplir

$\left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\Av_{2}=\sigma _{2}u_{2}\\Av_{3}=0\end{array}}\right.$

Esto es $u_{1}={\frac {1}{\sigma _{1}}}Av_{1}={\frac {1}{9}}(0,9,0)=(0,1,0)$ y $u_{2}={\frac {1}{\sigma _{2}}}Av_{2}={\frac {1}{3}}(0,0,3)=(0,0,1)$.

Entonces completamos a una base ortonormal de $\mathbb {R} ^{3}$, $((0,1,0),(0,0,1),(1,0,0))$.

Nuestras matrices ortogonales son:

$U={\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}$ y $V={\begin{pmatrix}0&1\\1&0\end{pmatrix}}$

Y la matriz compuesta por los valores singulares ordenados:

$\Sigma ={\begin{pmatrix}9&0\\0&3\\0&0\end{pmatrix}}$

Por lo tanto la DVS de $A\,$ es:

$A={\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}{\begin{pmatrix}9&0\\0&3\\0&0\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}=9{\begin{pmatrix}0\\1\\0\end{pmatrix}}{\begin{pmatrix}0&1\end{pmatrix}} 3{\begin{pmatrix}0\\0\\1\end{pmatrix}}{\begin{pmatrix}1&0\end{pmatrix}}={\begin{pmatrix}0&0\\0&9\\3&0\end{pmatrix}}$.

Y la DVS reducida es

$A={\begin{pmatrix}0&0\\1&0\\0&1\end{pmatrix}}{\begin{pmatrix}9&0\\0&3\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}$

Observación: No siempre ocurre que $V=V^{t}$ como en este caso.

Ejemplo 2

Sea $B={\begin{pmatrix}0&0&1\\0&0&1\end{pmatrix}}$. Entonces, para hacer más sencillo el proceso, calculamos $BB^{t}={\begin{pmatrix}1&1\\1&1\end{pmatrix}}$ que tiene un polinomio característico de grado 2. Los autovalores son $\lambda _{1}=2$ y $\lambda _{2}=0$ asociados a los autovectores de norma unitaria $u_{1}={\frac {1}{\sqrt {2}}}(1,1)$ y $u_{2}={\frac {1}{\sqrt {2}}}(-1,1)$. Nuestro único valor singular no nulo es $\sigma _{1}={\sqrt {2}}$.

Observaciones:

• Es claro que $\operatorname {rg} (B)=1$ coincide con la cantidad de valores singulares no nulos de la matriz y además $\operatorname {Col} (B)=\left\langle {\frac {1}{\sqrt {2}}}(1,1)\right\rangle$.
• Sabemos que $B^{t}B\in {\mathcal {M}}_{3}(\mathbb {R} )$ tiene un polinomio característico de grado 3. Sus raíces son $\lambda _{1}=2$, $\lambda _{2}=\lambda _{3}=0$. Veámoslo:

$B^{t}B={\begin{pmatrix}0&0&0\\0&0&0\\0&0&2\end{pmatrix}}\Longrightarrow p_{B^{t}B}(x)=\det({x\operatorname {Id} _{3}}-B^{t}B)=x^{2}(x-2)$.

Ahora, sabemos que $Bv_{i}=\sigma _{i}u_{i}\Leftrightarrow B^{t}Bv_{i}=\sigma _{i}^{2}v_{i}=\sigma _{i}B^{t}u_{i}$, es decir $B^{t}u_{i}=\sigma _{i}v_{i}\Leftrightarrow v_{i}={\frac {1}{\sigma _{i}}}B^{t}u_{i}$. Entonces, resulta del único valor singular no nulo: $v_{1}={\frac {1}{2}}(0,0,2)=(0,0,1)$.

Ahora, completamos a una base ortonormal de $\mathbb {R} ^{3}$, $((0,0,1),(1,0,0),(0,1,0))$. En este ejemplo, nuestras matrices ortogonales son:

$U={\frac {1}{\sqrt {2}}}{\begin{pmatrix}1&-1\\1&1\end{pmatrix}}$ y $V={\begin{pmatrix}0&1&0\\0&0&1\\1&0&0\end{pmatrix}}$.

$\Sigma ={\begin{pmatrix}{\sqrt {2}}&0&0\\0&0&0\end{pmatrix}}$.

Y la DVS resulta entonces

$B={\frac {1}{\sqrt {2}}}{\begin{pmatrix}1&-1\\1&1\end{pmatrix}}{\begin{pmatrix}{\sqrt {2}}&0&0\\0&0&0\end{pmatrix}}{\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}={\begin{pmatrix}1\\1\end{pmatrix}}{\begin{pmatrix}0&0&1\end{pmatrix}}={\begin{pmatrix}0&0&1\\0&0&1\end{pmatrix}}$.

Nota: la DVS reducida se muestra en la segunda igualdad de la ecuación anterior.

Véase también

• Matriz normal
• Matriz ortogonal
• Matriz simétrica
• Diagonalización de una matriz
• Subespacios fundamentales de una matriz
• Pseudoinversa de Moore-Penrose

• Datos: Q420904