Singulärwertzerlegung

Illustration der Singulärwertzerlegung UΣV^⁎ einer reellen 2×2-Matrix M.

• Oben: Die Wirkung von M, dargestellt durch ihre Wirkung auf die Einheitsscheibe D und die beiden kanonischen Einheitsvektoren e₁ und e₂.
• Links: Die Wirkung von V^⁎, einer Drehung, auf D, e₁ und e₂.
• Unten: Die Wirkung von Σ, einer Skalierung um die Singulärwerte σ₁ horizontal und σ₂ vertikal.
• Rechts: Die Wirkung von U, eine weitere Drehung. ⓘ

In der linearen Algebra ist die Singulärwertzerlegung (SVD) eine Faktorisierung einer reellen oder komplexen Matrix. Sie verallgemeinert die Eigenwertzerlegung einer quadratischen Normalmatrix mit einer orthonormalen Eigenbasis auf jede $m\times n$ Matrix. Sie ist verwandt mit der Polarzerlegung. ⓘ

Im Einzelnen ist die Singulärwertzerlegung einer $m\times n$ komplexen Matrix M ist eine Faktorisierung der Form $\mathbf {M} =\mathbf {U\Sigma V^{*}}$wobei U eine $m\times m$ komplexe unitäre Matrix ist, $\mathbf {\Sigma }$ ist eine $m\times n$ rechteckige Diagonalmatrix mit nichtnegativen reellen Zahlen auf der Diagonalen und V eine $n\times n$ komplexe Einheitsmatrix ist. Wenn M reell ist, können U und V auch garantiert reelle orthogonale Matrizen sein. In solchen Zusammenhängen wird die SVD oft als $\mathbf {U\Sigma V^{T}}$. ⓘ

Die Diagonaleinträge $\sigma _{i}=\Sigma _{ii}$ von $\mathbf {\Sigma }$ sind eindeutig durch M bestimmt und werden als Singulärwerte von M bezeichnet. Die Anzahl der von Null verschiedenen Singulärwerte ist gleich dem Rang von M. Die Spalten von U und die Spalten von V werden als Links- bzw. Rechtssingulärvektoren von M bezeichnet. Sie bilden zwei Mengen orthonormaler Basen u₁, ..., um und v₁, ..., vn , und die Singulärwertzerlegung kann geschrieben werden als $\mathbf {M} =\sum _{i=1}^{r}\sigma _{i}\mathbf {u} _{i}\mathbf {v} _{i}^{*}$geschrieben werden, wobei $r\leq \min\{m,n\}$ der Rang von M ist. ⓘ

Die SVD ist nicht eindeutig. Es ist immer möglich, die Zersetzung so zu wählen, dass die Singulärwerte $\Sigma _{ii}$in absteigender Reihenfolge sind. In diesem Fall ist $\mathbf {\Sigma }$ (aber nicht U und V) eindeutig durch M bestimmt. ⓘ

Der Begriff bezieht sich manchmal auf die kompakte SVD, eine ähnliche Zerlegung $\mathbf {M} =\mathbf {U\Sigma V^{*}}$ bei der $\mathbf {\Sigma }$ eine quadratische Diagonale der Größe $r\times r$geschrieben werden, wobei $r\leq \min\{m,n\}$ der Rang von M ist und nur die von Null verschiedenen Singulärwerte enthält. In dieser Variante ist U eine $m\times r$ halbunitäre Matrix und $\mathbf {V}$ ist eine $n\times r$ halb-unitäre Matrix, so dass $\mathbf {U^{*}U} =\mathbf {V^{*}V} =\mathbf {I} _{r}$. ⓘ

Zu den mathematischen Anwendungen der SVD gehören die Berechnung der Pseudoinverse, die Matrixapproximation und die Bestimmung des Rangs, des Bereichs und des Nullraums einer Matrix. Die SVD ist auch in allen Bereichen der Wissenschaft, Technik und Statistik äußerst nützlich, z. B. bei der Signalverarbeitung, der Anpassung von Daten nach der Methode der kleinsten Quadrate und der Prozesssteuerung. ⓘ

Singulärwertzerlegung am Beispiel einer zweidimensionalen, reellen Scherung $M$: Diese Transformation verzerrt den blauen Einheitskreis oben links zur Ellipse rechts oben im Bild. $M$ kann zerlegt werden in zwei Drehungen $U$ und $V^{*}$ sowie eine Dehnung/Stauchung $\Sigma$ entlang der Koordinatenachsen. Die Singulärwerte $\sigma _{1}$ und $\sigma _{2}$ sind die Längen der großen bzw. kleinen Halbachse der Ellipse. Die genauen Werte für dieses Beispiel finden sich in der Bildbeschreibung. ⓘ

Eine Singulärwertzerlegung (engl. Singular Value Decomposition; abgekürzt SWZ oder SVD) einer Matrix bezeichnet deren Darstellung als Produkt dreier spezieller Matrizen. Daraus kann man die Singulärwerte der Matrix ablesen. Diese charakterisieren, ähnlich den Eigenwerten, Eigenschaften der Matrix. Singulärwertzerlegungen existieren für jede Matrix – auch für nichtquadratische Matrizen. ⓘ

Intuitive Interpretationen

Animierte Darstellung der SVD einer reellen 2D-Scherenmatrix M. Zunächst sehen wir die Einheitsscheibe in Blau zusammen mit den beiden kanonischen Einheitsvektoren. Dann sehen wir die Aktionen von M, die die Scheibe zu einer Ellipse verzerren. Die SVD zerlegt M in drei einfache Transformationen: eine Anfangsdrehung V^⁎, eine Skalierung $\mathbf {\Sigma }$ entlang der Koordinatenachsen und eine abschließende Drehung U. Die Längen σ₁ und σ₂ der Halbachsen der Ellipse sind die Singulärwerte von M, nämlich Σ_1,1 und Σ_2,2. ⓘ

Visualisierung der Matrixmultiplikationen bei der Singulärwertzerlegung ⓘ

Drehung, Koordinatenskalierung und Spiegelung

In dem speziellen Fall, dass M eine m × m reelle Quadratmatrix ist, können die Matrizen U und V^⁎ ebenfalls als reelle m × m Matrizen gewählt werden. In diesem Fall ist "unitär" gleichbedeutend mit "orthogonal". Interpretiert man dann die beiden unitären Matrizen sowie die Diagonalmatrix, hier als A zusammengefasst, als lineare Transformation x ↦ Ax des Raums Rm, so stellen die Matrizen U und V^⁎ Drehungen oder Spiegelungen des Raums dar, während $\mathbf {\Sigma }$ die Skalierung jeder Koordinate xi um den Faktor σi darstellt. Die SVD-Zerlegung zerlegt also jede lineare Transformation von Rm in eine Zusammensetzung aus drei geometrischen Transformationen: eine Drehung oder Spiegelung (V^⁎), gefolgt von einer koordinatenweisen Skalierung ($\mathbf {\Sigma }$), gefolgt von einer weiteren Drehung oder Spiegelung (U). ⓘ

Insbesondere, wenn M eine positive Determinante hat, können U und V^⁎ so gewählt werden, dass sie beide Rotationen mit Spiegelungen oder beide Rotationen ohne Spiegelungen sind. Wenn die Determinante negativ ist, hat genau eine der beiden Rotationen eine Spiegelung. Wenn die Determinante Null ist, kann jede der beiden unabhängig voneinander als eine der beiden Arten gewählt werden. ⓘ

Ist die Matrix M reell, aber nicht quadratisch, nämlich m×n mit m ≠ n, kann sie als lineare Transformation von Rn nach R^m interpretiert werden. Dann können U und V^⁎ als Drehungen bzw. Spiegelungen von R^m und Rn gewählt werden; und $\mathbf {\Sigma }$skaliert nicht nur die ersten $\min\{m,n\}$ Koordinaten auch den Vektor um Nullen erweitern, d. h. die nachlaufenden Koordinaten entfernen, so dass Rn zu R^m wird. ⓘ

Singulärwerte als Halbachsen einer Ellipse oder eines Ellipsoids

Wie in der Abbildung gezeigt, können die Singulärwerte als die Größe der Halbachsen einer Ellipse in 2D interpretiert werden. Dieses Konzept kann auf den n-dimensionalen euklidischen Raum verallgemeinert werden, wobei die Singulärwerte einer beliebigen n × n-Quadratmatrix als die Größe der Halbachse eines n-dimensionalen Ellipsoids betrachtet werden. In ähnlicher Weise können die Singulärwerte einer beliebigen m × n-Matrix als die Größe der Halbachse eines n-dimensionalen Ellipsoids im m-dimensionalen Raum betrachtet werden, zum Beispiel als Ellipse in einer (gekippten) 2D-Ebene in einem 3D-Raum. Singuläre Werte kodieren die Größe der Halbachse, während singuläre Vektoren die Richtung kodieren. Siehe unten für weitere Einzelheiten. ⓘ

Die Spalten von U und V sind Orthonormalbasen

Da U und V^⁎ unitär sind, bilden die Spalten jedes dieser Vektoren eine Menge orthonormaler Vektoren, die als Basisvektoren betrachtet werden können. Die Matrix M bildet den Basisvektor Vi auf den gestreckten Einheitsvektor σi Ui ab. Nach der Definition einer Einheitsmatrix gilt dasselbe für ihre konjugierten Transponierten U^⁎ und V, außer dass die geometrische Interpretation der Singulärwerte als Streckungen verloren geht. Kurz gesagt, die Spalten von U, U^⁎, V und V^⁎ sind Orthonormalbasen. Wenn die $\mathbf {M}$ eine positiv-semidefinite hermitesche Matrix ist, sind U und V beide gleich der unitären Matrix, die zur Diagonalisierung $\mathbf {M}$. Wenn jedoch $\mathbf {M}$ nicht positiv-halbfinit und hermitesch, aber dennoch diagonalisierbar ist, sind ihre Eigenwertzerlegung und Singulärwertzerlegung verschieden. ⓘ

Geometrische Bedeutung

Da U und V unitär sind, wissen wir, dass die Spalten U₁, ..., Um von U eine orthonormale Basis von Km und die Spalten V₁, ..., Vn von V eine orthonormale Basis von Kn ergeben (in Bezug auf die Standard-Skalarprodukte auf diesen Räumen). ⓘ

Die lineare Transformation ⓘ

$T\colon \left\{{\begin{aligned}K^{n}&\to K^{m}\\x&\mapsto \mathbf {M} x\end{aligned}}\right.$ ⓘ

hat eine besonders einfache Beschreibung in Bezug auf diese Orthonormalbasen: Wir haben ⓘ

$T(\mathbf {V} _{i})=\sigma _{i}\mathbf {U} _{i},\qquad i=1,\ldots ,\min(m,n),$ ⓘ

wobei σi der i-te Diagonaleintrag von $\mathbf {\Sigma }$ist, und T(Vi) = 0 für i > min(m,n). ⓘ

Der geometrische Inhalt des SVD-Theorems lässt sich also wie folgt zusammenfassen: Für jede lineare Abbildung T : Kn → Km lassen sich orthonormale Basen von Kn und Km finden, so dass T den i-ten Basisvektor von Kn auf ein nicht-negatives Vielfaches des i-ten Basisvektors von Km abbildet und die verbleibenden Basisvektoren auf Null setzt. In Bezug auf diese Basen wird die Abbildung T daher durch eine Diagonalmatrix mit nichtnegativen reellen Diagonaleinträgen dargestellt. ⓘ

Um die Singulärwerte und die SVD-Faktorisierung anschaulicher zu machen - zumindest wenn man mit reellen Vektorräumen arbeitet - betrachtet man die Kugel S mit dem Radius 1 in Rn. Die lineare Abbildung T bildet diese Kugel auf ein Ellipsoid in Rm ab. Die Singulärwerte ungleich Null sind einfach die Längen der Halbachsen dieses Ellipsoids. Insbesondere wenn n = m und alle Singulärwerte eindeutig und ungleich Null sind, kann die SVD der linearen Abbildung T leicht als eine Folge von drei aufeinanderfolgenden Bewegungen analysiert werden: Betrachten Sie das Ellipsoid T(S) und insbesondere seine Achsen; betrachten Sie dann die Richtungen in Rn, die von T auf diese Achsen geschickt werden. Diese Richtungen sind zufällig orthogonal zueinander. Man wendet zunächst eine Isometrie V^⁎ an, die diese Richtungen auf die Koordinatenachsen von Rn überträgt. In einem zweiten Schritt wendet man einen Endomorphismus D an, der entlang der Koordinatenachsen diagonalisiert ist und in jeder Richtung streckt oder schrumpft, wobei die Halbachsenlängen von T(S) als Streckungskoeffizienten verwendet werden. Die Komposition D ∘ V^⁎ schickt dann die Einheitssphäre auf ein Ellipsoid, das isometrisch zu T(S) ist. Um den dritten und letzten Zug U zu definieren, wendet man eine Isometrie auf dieses Ellipsoid an, um es über T(S) zu tragen. Wie sich leicht überprüfen lässt, fällt die Zusammensetzung U ∘ D ∘ V^⁎ mit T zusammen. ⓘ

Beispiel

Betrachten wir die 4 × 5-Matrix ⓘ

$\mathbf {M} ={\begin{bmatrix}1&0&0&0&2\\0&0&3&0&0\\0&0&0&0&0\\0&2&0&0&0\end{bmatrix}}$ ⓘ

Eine Singulärwertzerlegung dieser Matrix ist gegeben durch UΣV^{⁎ ⓘ}

${\begin{aligned}\mathbf {U} &={\begin{bmatrix}\color {Green}0&\color {Blue}-1&\color {Cyan}0&\color {Emerald}0\\\color {Green}-1&\color {Blue}0&\color {Cyan}0&\color {Emerald}0\\\color {Green}0&\color {Blue}0&\color {Cyan}0&\color {Emerald}-1\\\color {Green}0&\color {Blue}0&\color {Cyan}-1&\color {Emerald}0\end{bmatrix}}\\[6pt]{\boldsymbol {\Sigma }}&={\begin{bmatrix}3&0&0&0&\color {Gray}{\mathit {0}}\\0&{\sqrt {5}}&0&0&\color {Gray}{\mathit {0}}\\0&0&2&0&\color {Gray}{\mathit {0}}\\0&0&0&\color {Red}\mathbf {0} &\color {Gray}{\mathit {0}}\end{bmatrix}}\\[6pt]\mathbf {V} ^{*}&={\begin{bmatrix}\color {Violet}0&\color {Violet}0&\color {Violet}-1&\color {Violet}0&\color {Violet}0\\\color {Plum}-{\sqrt {0.2}}&\color {Plum}0&\color {Plum}0&\color {Plum}0&\color {Plum}-{\sqrt {0.8}}\\\color {Magenta}0&\color {Magenta}-1&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0\\\color {Orchid}0&\color {Orchid}0&\color {Orchid}0&\color {Orchid}1&\color {Orchid}0\\\color {Purple}-{\sqrt {0.8}}&\color {Purple}0&\color {Purple}0&\color {Purple}0&\color {Purple}{\sqrt {0.2}}\end{bmatrix}}\end{aligned}}$ ⓘ

Die Skalierungsmatrix $\mathbf {\Sigma }$ ist außerhalb der Diagonalen Null (grau kursiv) und ein Diagonalelement ist Null (rot fett). Da die Matrizen U und V^⁎ unitär sind, ergibt die Multiplikation mit ihren jeweiligen konjugierten Transponierten Identitätsmatrizen, wie unten gezeigt. Da U und V^⁎ reellwertig sind, handelt es sich in diesem Fall um eine orthogonale Matrix. ⓘ

${\begin{aligned}\mathbf {U} \mathbf {U} ^{*}&={\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\\0&0&0&1\end{bmatrix}}=\mathbf {I} _{4}\\[6pt]\mathbf {V} \mathbf {V} ^{*}&={\begin{bmatrix}1&0&0&0&0\\0&1&0&0&0\\0&0&1&0&0\\0&0&0&1&0\\0&0&0&0&1\end{bmatrix}}=\mathbf {I} _{5}\end{aligned}}$ ⓘ

Diese spezielle Singulärwert-Zerlegung ist nicht eindeutig. Die Wahl von $\mathbf {V}$ so, dass

$\mathbf {V} ^{*}={\begin{bmatrix}\color {Violet}0&\color {Violet}1&\color {Violet}0&\color {Violet}0&\color {Violet}0\\\color {Plum}0&\color {Plum}0&\color {Plum}1&\color {Plum}0&\color {Plum}0\\\color {Magenta}{\sqrt {0.2}}&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0&\color {Magenta}{\sqrt {0.8}}\\\color {Orchid}{\sqrt {0.4}}&\color {Orchid}0&\color {Orchid}0&\color {Orchid}{\sqrt {0.5}}&\color {Orchid}-{\sqrt {0.1}}\\\color {Purple}-{\sqrt {0.4}}&\color {Purple}0&\color {Purple}0&\color {Purple}{\sqrt {0.5}}&\color {Purple}{\sqrt {0.1}}\end{bmatrix}}$ ⓘ

ist ebenfalls eine gültige Singulärwertzerlegung. ⓘ

SVD und spektrale Zerlegung

Singuläre Werte, singuläre Vektoren und ihre Beziehung zur SVD

Eine nichtnegative reelle Zahl σ ist ein Singulärwert für M, wenn und nur wenn es Vektoren mit Einheitslänge $\mathbf {u}$ in K^m und $\mathbf {v}$ in Kⁿ derart, dass ⓘ

$\mathbf {Mv} =\sigma \mathbf {u} \,{\text{ and }}\mathbf {M} ^{*}\mathbf {u} =\sigma \mathbf {v} .$ ⓘ

Die Vektoren $\mathbf {u}$ und $\mathbf {v}$ werden linkssinguläre bzw. rechtssinguläre Vektoren für σ genannt. ⓘ

In jeder Singulärwert-Zerlegung ⓘ

$\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$ ⓘ

sind die Diagonaleinträge von $\mathbf {\Sigma }$ gleich den Singulärwerten von M. Die ersten p = min(m, n) Spalten von U und V sind Links- bzw. Rechtssingularvektoren für die entsprechenden Singulärwerte. Folglich impliziert der obige Satz, dass:

• Eine m × n-Matrix M hat höchstens p verschiedene Singulärwerte.
• Es ist immer möglich, eine unitäre Basis U für Km zu finden, die eine Teilmenge von Basisvektoren enthält, die die linkssingulären Vektoren jedes Singulärwerts von M umfassen.
• Es ist immer möglich, eine unitäre Basis V für Kn zu finden, die eine Untermenge von Basisvektoren enthält, die die rechts-singulären Vektoren jedes Singulärwerts von M umfasst. ⓘ

Ein Singulärwert, für den wir zwei linke (oder rechte) Singulärvektoren finden können, die linear unabhängig sind, wird als entartet bezeichnet. Wenn $\mathbf {u} _{1}$ und $\mathbf {u} _{2}$ zwei linkssinguläre Vektoren sind, die beide dem Singulärwert σ entsprechen, dann ist jede normalisierte Linearkombination der beiden Vektoren auch ein linkssingulärer Vektor, der dem Singulärwert σ entspricht. Die gleiche Aussage gilt für rechts-singuläre Vektoren. Die Anzahl der unabhängigen links- und rechtssingulären Vektoren stimmt überein, und diese singulären Vektoren erscheinen in denselben Spalten von U und V, die den Diagonalelementen von $\mathbf {\Sigma }$ alle mit demselben Wert σ. ⓘ

Ausnahmsweise umfassen die links- und rechtssingulären Vektoren mit dem Singulärwert 0 alle Einheitsvektoren im Kern bzw. Kokern von M, die nach dem Rang-Nullitäts-Theorem nicht dieselbe Dimension haben können, wenn m ≠ n. Selbst wenn alle Singulärwerte ungleich Null sind, ist der Kokern nicht trivial, wenn m > n ist, in diesem Fall wird U mit m - n orthogonalen Vektoren aus dem Kokern aufgefüllt. Umgekehrt, wenn m < n ist, wird V mit n - m orthogonalen Vektoren aus dem Kernel aufgefüllt. Existiert jedoch der Singulärwert 0, so erscheinen die zusätzlichen Spalten von U oder V bereits als links- oder rechtssinguläre Vektoren. ⓘ

Nicht entartete Singulärwerte haben immer eindeutige Links- und Rechtssingulärvektoren, bis zur Multiplikation mit einem Einphasenfaktor e^iφ (für den reellen Fall bis zu einem Vorzeichen). Wenn also alle Singulärwerte einer quadratischen Matrix M nicht entartet und ungleich Null sind, dann ist ihre Singulärwertzerlegung eindeutig, bis zur Multiplikation einer Spalte von U mit einem phaseneinheitlichen Faktor und der gleichzeitigen Multiplikation der entsprechenden Spalte von V mit demselben phaseneinheitlichen Faktor. Im Allgemeinen ist die SVD eindeutig bis zu beliebigen Einheitstransformationen, die gleichmäßig auf die Spaltenvektoren von U und V angewendet werden, die die Unterräume jedes Singulärwerts aufspannen, und bis zu beliebigen Einheitstransformationen auf Vektoren von U und V, die den Kern bzw. den Kokernel von M aufspannen. ⓘ

Beziehung zur Eigenwertzerlegung

Die Singulärwertzerlegung ist insofern sehr allgemein, als sie auf jede m × n-Matrix angewendet werden kann, während die Eigenwertzerlegung nur auf diagonalisierbare Matrizen angewendet werden kann. Dennoch sind die beiden Zerlegungen miteinander verwandt. ⓘ

Bei einer SVD von M, wie oben beschrieben, gelten die folgenden zwei Beziehungen:

${\begin{aligned}\mathbf {M} ^{*}\mathbf {M} &=\mathbf {V} {\boldsymbol {\Sigma }}^{*}\mathbf {U} ^{*}\,\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}=\mathbf {V} ({\boldsymbol {\Sigma }}^{*}{\boldsymbol {\Sigma }})\mathbf {V} ^{*}\\\mathbf {M} \mathbf {M} ^{*}&=\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}\,\mathbf {V} {\boldsymbol {\Sigma }}^{*}\mathbf {U} ^{*}=\mathbf {U} ({\boldsymbol {\Sigma }}{\boldsymbol {\Sigma }}^{*})\mathbf {U} ^{*}\end{aligned}}$ ⓘ

Die rechten Seiten dieser Beziehungen beschreiben die Eigenwertzerlegungen der linken Seiten. Daraus folgt:

• Die Spalten von V (rechtssinguläre Vektoren) sind Eigenvektoren von M^⁎M.
• Die Spalten von U (linkssinguläre Vektoren) sind Eigenvektoren von MM^⁎.
• Die Nicht-Null-Elemente von $\mathbf {\Sigma }$ (Nicht-Null-Singulärwerte) sind die Quadratwurzeln der Nicht-Null-Eigenwerte von M^⁎M oder MM^⁎. ⓘ

Im Sonderfall, dass M eine Normalmatrix ist, die definitionsgemäß quadratisch sein muss, besagt der Spektralsatz, dass sie mit Hilfe einer Basis von Eigenvektoren unitär diagonalisiert werden kann, so dass sie für eine unitäre Matrix U und eine Diagonalmatrix D mit komplexen Elementen σi entlang der Diagonalen als M = UDU^⁎ geschrieben werden kann. Wenn M positiv halbdefinit ist, sind σi nichtnegative reelle Zahlen, so dass die Zerlegung M = UDU^⁎ auch eine Singulärwertzerlegung ist. Andernfalls kann sie in eine SVD umgewandelt werden, indem man die Phase e^iφ jedes σi entweder zu seinem entsprechenden Vi oder Ui verschiebt. Die natürliche Verbindung der SVD zu nicht-normalen Matrizen ist das Polarzerlegungs-Theorem: M = SR, wobei S = UΣU^⁎ positiv semidefinit und normal ist, und R = UV^⁎ unitär ist. ⓘ

Außer bei positiv halbdefiniten Matrizen unterscheiden sich also die Eigenwertzerlegung und die SVD von M, obwohl sie zusammenhängen: Die Eigenwertzerlegung ist M = UDU-1, wobei U nicht notwendigerweise unitär und D nicht notwendigerweise positiv halbdefinit ist, während die SVD M = UΣV^⁎ ist, wobei $\mathbf {\Sigma }$ diagonal und positiv halbdefinit ist und U und V unitäre Matrizen sind, die nicht notwendigerweise miteinander verbunden sind, außer durch die Matrix M. Während nur nicht-defekte quadratische Matrizen eine Eigenwertzerlegung haben, hat jede $m\times n$ Matrix eine SVD. ⓘ

Anwendungen der SVD

Pseudoinverse

Die Singulärwertzerlegung kann zur Berechnung der Pseudoinverse einer Matrix verwendet werden. (Verschiedene Autoren verwenden eine andere Schreibweise für die Pseudoinverse; wir verwenden hier ^†.) In der Tat ist die Pseudoinverse der Matrix M mit der Singulärwertzerlegung M = UΣV^{⁎ ⓘ}

M^† = V Σ^† U^{⁎ ⓘ}

wobei Σ^† die Pseudoinverse von Σ ist, die gebildet wird, indem jeder Diagonaleintrag, der nicht Null ist, durch seinen Kehrwert ersetzt und die resultierende Matrix transponiert wird. Die Pseudoinverse ist eine Möglichkeit, lineare Probleme der kleinsten Quadrate zu lösen. ⓘ

Lösen von homogenen linearen Gleichungen

Eine Reihe homogener linearer Gleichungen kann als Ax = 0 für eine Matrix A und einen Vektor x geschrieben werden. Eine typische Situation ist, dass A bekannt ist und ein von Null verschiedenes x bestimmt werden soll, das die Gleichung erfüllt. Ein solches x gehört zum Nullraum von A und wird manchmal als (rechter) Nullvektor von A bezeichnet. Der Vektor x kann als rechtssingulärer Vektor charakterisiert werden, der einem Singulärwert von A entspricht, der null ist. Wenn A eine quadratische Matrix ist und keinen verschwindenden Singulärwert hat, bedeutet dies, dass die Gleichung keine Lösung von x hat, die nicht Null ist. Das bedeutet auch, dass bei mehreren verschwindenden Singulärwerten jede Linearkombination der entsprechenden rechtssingulären Vektoren eine gültige Lösung ist. Analog zur Definition eines (rechten) Nullvektors wird ein x ungleich Null, das x^⁎A = 0 erfüllt, wobei x^⁎ die konjugierte Transponierung von x bezeichnet, als linker Nullvektor von A bezeichnet. ⓘ

Minimierung der kleinsten Quadrate

Bei einem Problem der kleinsten Quadrate wird der Vektor x gesucht, der die 2-Norm eines Vektors Ax unter der Nebenbedingung ||x| = 1 minimiert. Die Lösung ist der rechtssinguläre Vektor von A, der dem kleinsten Singulärwert entspricht. ⓘ

Bereich, Nullraum und Rang

Eine weitere Anwendung der SVD besteht darin, dass sie eine explizite Darstellung des Bereichs und des Nullraums einer Matrix M liefert. Die rechtssingulären Vektoren, die den verschwindenden Singulärwerten von M entsprechen, umfassen den Nullraum von M, und die linkssingulären Vektoren, die den von Null verschiedenen Singulärwerten von M entsprechen, umfassen den Bereich von M. Im obigen Beispiel wird der Nullraum durch die letzten beiden Zeilen von V^⁎ aufgespannt, und der Bereich wird durch die ersten drei Spalten von U aufgespannt. ⓘ

Folglich ist der Rang von M gleich der Anzahl der Singulärwerte ungleich Null, die gleich der Anzahl der Diagonalelemente ungleich Null in $\mathbf {\Sigma }$. In der numerischen linearen Algebra können die Singulärwerte verwendet werden, um den effektiven Rang einer Matrix zu bestimmen, da Rundungsfehler zu kleinen, aber von Null verschiedenen Singulärwerten in einer Matrix mit Rangdefizit führen können. Bei Singulärwerten jenseits einer signifikanten Lücke wird davon ausgegangen, dass sie numerisch gleich Null sind. ⓘ

Approximation einer Matrix mit niedrigem Rang

In einigen praktischen Anwendungen muss das Problem der Approximation einer Matrix M durch eine andere Matrix gelöst werden ${\tilde {\mathbf {M} }}$zu approximieren, die einen bestimmten Rang r hat. In dem Fall, dass die Approximation auf der Minimierung der Frobenius-Norm der Differenz zwischen M und ${\tilde {\mathbf {M} }}$ unter der Bedingung, dass $\operatorname {rank} \left({\tilde {\mathbf {M} }}\right)=r$stellt sich heraus, dass die Lösung durch die SVD von M gegeben ist, nämlich ⓘ

${\tilde {\mathbf {M} }}=\mathbf {U} {\tilde {\boldsymbol {\Sigma }}}\mathbf {V} ^{*},$ ⓘ

wobei ${\tilde {\boldsymbol {\Sigma }}}$ die gleiche Matrix ist wie $\mathbf {\Sigma }$ mit der Ausnahme, dass sie nur die r größten Singulärwerte enthält (die anderen Singulärwerte werden durch Null ersetzt). Dies ist als Eckart-Young-Theorem bekannt, da es von diesen beiden Autoren 1936 bewiesen wurde (obwohl sich später herausstellte, dass es auch früheren Autoren bekannt war; siehe Stewart 1993). ⓘ

Trennbare Modelle

Die SVD kann man sich als Zerlegung einer Matrix in eine gewichtete, geordnete Summe von trennbaren Matrizen vorstellen. Mit trennbar ist gemeint, dass eine Matrix A als äußeres Produkt zweier Vektoren A = u ⊗ v geschrieben werden kann, oder, in Koordinaten , $A_{ij}=u_{i}v_{j}$. Konkret kann die Matrix M zerlegt werden als ⓘ

$\mathbf {M} =\sum _{i}\mathbf {A} _{i}=\sum _{i}\sigma _{i}\mathbf {U} _{i}\otimes \mathbf {V} _{i}.$ ⓘ

Dabei sind Ui und Vi die i-ten Spalten der entsprechenden SVD-Matrizen, σi sind die geordneten Singulärwerte, und jedes Ai ist trennbar. Die SVD kann verwendet werden, um die Zerlegung eines Bildverarbeitungsfilters in trennbare horizontale und vertikale Filter zu finden. Man beachte, dass die Anzahl der σi, die nicht Null sind, genau dem Rang der Matrix entspricht. ⓘ

Trennbare Modelle treten häufig in biologischen Systemen auf, und die SVD-Faktorisierung ist nützlich, um solche Systeme zu analysieren. So lassen sich beispielsweise die rezeptiven Felder einiger einfacher Zellen des visuellen Areals V1 gut durch einen Gabor-Filter im Raumbereich multipliziert mit einer Modulationsfunktion im Zeitbereich beschreiben. Bei einem linearen Filter, der z. B. durch umgekehrte Korrelation ausgewertet wird, kann man die beiden räumlichen Dimensionen in eine Dimension umordnen und erhält so einen zweidimensionalen Filter (Raum, Zeit), der durch SVD zerlegt werden kann. Die erste Spalte von U in der SVD-Faktorisierung ist dann ein Gabor, während die erste Spalte von V die Zeitmodulation darstellt (oder umgekehrt). Man kann dann einen Index der Trennbarkeit definieren ⓘ

$\alpha ={\frac {\sigma _{1}^{2}}{\sum _{i}\sigma _{i}^{2}}},$ ⓘ

definieren, der den Anteil der Leistung in der Matrix M angibt, der auf die erste trennbare Matrix in der Zerlegung entfällt. ⓘ

Nächste orthogonale Matrix

Es ist möglich, die SVD einer quadratischen Matrix A zu verwenden, um die orthogonale Matrix O zu bestimmen, die A am nächsten liegt. Die Übereinstimmung wird durch die Frobenius-Norm von O - A gemessen. Dies ist intuitiv sinnvoll, da eine orthogonale Matrix die Zerlegung UIV⁎ hat, wobei I die Identitätsmatrix ist, so dass, wenn A = UΣV⁎ ist, das Produkt A = UV⁎ darauf hinausläuft, die singulären Werte durch Einsen zu ersetzen. Äquivalent dazu ist die Lösung die unitäre Matrix R = UV⁎ der Polarzerlegung M = RP = P'R in der Reihenfolge von Streckung und Drehung, wie oben beschrieben. ⓘ

Ein ähnliches Problem, mit interessanten Anwendungen in der Formanalyse, ist das orthogonale Procrustes-Problem, das darin besteht, eine orthogonale Matrix O zu finden, die A am besten auf B abbildet, ⓘ

$\mathbf {O} ={\underset {\Omega }{\operatorname {argmin} }}\|\mathbf {A} {\boldsymbol {\Omega }}-\mathbf {B} \|_{F}\quad {\text{subject to}}\quad {\boldsymbol {\Omega }}^{\textsf {T}}{\boldsymbol {\Omega }}=\mathbf {I} ,$ ⓘ

wobei $\|\cdot \|_{F}$ die Frobenius-Norm bezeichnet. ⓘ

Dieses Problem ist gleichbedeutend mit der Suche nach der nächstliegenden orthogonalen Matrix zu einer gegebenen Matrix M = A^TB. ⓘ

Der Kabsch-Algorithmus

Der Kabsch-Algorithmus (in anderen Bereichen als Wahba-Problem bezeichnet) verwendet SVD, um die optimale Drehung (im Hinblick auf die Minimierung der kleinsten Quadrate) zu berechnen, die eine Reihe von Punkten mit einer entsprechenden Reihe von Punkten in Übereinstimmung bringt. Sie wird unter anderem zum Vergleich der Strukturen von Molekülen verwendet. ⓘ

Signalverarbeitung

SVD und Pseudoinverse wurden erfolgreich in der Signalverarbeitung, Bildverarbeitung und Big Data (z. B. in der genomischen Signalverarbeitung) eingesetzt. ⓘ

Weitere Beispiele

Die SVD wird auch ausgiebig bei der Untersuchung linearer inverser Probleme eingesetzt und ist nützlich bei der Analyse von Regularisierungsmethoden wie der von Tichonow. Sie wird häufig in der Statistik verwendet, wo sie mit der Hauptkomponentenanalyse und der Korrespondenzanalyse verwandt ist, sowie in der Signalverarbeitung und der Mustererkennung. Sie wird auch in der reinen Modalanalyse verwendet, wo die nicht skalierten Modalformen aus den singulären Vektoren bestimmt werden können. Eine weitere Anwendung ist die latente semantische Indizierung in der natürlichsprachlichen Textverarbeitung. ⓘ

Bei allgemeinen numerischen Berechnungen mit linearen oder linearisierten Systemen gibt es eine universelle Konstante, die die Regelmäßigkeit oder Singularität eines Problems charakterisiert und die "Zustandszahl" des Systems ist $\kappa :=\sigma _{\text{max}}/\sigma _{\text{min}}$. Sie steuert oft die Fehlerrate oder Konvergenzrate eines bestimmten Berechnungsschemas für solche Systeme. ⓘ

Die SVD spielt auch auf dem Gebiet der Quanteninformation eine entscheidende Rolle, und zwar in einer Form, die oft als Schmidt-Zerlegung bezeichnet wird. Durch sie werden die Zustände zweier Quantensysteme auf natürliche Weise zerlegt, was eine notwendige und hinreichende Bedingung dafür ist, dass sie verschränkt sind: Wenn der Rang der $\mathbf {\Sigma }$ Matrix größer als eins ist. ⓘ

Eine Anwendung der SVD auf ziemlich große Matrizen ist die numerische Wettervorhersage, bei der Lanczos-Methoden verwendet werden, um die am schnellsten linear wachsenden Störungen der zentralen numerischen Wettervorhersage über einen gegebenen anfänglichen Vorwärtszeitraum zu schätzen, d. h. die singulären Vektoren, die den größten Singulärwerten des linearisierten Propagators für das globale Wetter über dieses Zeitintervall entsprechen. Die singulären Ausgangsvektoren sind in diesem Fall ganze Wettersysteme. Diese Störungen werden dann durch das vollständige nichtlineare Modell geleitet, um eine Ensemble-Vorhersage zu erstellen, die einen Überblick über die Unsicherheiten gibt, die bei der aktuellen zentralen Vorhersage berücksichtigt werden sollten. ⓘ

SVD wurde auch auf die Modellierung reduzierter Ordnung angewandt. Ziel der Modellierung reduzierter Ordnung ist es, die Anzahl der Freiheitsgrade in einem komplexen System, das modelliert werden soll, zu reduzieren. SVD wurde mit radialen Basisfunktionen gekoppelt, um Lösungen für dreidimensionale instationäre Strömungsprobleme zu interpolieren. ⓘ

Interessanterweise wurde SVD verwendet, um die Modellierung von Gravitationswellen durch das bodengestützte Gravitationswellen-Interferometer aLIGO zu verbessern. SVD kann dazu beitragen, die Genauigkeit und Geschwindigkeit der Wellenformgenerierung zu erhöhen, um die Suche nach Gravitationswellen zu unterstützen und zwei verschiedene Wellenformmodelle zu aktualisieren. ⓘ

Die Singulärwertzerlegung wird in Empfehlungssystemen zur Vorhersage der Bewertungen von Artikeln durch Personen verwendet. Es wurden verteilte Algorithmen entwickelt, um die SVD auf Clustern von Standardcomputern zu berechnen. ⓘ

Die SVD mit niedrigem Rang wurde für die Erkennung von Hotspots aus räumlich-zeitlichen Daten mit Anwendung auf die Erkennung von Krankheitsausbrüchen eingesetzt. Eine Kombination aus SVD und SVD höherer Ordnung wurde auch für die Erkennung von Ereignissen in Echtzeit aus komplexen Datenströmen (multivariate Daten mit Raum- und Zeitdimensionen) bei der Krankheitsüberwachung eingesetzt. ⓘ

Existenzbeweise

Ein Eigenwert λ einer Matrix M ist durch die algebraische Beziehung Mu = λu gekennzeichnet. Wenn M hermitesch ist, gibt es auch eine Variationscharakterisierung. Sei M eine reelle n × n symmetrische Matrix. Definieren Sie . ⓘ

${\begin{cases}f:\mathbb {R} ^{n}\to \mathbb {R} \\f:\mathbf {x} \mapsto \mathbf {x} ^{\textsf {T}}\mathbf {M} \mathbf {x} \end{cases}}$ ⓘ

Nach dem Extremwertsatz erreicht diese stetige Funktion ein Maximum bei einem bestimmten u, wenn sie auf die Einheitskugel {||x|| = 1} beschränkt wird. Nach dem Satz von den Lagrange-Multiplikatoren erfüllt u notwendigerweise die Bedingung ⓘ

$\nabla \mathbf {u} ^{\textsf {T}}\mathbf {M} \mathbf {u} -\lambda \cdot \nabla \mathbf {u} ^{\textsf {T}}\mathbf {u} =0$ ⓘ

für eine reelle Zahl λ. Das Nabla-Symbol ∇ ist der Del-Operator (Differenzierung in Bezug auf x). Unter Verwendung der Symmetrie von M erhalten wir ⓘ

$\nabla \mathbf {x} ^{\textsf {T}}\mathbf {M} \mathbf {x} -\lambda \cdot \nabla \mathbf {x} ^{\textsf {T}}\mathbf {x} =2(\mathbf {M} -\lambda \mathbf {I} )\mathbf {x} .$ ⓘ

Daher ist Mu = λu, u ist also ein Einheitslängen-Eigenvektor von M. Für jeden Einheitslängen-Eigenvektor v von M ist sein Eigenwert f(v), also ist λ der größte Eigenwert von M. Die gleiche Berechnung für das orthogonale Komplement von u ergibt den nächstgrößten Eigenwert usw. Der komplexe hermitesche Fall ist ähnlich; dort ist f(x) = x* M x eine reellwertige Funktion von 2n reellen Variablen. ⓘ

Singulärwerte sind insofern ähnlich, als sie algebraisch oder durch Variationsprinzipien beschrieben werden können. Allerdings ist im Gegensatz zum Eigenwertfall die Hermitizität oder Symmetrie von M nicht mehr erforderlich. ⓘ

In diesem Abschnitt werden diese beiden Argumente für die Existenz der Singulärwertzerlegung angeführt. ⓘ

Auf der Grundlage des Spektralsatzes

Sei $\mathbf {M}$ sei eine m × n komplexe Matrix. Da $\mathbf {M} ^{*}\mathbf {M}$ positiv halbdefinit und hermitesch ist, gibt es nach dem Spektralsatz eine n × n unitäre Matrix $\mathbf {V}$ so, dass ⓘ

$\mathbf {V} ^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} ={\bar {\mathbf {D} }}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}},$ ⓘ

wobei $\mathbf {D}$ ist diagonal und positiv definit, mit der Dimension $\ell \times \ell$mit $\ell$ die Anzahl der von Null verschiedenen Eigenwerte von $\mathbf {M} ^{*}\mathbf {M}$ (die sich nachweislich mit $\ell \leq \min(n,m)$). Beachten Sie, dass $\mathbf {V}$ hier per Definition eine Matrix ist, deren $i$-te Spalte der $i$-te Eigenvektor von $\mathbf {M} ^{*}\mathbf {M}$ist, der dem Eigenwert ${\bar {\mathbf {D} }}_{ii}$. Außerdem ist die $j$-te Spalte von $\mathbf {V}$für $j>\ell$ist ein Eigenvektor von $\mathbf {M} ^{*}\mathbf {M}$ mit dem Eigenwert ${\bar {\mathbf {D} }}_{jj}=0$. Dies kann ausgedrückt werden durch die Schreibweise $\mathbf {V}$ als $\mathbf {V} ={\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}$, wobei die Spalten von $\mathbf {V} _{1}$ und $\mathbf {V} _{2}$ also die Eigenvektoren von $\mathbf {M} ^{*}\mathbf {M}$ enthalten, die den Nicht-Null-Eigenwerten bzw. Null-Eigenwerten entsprechen. Mit dieser Umformulierung von $\mathbf {V}$wird die Gleichung zu:

${\begin{bmatrix}\mathbf {V} _{1}^{*}\\\mathbf {V} _{2}^{*}\end{bmatrix}}\mathbf {M} ^{*}\mathbf {M} {\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\\\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}}.$ ⓘ

Dies impliziert, dass ⓘ

$\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}=\mathbf {D} ,\quad \mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}=\mathbf {0} .$ ⓘ

Außerdem impliziert die zweite Gleichung $\mathbf {M} \mathbf {V} _{2}=\mathbf {0}$. Schließlich ist die Einheitlichkeit von $\mathbf {V}$ übersetzt sich in Bezug auf $\mathbf {V} _{1}$ und $\mathbf {V} _{2}$in die folgenden Bedingungen:

${\begin{aligned}\mathbf {V} _{1}^{*}\mathbf {V} _{1}&=\mathbf {I} _{1},\\\mathbf {V} _{2}^{*}\mathbf {V} _{2}&=\mathbf {I} _{2},\\\mathbf {V} _{1}\mathbf {V} _{1}^{*}+\mathbf {V} _{2}\mathbf {V} _{2}^{*}&=\mathbf {I} _{12},\end{aligned}}$ ⓘ

Die Indizes der Identitätsmatrizen werden verwendet, um zu verdeutlichen, dass sie unterschiedliche Dimensionen haben. ⓘ

Definieren wir nun ⓘ

$\mathbf {U} _{1}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}.$ ⓘ

dann, ⓘ

$\mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} (\mathbf {I} -\mathbf {V} _{2}\mathbf {V} _{2}^{*})=\mathbf {M} -(\mathbf {M} \mathbf {V} _{2})\mathbf {V} _{2}^{*}=\mathbf {M} ,$ ⓘ

da $\mathbf {M} \mathbf {V} _{2}=\mathbf {0} .$ Dies kann auch als unmittelbare Folge der Tatsache angesehen werden, dass $\mathbf {M} \mathbf {V} _{1}\mathbf {V} _{1}^{*}=\mathbf {M}$. Dies ist äquivalent zu der Beobachtung, dass, wenn $\{{\boldsymbol {v}}_{i}\}_{i=1}^{\ell }$ die Menge der Eigenvektoren von $\mathbf {M} ^{*}\mathbf {M}$ ist, die den nicht verschwindenden Eigenwerten $\{\lambda _{i}\}_{i=1}^{\ell }$ist, dann $\{\mathbf {M} {\boldsymbol {v}}_{i}\}_{i=1}^{\ell }$ eine Menge von orthogonalen Vektoren ist, und $\{\lambda _{i}^{-1/2}\mathbf {M} {\boldsymbol {v}}_{i}\}_{i=1}^{\ell }$ eine (im Allgemeinen nicht vollständige) Menge von orthonormalen Vektoren ist. Dies stimmt mit dem oben verwendeten Matrixformalismus überein, der mit $\mathbf {V} _{1}$ die Matrix, deren Spalten sind $\{{\boldsymbol {v}}_{i}\}_{i=1}^{\ell }$mit $\mathbf {V} _{2}$ die Matrix, deren Spalten die Eigenvektoren von $\mathbf {M} ^{*}\mathbf {M}$ mit verschwindendem Eigenwert sind, und $\mathbf {U} _{1}$ die Matrix, deren Spalten die Vektoren sind $\{\lambda _{i}^{-1/2}\mathbf {M} {\boldsymbol {v}}_{i}\}_{i=1}^{\ell }$. ⓘ

Wir sehen, dass dies fast das gewünschte Ergebnis ist, mit der Ausnahme, dass $\mathbf {U} _{1}$ und $\mathbf {V} _{1}$ im Allgemeinen nicht unitär sind, da sie möglicherweise nicht quadratisch sind. Wir wissen jedoch, dass die Anzahl der Zeilen von $\mathbf {U} _{1}$ nicht kleiner ist als die Anzahl der Spalten, da die Dimensionen von $\mathbf {D}$ nicht größer ist als $m$ und $n$. Da außerdem ⓘ

$\mathbf {U} _{1}^{*}\mathbf {U} _{1}=\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}=\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} \mathbf {D} ^{-{\frac {1}{2}}}=\mathbf {I_{1}} ,$ ⓘ

die Spalten in $\mathbf {U} _{1}$ orthonormal sind und zu einer orthonormalen Basis erweitert werden können. Dies bedeutet, dass wir wählen können $\mathbf {U} _{2}$ so, dass $\mathbf {U} ={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}$ unitär ist. ⓘ

Für V₁ haben wir bereits V₂, um es unitär zu machen. Definieren Sie nun ⓘ

${\boldsymbol {\Sigma }}={\begin{bmatrix}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}},$ ⓘ

wobei zusätzliche Nullzeilen hinzugefügt oder entfernt werden, damit die Anzahl der Nullzeilen der Anzahl der Spalten von U₂ entspricht und somit die Gesamtdimensionen von ${\boldsymbol {\Sigma }}$ gleich $m\times n$. Dann ist ⓘ

${\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}{\begin{bmatrix}\mathbf {} D^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}}{\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}^{*}={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}\\0\end{bmatrix}}=\mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} ,$ ⓘ

was das gewünschte Ergebnis ist:

$\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}.$ ⓘ

Beachten Sie, dass das Argument mit der Diagonalisierung von MM^⁎ anstelle von M^⁎M beginnen könnte (dies zeigt direkt, dass MM^⁎ und M^⁎M die gleichen Nicht-Null-Eigenwerte haben). ⓘ

Basierend auf der Charakterisierung durch Variationen

Die Singulärwerte können auch als Maxima von u^TMv charakterisiert werden, die als Funktion von u und v über bestimmte Unterräume betrachtet werden. Die singulären Vektoren sind die Werte von u und v, bei denen diese Maxima erreicht werden. ⓘ

M sei eine m × n-Matrix mit reellen Einträgen. Sk-1 sei die Einheit $(k-1)$-Sphäre in $\mathbb {R} ^{k}$und definiere $\sigma (\mathbf {u} ,\mathbf {v} )=\mathbf {u} ^{\textsf {T}}\mathbf {M} \mathbf {v} ,\ \mathbf {u} \in S^{m-1},\mathbf {v} \in S^{n-1}.$ ⓘ

Betrachten wir die Funktion σ beschränkt auf Sm-1 × Sn-1. Da sowohl Sm-1 als auch Sn-1 kompakte Mengen sind, ist auch ihr Produkt kompakt. Da σ stetig ist, erreicht sie einen größten Wert für mindestens ein Paar von Vektoren u ∈ Sm-1 und v ∈ Sn-1. Dieser größte Wert wird mit σ₁ bezeichnet, und die entsprechenden Vektoren werden mit u₁ und v₁ bezeichnet. Da σ₁ der größte Wert von σ(u, v) ist, muss er nicht-negativ sein. Wäre er negativ, würde eine Änderung des Vorzeichens von u₁ oder v₁ ihn positiv und damit größer machen. ⓘ

Behauptung. u₁, v₁ sind links- und rechtssinguläre Vektoren von M mit entsprechendem Singulärwert σ₁. ⓘ

Beweis. Ähnlich wie im Fall der Eigenwerte erfüllen die beiden Vektoren die Lagrange-Multiplikator-Gleichung:

$\nabla \sigma =\nabla \mathbf {u} ^{\textsf {T}}\mathbf {M} \mathbf {v} -\lambda _{1}\cdot \nabla \mathbf {u} ^{\textsf {T}}\mathbf {u} -\lambda _{2}\cdot \nabla \mathbf {v} ^{\textsf {T}}\mathbf {v}$ ⓘ

Nach einiger Algebra wird daraus ⓘ

${\begin{aligned}\mathbf {M} \mathbf {v} _{1}&=2\lambda _{1}\mathbf {u} _{1}+0\\\mathbf {M} ^{\textsf {T}}\mathbf {u} _{1}&=0+2\lambda _{2}\mathbf {v} _{1}\end{aligned}}$ ⓘ

Multiplikation der ersten Gleichung von links mit $\mathbf {u} _{1}^{\textsf {T}}$ und die zweite Gleichung von links mit $\mathbf {v} _{1}^{\textsf {T}}$ und unter Berücksichtigung von ||u| = ||v|| = 1 ergibt ⓘ

$\sigma _{1}=2\lambda _{1}=2\lambda _{2}.$ ⓘ

Setzt man dies in das obige Gleichungspaar ein, erhält man ⓘ

${\begin{aligned}\mathbf {M} \mathbf {v} _{1}&=\sigma _{1}\mathbf {u} _{1}\\\mathbf {M} ^{\textsf {T}}\mathbf {u} _{1}&=\sigma _{1}\mathbf {v} _{1}\end{aligned}}$ ⓘ

Dies beweist die Aussage. ⓘ

Weitere singuläre Vektoren und singuläre Werte können durch Maximierung von σ(u, v) über normalisierte u, v gefunden werden, die orthogonal zu u₁ bzw. v₁ sind. ⓘ

Der Übergang von reell zu komplex ist ähnlich wie im Fall der Eigenwerte. ⓘ

Berechnung der SVD

Die Singulärwertzerlegung kann anhand der folgenden Überlegungen berechnet werden:

• Die linkssingulären Vektoren von M sind eine Menge von orthonormalen Eigenvektoren von MM^⁎.
• Die rechts-singulären Vektoren von M sind eine Menge von orthonormalen Eigenvektoren von M^⁎M.
• Die Nicht-Null-Singulärwerte von M (die sich auf den Diagonaleinträgen von $\mathbf {\Sigma }$) sind die Quadratwurzeln der Nicht-Null-Eigenwerte von M^⁎M und MM^⁎. ⓘ

Numerischer Ansatz

Die SVD einer Matrix M wird in der Regel in einem zweistufigen Verfahren errechnet. Im ersten Schritt wird die Matrix auf eine bidiagonale Matrix reduziert. Dies erfordert O(mn²) Fließkommaoperationen (Flop), vorausgesetzt, dass m ≥ n ist. Der zweite Schritt ist die Berechnung der SVD der bidiagonalen Matrix. Dieser Schritt kann nur mit einer iterativen Methode durchgeführt werden (wie bei Eigenwertalgorithmen). In der Praxis reicht es jedoch aus, die SVD bis zu einer bestimmten Genauigkeit zu berechnen, z. B. mit dem Maschinen-Epsilon. Wenn diese Genauigkeit als konstant angesehen wird, dann dauert der zweite Schritt O(n) Iterationen, die jeweils O(n) Flops kosten. Der erste Schritt ist also teurer, und die Gesamtkosten betragen O(mn²) Flops (Trefethen & Bau III 1997, Vortrag 31). ⓘ

Der erste Schritt kann mit Householder-Reflexionen zu Kosten von 4mn² - 4n³/3 Flops durchgeführt werden, wenn man annimmt, dass nur die Singulärwerte und nicht die Singulärvektoren benötigt werden. Wenn m viel größer als n ist, ist es vorteilhaft, die Matrix M zunächst mit der QR-Zerlegung auf eine Dreiecksmatrix zu reduzieren und dann die Householder-Reflexionen zu verwenden, um die Matrix weiter auf die bidiagonale Form zu reduzieren; die kombinierten Kosten betragen 2mn² + 2n³ Flops (Trefethen & Bau III 1997, Lecture 31). ⓘ

Der zweite Schritt kann mit einer Variante des QR-Algorithmus für die Berechnung von Eigenwerten durchgeführt werden, der erstmals von Golub & Kahan (1965) beschrieben wurde. Die LAPACK-Subroutine DBDSQR implementiert diese iterative Methode mit einigen Modifikationen für den Fall, dass die Singulärwerte sehr klein sind (Demmel & Kahan 1990). Zusammen mit einem ersten Schritt unter Verwendung von Householder-Reflexionen und ggf. QR-Zerlegung bildet dies die DGESVD-Routine zur Berechnung der Singulärwertzerlegung. ⓘ

Derselbe Algorithmus ist in der GNU Scientific Library (GSL) implementiert. Die GSL bietet auch eine alternative Methode, die eine einseitige Jacobi-Orthogonalisierung in Schritt 2 verwendet (GSL Team 2007). Diese Methode berechnet die SVD der bidiagonalen Matrix, indem sie eine Folge von 2 × 2 SVD-Problemen löst, ähnlich wie der Jacobi-Eigenwert-Algorithmus eine Folge von 2 × 2 Eigenwert-Methoden löst (Golub & Van Loan 1996, §8.6.3). Eine weitere Methode für Schritt 2 nutzt die Idee der Divide-and-Conquer-Eigenwert-Algorithmen (Trefethen & Bau III 1997, Vorlesung 31). ⓘ

Es gibt einen alternativen Weg, der nicht explizit die Eigenwertzerlegung verwendet. Normalerweise wird das Singulärwertproblem einer Matrix M in ein äquivalentes symmetrisches Eigenwertproblem wie M M^⁎, M^⁎M oder

${\begin{bmatrix}\mathbf {O} &\mathbf {M} \\\mathbf {M} ^{*}&\mathbf {O} \end{bmatrix}}.$

Die Ansätze, die Eigenwertzerlegungen verwenden, basieren auf dem QR-Algorithmus, der als stabil und schnell entwickelt wurde. Beachten Sie, dass die Singulärwerte reell sind und rechte und linke Singulärvektoren zur Bildung von Ähnlichkeitstransformationen nicht erforderlich sind. Man kann iterativ zwischen der QR-Zerlegung und der LQ-Zerlegung wechseln, um die reellen diagonalen hermiteschen Matrizen zu finden. Die QR-Zerlegung ergibt M ⇒ Q R und die LQ-Zerlegung von R ergibt R ⇒ L P^⁎. Bei jeder Iteration haben wir also M ⇒ Q L P^⁎, aktualisieren M ⇐ L und wiederholen die Orthogonalisierungen. Schließlich führt diese Iteration zwischen QR-Zerlegung und LQ-Zerlegung zu links- und rechts-unitaristischen singulären Matrizen. Dieser Ansatz kann nicht ohne weiteres beschleunigt werden, wie es der QR-Algorithmus mit spektralen Verschiebungen oder Deflation kann. Der Grund dafür ist, dass die Verschiebungsmethode ohne die Verwendung von Ähnlichkeitstransformationen nicht leicht zu definieren ist. Dieser iterative Ansatz ist jedoch sehr einfach zu implementieren und daher eine gute Wahl, wenn die Geschwindigkeit keine Rolle spielt. Diese Methode gibt auch Aufschluss darüber, wie rein orthogonale/unitäre Transformationen die SVD erhalten können. ⓘ

Analytisches Ergebnis der 2 × 2 SVD

Die Singulärwerte einer 2 × 2-Matrix können analytisch ermittelt werden. Die Matrix sei $\mathbf {M} =z_{0}\mathbf {I} +z_{1}\sigma _{1}+z_{2}\sigma _{2}+z_{3}\sigma _{3}$ ⓘ

wobei $z_{i}\in \mathbb {C}$ sind komplexe Zahlen, die die Matrix parametrisieren, I ist die Identitätsmatrix, und $\sigma _{i}$ bezeichnen die Pauli-Matrizen. Die beiden Singulärwerte der Matrix sind dann gegeben durch

${\begin{aligned}\sigma _{\pm }&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm {\sqrt {(|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2})^{2}-|z_{0}^{2}-z_{1}^{2}-z_{2}^{2}-z_{3}^{2}|^{2}}}}}\\&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm 2{\sqrt {(\operatorname {Re} z_{0}z_{1}^{*})^{2}+(\operatorname {Re} z_{0}z_{2}^{*})^{2}+(\operatorname {Re} z_{0}z_{3}^{*})^{2}+(\operatorname {Im} z_{1}z_{2}^{*})^{2}+(\operatorname {Im} z_{2}z_{3}^{*})^{2}+(\operatorname {Im} z_{3}z_{1}^{*})^{2}}}}}\end{aligned}}$ ⓘ

Reduzierte SVDs

Visualisierung der Varianten der reduzierten SVD. Von oben nach unten: 1: Vollständige SVD, 2: Dünne SVD (Entfernen der Spalten von U, die nicht den Zeilen von V* entsprechen), 3: Kompakte SVD (Entfernen der verschwindenden Singulärwerte und der entsprechenden Spalten/Zeilen in U und V*), 4: Abgeschnittene SVD (nur die größten t Singulärwerte und die entsprechenden Spalten/Zeilen in U und V* bleiben erhalten) ⓘ

In der Praxis ist es recht ungewöhnlich, dass die vollständige SVD, einschließlich einer vollständigen unitären Zerlegung des Nullraums der Matrix, erforderlich ist. Stattdessen ist es oft ausreichend (und außerdem schneller und speicherschonender), eine reduzierte Version der SVD zu berechnen. Für eine m×n-Matrix M vom Rang r lassen sich die folgenden Fälle unterscheiden: ⓘ

Dünne SVD

Die dünne oder sparsame SVD einer Matrix M ist gegeben durch ⓘ

$\mathbf {M} =\mathbf {U} _{k}{\boldsymbol {\Sigma }}_{k}\mathbf {V} _{k}^{*},$ ⓘ

wobei ⓘ

$k=\operatorname {min} (m,n)$, ⓘ

die Matrizen Uk und Vk enthalten nur die ersten k Spalten von U und V, und Σk enthält nur die ersten k Singulärwerte von Σ. Die Matrix Uk ist also m×k, Σk ist k×k diagonal, und Vk* ist k×n. ⓘ

Die dünne SVD benötigt deutlich weniger Platz und Rechenzeit, wenn k ≪ max(m, n). Die erste Stufe der Berechnung ist in der Regel eine QR-Zerlegung von M, was die Berechnung in diesem Fall erheblich beschleunigen kann. ⓘ

Kompakte SVD

$\mathbf {M} =\mathbf {U} _{r}{\boldsymbol {\Sigma }}_{r}\mathbf {V} _{r}^{*}$ ⓘ

Es werden nur die r Spaltenvektoren von U und r Zeilenvektoren von V* berechnet, die den von Null verschiedenen Singulärwerten Σr entsprechen. Die übrigen Vektoren von U und V* werden nicht berechnet. Dies ist schneller und wirtschaftlicher als die dünne SVD, wenn r ≪ min(m, n). Die Matrix Ur ist also m×r, Σr ist r×r diagonal, und Vr* ist r×n. ⓘ

Abgeschnittene SVD

In vielen Anwendungen ist die Anzahl r der von Null verschiedenen Singulärwerte so groß, dass selbst die kompakte SVD unpraktisch zu berechnen ist. In solchen Fällen müssen die kleinsten Singulärwerte unter Umständen abgeschnitten werden, um nur t ≪ r von Null verschiedene Singulärwerte zu berechnen. Die abgeschnittene SVD ist keine exakte Zerlegung der Originalmatrix M mehr, sondern liefert die optimale Approximation der Matrix mit niedrigem Rang ${\tilde {\mathbf {M} }}$ durch eine beliebige Matrix eines festen Ranges t ⓘ

${\tilde {\mathbf {M} }}=\mathbf {U} _{t}{\boldsymbol {\Sigma }}_{t}\mathbf {V} _{t}^{*}$, ⓘ

wobei die Matrix Ut m×t ist, Σt t×t diagonal ist und Vt* t×n ist. Es werden nur die t Spaltenvektoren von U und die t Zeilenvektoren von V* berechnet, die den t größten Singulärwerten Σt entsprechen. Dies kann sehr viel schneller und wirtschaftlicher sein als die kompakte SVD, wenn t≪r, erfordert aber ein völlig anderes Instrumentarium an numerischen Lösern. ⓘ

Bei Anwendungen, die eine Annäherung an die Moore-Penrose-Inverse der Matrix M erfordern, sind die kleinsten Singulärwerte von M von Interesse, die im Vergleich zu den größten Singulärwerten schwieriger zu berechnen sind. ⓘ

Die abgeschnittene SVD wird bei der latenten semantischen Indizierung verwendet. ⓘ

Normen

Ky-Fan-Normen

Die Summe der k größten Singulärwerte von M ist eine Matrixnorm, die Ky-Fan-k-Norm von M. ⓘ

Die erste der Ky-Fan-Normen, die Ky-Fan-1-Norm, ist identisch mit der Operatornorm von M als linearer Operator in Bezug auf die euklidischen Normen von Km und Kn. Mit anderen Worten, die Ky-Fan-1-Norm ist die Operatornorm, die durch das euklidische innere Standardprodukt ℓ² induziert wird. Aus diesem Grund wird sie auch als die Operator-2-Norm bezeichnet. Der Zusammenhang zwischen der Ky-Fan-1-Norm und den Singulärwerten lässt sich leicht überprüfen. Für einen beschränkten Operator M auf (möglicherweise unendlich-dimensionalen) Hilbert-Räumen gilt im Allgemeinen ⓘ

$\|\mathbf {M} \|=\|\mathbf {M} ^{*}\mathbf {M} \|^{\frac {1}{2}}$ ⓘ

Im Fall einer Matrix ist (M* M)^1/2 eine normale Matrix, so dass ||M* M||^1/2 der größte Eigenwert von (M* M)^1/2 ist, d. h. der größte Singulärwert von M. ⓘ

Die letzte der Ky-Fan-Normen, die Summe aller singulären Werte, ist die Spurennorm (auch bekannt als "Kernnorm"), definiert durch ||M|| = Tr[(M* M)^1/2] (die Eigenwerte von M* M sind die Quadrate der singulären Werte). ⓘ

Hilbert-Schmidt-Norm

Die Singulärwerte sind mit einer anderen Norm auf dem Raum der Operatoren verbunden. Man betrachte das Hilbert-Schmidt-Innenprodukt auf den n × n-Matrizen, definiert durch ⓘ

$\langle \mathbf {M} ,\mathbf {N} \rangle =\operatorname {tr} \left(\mathbf {N} ^{*}\mathbf {M} \right).$ ⓘ

Die induzierte Norm ist also ⓘ

$\|\mathbf {M} \|={\sqrt {\langle \mathbf {M} ,\mathbf {M} \rangle }}={\sqrt {\operatorname {tr} \left(\mathbf {M} ^{*}\mathbf {M} \right)}}.$ ⓘ

Da die Spur unter unitärer Äquivalenz invariant ist, zeigt dies ⓘ

$\|\mathbf {M} \|={\sqrt {\sum _{i}\sigma _{i}^{2}}}$ ⓘ

wobei σi die Singulärwerte von M sind. Man nennt dies die Frobenius-Norm, Schatten-2-Norm oder Hilbert-Schmidt-Norm von M. Eine direkte Berechnung zeigt, dass die Frobenius-Norm von M = (m_ij) mit übereinstimmt:

${\sqrt {\sum _{ij}|m_{ij}|^{2}}}.$ ⓘ

Darüber hinaus sind die Frobenius-Norm und die Spurennorm (die Kernnorm) Spezialfälle der Schatten-Norm. ⓘ

Variationen und Verallgemeinerungen

Modus-k-Darstellung

$M=USV^{\textsf {T}}$ kann durch Mode-k-Multiplikation der Matrix dargestellt werden $S$ unter Anwendung von $\times _{1}U$ dann $\times _{2}V$ auf das Ergebnis; das ist $M=S\times _{1}U\times _{2}V$. ⓘ

Tensor-SVD

Es gibt zwei Arten von Tensor-Zerlegungen, die die SVD auf Mehrwege-Arrays verallgemeinern. Eine davon zerlegt einen Tensor in eine Summe von Rang-1-Tensoren, was als Tensor-Rang-Zerlegung bezeichnet wird. Die zweite Art der Zerlegung berechnet die orthonormalen Unterräume, die zu den verschiedenen Faktoren gehören, die im Tensorprodukt der Vektorräume, in denen der Tensor vorkommt, auftreten. Diese Zerlegung wird in der Literatur als SVD höherer Ordnung (HOSVD) oder Tucker3/TuckerM bezeichnet. Darüber hinaus beinhaltet die multilineare Hauptkomponentenanalyse beim multilinearen Unterraumlernen die gleichen mathematischen Operationen wie die Tucker-Zerlegung, wird aber in einem anderen Kontext der Dimensionalitätsreduktion verwendet. ⓘ

Skaleninvariante SVD

Die Singulärwerte einer Matrix A sind eindeutig definiert und in Bezug auf linke und/oder rechte unitäre Transformationen von A invariant. Mit anderen Worten, die Singulärwerte von UAV sind für unitäre U und V gleich den Singulärwerten von A. Dies ist eine wichtige Eigenschaft für Anwendungen, bei denen euklidische Abstände und Invarianz in Bezug auf Rotationen erhalten bleiben müssen. ⓘ

Die skaleninvariante SVD (SI-SVD) ist analog zur konventionellen SVD, mit dem Unterschied, dass ihre eindeutig bestimmten Singulärwerte gegenüber Diagonaltransformationen von A invariant sind. Mit anderen Worten: Die Singulärwerte von DAE für invertierbare Diagonalmatrizen D und E sind gleich den Singulärwerten von A. Dies ist eine wichtige Eigenschaft für Anwendungen, bei denen die Invarianz gegenüber der Wahl der Einheiten für die Variablen (z. B. metrische gegenüber imperialen Einheiten) erforderlich ist. ⓘ

SVD höherer Ordnung von Funktionen (HOSVD)

Die Tensorprodukt (TP)-Modelltransformation rekonstruiert numerisch die HOSVD von Funktionen. Für weitere Details besuchen Sie bitte:

• Tensorprodukt-Modelltransformation
• HOSVD-basierte kanonische Form von TP-Funktionen und qLPV-Modellen
• TP-Modelltransformation in der Kontrolltheorie ⓘ

Begrenzte Operatoren auf Hilbert-Räumen

Die Faktorisierung M = UΣV^⁎ kann auf einen beschränkten Operator M auf einem separablen Hilbert-Raum H ausgedehnt werden. Für jeden beschränkten Operator M gibt es nämlich eine partielle Isometrie U, ein unitäres V, einen Maßraum (X, μ) und ein nichtnegatives messbares f, so dass ⓘ

$\mathbf {M} =\mathbf {U} T_{f}\mathbf {V} ^{*}$ ⓘ

wobei $T_{f}$ die Multiplikation mit f auf L²(X, μ) ist. ⓘ

Dies lässt sich durch Nachahmung des linearen algebraischen Arguments _für den obigen matrizischen Fall zeigen. VTfV* ist die einzige positive Quadratwurzel von M*M, wie sie durch die Borelsche Funktionsrechnung für selbstadjungierte Operatoren gegeben ist. Der Grund, warum U nicht unitär sein muss, liegt darin, dass im Gegensatz zum endlichdimensionalen Fall bei einer Isometrie U₁ mit nichttrivialem Kernel ein geeignetes U₂ nicht gefunden werden kann, so dass ⓘ

${\begin{bmatrix}U_{1}\\U_{2}\end{bmatrix}}$ ⓘ

ein unitärer Operator ist. ⓘ

Wie für Matrizen ist die Singulärwertfaktorisierung äquivalent zur Polarzerlegung für Operatoren: Wir können einfach schreiben ⓘ

$\mathbf {M} =\mathbf {U} \mathbf {V} ^{*}\cdot \mathbf {V} T_{f}\mathbf {V} ^{*}$ ⓘ

schreiben und feststellen, dass U V* immer noch eine partielle Isometrie ist, während VTfV* positiv ist. ⓘ

Singuläre Werte und kompakte Operatoren

Der Begriff der Singulärwerte und Links/Rechts-Singularvektoren kann auf kompakte Operatoren im Hilbert-Raum ausgedehnt werden, da sie ein diskretes Spektrum haben. Wenn T kompakt ist, ist jeder von Null verschiedene λ in seinem Spektrum ein Eigenwert. Außerdem kann ein kompakter selbstadjungierter Operator durch seine Eigenvektoren diagonalisiert werden. Wenn M kompakt ist, ist es auch M^⁎M. Wendet man das Diagonalisierungsergebnis an, so hat das unitäre Bild seiner positiven Quadratwurzel Tf eine Menge orthonormaler Eigenvektoren {ei}, die streng positiven Eigenwerten {σi} entsprechen. Für jedes ψ ∈ H, ⓘ

$\mathbf {M} \psi =\mathbf {U} T_{f}\mathbf {V} ^{*}\psi =\sum _{i}\left\langle \mathbf {U} T_{f}\mathbf {V} ^{*}\psi ,\mathbf {U} e_{i}\right\rangle \mathbf {U} e_{i}=\sum _{i}\sigma _{i}\left\langle \psi ,\mathbf {V} e_{i}\right\rangle \mathbf {U} e_{i},$ ⓘ

wobei die Reihe in der Normtopologie auf H konvergiert. Man beachte, dass dies dem Ausdruck aus dem endlichdimensionalen Fall ähnelt. σi werden die Singulärwerte von M genannt. {Uei} (bzw. {Vei}) können als die links-singulären (bzw. rechts-singulären) Vektoren von M betrachtet werden. ⓘ

Kompakte Operatoren auf einem Hilbert-Raum sind die Schließung von Operatoren mit endlichem Rang in der einheitlichen Operatortopologie. Der obige Reihenausdruck gibt eine explizite solche Darstellung. Eine unmittelbare Konsequenz daraus ist:

Theorem. M ist kompakt, wenn und nur wenn M^⁎M kompakt ist. ⓘ

Geschichte

Die Singulärwertzerlegung wurde ursprünglich von Differentialgeometern entwickelt, die feststellen wollten, ob eine reelle Bilinearform durch unabhängige orthogonale Transformationen der beiden Räume, auf die sie wirkt, einer anderen gleichgesetzt werden kann. Eugenio Beltrami und Camille Jordan entdeckten 1873 bzw. 1874 unabhängig voneinander, dass die Singulärwerte der Bilinearformen, die als Matrix dargestellt werden, einen vollständigen Satz von Invarianten für Bilinearformen unter orthogonalen Substitutionen bilden. James Joseph Sylvester gelangte 1889 ebenfalls zur Singulärwertzerlegung für reelle quadratische Matrizen, offenbar unabhängig von Beltrami und Jordan. Sylvester nannte die Singulärwerte die kanonischen Multiplikatoren der Matrix A. Der vierte Mathematiker, der die Singulärwertzerlegung unabhängig entdeckte, war Autonne im Jahr 1915, der über die Polarzerlegung zu ihr gelangte. Der erste Beweis der Singulärwertzerlegung für rechteckige und komplexe Matrizen scheint von Carl Eckart und Gale J. Young im Jahr 1936 erbracht worden zu sein; sie sahen darin eine Verallgemeinerung der Hauptachsentransformation für hermitesche Matrizen. ⓘ

Im Jahr 1907 definierte Erhard Schmidt ein Analogon der Singulärwerte für integrale Operatoren (die unter einigen schwachen technischen Annahmen kompakt sind); es scheint, dass er sich der parallelen Arbeit an Singulärwerten endlicher Matrizen nicht bewusst war. Diese Theorie wurde 1910 von Émile Picard weiterentwickelt, der als erster die Zahlen $\sigma _{k}$ Singulärwerte (oder auf Französisch: valeurs singulières). ⓘ

Praktische Methoden zur Berechnung der SVD gehen auf Kogbetliantz (1954-1955) und Hestenes (1958) zurück und ähneln stark dem Jacobi-Eigenwert-Algorithmus, der ebene Drehungen oder Givens-Drehungen verwendet. Diese wurden jedoch durch die 1965 veröffentlichte Methode von Gene Golub und William Kahan ersetzt, die Householder-Transformationen oder Spiegelungen verwendet. Im Jahr 1970 veröffentlichten Golub und Christian Reinsch eine Variante des Golub/Kahan-Algorithmus, die auch heute noch am häufigsten verwendet wird. ⓘ

Anwendung

Die Singulärwertzerlegung wird insbesondere in der numerischen Mathematik verwendet. Damit lassen sich beispielsweise fast singuläre lineare Gleichungssysteme im Rahmen rechentechnischer Genauigkeiten passabel lösen. ⓘ

Die Singulärwertzerlegung ist die wichtigste numerische Methode in der geophysikalischen Inversion, bei der aus an der Erdoberfläche beobachteten geophysikalischen Signalen aus dem Erdinneren die Struktur des letzteren bestimmt werden kann. Besondere Anwendungen sind hier die seismische Tomographie und das Umkehrproblem der Potentialtheorie. ⓘ

In der Statistik ist die Singulärwertzerlegung der rechnerische Kern der Hauptkomponentenanalyse, dort auch Karhunen-Loève-Transformation genannt. ⓘ

Einige moderne Bildkompressionsverfahren beruhen auf einem Algorithmus, der das Bild (= Matrix aus Farbwerten) in eine Singulärwertzerlegung überführt, anschließend nur die stark von null verschiedenen Elemente der Matrix $\Sigma$ berücksichtigt und dann die zur Rückgewinnung der Matrix erforderlichen Vektoren sowie die verbliebenen Diagonalelemente speichert. Besonders effektiv ist diese Kompression bei bestimmten rechteckigen Mustern und natürlich desto effektiver, je größer (und je quadratähnlicher) das Bild ist. Dies ist eine mögliche Anwendung von Modellreduktion. Das Weglassen von kleinen Singulärwerten ist ein verlustbehaftetes Modellreduktionsverfahren. ⓘ

In der Teilchenphysik benutzt man die Singulärwertzerlegung, um Massenmatrizen von Dirac-Teilchen zu diagonalisieren. Die Singulärwerte geben die Massen der Teilchen in ihren Masseneigenzuständen an. Aus den Transformationsmatrizen $U$ und $V$ konstruiert man Mischungsmatrizen wie die CKM-Matrix, die ausdrücken, dass die Masseneigenzustände von Teilchen aus einer Mischung von Flavour­eigenzuständen bestehen können. ⓘ

Die Singulärwertzerlegung ist der Kern der Latent Semantic Analysis, eines Verfahrens des Information Retrieval, das hilft, in großen Textkollektionen latente Konzepte aufzudecken, anhand derer dann z. B. unterschiedlich bezeichnete Informationen zum gleichen Thema gefunden werden können. ⓘ

In der Regelungstheorie ist Singulärwertzerlegung eine der Grundlagen für die Entwicklung von robusten Reglern. ⓘ