Kovarianzmatrix

Eine bivariate Gaußsche Wahrscheinlichkeitsdichtefunktion, zentriert bei (0, 0), mit einer Kovarianzmatrix, gegeben durch ${\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}$ ⓘ

Stichprobenpunkte aus einer bivariaten Gauß-Verteilung mit einer Standardabweichung von 3 etwa in der Richtung links unten-rechts oben und von 1 in der orthogonalen Richtung. Da die x- und y-Komponenten kovariieren, sind die Varianzen von $x$ und $y$ die Verteilung nicht vollständig beschreiben. A $2\times 2$ Kovarianzmatrix erforderlich; die Richtungen der Pfeile entsprechen den Eigenvektoren dieser Kovarianzmatrix und ihre Längen den Quadratwurzeln der Eigenwerte. ⓘ

In der Wahrscheinlichkeitstheorie und Statistik ist eine Kovarianzmatrix (auch Autokovarianzmatrix, Dispersionsmatrix, Varianzmatrix oder Varianz-Kovarianzmatrix genannt) eine quadratische Matrix, die die Kovarianz zwischen jedem Paar von Elementen eines bestimmten Zufallsvektors angibt. Jede Kovarianzmatrix ist symmetrisch und positiv halbdefinit und ihre Hauptdiagonale enthält die Varianzen (d. h. die Kovarianz jedes Elements mit sich selbst). ⓘ

Intuitiv verallgemeinert die Kovarianzmatrix den Begriff der Varianz auf mehrere Dimensionen. So kann beispielsweise die Varianz in einer Sammlung von Zufallspunkten im zweidimensionalen Raum nicht vollständig durch eine einzige Zahl beschrieben werden, und auch die Varianzen in den $x$ und $y$ Richtungen alle notwendigen Informationen enthalten; eine $2\times 2$ Matrix wäre notwendig, um die zweidimensionale Variation vollständig zu charakterisieren. ⓘ

Die Kovarianzmatrix eines Zufallsvektors $\mathbf {X}$ wird typischerweise bezeichnet durch $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ oder $\Sigma$. ⓘ

Definition

In diesem Artikel werden fettgedruckte, nicht tiefgestellte $\mathbf {X}$ und $\mathbf {Y}$ für Zufallsvektoren und nicht fettgedruckte, tiefgestellte $X_{i}$ und $Y_{i}$ werden für skalare Zufallsvariablen verwendet. ⓘ

Wenn die Einträge in dem Spaltenvektor ⓘ

$\mathbf {X} =(X_{1},X_{2},...,X_{n})^{\mathrm {T} }$ ⓘ

Zufallsvariablen mit endlicher Varianz und Erwartungswert sind, dann ist die Kovarianzmatrix $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ diejenige Matrix, deren $(i,j)$ Eintrag ist die Kovarianz ⓘ

$\operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]$ ⓘ

wobei der Operator $\operatorname {E}$ den Erwartungswert (Mittelwert) seines Arguments bezeichnet. ⓘ

Widersprüchliche Nomenklaturen und Bezeichnungen

Die Nomenklaturen sind unterschiedlich. Einige Statistiker, die dem Wahrscheinlichkeitsforscher William Feller in seinem zweibändigen Werk An Introduction to Probability Theory and Its Applications folgen, nennen die Matrix $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ die Varianz des Zufallsvektors $\mathbf {X}$weil sie die natürliche Verallgemeinerung der eindimensionalen Varianz auf höhere Dimensionen ist. Andere nennen sie die Kovarianzmatrix, weil sie die Matrix der Kovarianzen zwischen den skalaren Komponenten des Vektors ist $\mathbf {X}$.

$\operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right].$ ⓘ

Beide Formen sind Standard, und es gibt keine Unklarheiten zwischen ihnen. Die Matrix $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ wird häufig auch als Varianz-Kovarianz-Matrix bezeichnet, da die diagonalen Terme tatsächlich Varianzen sind. ⓘ

Zum Vergleich: Die Schreibweise für die Kreuzkovarianzmatrix zwischen zwei Vektoren lautet

$\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\rm {T}}\right].$ ⓘ

Eigenschaften

Beziehung zur Autokorrelationsmatrix

Die Autokovarianzmatrix $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ ist mit der Autokorrelationsmatrix verwandt $\operatorname {R} _{\mathbf {X} \mathbf {X} }$ durch

$\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}$

wobei die Autokorrelationsmatrix definiert ist als $\operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\rm {T}}]$. ⓘ

Beziehung zur Korrelationsmatrix

Eine eng mit der Kovarianzmatrix verbundene Einheit ist die Matrix der Pearson-Produkt-Moment-Korrelationskoeffizienten zwischen den einzelnen Zufallsvariablen im Zufallsvektor $\mathbf {X}$die wie folgt geschrieben werden kann

$\operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},$

wobei $\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })$ die Matrix der Diagonalelemente von $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ (d. h. eine Diagonalmatrix der Varianzen von $X_{i}$ für $i=1,\dots ,n$). ⓘ

Äquivalent dazu kann die Korrelationsmatrix als Kovarianzmatrix der standardisierten Zufallsvariablen angesehen werden $X_{i}/\sigma (X_{i})$ für $i=1,\dots ,n$. ⓘ

$\operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.$ ⓘ

Jedes Element auf der Hauptdiagonalen einer Korrelationsmatrix ist die Korrelation einer Zufallsvariablen mit sich selbst, die immer gleich 1 ist. Jedes Element der Nebendiagonalen liegt zwischen -1 und +1 einschließlich. ⓘ

Inverse der Kovarianzmatrix

Die Inverse dieser Matrix, $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}$ist, falls vorhanden, die inverse Kovarianzmatrix, auch Konzentrationsmatrix oder Präzisionsmatrix genannt. ⓘ

Grundlegende Eigenschaften

Für $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\rm {T}}\right]$ und $\mathbf {\mu _{X}} =\operatorname {E} [{\textbf {X}}]$, wobei $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}$ eine $n$-dimensionale Zufallsvariable ist, gelten die folgenden grundlegenden Eigenschaften:

1. $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\rm {T}}} )-\mathbf {\mu _{X}} \mathbf {\mu _{X}} ^{\rm {T}}$
2. $\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ ist positiv-semidefinit, d.h. $\mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}$
3. $\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ ist symmetrisch, d. h. $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{\rm {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }$
4. Für jede konstante (d. h. nicht zufällige) $m\times n$ Matrix $\mathbf {A}$ und konstanten $m\times 1$ Vektor $\mathbf {a}$hat man $\operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\rm {T}}$
5. Wenn $\mathbf {Y}$ ein weiterer Zufallsvektor mit der gleichen Dimension wie $\mathbf {X}$, dann $\operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )$ wobei $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ die Kreuzkovarianzmatrix von $\mathbf {X}$ und $\mathbf {Y}$. ⓘ

Blockmatrizen

Der gemeinsame Mittelwert $\mathbf {\mu }$ und die gemeinsame Kovarianzmatrix $\mathbf {\Sigma }$ von $\mathbf {X}$ und $\mathbf {Y}$ können in Blockform geschrieben werden ⓘ

$\mathbf {\mu } ={\begin{bmatrix}\mathbf {\mu _{X}} \\\mathbf {\mu _{Y}} \end{bmatrix}},\qquad \mathbf {\Sigma } ={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}$ ⓘ

wobei $\operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )$, $\operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )$ und $\operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\rm {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$. ⓘ

$\operatorname {K} _{\mathbf {XX} }$ und $\operatorname {K} _{\mathbf {YY} }$ können als die Varianzmatrizen der Randverteilungen für $\mathbf {X}$ und $\mathbf {Y}$ identifiziert werden. ⓘ

Wenn $\mathbf {X}$ und $\mathbf {Y}$ gemeinsam normalverteilt sind,

$\mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}(\mathbf {\mu } ,\operatorname {\mathbf {\Sigma } } ),$

dann ist die bedingte Verteilung für $\mathbf {Y}$ gegeben $\mathbf {X}$ ist gegeben durch

$\mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}(\mathbf {\mu _{Y|X}} ,\operatorname {K} _{\mathbf {Y|X} }),$

definiert durch den bedingten Mittelwert

$\mathbf {\mu _{Y|X}} =\mathbf {\mu _{Y}} +\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -\mathbf {\mu _{X}} \right)$ ⓘ

und bedingte Varianz

$\operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.$ ⓘ

Die Matrix $\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}$ ist bekannt als die Matrix der Regressionskoeffizienten, während in der linearen Algebra $\operatorname {K} _{\mathbf {Y|X} }$ das Schur-Komplement von $\operatorname {K} _{\mathbf {XX} }$ in $\mathbf {\Sigma }$. ⓘ

Die Matrix der Regressionskoeffizienten kann häufig in transponierter Form angegeben werden, $\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }$die sich für die Nachmultiplikation eines Zeilenvektors der erklärenden Variablen $\mathbf {X} ^{\rm {T}}$ anstelle der Vormultiplikation eines Spaltenvektors $\mathbf {X}$. In dieser Form entsprechen sie den Koeffizienten, die man durch Invertierung der Matrix der Normalgleichungen der gewöhnlichen kleinsten Quadrate (OLS) erhält. ⓘ

Beziehung zum Erwartungswert des Zufallsvektors

Ist ${\boldsymbol {\mu }}=\operatorname {E} (\mathbf {X} )$ der Erwartungswertvektor, so lässt sich mit dem Verschiebungssatz von Steiner angewandt auf mehrdimensionale Zufallsvariablen zeigen, dass ⓘ

${\begin{aligned}\operatorname {Cov} (\mathbf {X} )&=\operatorname {E} {\bigl (}(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\top }{\bigr )}\\&=\operatorname {E} (\mathbf {X} \mathbf {X} ^{\top })-{\boldsymbol {\mu }}{\boldsymbol {\boldsymbol {\mu }}}^{\top }\end{aligned}}$. ⓘ

Hierbei sind Erwartungswerte von Vektoren und Matrizen komponentenweise zu verstehen. ⓘ

Ein Zufallsvektor, der einer gegebenen Kovarianzmatrix gehorchen und den Erwartungswert ${\boldsymbol {\mu }}$ haben soll, kann wie folgt simuliert werden:
zunächst ist die Kovarianzmatrix zu zerlegen (z. B. mit der Cholesky-Zerlegung):

$\operatorname {Cov} (\mathbf {X} )=\mathbf {D} \mathbf {D} ^{\top }$. ⓘ

Anschließend lässt sich der Zufallsvektor berechnen zu ⓘ

$\mathbf {X} =\mathbf {D} \mathbf {\xi } +{\boldsymbol {\mu }}$ ⓘ

mit einem (anderen) Zufallsvektor $\mathbf {\xi }$ mit voneinander unabhängigen standardnormalverteilten Komponenten. ⓘ

Kovarianzmatrix zweier Vektoren

Die Kovarianzmatrix zweier Vektoren lautet ⓘ

${\displaystyle \operatorname {Cov} (\mathbf {x} ,\mathbf {y} )=\operatorname {E} {\bigl (}(\mathbf {x} -{\boldsymbol {\mu }})(\mathbf {y} -{\boldsymbol {\nu }})^{\top }{\bigr )}}$ ⓘ

mit dem Erwartungswert ${\boldsymbol {\mu }}$ des Zufallsvektors $\mathbf {x}$ und dem Erwartungswert ${\boldsymbol {\nu }}$ des Zufallsvektors $\mathbf {y}$. ⓘ

Kovarianzmatrix in Matrix-Notation

Die Kovarianzmatrix lässt sich in der Matrix-Notation darstellen als ⓘ

$\operatorname {Cov} (\mathbf {X} )={\frac {1}{n}}\left(\mathbf {X} \mathbf {X} ^{\mathrm {T} }-{\frac {1}{n}}\mathbf {X} 1\!\!1\mathbf {X} ^{\mathrm {T} }\right)$, ⓘ

wobei $\displaystyle 1\!\!1$ die Einsmatrix und $n$ die Anzahl Dimensionen bezeichnet. ⓘ

Partielle Kovarianzmatrix

Eine Kovarianzmatrix mit allen Elementen, die nicht Null sind, sagt aus, dass alle einzelnen Zufallsvariablen miteinander verbunden sind. Dies bedeutet, dass die Variablen nicht nur direkt, sondern auch indirekt über andere Variablen korreliert sind. Oft sind solche indirekten, gemeinsamen Korrelationen trivial und uninteressant. Sie können unterdrückt werden, indem man die partielle Kovarianzmatrix berechnet, d. h. den Teil der Kovarianzmatrix, der nur den interessanten Teil der Korrelationen zeigt. ⓘ

Wenn zwei Vektoren von Zufallsvariablen $\mathbf {X}$ und $\mathbf {Y}$ über einen anderen Vektor korreliert sind $\mathbf {I}$korreliert sind, werden die letzteren Korrelationen in einer Matrix unterdrückt

$\operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).$

Die partielle Kovarianzmatrix $\operatorname {K} _{\mathbf {XY\mid I} }$ ist effektiv die einfache Kovarianzmatrix $\operatorname {K} _{\mathbf {XY} }$ als ob die uninteressanten Zufallsvariablen $\mathbf {I}$ konstant gehalten würden. ⓘ

Kovarianzmatrix als Parameter einer Verteilung

Wenn ein Spaltenvektor $\mathbf {X}$ von $n$ möglicherweise korrelierter Zufallsvariablen gemeinsam normalverteilt oder, allgemeiner, elliptisch verteilt ist, dann kann seine Wahrscheinlichkeitsdichtefunktion $\operatorname {f} (\mathbf {X} )$ durch die Kovarianzmatrix ausgedrückt werden $\mathbf {\Sigma }$ wie folgt ausgedrückt werden

$\operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|\mathbf {\Sigma } |^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\rm {T}}\Sigma ^{-1}(X-\mu )} \right),$

wobei $\mathbf {\mu =\operatorname {E} [X]}$ und $|\mathbf {\Sigma } |$ ist die Determinante von $\mathbf {\Sigma }$. ⓘ

Kovarianzmatrix als linearer Operator

Auf einen Vektor angewandt, bildet die Kovarianzmatrix eine Linearkombination c der Zufallsvariablen X auf einen Vektor der Kovarianzen mit diesen Variablen ab: $\mathbf {c} ^{\rm {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\rm {T}}\mathbf {X} ,\mathbf {X} )$. Als bilineare Form behandelt, ergibt sie die Kovarianz zwischen den beiden Linearkombinationen: $\mathbf {d} ^{\rm {T}}\Sigma \mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\rm {T}}\mathbf {X} ,\mathbf {c} ^{\rm {T}}\mathbf {X} )$. Die Varianz einer Linearkombination ist dann $\mathbf {c} ^{\rm {T}}\Sigma \mathbf {c}$, ihre Kovarianz mit sich selbst. ⓘ

In ähnlicher Weise liefert die (pseudo-)inverse Kovarianzmatrix ein inneres Produkt $\langle c-\mu |\Sigma ^{+}|c-\mu \rangle$das den Mahalanobis-Abstand induziert, ein Maß für die "Unwahrscheinlichkeit" von c. ⓘ

Welche Matrizen sind Kovarianzmatrizen?

Ausgehend von der oben genannten Identität, sei $\mathbf {b}$ sei ein $(p\times 1)$ reellwertiger Vektor, dann ⓘ

$\operatorname {var} (\mathbf {b} ^{\rm {T}}\mathbf {X} )=\mathbf {b} ^{\rm {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,$ ⓘ

die immer nicht-negativ sein muss, da sie die Varianz einer reellen Zufallsvariablen ist, so dass eine Kovarianzmatrix immer eine positiv-halbfinite Matrix ist. ⓘ

Das obige Argument kann wie folgt erweitert werden:

$${\begin{aligned}&w^{\rm {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right]w=\operatorname {E} \left[w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}$$

wobei die letzte Ungleichung aus der Beobachtung folgt, dass $w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])$ ein Skalar ist. ⓘ

Umgekehrt ist jede symmetrische positiv-halbdefinite Matrix eine Kovarianzmatrix. Um dies zu sehen, nehmen wir an $M$ eine $p\times p$ symmetrische positiv-halbdefinite Matrix. Aus dem endlich-dimensionalen Fall des Spektralsatzes folgt, dass $M$ eine nichtnegative symmetrische Quadratwurzel hat, die mit M^1/2 bezeichnet werden kann. Sei $\mathbf {X}$ sei eine beliebige $p\times 1$ Spaltenvektor-bewertete Zufallsvariable, deren Kovarianzmatrix die $p\times p$ Identitätsmatrix ist. Dann ist ⓘ

$\operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .$ ⓘ

Komplexe Zufallsvektoren

Die Varianz einer komplexen skalarwertigen Zufallsvariablen mit Erwartungswert $\mu$ wird üblicherweise durch komplexe Konjugation definiert:

$\operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],$ ⓘ

wobei die komplex Konjugierte einer komplexen Zahl $z$ bezeichnet wird mit ${\overline {z}}$bezeichnet wird; somit ist die Varianz einer komplexen Zufallsvariablen eine reelle Zahl. ⓘ

Wenn $\mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }$ ist ein Spaltenvektor komplexwertiger Zufallsvariablen, dann wird die konjugierte Transponierung $\mathbf {Z} ^{\mathrm {H} }$ wird sowohl durch Transponieren als auch durch Konjugieren gebildet. Im folgenden Ausdruck ergibt das Produkt eines Vektors mit seiner konjugierten Transponierung eine quadratische Matrix, die Kovarianzmatrix, als deren Erwartungswert:

$\operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {H} }\right]$, ⓘ

Die so erhaltene Matrix ist hermitesch positiv-halbfinit, mit reellen Zahlen in der Hauptdiagonalen und komplexen Zahlen außerhalb der Diagonalen. ⓘ

Eigenschaften

• Die Kovarianzmatrix ist eine hermitesche Matrix, d. h. $\operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathrm {H} }=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }$.
• Die Diagonalelemente der Kovarianzmatrix sind reell. ⓘ

Pseudo-Kovarianzmatrix

Für komplexe Zufallsvektoren ist eine andere Art des zweiten zentralen Moments, die Pseudo-Kovarianzmatrix (auch Beziehungsmatrix genannt), wie folgt definiert:

$\operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {T} }\right]$ ⓘ

Im Gegensatz zur oben definierten Kovarianzmatrix wird in der Definition die Hermitsche Transposition durch die Transposition ersetzt. Ihre Diagonalelemente können komplexwertig sein; es handelt sich um eine komplexe symmetrische Matrix. ⓘ

Schätzung

Wenn $\mathbf {M} _{\mathbf {X} }$ und $\mathbf {M} _{\mathbf {Y} }$ sind zentrierte Datenmatrizen der Dimension $p\times n$ und $q\times n$ d. h. mit n Spalten von Beobachtungen von p und q Zeilen von Variablen, von denen die Zeilenmittelwerte subtrahiert wurden, dann können, wenn die Zeilenmittelwerte aus den Daten geschätzt wurden, Stichproben-Kovarianzmatrizen $\mathbf {Q} _{\mathbf {XX} }$ und $\mathbf {Q} _{\mathbf {XY} }$ wie folgt definiert werden

$\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}$

oder, wenn die Reihenmittelwerte a priori bekannt sind,

$\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}.$ ⓘ

Diese empirischen Stichproben-Kovarianzmatrizen sind die einfachsten und am häufigsten verwendeten Schätzer für die Kovarianzmatrizen, aber es gibt auch andere Schätzer, darunter regularisierte oder Schrumpfungsschätzer, die bessere Eigenschaften haben können. ⓘ

Anwendungen

Die Kovarianzmatrix ist ein nützliches Instrument in vielen verschiedenen Bereichen. Aus ihr lässt sich eine Transformationsmatrix ableiten, die so genannte Weißungstransformation, die es ermöglicht, die Daten vollständig zu dekorrelieren oder, aus einem anderen Blickwinkel betrachtet, eine optimale Basis für die Darstellung der Daten auf kompakte Weise zu finden (siehe Rayleigh-Quotient für einen formalen Beweis und zusätzliche Eigenschaften von Kovarianzmatrizen). Dies wird als Hauptkomponentenanalyse (PCA) und Karhunen-Loève-Transformation (KL-Transformation) bezeichnet. ⓘ

Die Kovarianzmatrix spielt eine Schlüsselrolle in der Finanzwirtschaft, insbesondere in der Portfoliotheorie und ihrem Trennungssatz für Investmentfonds sowie im Modell zur Bewertung von Kapitalanlagen. Die Matrix der Kovarianzen zwischen den Renditen verschiedener Vermögenswerte wird verwendet, um unter bestimmten Annahmen die relativen Anteile verschiedener Vermögenswerte zu bestimmen, die Anleger im Rahmen einer Diversifizierung halten sollten (in einer normativen Analyse) oder voraussichtlich halten werden (in einer positiven Analyse). ⓘ

Verwendung in der Optimierung

Die Evolutionsstrategie, eine bestimmte Familie von Randomized Search Heuristiken, stützt sich in ihrem Mechanismus im Wesentlichen auf eine Kovarianzmatrix. Der charakteristische Mutationsoperator zieht den Aktualisierungsschritt aus einer multivariaten Normalverteilung unter Verwendung einer evolvierenden Kovarianzmatrix. Es gibt einen formalen Beweis dafür, dass sich die Kovarianzmatrix der Evolutionsstrategie an die Inverse der Hess'schen Matrix der Suchlandschaft anpasst, und zwar bis zu einem skalaren Faktor und kleinen zufälligen Fluktuationen (bewiesen für eine Ein-Eltern-Strategie und ein statisches Modell, wenn die Populationsgröße zunimmt, unter Berufung auf die quadratische Approximation). Intuitiv wird dieses Ergebnis durch die Überlegung gestützt, dass die optimale Kovarianzverteilung Mutationsschritte anbieten kann, deren Äquidensitätswahrscheinlichkeitskonturen mit den Levelsets der Landschaft übereinstimmen und somit die Fortschrittsrate maximieren. ⓘ

Kovarianzabbildung

Bei der Kovarianzabbildung werden die Werte der $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ oder $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$ Matrix als 2-dimensionale Karte aufgetragen. Wenn Vektoren $\mathbf {X}$ und $\mathbf {Y}$ diskrete Zufallsfunktionen sind, zeigt die Karte statistische Beziehungen zwischen verschiedenen Regionen der Zufallsfunktionen. Statistisch unabhängige Regionen der Funktionen erscheinen auf der Karte als flache Nullebenen, während positive oder negative Korrelationen als Hügel bzw. Täler dargestellt werden. ⓘ

In der Praxis werden die Spaltenvektoren $\mathbf {X} ,\mathbf {Y}$, und $\mathbf {I}$ werden experimentell als Reihen von $n$ Stichproben, z. B.

$[\mathbf {X} _{1},\mathbf {X} _{2},...\mathbf {X} _{n}]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},$

wobei $X_{j}(t_{i})$ ist der i-te diskrete Wert in der Stichprobe j der Zufallsfunktion $X(t)$. Die in der Kovarianzformel benötigten Erwartungswerte werden anhand des Stichprobenmittelwerts geschätzt, z. B.

$\langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}$

und die Kovarianzmatrix wird durch die Kovarianzmatrix der Stichprobe geschätzt

$\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\rm {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\rm {T}}\rangle ,$

wobei die eckigen Klammern wie zuvor die Mittelwertbildung der Stichprobe bezeichnen, mit der Ausnahme, dass die Bessel-Korrektur vorgenommen werden sollte, um Verzerrungen zu vermeiden. Mit dieser Schätzung kann die partielle Kovarianzmatrix wie folgt berechnet werden

$\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),$

wobei der umgekehrte Schrägstrich den linken Matrix-Divisionsoperator bezeichnet, der das Erfordernis, eine Matrix zu invertieren, umgeht und in einigen Berechnungspaketen wie Matlab verfügbar ist. ⓘ

Abbildung 1: Konstruktion einer partiellen Kovarianzkarte von N₂-Molekülen, die eine durch einen Freie-Elektronen-Laser induzierte Coulomb-Explosion durchlaufen. Die Felder a und b bilden die beiden Terme der Kovarianzmatrix ab, die in Feld c dargestellt ist. Feld d bildet die Gleichtaktkorrelationen über Intensitätsschwankungen des Lasers ab. Tafel e zeigt die partielle Kovarianzmatrix, die um die Intensitätsschwankungen korrigiert ist. Tafel f zeigt, dass eine 10%ige Überkorrektur die Abbildung verbessert und Ionen-Ionen-Korrelationen deutlich sichtbar macht. Aufgrund der Impulserhaltung erscheinen diese Korrelationen als Linien, die annähernd senkrecht zur Autokorrelationslinie (und zu den periodischen Modulationen, die durch das Ringing des Detektors verursacht werden) verlaufen. ⓘ

Abb. 1 zeigt, wie eine partielle Kovarianzkarte am Beispiel eines Experiments am Freie-Elektronen-Laser FLASH in Hamburg erstellt wird. Die Zufallsfunktion $X(t)$ ist das Flugzeitspektrum von Ionen aus einer Coulomb-Explosion von Stickstoffmolekülen, die durch einen Laserpuls mehrfach ionisiert wurden. Da bei jedem Laserpuls nur einige hundert Moleküle ionisiert werden, sind die Einzelschussspektren stark schwankend. Das Sammeln typischerweise $m=10^{4}$ solcher Spektren, $\mathbf {X} _{j}(t)$und deren Mittelwertbildung über $j$ ergibt ein glattes Spektrum $\langle \mathbf {X} (t)\rangle$das unten in Abb. 1 in rot dargestellt ist. Das durchschnittliche Spektrum $\langle \mathbf {X} \rangle$ zeigt mehrere Stickstoffionen in Form von Peaks, die durch ihre kinetische Energie verbreitert sind, aber um die Korrelationen zwischen den Ionisationsstufen und den Ionenimpulsen zu finden, muss eine Kovarianzkarte berechnet werden. ⓘ

In dem Beispiel von Abb. 1 sind die Spektren $\mathbf {X} _{j}(t)$ und $\mathbf {Y} _{j}(t)$ die gleichen, nur der Bereich der Flugzeit $t$ unterschiedlich ist. Tafel a zeigt $\langle \mathbf {XY^{\rm {T}}} \rangle$, Tafel b zeigt $\langle \mathbf {X} \rangle \langle \mathbf {Y^{\rm {T}}} \rangle$ und Tafel c zeigt ihre Differenz, die $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ (beachten Sie die Änderung der Farbskala). Leider wird diese Karte von uninteressanten Gleichtaktkorrelationen überlagert, die durch die von Schuss zu Schuss schwankende Laserintensität verursacht werden. Um solche Korrelationen zu unterdrücken, wird die Laserintensität $I_{j}$ bei jedem Schuss aufgezeichnet, in $\mathbf {I}$ und $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$ berechnet, wie die Felder d und e zeigen. Die Unterdrückung der uninteressanten Korrelationen ist jedoch unvollkommen, da es neben der Laserintensität noch andere Quellen für Gleichtaktschwankungen gibt, und im Prinzip sollten alle diese Quellen in Vektor $\mathbf {I}$. In der Praxis reicht es jedoch oft aus, die partielle Kovarianzkorrektur zu überkompensieren, wie Tafel f zeigt, wo interessante Korrelationen von Ionenimpulsen nun deutlich als gerade Linien sichtbar sind, die auf Ionisationsstufen von atomarem Stickstoff zentriert sind. ⓘ

Zweidimensionale Infrarotspektroskopie

Die zweidimensionale Infrarotspektroskopie nutzt die Korrelationsanalyse, um 2D-Spektren der kondensierten Phase zu erhalten. Es gibt zwei Versionen dieser Analyse: die synchrone und die asynchrone. Mathematisch gesehen wird die erstere durch die Kovarianzmatrix der Probe ausgedrückt, und die Technik ist äquivalent zur Kovarianzabbildung. ⓘ

Stichproben-Kovarianzmatrix

Eine Schätzung der Korrelationsmatrix in der Grundgesamtheit ${\widehat {\mathbf {\Sigma } }}$ erhält man, indem man die Varianzen und Kovarianzen in der Grundgesamtheit $\operatorname {Var} (X_{i})=\sigma _{i}^{2}$ und $\operatorname {Cov} (X_{i},X_{j})=\sigma _{ij}\;,i\neq j$ durch die empirischen Varianzen und empirischen Kovarianzen (ihre empirischen Gegenstücke) ${\hat {\sigma }}_{j}^{2}=s_{j}^{2}$ und ${\hat {\sigma }}_{jk}=s_{jk}$ ersetzt (sofern die $x$-Variablen Zufallsvariablen darstellen schätzen die die Parameter in der Grundgesamtheit). Diese sind gegeben durch ⓘ

${\hat {\sigma }}_{j}^{2}=s_{j}^{2}:={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(x_{ij}-{\overline {x}}_{j}\right)^{2}\;$ und $\;{\hat {\sigma }}_{jk}=s_{jk}:={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{ij}-{\overline {x}}_{j})(x_{ik}-{\overline {x}}_{k})$. ⓘ

Dies führt zur Stichproben-Kovarianzmatrix $\mathbf {S}$:

${\begin{aligned}\mathbf {S} ={\widehat {\mathbf {\Sigma } }}={\widehat {\operatorname {Cov} (\mathbf {X} )}}&={\begin{pmatrix}s_{1}^{2}&s_{12}&\cdots &s_{1k}\\\\s_{21}&s_{2}^{2}&\cdots &s_{2k}\\\\\vdots &\vdots &\ddots &\vdots \\\\s_{k1}&s_{k2}&\cdots &s_{k}^{2}\end{pmatrix}}\end{aligned}}$. ⓘ

Zum Beispiel sind $s_{2}^{2}$ und $s_{12}$ gegeben durch ⓘ

${\hat {\sigma }}_{2}^{2}=s_{2}^{2}:={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(x_{i2}-{\overline {x}}_{2}\right)^{2}\;$ und $\;{\hat {\sigma }}_{12}=s_{12}:={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i1}-{\overline {x}}_{1})(x_{i2}-{\overline {x}}_{2})$, ⓘ

mit dem arithmetischen Mittel ⓘ

${\overline {x}}_{2}:={\frac {1}{n}}\sum _{i=1}^{n}{x_{i2}}$. ⓘ

Spezielle Kovarianzmatrizen

Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers

Für die Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers

$\mathbf {b} =(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y} ;\ \operatorname {Cov} (\mathbf {Y} )=\sigma ^{2}\mathbf {I}$

ergibt sich nach den obigen Rechenregeln:

$\operatorname {Cov} (\mathbf {b} )=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\operatorname {Cov} (\mathbf {Y} )\ \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\Sigma _{\mathbf {b} }$. ⓘ

Diese Kovarianzmatrix ist unbekannt, da die Varianz der Störgrößen $\sigma ^{2}$ unbekannt ist. Einen Schätzer für die Kovarianzmatrix ${\hat {\Sigma }}_{\mathbf {b} }$ erhält man, indem man die unbekannte Störgrößenvarianz $\sigma ^{2}$ durch den erwartungstreuen Schätzer der Störgrößenvarianz ${\hat {\sigma }}^{2}$ ersetzt (siehe hierzu: Erwartungstreue Schätzung des unbekannten Varianzparameters). ⓘ

Kovarianzmatrix bei scheinbar unverbundenen Regressionsgleichungen

Bei scheinbar unverbundenen Regressionsgleichungen (englisch: seemingly unrelated regression equations, kurz SURE) des Modells ⓘ

$y_{it}={\boldsymbol {x}}_{it}^{\top }{\boldsymbol {\beta }}+{\boldsymbol {e}}_{it}$, ⓘ

wobei der Fehlerterm ${\boldsymbol {e}}_{it}$ idiosynkratisch ist, ergibt sich die Kovarianzmatrix als ⓘ

${\begin{aligned}\operatorname {Cov} (\mathbf {e} )=\operatorname {E} (\mathbf {e} \mathbf {e} ^{\top })&={\begin{pmatrix}\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{N}^{\top })\\\\\vdots &\ddots &\vdots \\\\\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{N}^{\top })\end{pmatrix}}={\begin{pmatrix}\sigma _{11}\mathbf {I} _{T}&\cdots &\sigma _{1N}\mathbf {I} _{T}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}\mathbf {I} _{T}&\cdots &\sigma _{NN}\mathbf {I} _{T}\end{pmatrix}}={\begin{pmatrix}\sigma _{11}&\cdots &\sigma _{1N}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}&\cdots &\sigma _{NN}\end{pmatrix}}\otimes \mathbf {I} _{T}\\\\&=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } \end{aligned}}$ ⓘ

Beispiel

Bei 10 Datenpunkten seien jeweils die Werte $x_{1}$ und $x_{2}$ gemessen worden:

Messwerte ⓘ

$x_{1}$	$x_{2}$
1,0	1,41
2,0	1,56
2,0	2,19
4,0	2,79
5,0	3,04
6,0	2,23
9,0	3,74
9,0	3,84
9,0	2,80
13,0	4,18

Die Berechnung des geschätzten Mittelwertes ergibt: ${\hat {\mu }}_{1}=6$, ${\hat {\mu }}_{2}=2{,}78$, ${\hat {\sigma }}_{1}=13{,}8$ ; ${\hat {\sigma }}_{2}=0{,}81$, ${\hat {\text{cov}}}_{1,2}=2{,}972$. ⓘ

Daher ist die Stichprobenkovarianzmatrix $C={\begin{pmatrix}13{,}8&2{,}972\\2{,}972&0{,}81\end{pmatrix}}$. ⓘ

In Bezug auf den Mittelpunkt $({\hat {\mu }}_{1},{\hat {\mu }}_{2})$ der Punktwolke kann im Diagramm eine Konzentrationsellipse eingezeichnet werden. Die Punkte auf dem Rand der Ellipse sind also durch folgende Menge gegeben: $\lbrace (x_{1},x_{2})C^{-1}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}=k^{2}\rbrace$. ⓘ