Maximum-Likelihood-Methode

Die Maximum-Likelihood-Methode, kurz ML-Methode, auch Maximum-Likelihood-Schätzung (maximum likelihood englisch für größte Plausibilität, daher auch Methode der größten Plausibilität), Methode der maximalen Mutmaßlichkeit, Größte-Dichte-Methode oder Methode der größten Dichte bezeichnet in der Statistik ein parametrisches Schätzverfahren. Dabei wird – vereinfacht ausgedrückt – derjenige Parameter als Schätzung ausgewählt, gemäß dessen Verteilung die Realisierung der beobachteten Daten am plausibelsten erscheint. ⓘ

Im Falle einer von einem Parameter $\vartheta$ abhängigen Wahrscheinlichkeitsfunktion

$\rho \colon \Omega \to [0;1],\quad x\mapsto \rho (x\mid \vartheta )$

wird zu einem beobachteten Ausgang $x$ also die folgende Likelihood-Funktion für verschiedene Parameter betrachtet:

$L\colon \Theta \to [0;1],\quad \vartheta \mapsto \rho (x\mid \vartheta ).$

Dabei bezeichnet $\Omega$ den Ergebnisraum und $\Theta$ den Parameterraum (Raum aller möglichen Parameterwerte). ⓘ

Für einen bestimmten Wert des Parameters $\vartheta$ entspricht die Likelihood-Funktion (Wahrscheinlichkeitsfunktion) der Wahrscheinlichkeit, das Ergebnis $x$ zu beobachten. Als Maximum-Likelihood-Schätzung wird entsprechend dasjenige $\vartheta$ bezeichnet, für das die Likelihood-Funktion maximal wird. Im Falle stetiger Verteilungen gilt eine analoge Definition, nur wird die Wahrscheinlichkeitsfunktion in dieser Situation durch die zugehörige Dichtefunktion ersetzt. Allgemein lassen sich Maximum-Likelihood-Methoden für beliebige statistische Modelle definieren, solange die entsprechende Verteilungsklasse eine dominierte Verteilungsklasse ist. ⓘ

Aus der Perspektive der Bayes'schen Inferenz ist MLE im Allgemeinen äquivalent zur Maximum-a-posteriori-Schätzung (MAP) unter einer einheitlichen Prioritätsverteilung für die Parameter. In der frequentistischen Inferenz ist MLE ein Spezialfall eines Extremwertschätzers, wobei die Zielfunktion die Likelihood ist. ⓘ

Grundsätze

Wir modellieren einen Satz von Beobachtungen als Zufallsstichprobe aus einer unbekannten gemeinsamen Wahrscheinlichkeitsverteilung, die durch einen Satz von Parametern ausgedrückt wird. Das Ziel der Maximum-Likelihood-Schätzung besteht darin, die Parameter zu bestimmen, für die die beobachteten Daten die höchste gemeinsame Wahrscheinlichkeit aufweisen. Wir schreiben die Parameter, die die gemeinsame Verteilung bestimmen, als Vektor $\;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}\;$ so dass diese Verteilung in eine parametrische Familie fällt $\;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;,$ wobei $\,\Theta \,$ der Parameterraum genannt wird, eine endlich-dimensionale Teilmenge des euklidischen Raums. Die Auswertung der gemeinsamen Dichte an der beobachteten Datenprobe $\;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;$ ergibt eine reellwertige Funktion,

${\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )\;,$

die als Likelihood-Funktion bezeichnet wird. Für unabhängige und identisch verteilte Zufallsvariablen, $f_{n}(\mathbf {y} ;\theta )$ das Produkt der univariaten Dichtefunktionen sein:

$f_{n}(\mathbf {y} ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k};\theta )~.$ ⓘ

Das Ziel der Maximum-Likelihood-Schätzung besteht darin, die Werte der Modellparameter zu finden, die die Likelihood-Funktion über den Parameterraum maximieren, d. h.

${\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

Intuitiv werden so die Parameterwerte ausgewählt, die die beobachteten Daten am wahrscheinlichsten machen. Der spezifische Wert $~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~$ der die Likelihood-Funktion maximiert $\,{\mathcal {L}}_{n}\,$ maximiert, wird als Maximum-Likelihood-Schätzung bezeichnet. Wenn die so definierte Funktion $\;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;$ messbar ist, wird sie als Maximum-Likelihood-Schätzer bezeichnet. Im Allgemeinen handelt es sich um eine Funktion, die über den Stichprobenraum definiert ist, d. h. sie nimmt eine gegebene Stichprobe als ihr Argument. Eine hinreichende, aber nicht notwendige Bedingung für seine Existenz ist, dass die Likelihood-Funktion in einem kompakten Parameterraum kontinuierlich ist $\,\Theta \,$ der kompakt ist. Für einen offenen $\,\Theta \,$ kann die Likelihood-Funktion ansteigen, ohne jemals einen Supremumswert zu erreichen. ⓘ

In der Praxis ist es oft zweckmäßig, mit dem natürlichen Logarithmus der Likelihood-Funktion, der so genannten Log-Likelihood, zu arbeiten:

$\ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

Da der Logarithmus eine monotone Funktion ist, tritt das Maximum von $\;\ell (\theta \,;\mathbf {y} )\;$ bei demselben Wert von $\theta$ wie das Maximum von $\,{\mathcal {L}}_{n}~.$ Wenn $\ell (\theta \,;\mathbf {y} )$ differenzierbar ist in $\,\Theta \,,$ sind die notwendigen Bedingungen für das Auftreten eines Maximums (oder eines Minimums)

${\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~,$

als Likelihood-Gleichungen bekannt. Für einige Modelle können diese Gleichungen explizit gelöst werden für $\,{\widehat {\theta \,}}\,,$ gelöst werden, aber im Allgemeinen ist keine geschlossene Lösung für das Maximierungsproblem bekannt oder verfügbar, und eine MLE kann nur durch numerische Optimierung gefunden werden. Ein weiteres Problem ist, dass es bei endlichen Stichproben mehrere Wurzeln für die Wahrscheinlichkeitsgleichungen geben kann. Ob die identifizierte Wurzel $\,{\widehat {\theta \,}}\,$ der Likelihood-Gleichungen tatsächlich ein (lokales) Maximum ist, hängt davon ab, ob die Matrix der partiellen und quasi-partiellen Ableitungen zweiter Ordnung, die so genannte Hessian-Matrix ⓘ

$\mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~,$ ⓘ

negativ semidefinit ist bei ${\widehat {\theta \,}}$ist, da dies auf lokale Konkavität hindeutet. Praktischerweise sind die meisten gängigen Wahrscheinlichkeitsverteilungen - insbesondere die Exponentialverteilung - logarithmisch konkav. ⓘ

Eingeschränkter Parameterraum

Während der Bereich der Likelihood-Funktion - der Parameterraum - im Allgemeinen eine endlich-dimensionale Teilmenge des euklidischen Raums ist, müssen manchmal zusätzliche Einschränkungen in den Schätzprozess einbezogen werden. Der Parameterraum kann ausgedrückt werden als

$\Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,$ ⓘ

wobei $\;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;$ ist eine vektorwertige Funktion, die Folgendes abbildet $\,\mathbb {R} ^{k}\,$ auf abbildet. $\;\mathbb {R} ^{r}~.$ Schätzung des wahren Parameters $\theta$ der zu $\Theta$ bedeutet dann in der Praxis, das Maximum der Wahrscheinlichkeitsfunktion unter der Bedingung zu finden $~h(\theta )=0~.$ ⓘ

Theoretisch ist der natürlichste Ansatz für dieses eingeschränkte Optimierungsproblem die Methode der Substitution, d. h. das "Ausfüllen" der Einschränkungen $\;h_{1},h_{2},\ldots ,h_{r}\;$ zu einer Menge $\;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;$ in einer Weise, dass $\;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;$ eine Eins-zu-Eins-Funktion von $\mathbb {R} ^{k}$ zu sich selbst ist, und reparametrisieren Sie die Wahrscheinlichkeitsfunktion durch Setzen von $\;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.$ Aufgrund der Äquivarianz des Maximum-Likelihood-Schätzers gelten die Eigenschaften der MLE auch für die eingeschränkten Schätzungen. Zum Beispiel muss bei einer multivariaten Normalverteilung die Kovarianzmatrix $\,\Sigma \,$ positiv-definit sein; diese Einschränkung lässt sich durch Ersetzen von $\;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,$ wobei $\Gamma$ eine reelle obere Dreiecksmatrix ist und $\Gamma ^{\mathsf {T}}$ ihre Transponierte ist. ⓘ

In der Praxis werden Beschränkungen in der Regel mit Hilfe der Lagrange-Methode auferlegt, die bei den oben definierten Beschränkungen zu den beschränkten Wahrscheinlichkeitsgleichungen führt

${\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0$ und $h(\theta )=0\;,$ ⓘ

wobei $~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~$ ist ein Spaltenvektor der Lagrange-Multiplikatoren und $\;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;$ die k × r Jacobimatrix der partiellen Ableitungen ist. Wenn die Nebenbedingungen im Maximum nicht bindend sind, sollten die Lagrange-Multiplikatoren natürlich Null sein. Dies wiederum ermöglicht einen statistischen Test der "Gültigkeit" der Nebenbedingung, den so genannten Lagrange-Multiplikator-Test. ⓘ

Eigenschaften

Ein Maximum-Likelihood-Schätzer ist ein Extremwertschätzer, der durch Maximierung der Zielfunktion als Funktion von θ erhalten wird ${\widehat {\ell \,}}(\theta \,;x)$. Wenn die Daten unabhängig und identisch verteilt sind, dann gilt

${\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),$

dies ist das Analogon der erwarteten Log-Likelihood $\ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]$, wobei dieser Erwartungswert in Bezug auf die wahre Dichte genommen wird. ⓘ

Maximum-Likelihood-Schätzer haben keine optimalen Eigenschaften für endliche Stichproben in dem Sinne, dass (bei Auswertung endlicher Stichproben) andere Schätzer eine größere Konzentration um den wahren Parameterwert aufweisen können. Die Maximum-Likelihood-Schätzung weist jedoch wie andere Schätzverfahren eine Reihe attraktiver Begrenzungseigenschaften auf: Wenn der Stichprobenumfang ins Unendliche steigt, haben Sequenzen von Maximum-Likelihood-Schätzern diese Eigenschaften:

• Konsistenz: Die Folge von MLEs konvergiert in der Wahrscheinlichkeit gegen den zu schätzenden Wert.
• Funktionale Äquivarianz: Wenn ${\hat {\theta }}$ ist der Maximum-Likelihood-Schätzer für $\theta$ist, und wenn $g(\theta )$ eine beliebige Transformation von $\theta$ist, dann ist der Maximum-Likelihood-Schätzer für $\alpha =g(\theta )$ ist ${\hat {\alpha }}=g({\hat {\theta }})$.
• Effizienz, d. h. er erreicht die untere Schranke von Cramér-Rao, wenn der Stichprobenumfang gegen unendlich tendiert. Dies bedeutet, dass kein konsistenter Schätzer einen geringeren asymptotischen mittleren quadratischen Fehler aufweist als der MLE (oder andere Schätzer, die diese Schranke erreichen), was auch bedeutet, dass der MLE asymptotische Normalität besitzt.
• Effizienz zweiter Ordnung nach Korrektur für Verzerrungen. ⓘ

Konsistenz

Unter den nachstehend beschriebenen Bedingungen ist der Maximum-Likelihood-Schätzer konsistent. Die Konsistenz bedeutet, dass, wenn die Daten generiert wurden durch $f(\cdot \,;\theta _{0})$ generiert wurden und wir eine ausreichend große Anzahl von Beobachtungen n haben, dann ist es möglich, den Wert von θ₀ mit beliebiger Genauigkeit zu finden. Mathematisch ausgedrückt bedeutet dies, dass der Schätzer mit n gegen unendlich ${\widehat {\theta \,}}$ mit an Sicherheit grenzender Wahrscheinlichkeit zu seinem wahren Wert konvergiert:

${\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.$ ⓘ

Unter etwas strengeren Bedingungen konvergiert der Schätzer fast sicher (oder stark):

${\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.$ ⓘ

In praktischen Anwendungen werden die Daten nie von $f(\cdot \,;\theta _{0})$. Vielmehr, $f(\cdot \,;\theta _{0})$ ein Modell, oft in idealisierter Form, des durch die Daten erzeugten Prozesses. Es ist ein gängiger Aphorismus in der Statistik, dass alle Modelle falsch sind. Daher kommt echte Konsistenz in praktischen Anwendungen nicht vor. Nichtsdestotrotz wird Konsistenz oft als eine wünschenswerte Eigenschaft für einen Schätzer angesehen. ⓘ

Um Konsistenz zu erreichen, sind die folgenden Bedingungen ausreichend.

1. Identifizierung des Modells:

   $\theta \neq \theta _{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta _{0}).$

   Mit anderen Worten: Verschiedene Parameterwerte θ entsprechen verschiedenen Verteilungen innerhalb des Modells. Wäre diese Bedingung nicht erfüllt, gäbe es einen Wert θ₁, so dass θ₀ und θ₁ eine identische Verteilung der beobachtbaren Daten erzeugen. Dann könnten wir selbst bei einer unendlichen Datenmenge nicht zwischen diesen beiden Parametern unterscheiden - diese Parameter wären beobachtungsmäßig gleichwertig.
   

   Die Identifikationsbedingung ist absolut notwendig, damit der ML-Schätzer konsistent ist. Wenn diese Bedingung erfüllt ist, hat die limitierende Likelihood-Funktion ℓ(θ|-) ein eindeutiges globales Maximum bei θ₀.
2. Kompaktheit: Der Parameterraum Θ des Modells ist kompakt.
   

   Die Identifikationsbedingung besagt, dass die log-Wahrscheinlichkeit ein eindeutiges globales Maximum hat. Kompaktheit bedeutet, dass sich die Wahrscheinlichkeit dem Maximalwert nicht an einem anderen Punkt beliebig stark annähern kann (wie z. B. in der Abbildung rechts gezeigt).

   Kompaktheit ist nur eine hinreichende Bedingung und keine notwendige Bedingung. Die Kompaktheit kann durch andere Bedingungen ersetzt werden, wie z. B.:

   • sowohl Konkavität der Log-Likelihood-Funktion als auch Kompaktheit einiger (nicht leerer) oberer Mengen der Log-Likelihood-Funktion oder
   • Vorhandensein einer kompakten Nachbarschaft N von θ₀, so dass die Log-Wahrscheinlichkeitsfunktion außerhalb von N um mindestens ein ε > 0 kleiner als das Maximum ist.
3. Stetigkeit: Die Funktion ln f(x | θ) ist in θ für fast alle Werte von x stetig:

   $\operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.$

   Die Kontinuität kann hier durch eine etwas schwächere Bedingung der oberen Halbkontinuität ersetzt werden.
4. Dominanz: Es existiert D(x), das in Bezug auf die Verteilung f(x | θ₀) integrabel ist, so dass

   ${\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad {\text{ for all }}\theta \in \Theta .$

   Nach dem Gesetz der großen Zahlen begründen die Dominanzbedingung und die Stetigkeit die gleichmäßige Wahrscheinlichkeitskonvergenz der log-likelihood:

   $\sup _{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ {\xrightarrow {\text{p}}}\ 0.$ ⓘ

Die Dominanzbedingung kann im Fall von i.i.d.-Beobachtungen verwendet werden. Für den Fall, dass die Beobachtungen nicht i.i.d. sind, kann die gleichmäßige Konvergenz der Wahrscheinlichkeit überprüft werden, indem gezeigt wird, dass die Folge ${\widehat {\ell \,}}(\theta \mid x)$ stochastisch äquikontinuierlich ist. ⓘ Wenn man zeigen will, dass der ML-Schätzer ${\widehat {\theta \,}}$ mit ziemlicher Sicherheit gegen θ₀ konvergiert, muss eine strengere Bedingung der gleichmäßigen Konvergenz mit ziemlicher Sicherheit gestellt werden:

$\sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.$ ⓘ

Wenn zusätzlich (wie oben angenommen) die Daten durch $f(\cdot \,;\theta _{0})$generiert wurden, dann kann unter bestimmten Bedingungen auch gezeigt werden, dass der Maximum-Likelihood-Schätzer in der Verteilung gegen eine Normalverteilung konvergiert. Genauer gesagt,

${\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)$

wobei I die Fisher-Informationsmatrix ist. ⓘ Im Likelihood-Quotienten-Test wird geprüft, ob sich zwei hierarchisch geschachtelte Modelle (englisch nested models) signifikant voneinander unterscheiden. Ist $\vartheta$ ein Parametervektor, sind $\Theta _{0}\subset \Theta _{1}$ zwei Parameterräume ($\Theta _{0}$ reduziertes Modell, $\Theta _{1}$ volles Modell) sowie $L(\vartheta )$ die Likelihood-Funktion, dann gilt unter der Nullhypothese ($H_{0}\colon \vartheta \in \Theta _{0}$ vs. $H_{1}\colon \vartheta \in \Theta _{1}$) ⓘ Eine Ablehnung der Nullhypothese bedeutet, dass das „volle Modell“ (das Modell unter der Alternativhypothese) eine signifikant bessere Erklärung liefert als das „reduzierte Modell“ (das Modell unter der Nullhypothese bzw. Nullmodell) . ⓘ

Funktionale Äquivarianz

Der Maximum-Likelihood-Schätzer wählt den Parameterwert aus, der den beobachteten Daten die größtmögliche Wahrscheinlichkeit (oder Wahrscheinlichkeitsdichte, im kontinuierlichen Fall) verleiht. Besteht der Parameter aus mehreren Komponenten, so definieren wir deren separate Maximum-Likelihood-Schätzer als die entsprechende Komponente des MLE des vollständigen Parameters. Dementsprechend ist, wenn ${\widehat {\theta \,}}$ das MLE für $\theta$ist, und wenn $g(\theta )$ eine beliebige Transformation von $\theta$ist, dann ist das MLE für $\alpha =g(\theta )$ per Definition ⓘ

${\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,$ ⓘ

Es maximiert die sogenannte Profilwahrscheinlichkeit:

${\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,$ ⓘ

Das MLE ist auch äquivariant in Bezug auf bestimmte Transformationen der Daten. Wenn $y=g(x)$ wobei $g$ eins zu eins ist und nicht von den zu schätzenden Parametern abhängt, dann erfüllen die Dichtefunktionen ⓘ

$f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}$ ⓘ

und daher unterscheiden sich die Likelihood-Funktionen für $X$ und $Y$ nur um einen Faktor unterscheiden, der nicht von den Modellparametern abhängt. ⓘ

Zum Beispiel sind die MLE-Parameter der Log-Normalverteilung die gleichen wie die der Normalverteilung, die an den Logarithmus der Daten angepasst wurde. ⓘ

Wirkungsgrad

Wenn die Daten, wie oben angenommen, mit $~f(\cdot \,;\theta _{0})~,$ erzeugt wurden, kann unter bestimmten Bedingungen auch gezeigt werden, dass der Maximum-Likelihood-Schätzer in der Verteilung gegen eine Normalverteilung konvergiert. Er ist √n -konsistent und asymptotisch effizient, was bedeutet, dass er die Cramér-Rao-Schranke erreicht. Im Einzelnen, ⓘ

${\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,$

wobei $~{\mathcal {I}}~$ ist die Fisher-Informationsmatrix:

${\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.$ ⓘ

Dies bedeutet insbesondere, dass die Verzerrung des Maximum-Likelihood-Schätzers bis zur Ordnung 1/√n gleich Null ist. ⓘ

Effizienz zweiter Ordnung nach Korrektur der Verzerrung

Betrachtet man jedoch die Terme höherer Ordnung in der Erweiterung der Verteilung dieses Schätzers, so stellt sich heraus, dass θ_mle eine Verzerrung der Ordnung 1⁄n aufweist. Diese Verzerrung ist gleich (komponentenweise) ⓘ

$b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)$ ⓘ

wobei ${\mathcal {I}}^{jk}$ (mit hochgestellten Ziffern) bezeichnet die (j,k)-te Komponente der inversen Fisher-Informationsmatrix ${\mathcal {I}}^{-1}$und ⓘ

${\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.$ ⓘ

Anhand dieser Formeln lässt sich die Verzerrung zweiter Ordnung des Maximum-Likelihood-Schätzers schätzen und durch Subtraktion dieser Verzerrung korrigieren:

${\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.$

Dieser Schätzer ist bis zu den Termen der Ordnung 1/ n unverzerrt und wird als verzerrungskorrigierter Maximum-Likelihood-Schätzer bezeichnet. ⓘ

Dieser verzerrungskorrigierte Schätzer ist effizient zweiter Ordnung (zumindest innerhalb der Familie der gekrümmten Exponentiale), was bedeutet, dass er unter allen verzerrungskorrigierten Schätzern zweiter Ordnung einen minimalen mittleren quadratischen Fehler aufweist, und zwar bis zu den Termen der Ordnung 1/ n² . Es ist möglich, diesen Prozess fortzusetzen, d. h. den Term der Verzerrungskorrektur dritter Ordnung abzuleiten, und so weiter. Der Maximum-Likelihood-Schätzer ist jedoch nicht effizient dritter Ordnung. ⓘ

Beziehung zur Bayes'schen Inferenz

Ein Maximum-Likelihood-Schätzer stimmt mit dem wahrscheinlichsten Bayes'schen Schätzer überein, wenn eine gleichmäßige Prioritätsverteilung für die Parameter gegeben ist. Die maximale a-posteriori-Schätzung ist der Parameter θ, der die Wahrscheinlichkeit von θ bei gegebenen Daten maximiert, wie im Bayes-Theorem beschrieben:

$\operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}$ ⓘ

wobei $\operatorname {\mathbb {P} } (\theta )$ ist die Prioritätsverteilung für den Parameter θ und wobei $\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})$ die über alle Parameter gemittelte Wahrscheinlichkeit der Daten ist. Da der Nenner unabhängig von θ ist, erhält man den Bayes'schen Schätzer durch Maximierung von $f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )$ in Bezug auf θ. Wenn wir weiter annehmen, dass der Prior $\operatorname {\mathbb {P} } (\theta )$ eine Gleichverteilung ist, erhält man den Bayes'schen Schätzer durch Maximierung der Likelihood-Funktion $f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )$. Der Bayes'sche Schätzer ist somit identisch mit dem Maximum-Likelihood-Schätzer für eine gleichmäßige Prioritätsverteilung $\operatorname {\mathbb {P} } (\theta )$. ⓘ

Anwendung der Maximum-Likelihood-Schätzung in der Bayes-Entscheidungstheorie

In vielen praktischen Anwendungen des maschinellen Lernens wird die Maximum-Likelihood-Schätzung als Modell für die Parameterschätzung verwendet. ⓘ

Bei der Bayes'schen Entscheidungstheorie geht es darum, einen Klassifikator zu entwerfen, der das erwartete Gesamtrisiko minimiert. Insbesondere dann, wenn die mit verschiedenen Entscheidungen verbundenen Kosten (die Verlustfunktion) gleich sind, minimiert der Klassifikator den Fehler über die gesamte Verteilung. ⓘ

Die Bayes-Entscheidungsregel lautet also

"Entscheide $\;w_{1}\;$ wenn $~\operatorname {\mathbb {P} } (w_{1}|x)\;>\;\operatorname {\mathbb {P} } (w_{2}|x)~;~$ sonst entscheiden $\;w_{2}\;$"

wobei $\;w_{1}\,,w_{2}\;$ sind Vorhersagen für verschiedene Klassen. Unter dem Gesichtspunkt der Fehlerminimierung lässt sich dies auch so ausdrücken

$w={\underset {w}{\operatorname {arg\;max} }}\;\int _{-\infty }^{\infty }\operatorname {\mathbb {P} } ({\text{ error}}\mid x)\operatorname {\mathbb {P} } (x)\,\operatorname {d} x~$

wobei

$\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{1}\mid x)~$

wenn wir entscheiden $\;w_{2}\;$ und $\;\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{2}\mid x)\;$ wenn wir entscheiden $\;w_{1}\;.$ ⓘ

Durch Anwendung des Satzes von Bayes

$\operatorname {\mathbb {P} } (w_{i}\mid x)={\frac {\operatorname {\mathbb {P} } (x\mid w_{i})\operatorname {\mathbb {P} } (w_{i})}{\operatorname {\mathbb {P} } (x)}}$,

und wenn wir weiterhin die Null-oder-Eins-Verlustfunktion annehmen, die für alle Fehler den gleichen Verlust bedeutet, kann die Bayes-Entscheidungsregel wie folgt umformuliert werden

$h_{\text{Bayes}}={\underset {w}{\operatorname {arg\;max} }}\,{\bigl [}\,\operatorname {\mathbb {P} } (x\mid w)\,\operatorname {\mathbb {P} } (w)\,{\bigr ]}\;,$

wobei $h_{\text{Bayes}}$ ist die Vorhersage und $\;\operatorname {\mathbb {P} } (w)\;$ ist die Vorhersagewahrscheinlichkeit. ⓘ

Beziehung zur Minimierung der Kullback-Leibler-Divergenz und der Kreuzentropie

Die Suche nach ${\hat {\theta }}$ die die Wahrscheinlichkeit maximiert, ist asymptotisch äquivalent zum Finden der ${\hat {\theta }}$ die eine Wahrscheinlichkeitsverteilung definiert ($Q_{\hat {\theta }}$) definiert, die in Bezug auf die Kullback-Leibler-Divergenz einen minimalen Abstand zu der realen Wahrscheinlichkeitsverteilung aufweist, aus der unsere Daten generiert wurden (d. h. generiert durch $P_{\theta _{0}}$). In einer idealen Welt sind P und Q identisch (und die einzige Unbekannte ist $\theta$ die P definiert), aber selbst wenn dies nicht der Fall ist und das von uns verwendete Modell falsch spezifiziert ist, liefert uns die MLE die Verteilung, die der realen Verteilung am nächsten kommt (innerhalb der Beschränkung eines Modells Q, das abhängig ist von ${\hat {\theta }}$) der realen Verteilung $P_{\theta _{0}}$. ⓘ

Der Beweis. ⓘ

Zur Vereinfachung der Schreibweise nehmen wir an, dass P=Q ist. Es seien n i.i.d-Datenstichproben $\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})$ aus einer Wahrscheinlichkeit $y\sim P_{\theta _{0}}$, die wir zu schätzen versuchen, indem wir ${\hat {\theta }}$ zu finden, die die Wahrscheinlichkeit maximiert, indem man $P_{\theta }$maximiert, dann:

${\begin{aligned}{\hat {\theta }}&={\underset {\theta }{\operatorname {arg\,max} }}\,L_{P_{\theta }}(\mathbf {y} )={\underset {\theta }{\operatorname {arg\,max} }}\,P_{\theta }(\mathbf {y} )={\underset {\theta }{\operatorname {arg\,max} }}\,P(\mathbf {y} \mid \theta )\\&={\underset {\theta }{\operatorname {arg\,max} }}\,\prod _{i=1}^{n}P(y_{i}\mid \theta )={\underset {\theta }{\operatorname {arg\,max} }}\,\sum _{i=1}^{n}\log P(y_{i}\mid \theta )\\&={\underset {\theta }{\operatorname {arg\,max} }}\,\left(\sum _{i=1}^{n}\log P(y_{i}\mid \theta )-\sum _{i=1}^{n}\log P(y_{i}\mid \theta _{0})\right)={\underset {\theta }{\operatorname {arg\,max} }}\,\sum _{i=1}^{n}\left(\log P(y_{i}\mid \theta )-\log P(y_{i}\mid \theta _{0})\right)\\&={\underset {\theta }{\operatorname {arg\,max} }}\,\sum _{i=1}^{n}\log {\frac {P(y_{i}\mid \theta )}{P(y_{i}\mid \theta _{0})}}={\underset {\theta }{\operatorname {arg\,min} }}\,\sum _{i=1}^{n}\log {\frac {P(y_{i}\mid \theta _{0})}{P(y_{i}\mid \theta )}}={\underset {\theta }{\operatorname {arg\,min} }}\,{\frac {1}{n}}\sum _{i=1}^{n}\log {\frac {P(y_{i}\mid \theta _{0})}{P(y_{i}\mid \theta )}}\\&={\underset {\theta }{\operatorname {arg\,min} }}\,{\frac {1}{n}}\sum _{i=1}^{n}h_{\theta }(y_{i})\quad {\underset {n\to \infty }{\longrightarrow }}\quad {\underset {\theta }{\operatorname {arg\,min} }}\,E[h_{\theta }(y)]\\&={\underset {\theta }{\operatorname {arg\,min} }}\,\int P_{\theta _{0}}(y)h_{\theta }(y)dy={\underset {\theta }{\operatorname {arg\,min} }}\,\int P_{\theta _{0}}(y)\log {\frac {P(y\mid \theta _{0})}{P(y\mid \theta )}}dy\\&={\underset {\theta }{\operatorname {arg\,min} }}\,D_{\text{KL}}(P_{\theta _{0}}\parallel P_{\theta })\end{aligned}}$

Wobei $h_{\theta }(x)=\log {\frac {P(x\mid \theta _{0})}{P(x\mid \theta )}}$. Die Verwendung von h hilft zu sehen, wie wir das Gesetz der großen Zahlen verwenden, um vom Durchschnitt von h(x) zur Erwartung davon zu gelangen, indem wir das Gesetz des unbewussten Statistikers verwenden. Die ersten Übergänge haben mit den Gesetzen des Logarithmus zu tun und damit, dass man ${\hat {\theta }}$ die eine Funktion maximiert, auch diejenige ist, die eine monotone Transformation dieser Funktion maximiert (d. h.: Addition/Multiplikation mit einer Konstanten).

Da die Kreuzentropie nur die Shannon-Entropie plus KL-Divergenz ist, und da die Entropie von $P_{\theta _{0}}$ konstant ist, dann ist die MLE auch eine asymptotische Minimierung der Kreuzentropie. ⓘ

Beispiele

Diskrete Gleichverteilung

Betrachten wir einen Fall, in dem n Lose mit Nummern von 1 bis n in eine Schachtel gelegt werden und eines zufällig ausgewählt wird (siehe Gleichverteilung); der Stichprobenumfang ist also 1. Wenn n unbekannt ist, dann ist der Maximum-Likelihood-Schätzer ${\widehat {n}}$ von n die Zahl m auf dem gezogenen Los. (Die Wahrscheinlichkeit ist 0 für n < m, 1⁄n für n ≥ m, und sie ist am größten, wenn n = m. Man beachte, dass die Maximum-Likelihood-Schätzung von n am unteren Extrem der möglichen Werte {m, m + 1, ...} auftritt und nicht irgendwo in der "Mitte" des Bereichs der möglichen Werte, was zu einer geringeren Verzerrung führen würde). Der erwartete Wert der Zahl m auf dem gezogenen Los und damit der erwartete Wert von ${\widehat {n}}$ist (n + 1)/2. Folglich unterschätzt der Maximum-Likelihood-Schätzer für n bei einem Stichprobenumfang von 1 den Wert n systematisch um (n - 1)/2. ⓘ

Diskrete Verteilung, endlicher Parameterraum

Angenommen, man möchte bestimmen, wie stark eine unfaire Münze verzerrt ist. Nennen wir die Wahrscheinlichkeit, dass die Münze "Kopf" wirft, p. Das Ziel ist dann, p zu bestimmen. ⓘ

Angenommen, die Münze wird 80-mal geworfen, d. h. die Stichprobe könnte etwa so aussehen: x₁ = H, x₂ = T, ..., x₈₀ = T, und die Anzahl der Köpfe "H" wird beobachtet. ⓘ

Die Wahrscheinlichkeit, dass Zahl gewürfelt wird, ist 1 - p (hier ist p also θ). Nehmen wir an, das Ergebnis ist 49 Kopf und 31 Zahl, und nehmen wir an, die Münze wurde aus einer Schachtel genommen, die drei Münzen enthält: eine, die mit der Wahrscheinlichkeit p = 1⁄3 Kopf ergibt, eine, die mit der Wahrscheinlichkeit p = 1⁄2 Kopf ergibt, und eine andere, die mit der Wahrscheinlichkeit p = 2⁄3 Kopf ergibt. Die Münzen haben ihre Beschriftung verloren, so dass nicht bekannt ist, welche es war. Mit Hilfe der Maximum-Likelihood-Schätzung kann die Münze mit der größten Wahrscheinlichkeit gefunden werden, wenn die beobachteten Daten vorliegen. Unter Verwendung der Wahrscheinlichkeitsmassenfunktion der Binomialverteilung mit einem Stichprobenumfang von 80 und einer Erfolgszahl von 49, aber für verschiedene Werte von p (der "Erfolgswahrscheinlichkeit"), nimmt die Likelihood-Funktion (wie unten definiert) einen von drei Werten an:

${\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}$ ⓘ

Die Likelihood ist maximiert, wenn p = 2⁄3 ist, dies ist also die Maximum-Likelihood-Schätzung für p. ⓘ

Eine Urne enthält $N=8$ Kugeln, die entweder rot oder schwarz sind. Die genaue Anzahl $M\in \{0,1,\dotsc ,8\}$ der roten Kugeln ist nicht bekannt. Nacheinander werden $n=4$ Kugeln gezogen und jeweils wieder zurück in die Urne gelegt. Beobachtet werden $x_{1}=1$ (erste Kugel ist rot), $x_{2}=1$ (zweite Kugel ist rot), $x_{3}=0$ (dritte Kugel ist schwarz) und $x_{4}=1$ (vierte Kugel ist rot). ⓘ

$L(M)=\left({\frac {M}{N}}\right)^{3}\left(1-{\frac {M}{N}}\right)={\frac {1}{N^{4}}}M^{3}(N-M)={\frac {1}{8^{4}}}M^{3}(8-M).$ ⓘ

Es ergeben sich folgende Funktionswerte:

$M$	$0$	$1$	$2$	$3$	$4$	$5$	$6$	$7$	$8$ ⓘ
$L(M)$	0	0,002	0,012	0,033	0,063	0,092	0,105	0,084	0

Diskrete Verteilung, kontinuierlicher Parameterraum

Nehmen wir nun an, dass es nur eine Münze gab, deren p aber einen beliebigen Wert 0 ≤ p ≤ 1 gehabt haben könnte. Die zu maximierende Likelihood-Funktion ist

$L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,$ ⓘ

und die Maximierung erfolgt über alle möglichen Werte 0 ≤ p ≤ 1 . ⓘ

Likelihood-Funktion für den Anteilswert eines Binomialprozesses (n = 10) ⓘ

Eine Möglichkeit, diese Funktion zu maximieren, besteht darin, nach p zu differenzieren und auf Null zu setzen:

${\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}$ ⓘ

Dies ist ein Produkt aus drei Termen. Der erste Term ist 0, wenn p = 0. Der zweite ist 0, wenn p = 1. Der dritte ist Null, wenn p = 49⁄80. Die Lösung, die die Likelihood maximiert, ist eindeutig p = 49⁄80 (da p = 0 und p = 1 eine Likelihood von 0 ergeben). Der Maximum-Likelihood-Schätzer für p ist also 49⁄80. ⓘ

Dieses Ergebnis lässt sich leicht verallgemeinern, indem man einen Buchstaben wie s anstelle von 49 einsetzt, um die beobachtete Anzahl der "Erfolge" unserer Bernoulli-Versuche darzustellen, und einen Buchstaben wie n anstelle von 80, um die Anzahl der Bernoulli-Versuche darzustellen. Genau dieselbe Berechnung ergibt s⁄n, den Maximum-Likelihood-Schätzer für eine beliebige Folge von n Bernoulli-Versuchen, die zu s "Erfolgen" führen. ⓘ

Kontinuierliche Verteilung, kontinuierlicher Parameterraum

Für die Normalverteilung ${\mathcal {N}}(\mu ,\sigma ^{2})$ mit der Wahrscheinlichkeitsdichtefunktion ⓘ

$f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),$ ⓘ

hat, lautet die entsprechende Wahrscheinlichkeitsdichtefunktion für eine Stichprobe von n unabhängigen, identisch verteilten normalverteilten Zufallsvariablen (die Likelihood) ⓘ

$f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).$ ⓘ

Diese Familie von Verteilungen hat zwei Parameter: θ = (μ, σ); wir maximieren also die Wahrscheinlichkeit (Likelihood), ${\mathcal {L}}(\mu ,\sigma )=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma )$über beide Parameter gleichzeitig oder, falls möglich, einzeln. ⓘ

Da die Logarithmusfunktion selbst eine kontinuierliche, streng steigende Funktion über den Bereich der Wahrscheinlichkeit ist, maximieren die Werte, die die Wahrscheinlichkeit maximieren, auch ihren Logarithmus (die Log-Likelihood selbst ist nicht unbedingt streng steigend). Die log-likelihood kann wie folgt geschrieben werden:

$\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}$ ⓘ

(Hinweis: Die log-likelihood ist eng mit der Informationsentropie und der Fisher-Information verbunden). ⓘ

Wir berechnen nun die Ableitungen dieser log-likelihood wie folgt. ⓘ

${\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=0-{\frac {\;-2\!n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}$

wobei ${\bar {x}}$ ist der Stichprobenmittelwert. Dies wird gelöst durch ⓘ

${\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.$ ⓘ

Dies ist in der Tat das Maximum der Funktion, da es der einzige Wendepunkt in μ ist und die zweite Ableitung streng kleiner als Null ist. Sein Erwartungswert ist gleich dem Parameter μ der gegebenen Verteilung, ⓘ

$\operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,$ ⓘ

was bedeutet, dass der Maximum-Likelihood-Schätzer ${\widehat {\mu }}$ unverzerrt ist. ⓘ

In ähnlicher Weise differenzieren wir die Log-Likelihood nach σ und setzen sie mit Null gleich:

${\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}$ ⓘ

Dies wird gelöst durch ⓘ

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.$ ⓘ

Durch Einsetzen der Schätzung $\mu ={\widehat {\mu }}$ erhält man ⓘ

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.$ ⓘ

Um den Erwartungswert zu berechnen, ist es zweckmäßig, den Ausdruck in Form von Zufallsvariablen mit dem Mittelwert Null (statistischer Fehler) umzuschreiben $\delta _{i}\equiv \mu -x_{i}$. Wenn man den Schätzwert in diesen Variablen ausdrückt, erhält man ⓘ

${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).$ ⓘ

Durch Vereinfachung des obigen Ausdrucks unter Ausnutzung der Tatsache, dass $\operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0$ und $\operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}$ermöglicht es uns, Folgendes zu erhalten ⓘ

$\operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.$ ⓘ

Dies bedeutet, dass der Schätzer ${\widehat {\sigma }}^{2}$ verzerrt ist für $\sigma ^{2}$. Es kann auch gezeigt werden, dass ${\widehat {\sigma }}$ verzerrt ist für $\sigma$ist, aber dass beide ${\widehat {\sigma }}^{2}$ und ${\widehat {\sigma }}$ konsistent sind. ⓘ

Formal sagen wir, dass der Maximum-Likelihood-Schätzer für $\theta =(\mu ,\sigma ^{2})$ ist ⓘ

${\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).$ ⓘ

In diesem Fall könnten die MLEs einzeln ermittelt werden. In der Regel ist dies nicht der Fall, und die MLEs müssen gleichzeitig ermittelt werden. ⓘ

Das Maximum der normalen Log-Likelihood hat eine besonders einfache Form:

$\log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}$ ⓘ

Es kann gezeigt werden, dass diese maximale Log-Wahrscheinlichkeit für allgemeinere kleinste Quadrate, sogar für nichtlineare kleinste Quadrate, die gleiche ist. Dies wird häufig bei der Bestimmung von näherungsweisen Konfidenzintervallen und Konfidenzbereichen auf der Grundlage der Likelihood verwendet, die im Allgemeinen genauer sind als diejenigen, die die oben beschriebene asymptotische Normalität verwenden. ⓘ

Nicht-unabhängige Variablen

Es kann vorkommen, dass Variablen korreliert sind, d. h. nicht unabhängig sind. Zwei Zufallsvariablen $y_{1}$ und $y_{2}$ sind nur dann unabhängig, wenn ihre gemeinsame Wahrscheinlichkeitsdichtefunktion das Produkt der einzelnen Wahrscheinlichkeitsdichtefunktionen ist, d. h. ⓘ

$f(y_{1},y_{2})=f(y_{1})f(y_{2})\,$ ⓘ

Angenommen, man konstruiert einen Gauß-Vektor der Ordnung n aus Zufallsvariablen $(y_{1},\ldots ,y_{n})$, wobei jede Variable Mittelwerte hat, die durch $(\mu _{1},\ldots ,\mu _{n})$. Ferner sei die Kovarianzmatrix durch ${\mathit {\Sigma }}$. Die gemeinsame Wahrscheinlichkeitsdichtefunktion dieser n Zufallsvariablen folgt dann einer multivariaten Normalverteilung, die durch gegeben ist:

$f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)$ ⓘ

Im bivariaten Fall ist die gemeinsame Wahrscheinlichkeitsdichtefunktion gegeben durch:

$f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]$ ⓘ

In diesem und anderen Fällen, in denen eine gemeinsame Dichtefunktion existiert, wird die Wahrscheinlichkeitsfunktion wie oben im Abschnitt "Grundsätze" unter Verwendung dieser Dichte definiert. ⓘ

Beispiel

$X_{1},\ X_{2},\ldots ,\ X_{m}$ sind Zählungen in den Zellen/Kästchen 1 bis m; jedes Kästchen hat eine andere Wahrscheinlichkeit (man stelle sich vor, dass die Kästchen größer oder kleiner sind) und wir legen die Anzahl der Kugeln, die fallen, auf $n$:$x_{1}+x_{2}+\cdots +x_{m}=n$. Die Wahrscheinlichkeit für jedes Kästchen ist $p_{i}$mit einer Nebenbedingung: $p_{1}+p_{2}+\cdots +p_{m}=1$. Dies ist ein Fall, in dem die $X_{i}$ s nicht unabhängig sind, wird die gemeinsame Wahrscheinlichkeit eines Vektors $x_{1},\ x_{2},\ldots ,x_{m}$ wird Multinomial genannt und hat die Form:

$f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}$ ⓘ

Jedes Kästchen für sich genommen ist ein Binom, und dies ist eine Erweiterung davon. ⓘ

Die logarithmische Wahrscheinlichkeit davon ist:

$\ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}$ ⓘ

Die Nebenbedingung muss berücksichtigt werden und die Lagrange-Multiplikatoren müssen verwendet werden:

$L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)$ ⓘ

Indem man alle Ableitungen als 0 setzt, erhält man die natürlichste Schätzung ⓘ

${\hat {p}}_{i}={\frac {x_{i}}{n}}$ ⓘ

Die Maximierung der log-Likelihood, mit und ohne Nebenbedingungen, kann ein unlösbares Problem in geschlossener Form sein, dann müssen wir iterative Verfahren verwenden. ⓘ

Iterative Verfahren

Außer in speziellen Fällen können die Likelihood-Gleichungen

${\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0$ ⓘ

nicht explizit für einen Schätzer gelöst werden ${\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )$. Stattdessen müssen sie iterativ gelöst werden: ausgehend von einer Anfangsschätzung von $\theta$ (sagen wir ${\widehat {\theta }}_{1}$) versucht man, eine konvergente Folge zu erhalten $\left\{{\widehat {\theta }}_{r}\right\}$. Es gibt viele Methoden für diese Art von Optimierungsproblemen, aber die am häufigsten verwendeten sind Algorithmen, die auf einer Aktualisierungsformel der Form

${\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)$ ⓘ

wobei der Vektor $\mathbf {d} _{r}\left({\widehat {\theta }}\right)$ die Abstiegsrichtung des rSchrittes angibt, und der Skalar $\eta _{r}$ die "Schrittlänge" angibt, die auch als Lernrate bezeichnet wird. Im Allgemeinen ist die Likelihood-Funktion nicht konvex und hat mehrere lokale Maxima. Auf Ableitungen basierende deterministische Suchmethoden können in der Regel nur ein lokales Maximum der Likelihood-Funktion identifizieren. Das Auffinden eines globalen Maximums einer nicht-konvexen Funktion ist ein NP-komplettes Problem und kann daher nicht in einer angemessenen Zeit gelöst werden. Biologisch inspirierte und andere heuristische Optimierungstechniken können verwendet werden, um mehrere lokale Maxima zu untersuchen und ein akzeptables Maximum in der Praxis zu finden. ⓘ

Methode des Gradientenabstiegs

(Anmerkung: Hier handelt es sich um ein Maximierungsproblem, daher wird das Vorzeichen vor dem Gradienten umgedreht) ⓘ

$\eta _{r}\in \mathbb {R} ^{+}$ die klein genug für Konvergenz ist und $\mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)$ ⓘ

Die Methode des Gradientenabstiegs erfordert die Berechnung des Gradienten bei der r-ten Iteration, aber keine Berechnung der Inversen der Ableitung zweiter Ordnung, d.h. der Hessischen Matrix. Daher ist sie rechnerisch schneller als die Newton-Raphson-Methode. ⓘ

Newton-Raphson-Verfahren

$\eta _{r}=1$ und $\mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)$ ⓘ

wobei $\mathbf {s} _{r}({\widehat {\theta }})$ ist die Punktzahl und $\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)$ ist die Inverse der Hess'schen Matrix der Log-Likelihood-Funktion, die beide in der rdritten Iteration. Da die Berechnung der Hessian-Matrix jedoch sehr rechenaufwendig ist, wurden zahlreiche Alternativen vorgeschlagen. Der beliebte Berndt-Hall-Hall-Hausman-Algorithmus approximiert die Hessian mit dem äußeren Produkt des erwarteten Gradienten, so dass ⓘ

$\mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)$ ⓘ

Quasi-Newton-Verfahren

Andere Quasi-Newton-Methoden verwenden aufwändigere Sekantenaktualisierungen, um eine Annäherung an die Hessian-Matrix zu erreichen. ⓘ

Davidon-Fletcher-Powell-Formel

Die DFP-Formel findet eine Lösung, die symmetrisch und positiv-definit ist und dem aktuellen Näherungswert der Ableitung zweiter Ordnung am nächsten kommt:

$\mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},$ ⓘ

wobei ⓘ

$y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),$

$\gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},$

$s_{k}=x_{k+1}-x_{k}.$ ⓘ

Broyden-Fletcher-Goldfarb-Shanno-Algorithmus

BFGS liefert ebenfalls eine Lösung, die symmetrisch und positiv-definit ist:

$B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,$ ⓘ

wobei ⓘ

$y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),$

$s_{k}=x_{k+1}-x_{k}.$ ⓘ

Die Konvergenz der BFGS-Methode ist nicht garantiert, es sei denn, die Funktion hat eine quadratische Taylor-Entwicklung in der Nähe eines Optimums. BFGS kann jedoch auch bei nicht-glatten Optimierungsfällen eine akzeptable Leistung erbringen. ⓘ

Fisher's Scoring

Eine weitere beliebte Methode besteht darin, die Hessian durch die Fisher-Informationsmatrix zu ersetzen, ${\mathcal {I}}(\theta )=\operatorname {\mathbb {E} } \left[\mathbf {H} _{r}\left({\widehat {\theta }}\right)\right]$zu ersetzen, womit wir den Fisher-Scoring-Algorithmus erhalten. Dieses Verfahren ist Standard bei der Schätzung vieler Methoden, z. B. bei verallgemeinerten linearen Modellen. ⓘ

Obwohl sie sehr beliebt sind, können Quasi-Newton-Methoden zu einem stationären Punkt konvergieren, der nicht unbedingt ein lokales oder globales Maximum ist, sondern eher ein lokales Minimum oder ein Sattelpunkt. Daher ist es wichtig, die Gültigkeit der erhaltenen Lösung der Likelihood-Gleichungen zu bewerten, indem überprüft wird, dass die Hessian, die an der Lösung ausgewertet wird, sowohl negativ definit als auch wohl konditioniert ist. ⓘ

Geschichte

Ronald Fisher im Jahr 1913 ⓘ

Frühe Anwender der Maximum Likelihood waren Carl Friedrich Gauß, Pierre-Simon Laplace, Thorvald N. Thiele und Francis Ysidro Edgeworth. Die weit verbreitete Anwendung stieg jedoch zwischen 1912 und 1922, als Ronald Fisher die Maximum-Likelihood-Schätzung empfahl, weithin bekannt machte und sorgfältig analysierte (mit vergeblichen Versuchen von Beweisen). ⓘ

Die Maximum-Likelihood-Schätzung wurde schließlich durch einen 1938 von Samuel S. Wilks veröffentlichten Beweis, der heute als Wilks-Theorem bezeichnet wird, über die heuristische Rechtfertigung hinausgeführt. Das Theorem zeigt, dass der Fehler im Logarithmus der Likelihood-Werte für Schätzungen aus mehreren unabhängigen Beobachtungen asymptotisch χ 2-verteilt ist, was die bequeme Bestimmung eines Vertrauensbereichs um jede Schätzung der Parameter ermöglicht. Der einzige schwierige Teil des Wilks'schen Beweises hängt vom Erwartungswert der Fisher-Informationsmatrix ab, der durch ein von Fisher bewiesenes Theorem bereitgestellt wird. Wilks hat die Allgemeinheit des Theorems im Laufe seines Lebens immer weiter verbessert, wobei sein allgemeinster Beweis 1962 veröffentlicht wurde. ⓘ

Die Entwicklung der Maximum-Likelihood-Schätzung wurde von einer Reihe von Autoren untersucht. ⓘ

Motivation

Einfach gesprochen bedeutet die Maximum-Likelihood-Methode Folgendes: Wenn man statistische Untersuchungen durchführt, untersucht man in der Regel eine Stichprobe mit einer bestimmten Anzahl von Objekten einer Grundgesamtheit. Da die Untersuchung der gesamten Grundgesamtheit in den meisten Fällen hinsichtlich der Kosten und des Aufwandes unmöglich ist, sind die wichtigen Kennwerte der Grundgesamtheit unbekannt. Solche Kennwerte sind z. B. der Erwartungswert oder die Standardabweichung. Da man diese Kennwerte jedoch zu den statistischen Rechnungen, die man durchführen möchte, benötigt, muss man die unbekannten Kennwerte der Grundgesamtheit anhand der bekannten Stichprobe schätzen. ⓘ

Die Maximum-Likelihood-Methode wird nun in Situationen benutzt, in denen die Elemente der Grundgesamtheit als Realisierung eines Zufallsexperiments interpretiert werden können, das von einem unbekannten Parameter abhängt, bis auf diesen aber eindeutig bestimmt und bekannt ist. Entsprechend hängen die interessanten Kennwerte ausschließlich von diesem unbekannten Parameter ab, lassen sich also als Funktion von ihm darstellen. Als Maximum-Likelihood-Schätzer wird nun derjenige Parameter bezeichnet, der die Wahrscheinlichkeit, die Stichprobe zu erhalten, maximiert. ⓘ

Die Maximum-Likelihood-Methode ist aufgrund ihrer Vorteile gegenüber anderen Schätzverfahren (beispielsweise die Methode der kleinsten Quadrate und die Momentenmethode) das wichtigste Prinzip zur Gewinnung von Schätzfunktionen für die Parameter einer Verteilung. ⓘ

Eine heuristische Herleitung

Es wird nun folgendes Beispiel betrachtet: Es gibt eine Urne mit einer großen Anzahl von Kugeln, die entweder schwarz oder rot sind. Da die Untersuchung aller Kugeln praktisch unmöglich erscheint, wird eine Stichprobe von zehn Kugeln (etwa mit Zurücklegen) gezogen. In dieser Stichprobe seien nun eine rote und neun schwarze Kugeln. Ausgehend von dieser einen Stichprobe soll nun die wahre Wahrscheinlichkeit, eine rote Kugel in der Gesamtpopulation (Urne) zu ziehen, geschätzt werden. ⓘ

Drei Likelihood-Funktionen für Parameter p einer Binomialverteilung für verschiedene Anzahlen k von roten Kugeln in einer Stichprobe von n=10 Kugeln ⓘ

Die Maximum-Likelihood-Methode versucht diese Schätzung nun so zu erstellen, dass das Auftreten unserer Stichprobe damit am wahrscheinlichsten wird. Dazu könnte man ausprobieren, bei welchem Schätzwert die Wahrscheinlichkeit für unser Stichprobenergebnis maximal wird. ⓘ

Probiert man beispielsweise $0{,}2$ als Schätzwert für die Wahrscheinlichkeit $p$ einer roten Kugel, so kann man mit Hilfe der Binomialverteilung $B(10;0{,}2;1)$ die Wahrscheinlichkeit des beobachteten Ergebnisses (genau eine rote Kugel) berechnen: das Ergebnis ist $0{,}2684$. ⓘ

Probiert man es mit $0{,}1$ als Schätzwert für $p$, berechnet also $B(10;0{,}1;1)$ für die Wahrscheinlichkeit, dass genau eine rote Kugel gezogen wird, ist das Ergebnis $0{,}3874$. ⓘ

Mit $0{,}3874$ für $p=0{,}1$ ist die Wahrscheinlichkeit, dass das beobachtete Ergebnis (genau eine rote Kugel) in der Stichprobe durch eine Populationswahrscheinlichkeit für rote Kugeln von $p=0{,}1$ verursacht wurde, somit größer als bei $p=0{,}2$. Damit wäre nach der Maximum-Likelihood-Methode $0{,}1$ ein besserer Schätzwert für den Anteil $p$ roter Kugeln in der Grundgesamtheit. Es erweist sich, dass für $p=0{,}1$ (siehe rote Linie für $k=1$ in der Grafik) die Wahrscheinlichkeit des beobachteten Ergebnisses am größten ist. Deshalb ist $0{,}1$ die Maximum-Likelihood-Schätzung von $p$. Man kann zeigen, dass sich allgemein bei $k$ roten Kugeln in der Stichprobe $k/10$ als Maximum-Likelihood-Schätzung von $p$ ergibt. ⓘ

Maximum-Likelihood-Schätzung

Als Maximum-Likelihood-Schätzung, kurz MLS bezeichnet man in der Statistik eine Parameterschätzung, die nach der Maximum-Likelihood-Methode berechnet wurde. In der englischen Fachliteratur ist die Abkürzung MLE (für maximum likelihood estimation oder maximum likelihood estimator) dafür sehr verbreitet. Eine Schätzung, bei der Vorwissen in Form einer A-priori-Wahrscheinlichkeit einfließt, wird Maximum-a-posteriori-Schätzung (kurz MAP) genannt. ⓘ

Eigenschaften von Maximum-Likelihood-Schätzern

Die besondere Qualität von Maximum-Likelihood-Schätzern äußert sich darin, dass sie in der Regel die effizienteste Methode zur Schätzung bestimmter Parameter darstellt. ⓘ

Existenz

Unter bestimmten Regularitätsbedingungen lässt sich beweisen, dass Maximum-Likelihood-Schätzer existieren, was aufgrund ihrer impliziten Definition als eindeutiger Maximalstelle einer nicht näher bestimmten Wahrscheinlichkeitsfunktion nicht offensichtlich ist. Die für diesen Beweis benötigten Voraussetzungen bestehen im Prinzip ausschließlich aus Annahmen zur Vertauschbarkeit von Integration und Differentiation, was in den meisten betrachteten Modellen erfüllt ist. ⓘ

Allgemeine Tests

Arbeitsweise der drei Tests im Rahmen der Maximum-Likelihood-Methode. ⓘ

Die Konvergenz der Maximum-Likelihood-Schätzfunktion ${\hat {\vartheta }}_{\text{ML}}$ gegen eine Normalverteilung erlaubt die Ableitung allgemeiner Tests zur Prüfung von Modellen und Koeffizienten:

• Likelihood-Quotienten-Test,
• Wald-Test und
• Score-Test oder Lagrange-Multiplikator-Test (LM-Test). ⓘ

Die Grafik rechts zeigt die Arbeitsweise der Tests auf: Der Likelihood-Quotienten-Test vergleicht die Werte der Likelihood-Funktionen miteinander, der Wald-Test prüft den Abstand zwischen dem geschätzten Parameter und dem vorgegebenen Parameter und der Score-Test, ob die Ableitung der Likelihood-Funktion Null ist. ⓘ

Da diese Tests nur asymptotisch gültig sind, gibt es für „kleine“ Stichprobenumfänge oft Tests mit besseren Optimalitätseigenschaften. ⓘ

Wald-Test

Während der Likelihood-Quotienten-Test Modelle vergleicht, zielt der Wald-Test auf einzelne Koeffizienten (univariat) oder Koeffizientengruppen (multivariat). Asymptotisch und unter der Nullhypothese $H_{0}$ folgt ⓘ

$W={\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})\;{\stackrel {a,H_{0}}{\sim }}\;{\mathcal {N}}(0,1)$. ⓘ

D.h. die Wald-Teststatistik ist unter o. g. Voraussetzungen standardnormalverteilt. Hierbei bezeichnet $I(\cdot )$ die Fisher-Information. ⓘ

Anwendungsbeispiel: Maximum-Likelihood in der molekularen Phylogenie

Das Maximum-Likelihood-Kriterium gilt als eine der Standardmethoden zur Berechnung von phylogenetischen Bäumen, um Verwandtschaftsbeziehungen zwischen Organismen – meist anhand von DNA- oder Proteinsequenzen – zu erforschen. Als explizite Methode ermöglicht Maximum-Likelihood die Anwendung verschiedener Evolutionsmodelle, die in Form von Substitutionsmatrizen in die Stammbaumberechnungen einfließen. Entweder werden empirische Modelle verwendet (Proteinsequenzen) oder die Wahrscheinlichkeiten für Punktmutationen zwischen den verschiedenen Nukleotiden werden anhand des Datensatzes geschätzt und hinsichtlich des Likelihood-Wertes ($-\ln L$) optimiert (DNA-Sequenzen). Allgemein gilt ML als die zuverlässigste und am wenigsten Artefakt-anfällige Methode unter den phylogenetischen Baumkonstruktionsmethoden. Dies erfordert jedoch ein sorgfältiges Taxon-„Sampling“ und meist ein komplexes Evolutionsmodell. ⓘ