Maximisation de Vraisemblance
Estimation par maximisation de vraisemblance
La vraisemblance est la probabilité qu'un événement arrive plus ou moins souvent.
Soit une variable aléatoire de fonction de masse (discrète) / densité (continue) tel que , on a une valeur où est un paramètre de la loi X.
- Pour une v.a. discrète,
- Pour une v.a. continue,
En pratique, nous connaissons l'expression de , et on va étudier les variations de afin de déterminer son maximum, par rapport à et en fonction de .
Pour une valeur observée par notre loi , la fonction de vraisemblance de de est Pour l'ensemble des , notre fonction de resemblance est le produit des .
La vraisemblance (aussi likelihood) est une fonction du paramètre à estimer implicitement de l'observation.
Nous avons vu ce type de comportements avec l'exercice 5 du TD 2. La vraisemblance est une probabilité, donc . La vraisemblance pour observations est :
Le but est de trouver, à partir d'une loi () qui va modéliser un phénomène, le(s) paramètres adapté(s) () pour nos observations. Pour trouver un maximum, utilise donc la dérivé pour trouver la vraisemblance max. On note alors l'estimateur maximal de Vraisemblance (EMV).
Exemples
Loi de Bernoulli
EMV pour p : Soit v.a. idd qui produisent les observations . On cherche, en fonction de nos observations , l'EMV pour le paramètre p.
1. Fonction de vraisemblance
donc Donc .
2. Simplification
3. Application du logarithme
On obtient donc, une log. vraisemblance, noté car
est monotone sur donc
4. Dérivée et racines
On peut multiplier par pour la recherche des 0:
Statistique exhaustive
Soit . Une statistique de est dite exhaustive si $$\mathbb{P}(X_1 = x_1\cap \ldots \cap X_n = x_n | t, \theta) = \mathbb{P}(X_1 = x_1\cap \ldots \cap X_n = x_n | t)$$
Cela veux dire que la probabilité d'observer toutes nos données sachant ne dépend plus du paramètre et donc que toute l'information sur est contenu dans la statistique .
Une statistique de est exhaustive si la fonction de densité/masse peut s'exprimer en tant que
Lorsqu'on fait de la maximisation de vraisemblance, la fonction va s'annuler lors de la log-vraisemblance par rapport à .
.
Si on choisit on peut écrire (ici serait )