Jusqu'à présent, nous supposions que l'estimation du paramètre inconnu était connue et étudiions ses propriétés afin de les utiliser pour construire intervalle de confiance. Dans cette section, nous examinerons la question des méthodes de construction des estimations.

Méthodes de vraisemblance

Supposons qu'il soit nécessaire d'estimer un paramètre inconnu, généralement vectoriel, . On suppose que la forme de la fonction de distribution est connue à un paramètre près,

Dans ce cas, tous les moments variable aléatoire deviennent des fonctions de :

La méthode des moments nécessite les étapes suivantes :

Calculer k moments « théoriques »

Sur la base de l’échantillon, nous construisons k exemples de moments du même nom. Dans le contexte actuel, ce seront des moments

En égalisant les moments « théoriques » et échantillons du même nom, nous arrivons à un système d'équations pour les composantes du paramètre estimé

En résolvant le système résultant (exactement ou approximativement), on retrouve les estimations initiales. Ce sont bien entendu des fonctions des valeurs de l’échantillon.

Nous avons esquissé la démarche à partir de premiers points - théoriques et sélectifs -. Il est conservé sous un choix différent de moments, initiaux, centraux ou absolus, qui est déterminé par la commodité du système de résolution (25.1) ou similaire.

Passons à l'examen d'exemples.

Exemple 25.1. Soit une variable aléatoire distribuée uniformément sur l'intervalle [ ; ] , où sont les paramètres inconnus. Basé sur un échantillon () de volume n issu de la distribution d'une variable aléatoire. Il est nécessaire d'évaluer et.

DANS dans ce cas la distribution est déterminée par la densité

1) Calculons les deux premiers moments « théoriques » initiaux :

2) Calculons à partir de l'échantillon les deux premiers instants initiaux de l'échantillon

3) Créons un système d'équations

4) A partir de la première équation nous l'exprimons par

et remplacez-le dans la deuxième équation, ce qui donne une équation quadratique

en résolvant cela, nous trouvons deux racines

Les valeurs correspondantes sont

Puisque, selon le sens du problème, la condition doit être remplie< , выбираем в качестве решения системы и оценок paramètres inconnus

Remarquant qu'il n'y a rien de plus que variance de l'échantillon, on obtient enfin

Si l’on devait choisir comme points « théoriques » espérance mathématique et la variance, alors on arriverait à un système (prenant en compte l'inégalité<)

qui est linéaire et plus facile à résoudre que le précédent. La réponse coïncide bien entendu avec ce qui a déjà été reçu.

Enfin, on constate que nos systèmes ont toujours une solution, et unique en plus. Les estimations obtenues sont bien entendu cohérentes, mais elles ne possèdent pas les propriétés d’impartialité.

Méthode du maximum de vraisemblance

Nous étudions, comme précédemment, une variable aléatoire dont la distribution est spécifiée soit par les probabilités de ses valeurs, si elle est discrète, soit par la densité de distribution, si elle est continue, où est un paramètre vectoriel inconnu. Soit () un échantillon de valeurs. Il est naturel de prendre comme estimation la valeur du paramètre pour laquelle la probabilité d'obtenir un échantillon existant est maximale.

Expression

appelé fonction de vraisemblance, il représente la distribution conjointe ou la densité conjointe d'un vecteur aléatoire avec n coordonnées indépendantes, dont chacune a la même distribution (densité) que.

Comme estimation du paramètre inconnu, nous prenons sa valeur qui fournit le maximum de la fonction, considérée en fonction de à valeurs fixes. L’évaluation s’appelle estimation du maximum de vraisemblance. Notez que cela dépend de la taille de l'échantillon n et des valeurs de l'échantillon

et, par conséquent, est elle-même une variable aléatoire.

Trouver le point maximum d'une fonction est une tâche distincte, qui est facilitée si la fonction est différentiable par rapport à un paramètre.

Dans ce cas, il convient de considérer son logarithme au lieu d'une fonction, puisque les points extrêmes de la fonction et de son logarithme coïncident.

Les méthodes de calcul différentiel permettent de trouver les points suspects d'un extremum, puis de savoir lequel d'entre eux le maximum est atteint.

Pour cela, nous considérons d’abord le système d’équations

dont les solutions sont des points suspects pour l'extremum. Puis, selon une méthode bien connue, calculer les valeurs des dérivées secondes

Par le signe du déterminant composé de ces valeurs, on trouve le point maximum.

Les estimations obtenues à l’aide de la méthode du maximum de vraisemblance sont cohérentes, même si elles peuvent être biaisées.

Regardons des exemples.

Exemple 25.2. Supposons qu'une expérience aléatoire soit réalisée, dont le résultat peut être un événement A dont la probabilité P(A) est inconnue et sujette à estimation.

Introduisons une variable aléatoire par l'égalité

si l'événement A s'est produit,

si l'événement A ne s'est pas produit (un événement s'est produit).

La distribution d'une variable aléatoire est donnée par l'égalité

L'échantillon dans ce cas sera une séquence finie (), où chacun d'eux peut être égal à 0 ou 1.

La fonction de vraisemblance aura la forme

Trouvons le point de son maximum en p, pour lequel on calcule la dérivée du logarithme

Notons que ce nombre est égal au nombre d'unités de « succès » dans la séquence sélectionnée.

Et d'autres).

L'estimation du maximum de vraisemblance est une méthode statistique populaire utilisée pour créer un modèle statistique à partir de données et fournir des estimations des paramètres du modèle.

Correspond à de nombreuses méthodes d'estimation bien connues dans le domaine des statistiques. Par exemple, disons que vous vous intéressez à la croissance de la population ukrainienne. Supposons que vous disposiez de données sur la taille d'un certain nombre de personnes plutôt que de la population entière. De plus, la taille est supposée être une variable normalement distribuée avec une variance et une moyenne inconnues. La moyenne et la variance de la croissance de l’échantillon sont très probablement celles de l’ensemble de la population.

Étant donné un ensemble fixe de données et un modèle de probabilité de base, en utilisant la méthode du maximum de vraisemblance, nous obtiendrons des valeurs pour les paramètres du modèle qui rendent les données « plus proches » du monde réel. L'estimation du maximum de vraisemblance offre un moyen unique et simple de déterminer des solutions dans le cas d'une distribution normale.

L’estimation du maximum de vraisemblance est utilisée pour un large éventail de modèles statistiques, notamment :

• modèles linéaires et modèles linéaires généralisés ;
• analyse factorielle;
• modélisation d'équations structurelles ;
• de nombreuses situations, dans le cadre de tests d'hypothèses et de formation d'intervalles de confiance ;
• modèles à choix discrets.

L'essence de la méthode

appelé estimation du maximum de vraisemblance paramètre. Ainsi, un estimateur du maximum de vraisemblance est un estimateur qui maximise la fonction de vraisemblance étant donné une réalisation d'échantillon fixe.

Souvent, la fonction log-vraisemblance est utilisée à la place de la fonction de vraisemblance. Puisque la fonction augmente de manière monotone sur tout le domaine de définition, le maximum de toute fonction est le maximum de la fonction, et vice versa. Ainsi

Si la fonction de vraisemblance est différentiable, alors une condition nécessaire pour l'extremum est que son gradient soit égal à zéro :

Une condition suffisante pour un extremum peut être formulée comme une définition négative du Hessien - la matrice des dérivées secondes :

La matrice dite d'information, qui par définition est égale à :

Au point optimal, la matrice d'information coïncide avec l'espérance mathématique du Hessien, prise avec un signe moins :

Propriétés

• En général, les estimations du maximum de vraisemblance peuvent être biaisées (voir exemples), mais elles sont cohérentes. asymptotiquement efficace et asymptotiquement normal estimations. La normalité asymptotique signifie que

où est la matrice d'informations asymptotique

L'efficacité asymptotique signifie que la matrice de covariance asymptotique est une limite inférieure pour tous les estimateurs asymptotiquement normaux cohérents.

Exemples

La dernière égalité peut être réécrite comme suit :

où , d'où on peut voir que la fonction de vraisemblance atteint son maximum au point . Ainsi

Pour trouver son maximum, on assimile les dérivées partielles à zéro :

Méthode du maximum de vraisemblance conditionnelle

Maximum de vraisemblance conditionnelle (ML conditionnelle) utilisé dans les modèles de régression. L'essence de la méthode est que la distribution conjointe complète de toutes les variables (dépendantes et régresseurs) n'est pas utilisée, mais seulement conditionnel distribution de la variable dépendante entre les facteurs, c'est-à-dire, en fait, la distribution des erreurs aléatoires dans le modèle de régression. La fonction de vraisemblance totale est le produit de la « fonction de vraisemblance conditionnelle » et de la densité de distribution factorielle. Le MMP conditionnel est équivalent à la version complète du MMP dans le cas où la répartition des facteurs ne dépend en aucune façon des paramètres estimés. Cette condition est souvent violée dans les modèles de séries chronologiques, tels que le modèle autorégressif. Dans ce cas, les régresseurs sont les valeurs passées de la variable dépendante, ce qui signifie que leurs valeurs obéissent également au même modèle AR, c'est-à-dire que la distribution des régresseurs dépend des paramètres estimés. Dans de tels cas, les résultats de l’application des méthodes du maximum de vraisemblance conditionnelle et totale seront différents.

Voir aussi

Remarques

Littérature

• Magnus Y.R., Katyshev P.K., Peresetsky A.A.Économétrie. Cours débutant. - M. : Delo, 2007. - 504 p. - ISBN978-5-7749-0473-0

Fondation Wikimédia.

2010.

Découvrez ce qu'est la « méthode du maximum de vraisemblance » dans d'autres dictionnaires : méthode du maximum de vraisemblance

- - méthode du maximum de vraisemblance En statistiques mathématiques, méthode d'estimation des paramètres de distribution basée sur la maximisation de la fonction dite de vraisemblance... ... L'invention concerne un procédé d'estimation de paramètres inconnus de la fonction de distribution F(s; α1,..., αs) à partir d'un échantillon, où α1, ..., αs sont des paramètres inconnus. Si un échantillon de n observations est divisé en r groupes disjoints s1,…, sr ; р1,..., pr… …

Méthode du maximum de vraisemblance- en statistique mathématique, une méthode d'estimation des paramètres de distribution, basée sur la maximisation de la fonction dite de vraisemblance (densité de probabilité conjointe des observations avec des valeurs composant ... ... Dictionnaire économique et mathématique

Découvrez ce qu'est la « méthode du maximum de vraisemblance » dans d'autres dictionnaires :- maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: engl. méthode du maximum de vraisemblance vok. Methode der maksimalen Mutmaßlichkeit, f rus. méthode du maximum de vraisemblance, m pranc. méthode de maximum de vraisemblance, f;… … Automatikos terminų žodynas

méthode de réponse partielle du maximum de vraisemblance- Méthode de détection du signal Viterbi, qui garantit un niveau minimum de distorsion intersymbole. Voir aussi. Algorithme de Viterbi. [L.M. Nevdiaev. Technologies des télécommunications. Ouvrage de référence du dictionnaire explicatif anglais-russe. Edité par Yu.M... Guide du traducteur technique

détecteur de séquence utilisant la méthode du maximum de vraisemblance- Un dispositif de calcul d'une estimation de la séquence de symboles la plus probable qui maximise la fonction de vraisemblance du signal reçu. [L.M. Nevdiaev. Technologies des télécommunications. Ouvrage de référence du dictionnaire explicatif anglais-russe. Edité par Yu.M... Guide du traducteur technique

méthode du maximum de vraisemblance- méthode du maximum de vraisemblance - [L.G. Sumenko. Dictionnaire anglais-russe sur les technologies de l'information. M. : Entreprise d'État TsNIIS, 2003.] Thèmes technologies de l'information en général Synonymes méthode du maximum de vraisemblance EN méthode du maximum de vraisemblance... Guide du traducteur technique

méthode du maximum de vraisemblance- Méthode générale de calcul des estimations de paramètres. On recherche des estimations qui maximisent la fonction de vraisemblance de l'échantillon égale au produit des valeurs de la fonction de distribution pour chaque valeur de données observée. La méthode du maximum de vraisemblance est meilleure... Dictionnaire de statistiques sociologiques

L'essence du problème de l'estimation des paramètres ponctuels

ESTIMATION POINTE DES PARAMÈTRES DE DISTRIBUTION

Estimation ponctuelle implique de trouver une seule valeur numérique, qui est prise comme valeur du paramètre. Il est conseillé de déterminer une telle évaluation dans les cas où le volume de DE est suffisamment important. De plus, il n'existe pas de concept unique de volume suffisant de ED ; sa valeur dépend du type de paramètre estimé (nous reviendrons sur cette question lors de l'étude des méthodes d'estimation par intervalles des paramètres, mais nous considérerons d'abord un échantillon contenant au moins 10 valeurs suffisantes). Lorsque le volume de DE est faible, les estimations ponctuelles peuvent différer considérablement des valeurs réelles des paramètres, ce qui les rend impropres à leur utilisation.

Problème d'estimation des paramètres ponctuels dans un cadre typique est la suivante.

Disponible : échantillon d'observations ( x 1 , x 2 , …, xn) derrière une variable aléatoire X. Taille de l'échantillon n fixé

La forme de la loi de distribution des quantités est connue X, par exemple, sous forme de densité de distribution f(Θ ,x), Où Θ – paramètre de distribution inconnu (en général vectoriel). Le paramètre est une valeur non aléatoire.

Il faut trouver un devis Θ* paramètre Θ loi de répartition.

Limites : L'échantillon est représentatif.

Il existe plusieurs méthodes pour résoudre le problème de l'estimation des paramètres ponctuels, les plus courantes étant les méthodes du maximum de vraisemblance, des moments et des quantiles.

La méthode a été proposée par R. Fisher en 1912. La méthode est basée sur l'étude de la probabilité d'obtenir un échantillon d'observations (x 1 , x 2, …, xn). Cette probabilité est égale à

f(x 1, Θ) f(x 2, Θ) … f(x n, Θ) dx 1 dx 2 … dx n.

Densité de probabilité conjointe

L(x 1, x 2 ..., x n; Θ) = f(x 1, Θ) f(x 2, Θ) ... f(x n, Θ),(2.7)

considéré en fonction du paramètre Θ , appelé fonction de vraisemblance .

En guise d'évaluation Θ* paramètre Θ il faut prendre la valeur qui rend la fonction de vraisemblance maximale. Pour trouver l'estimation, il faut remplacer dans la fonction de vraisemblance T sur q et résoudre l'équation

dL/jΘ* = 0.

Pour simplifier les calculs, on passe de la fonction de vraisemblance à son logarithme ln L. Cette transformation est acceptable car la fonction de vraisemblance est une fonction positive et atteint un maximum au même point que son logarithme. Si le paramètre de distribution est une quantité vectorielle

Θ* =(q 1, q 2, …, qn),

alors les estimations du maximum de vraisemblance sont trouvées à partir du système d'équations

ré ln L(q 1, q 2, …, q n) /ré q 1 = 0;

ré ln L(q 1, q 2, …, q n) /ré q 2 = 0;

. . . . . . . . .

ré ln L(q 1, q 2, …, q n) /ré q n = 0.

Pour vérifier que le point optimal correspond au maximum de la fonction de vraisemblance, il faut trouver la dérivée seconde de cette fonction. Et si la dérivée seconde au point optimal est négative, alors les valeurs des paramètres trouvés maximisent la fonction.

Ainsi, trouver des estimations du maximum de vraisemblance comprend les étapes suivantes : construire la fonction de vraisemblance (son logarithme naturel) ; différenciation d'une fonction selon les paramètres requis et compilation d'un système d'équations ; résoudre un système d'équations pour trouver des estimations ; déterminer la dérivée seconde d'une fonction, vérifier son signe au point optimal de la dérivée première et tirer des conclusions.

Solution. Fonction de vraisemblance pour un échantillon ED de volume n

Fonction de vraisemblance du journal

Système d'équations pour trouver des estimations de paramètres

De la première équation il résulte :

ou enfin

Ainsi, la moyenne arithmétique est l’estimation du maximum de vraisemblance pour l’espérance mathématique.

A partir de la deuxième équation, nous pouvons trouver

.

La variance empirique est biaisée. Après avoir supprimé le décalage

Valeurs réelles des estimations des paramètres : m =27,51, s 2 = 0,91.

Pour vérifier que les estimations obtenues maximisent la valeur de la fonction de vraisemblance, on prend les dérivées secondes

Dérivées secondes de la fonction ln( L(m,S)) quelles que soient les valeurs des paramètres, elles sont inférieures à zéro, par conséquent, les valeurs des paramètres trouvées sont des estimations du maximum de vraisemblance.

La méthode du maximum de vraisemblance nous permet d'obtenir des estimations cohérentes, efficaces (si elles existent, alors la solution résultante donnera des estimations efficaces), suffisantes et asymptotiquement distribuées normalement. Cette méthode peut produire des estimations biaisées et non biaisées. Le biais peut être éliminé en introduisant des corrections. La méthode est particulièrement utile pour les petits échantillons.

La tâche d'estimation des paramètres de distribution consiste à obtenir les estimations les plus plausibles des paramètres inconnus de la distribution de la population sur la base de données d'échantillonnage. En plus de la méthode des moments, pour déterminer l'estimation ponctuelle des paramètres de distribution, nous utilisons également méthode du maximum de vraisemblance. La méthode du maximum de vraisemblance a été proposée par le statisticien anglais R. Fisher en 1912.

Soit, pour estimer le paramètre inconnu  d'une variable aléatoire X de la population générale avec une densité de distribution de probabilité p(x)= p(x, ) échantillon extrait x 1 ,x 2 ,…,x n. Nous considérerons les exemples de résultats comme la mise en œuvre n variable aléatoire dimensionnelle ( X 1 ,X 2 ,…,X n). La méthode des moments évoquée précédemment pour obtenir des estimations ponctuelles de paramètres inconnus d'une distribution théorique ne fournit pas toujours les meilleures estimations. La méthode de recherche d'estimations possédant les (meilleures) propriétés nécessaires est la méthode maximum de vraisemblance.

La méthode du maximum de vraisemblance est basée sur la condition permettant de déterminer l'extremum d'une certaine fonction, appelée fonction de vraisemblance.

Fonction de vraisemblance DSV X

L (x 1 ,x 2 ,…,x n ; )=p(x 1 ; )p(x 2 ; )…p(x n ; ),

Où x 1, …, x n– options d'échantillonnage fixes,  – paramètre estimé inconnu, p(x je; ) – probabilité d'événement X= x je .

Fonction de vraisemblance NSV X appelé la fonction argument  :

L (x 1 ,x 2 ,…,x n ; )=f(x 1 ; )f(x 2 ; )…f(x n ; ),

Où f(x je; ) – fonction de densité de probabilité donnée en des points x je .

Comme estimation ponctuelle des paramètres de distribution  prendre sa valeur à laquelle la fonction de vraisemblance atteint son maximum. Évaluation
appelé estimation du maximum de vraisemblance. Parce que fonctions L Et
L atteindre leur maximum aux mêmes valeurs de , puis généralement pour trouver l'extremum (maximum) qu'ils utilisent
L comme une fonctionnalité plus pratique.

Pour déterminer le point maximum
L vous devez utiliser un algorithme bien connu pour calculer l'extremum de la fonction :

Dans le cas où la densité de probabilité dépend de deux paramètres inconnus -  1 et  2, alors les points critiques sont trouvés en résolvant le système d'équations :

Ainsi, selon la méthode du maximum de vraisemblance, comme estimation du paramètre inconnu  on prend la valeur * à laquelle
distributions d'échantillonnage x 1 ,x 2 ,…,x n maximum.

Tâche 8. Trouvons l'estimation en utilisant la méthode du maximum de vraisemblance pour la probabilité p dans le schéma de Bernoulli,

Réalisons n essais répétés indépendants et mesurer le nombre de succès, que nous désignons m. D'après la formule de Bernoulli, la probabilité qu'il y ait m succès de n–– est la fonction de vraisemblance du DSV.

Solution : Créons une fonction de vraisemblance
.

Selon la méthode du maximum de vraisemblance, on trouve une telle valeur p, ce qui maximise L, et avec lui ln L.

Puis en prenant le logarithme L, nous avons:

Dérivée de la fonction ln L Par p on dirait
et au point extrême il est égal à zéro. Par conséquent, en résolvant l’équation
, nous avons
.

Vérifions le signe de la dérivée seconde
au point résultant :

. Parce que
pour toutes les valeurs de l'argument, alors la valeur trouvée p il y a un point maximum.

Moyens, – meilleure estimation pour
.

Ainsi, selon la méthode du maximum de vraisemblance, l’estimation de probabilité p événements UN dans le schéma de Bernoulli, la fréquence relative de cet événement est utilisée .

Si l'échantillon x 1 , x 2 ,…, x n est extraite d'une population normalement distribuée, alors les estimations de l'espérance mathématique et de la variance par la méthode du maximum de vraisemblance ont la forme :

Les valeurs trouvées coïncident avec les estimations de ces paramètres obtenues par la méthode des moments.
Parce que La dispersion étant décalée, il faut la multiplier par la correction de Bessel. Elle ressemblera alors à

, coïncidant avec la variance de l'échantillon. 9 Tâche
. Soit la distribution de Poisson m= x je où à
nous avons  .

Solution :

. Trouvons l'estimation du paramètre inconnu en utilisant la méthode du maximum de vraisemblance L En construisant la fonction de vraisemblance L et son logarithme ln

. Nous avons: Trouvons la dérivée de L:
dans
et résoudre l'équation  . L'estimation résultante du paramètre de distribution
prendra la forme :
Alors
parce que à
dérivée partielle seconde

alors c'est le point maximum. Ainsi, la moyenne de l'échantillon peut être considérée comme une estimation du maximum de vraisemblance du paramètre  pour la distribution de Poisson.
On peut vérifier que la distribution exponentielle x 1 , x 2 , …, x n fonction de vraisemblance pour les valeurs d'échantillon

.

a la forme :
.

L'estimation du paramètre de distribution  pour la distribution exponentielle est égale à :

L’avantage de la méthode du maximum de vraisemblance est la capacité d’obtenir de « bonnes » estimations possédant des propriétés telles que la cohérence, la normalité asymptotique et l’efficacité pour de grands échantillons dans les conditions les plus générales.