Aller au contenu

Mathématiques du traitement du signal/Info

Un livre de Wikilivres.

Borne de Cramer-Rao

[modifier | modifier le wikicode]

Soit une densité de proba paramétrée par dont le domaine est . Soit un estimateur de .

On note:

  • la log vraisemeblance de
  • la log vraisemblance d'un échantillon
  • et qui définie l'espérance et le biais de l'estimateur .

On suppose que est presque-partout continuement différentiable en  ; et que l' information de Fisher :

existe et est donc continue et positive en .

Théorème de Cramer-Rao. Lorsque existe et est bornée, alors:

et lorsque cette inégalité est atteinte sur un intervalle en , sur lequel la variance est non nulle, alors sur ce même intervalle:

La réciproque est vraie.

Interprétation

[modifier | modifier le wikicode]

Cela signifie que la variance d'un estimateur est au mieux en par point disponible dans l'échantillon.

Pour mieux comprendre ce que cela signifi, calculons par exemple l'information de Fisher associée à une distribution gaussienne.

Information de Fisher d'une gaussienne

[modifier | modifier le wikicode]

Pour cela, une définition mutlivariée (en terme de l'espace des paramètres) de l'information deFicher est nécessaire:

En notant , on a :