Soit une densité de proba paramétrée par dont le domaine est . Soit un estimateur de .
On note:
- la log vraisemeblance de
- la log vraisemblance d'un échantillon
- et qui définie l'espérance et le biais de l'estimateur .
On suppose que est presque-partout continuement différentiable en ; et que l' information de Fisher :
existe et est donc continue et positive en .
Théorème de Cramer-Rao.
Lorsque existe et est bornée, alors:
et lorsque cette inégalité est atteinte sur un intervalle en , sur lequel la variance est non nulle, alors sur ce même intervalle:
La réciproque est vraie.
Cela signifie que la variance d'un estimateur est au mieux en par point disponible dans l'échantillon.
Pour mieux comprendre ce que cela signifi, calculons par exemple l'information de Fisher associée à une distribution gaussienne.
Pour cela, une définition mutlivariée (en terme de l'espace des paramètres) de l'information deFicher est nécessaire:
En notant , on a :