Mathématiques du traitement du signal/Formulaire

Ce formulaire regroupe des formules utiles.

Inégalités

Un poly de référence : Concentration-of-measure inequalities, Gabor Lugosi.

Inégalité de Bienaymé-Tchebychev

$\mathbf {P} \left(||x-m||\geq t\sigma \right)\leq 1/t^{2}$

Une démonstration de 1937.

Inégalité de Markov

Soit $X$ une varianle aléatoire et $t$ un réel :

$\mathbf {P} (X\geq t)\leq {1 \over t}\mathbf {E} (X)$

On peut en déduire que pour toute fonction $\phi$ mesurable monotone croissante à valeurs positives :

$\mathbf {P} (X\geq t)\leq {\mathbf {E} (\phi (X)) \over \phi (t)}$

ce qui permet d'obtenir une généralisation de Chebychev (citée dans Concentration-of-measure inequalities, Lecture notes by Gabor Lugosi , March 7, 2005):

$\mathbf {P} (|X-\mathbf {E} (X)|\geq t)\leq {\mathbf {E} (|X-\mathbf {E} (X)|^{q} \over t^{q}}$

Inégalité de Bonferroni

voir mathworld.wolfram.

$P(\cup _{i}E_{i})\leq \sum _{i}P(E_{i})$

Inégalité de Chernoff

Soit $(X_{n})_{1\leq n\leq N}$ des réalisations d'une même variable aléatoire de variance $\sigma ^{2}$. $S_{N}$ la somme de ces $N$ réalisations ; i.e. $S_{N}=\sum _{n=1}^{N}X_{n}$

Alors, pour tout $0\leq k\leq 2\sigma$, on a:

$P(|S_{N}|\geq k\sigma )\leq 2e^{-k^{2}/4N^{2}}$

Inégalité d'Efron-Stein

Soit $(X_{n})_{1\leq n\leq N},(X'_{n})_{1\leq n\leq N}$ 2N réalisations i.i.d. d'une variable aléatoire réelle et $f:{I\!\!R}^{N}\mapsto {I\!\!R}$ une fonction mesurable. On note :

$Z=f(X_{1},\ldots ,X_{N}),Z^{(i)}=f(X_{1},\ldots ,X_{i-1},X'_{i},X_{i+1},\ldots ,X_{N})$

Alors:

$\mathbf {V} (Z)\leq {1 \over 2}\,\mathbf {E} \left[\sum _{i=1}^{N}(Z-Z^{(i)})^{2}\right]$

Cité par : Concentration inequalities using the entropy method, BOUCHERON, S., LUGOSI, G., MASSART, P. (2003), Ann. of Probability 31 n°3, 1583-1614.

et en notant $\mathbf {E} _{i}(Z)=\mathbf {E} (Z|X_{i},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n})$:

$\mathbf {V} (Z^{(i)})\leq \mathbf {E} \left[\sum _{i=1}^{N}(Z^{(i)}-\mathbf {E} _{i}(Z))^{2}\right]$

Cité par An application of the Efron-Stein inequality in density estimation, Luc Devroye, Annals of Statistics, vol. 15, pp. 1317-1320, 1987.

Elle est utilisée par exemple pour obtenir les résultats du Bootstrap et Jackknife The Jackknife and Bootstrap, by Jun Shao, p28.

Inégalité de Kolmogorov

Soit $(X_{n})_{1\leq n\leq \infty }$ des réalisations i.i.d. d'une même variable aléatoire d'espérance nulle. $S_{N}$ la somme de ces $N$ réalisations ; i.e. $S_{N}=\sum _{n=1}^{N}X_{n}$

Alors, pour tout $\lambda >0$ :

$\mathbf {P} \left(\max _{1\leq k\leq n}|S_{k}|\geq \lambda \right)\leq {1 \over \lambda ^{2}}\mathbf {V} (S_{n})$

cf PlanetMath.org

Approximations

Distribution Gaussienne

Il y a dans Hull (Options, Futures and Other Derivatives, Fifth Edition ; John C. Hull), page 248, une approximation de la fonction de répartition d'une distribution gaussienne assez pratique : $\forall x\geq ,\,N(x)=1-M(x)\sum _{i=1}^{5}a_{i}k(x)^{i}$ et $\forall x<0,\,N(x)=1-N(-x)$ ; avec :

$k(x)={\frac {1}{1+\gamma x}},\,\gamma =0.2316419$

$a_{1}=0.319381530,\,a_{2}=-0.356563782,\,a_{3}=1.781477937$

$a_{4}=-1.821255978,\,a_{5}=1.330274429$

$M(x)={\frac {1}{\sqrt {2\pi }}}\,e^{-x^{2}/2}$