Entropie de Rényi
{{#invoke:Bandeau|ébauche}} Modèle:Voir homonymes
L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.
Définition
Étant donnés une variable aléatoire discrète <math>X</math> à <math>n</math> valeurs possibles <math>(x_1,x_2,\ldots x_n)</math>, ainsi qu'un paramètre réel <math>\alpha</math> strictement positif et différent de 1, l' entropie de Rényi d'ordre <math>\alpha</math> de <math>X</math> est définie par la formule :
Cas particuliers
L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de <math>\alpha</math>.
Entropie de Hartley
Le cas <math>\alpha = 0</math> donne :
- <math>H_0(X) = \log n = \log |X| </math>
ce qui correspond au logarithme du cardinal de <math>X</math>, qui correspond à l'entropie de Hartley.
Entropie de Shannon
D'après la règle de L'Hôpital, on peut trouver une limite à <math>H_\alpha(X)</math> quand <math>\alpha</math> tend vers 1 :
- <math>\lim_{\alpha\rightarrow 1}H_\alpha(X) = - \sum_{i=1}^n p_i \log p_i </math>
Cette expression correspond à l'entropie de Shannon.
Entropie de collision
Dans le cas où <math>\alpha = 2</math>, on trouve l'entropie dite de collision, appelée parfois simplement « entropie de Rényi » :
- <math>H_2(X) = - \log \sum_{i=1}^n p_i^2 = - \log P(X = Y) </math>
où Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.
Entropie min
En faisant tendre <math>\alpha</math> vers l'infini, on trouve l'entropie min :
- <math>H_\infty (X) = - \log \sup_{i=1..n} p_i </math>
Propriétés
Décroissance selon α
<math>H_\alpha</math> est une fonction décroissante de <math>\alpha</math>.
Preuve
Soit <math>P=\{p_1,p_2,...,p_n \}</math> une distribution de probabilité
<math>\begin{align} \frac{dH_\alpha}{d\alpha} &= \frac{d}{d\alpha}(\frac{1}{1-\alpha}\log \sum_{i=1}^nP(X = x_i)^\alpha) \\
&= \frac{1}{1-\alpha^2} \sum_{i=1}^{n} q_i \log (\frac{p_i}{q_i}) \\
&= -\frac{1}{1-\alpha^2}D_{KL}(Q || P)
\end{align}</math>
avec <math>Q</math> la distribution de probabilité des <math>q_i = \frac{p_i^\alpha}{\sum_{j=1}^n p_j^\alpha}</math> et <math>D_{KL}</math> la Divergence de Kullback-Leibler de <math>Q</math> par rapport <math>P</math>.
Puisque cette divergence est positive, la dérivée de l'entropie de Rényi en devient négative et donc <math>H_\alpha</math> est bien décroissante en <math>\alpha</math>.
Preuve alternative
Soit <math>P=\{p_1,p_2,...,p_n \}</math> une distribution de probabilité,
<math> \begin{align}
H_\alpha(X)&= \frac{1}{1-\alpha}\log \sum_{i=1}^nP_X(x_i)^\alpha \\
&= -\log\mathbb{E}[P_X(X)^{\alpha-1}]^{\frac{1}{\alpha-1}} \\
&= -\log\mathbb{E}[P_X(X)^{\alpha-1}]^{\frac{\beta-1}{\alpha-1} \frac{1}{\beta-1}} \\
&\geq -\log\mathbb{E}[P_X(X)^{{\alpha-1} \frac{\beta-1}{\alpha-1}}]^{ \frac{1}{\beta-1}} \\
&= -\log\mathbb{E}[P_X(X)^{\beta-1}]^{\frac{1}{\beta-1}} \\
&= \frac{1}{1-\beta}\log \sum_{i=1}^nP_X(x_i)^\beta \\
&= H_\beta (X)
\end{align}
</math>
L'inégalité provient de l'Inégalité de Jensen appliquée dans les cas suivants à <math>\mathbb E [x^c]</math>, en notant <math> c=\frac{\beta-1}{\alpha-1}
</math> :
- Si, <math> c>1
</math> et donc <math> x^{c}
</math> est convexe et <math> \frac{1}{\beta-1}>0
</math>.
- Si, <math> c<0
</math> donc <math> x^{c}
</math> est convexe et <math> \frac{1}{\beta-1}>0
</math>.
- Si, <math> c>0
</math> donc <math> x^{c}
</math> est concave <math> \frac{1}{\beta-1}<0
</math>.
- Si <math> (\alpha=1) \lor (\beta=1)
</math>l'application de l'inégalité est immédiate.
Ce qui donne la croissance de <math> \alpha \rightarrow H_\alpha
</math>.
Relations entre les entropies de différents ordres
L'entropie de Rényi est donc une fonction décroissante de son ordre.
De plus, on remarque que <math>H_2 \leq 2 H_\infty</math> puisque <math>H_2 = -\log(\sum_{i=1}^n p_i^2) \leq -\log( \sup_i(p_i^2)) = - 2 \log(\sup_i(p_i)) = 2 H_\infty</math>.
Divergence de Rényi
Pour deux distributions de probabilités <math>P=\{p_1,p_2,...,p_n \}</math> et <math>Q=\{q_1,q_2,...,q_n \}</math>, la divergence de Rényi de <math>P</math> selon <math>Q</math> est définie comme :
<math>D_\alpha (P \| Q) = \frac{1}{\alpha-1}\log\Bigg(\sum_{i=1}^n \frac{p_i^\alpha}{q_i^{\alpha-1}}\Bigg)</math>
La limite <math>D_1 (P \| Q)</math>existe et correspond à la Divergence de Kullback-Leibler.
