Из физики нам известно, что каждая замкнутая система старается увеличить свою энтропию. Например, если стакан воды расплескать, то вода через некоторое время успокоится и примет единственное устойчивое положение: уровень воды будет параллелен уровню земли.
Встает вопрос: Какие распределения случайных величин при определенных условиях имеют максимальную энтропию и какую минимальную.
Известно, что энтропия неотрицательна.
Минимальную энтропию имеет вырожденная случайная величина, то есть которая сконцентрирована в одной некоторой точке
$$
\mathbb{P}(\xi=a)=1.
$$
То есть мера хаоса минимальна. (Энтропия - это еще определение меры хаоса или неопределенности, пользуясь информационной терминологией).
Нахождение максимальной энтропии - не такой простой вопрос. Все зависит от того, какой рассматривается носитель для случайных величин и других условий.
Итак, привожу без доказательств
1. Для случайных величин с носителем в конечном числе точек $x_i$, где $i=1...n$
максимальная энтропия достигается дискретной равномерной случайной величиной $\xi$ с распределением
$$
\mathbb{P}(\xi=x_i)=\frac1n.
$$
2. Для случайных величин с носителем на отрезке $[a;b]$ максимальная энтропия достигается абсолютно-непрерывной равномерной случайной величиной с плотностью распределения
$$
f(x)=\frac1{b-a}.
$$
3. Для случайных величин с носителем на $[0;\infty)$ и математическим ожиданием $\lambda$ максимальная энтропия достигается экспоненциальной случайной величиной с плотностью распределения
$$
f(x)=\frac1\lambda\exp(-x/\lambda).
$$
4. Для случайных величин с носителем $(-\infty ; +\infty)$, математическим ожиданием $\mu$ и дисперсией $\sigma^2$ максимальная энтропия достигается случайной величиной с нормальным распределением $N(\mu,\sigma^2)$.
5. Для случайных величин с носителем $k=0,1,...$ и математическим ожиданием $\lambda$ максимальная энтропия достигается пуасоновской случайной величиной $\xi$ с распределением
$$
\mathbb{P}(\xi=k) = e^{-\lambda}\frac{\lambda^k}{k!}, k=0,1,...
$$
Последние 2 распределения являются безгранично делимыми.
Встает вопрос: Какие распределения случайных величин при определенных условиях имеют максимальную энтропию и какую минимальную.
Известно, что энтропия неотрицательна.
Минимальную энтропию имеет вырожденная случайная величина, то есть которая сконцентрирована в одной некоторой точке
$$
\mathbb{P}(\xi=a)=1.
$$
То есть мера хаоса минимальна. (Энтропия - это еще определение меры хаоса или неопределенности, пользуясь информационной терминологией).
Нахождение максимальной энтропии - не такой простой вопрос. Все зависит от того, какой рассматривается носитель для случайных величин и других условий.
Итак, привожу без доказательств
1. Для случайных величин с носителем в конечном числе точек $x_i$, где $i=1...n$
максимальная энтропия достигается дискретной равномерной случайной величиной $\xi$ с распределением
$$
\mathbb{P}(\xi=x_i)=\frac1n.
$$
2. Для случайных величин с носителем на отрезке $[a;b]$ максимальная энтропия достигается абсолютно-непрерывной равномерной случайной величиной с плотностью распределения
$$
f(x)=\frac1{b-a}.
$$
3. Для случайных величин с носителем на $[0;\infty)$ и математическим ожиданием $\lambda$ максимальная энтропия достигается экспоненциальной случайной величиной с плотностью распределения
$$
f(x)=\frac1\lambda\exp(-x/\lambda).
$$
4. Для случайных величин с носителем $(-\infty ; +\infty)$, математическим ожиданием $\mu$ и дисперсией $\sigma^2$ максимальная энтропия достигается случайной величиной с нормальным распределением $N(\mu,\sigma^2)$.
5. Для случайных величин с носителем $k=0,1,...$ и математическим ожиданием $\lambda$ максимальная энтропия достигается пуасоновской случайной величиной $\xi$ с распределением
$$
\mathbb{P}(\xi=k) = e^{-\lambda}\frac{\lambda^k}{k!}, k=0,1,...
$$
Последние 2 распределения являются безгранично делимыми.
Комментариев нет:
Отправить комментарий