Entendiendo la entropía en la información

La entropía de Shannon

Photo by Daniele Levis Pelusi on Unsplash

Panorama General

El concepto de “Entropía” de la información es un concepto fundamental en la teoría de la información.

Conceptualmente la información puede tomarse para almacenarse o para ser transmitida como variables que pueden tomar diferentes valores. Una variable puede ser tomada como una unidad de almacenamiento que puede contener en diferentes momentos, uno de varios diferentes específicos valores, siguiendo un proceso para aceptar esos valores. Informalmente, obtenemos información de una variable observando su valor, justo como obtenemos información de un email leyendo su contenido. En el caso de la variable, la información es acerca del proceso detrás de la variable

La entropía de una variable es la cantidad de información contenida en la variable. Esta cantidad de información es determinada no sólo por el número de diferentes valores que la variable puede tomar, justo como la información en un correo es cuantificada no sólo por sólo el número de palabras en el correo o las diferentes posibles palabras en el lenguaje en el correo. Informalmente, la cantidad de información en un correo es proporcional a la cantidad de “sorpresa” que causa en su lector. Por ejemplo, si un correo es simplemente una repetición de un correo anterior, entonces no es informativo en absoluto. Por otro lado si, digamos el correo revela el resultado de una elección “de suspenso”, entonces es altamente informativo. Similarmente, la información en una variable está ligada a la cantidad de sorpresa que el valor de la variable causa cuando es revelada.

La entropía de Shanon cuantifica la cantidad de información en una variable, entonces proveyendo el fundamento para una teoría acerca de la noción de información.

El Almacenamiento y Transmisión de la información puede intuitivamente ser esperado que esté ligado a la cantidad de información involucrada. Por ejemplo, la información puede ser acerca del resultado de lanzar una moneda. Esta información puede ser almacenada en una variable booleana que puede almacenar valores de 0 ó 1. Podemos usar la variable para representar el valor bruto correspondiente al lanzado de la moneda, es decir, ya sea que la moneda salió cruz o no. En la tecnología de almacenamiento digital y transmisión, esta variable booleana puede ser representada en un solo “bit”, la unidad básica de almacenamiento/transmisión digital. Sin embargo este bit directamente almacena el valor de la variable, es decir los datos brutos correspondientes al resultado del lanzado de la moneda. No captura de modo sucinto la información en el lanzado de la moneda, por ejemplo, si la moneda está sesgada o no, y si lo está cuánto.

Considerando que, la métrica de entropía de Shannon cuantifica, entre otras cosas, la cantidad mínima absoluta de almacenamiento y transmisión necesaria para capturar de manera sucinta cualquier información (opuesto a los datos brutos) y, en casos típicos, esa cantidad es menor que la requerida para almacenar o transmitir los datos brutos detrás de la información. La métrica de Entropía de Shannon también sugiere una forma de representar la información en el menor número calculado de bits.

En pocas palabras a nivel conceptual, la Entropía de Shannon es simplemente la “cantidad de información” en una variable. Más mundanamente, eso se traduce en la cantidad de almacenamiento, por ejemplo el número de bits, requerido para almacenar la variable.

Ejemplo de Cantidad de Información

Supongamos que una variable puede tomar 3 valores diferentes a, b, c, pero la mitad del tiempo toma el valor “a”, y una cuarta parte del tiempo los valores “b” y “c”. Ahora, podemos representar ‘a’ con solo un bit con el valor “0”; ‘b’ con 2 bits “10” y ‘c’ con 2 bits “11”. Esto es Codificación Huffman. Observemos que decodificar la representación es fácil y no necesita marcadores de “fin de representación”. Específicamente, cuando el primer bit es un 0, el receptor sabe que debe dejar de leer esa “palabra” allí mismo; cuando el primer bit es un 1, los lectores saben que también deben leer el siguiente bit para completar la “palabra”.

Con la representación anterior, ¿Cuál es la cantidad de bits necesarios para representar esta variable? Bueno, necesitamos solo 1 bit la mitad del tiempo (cuando el valor tomado es ‘a’), y 2 bits entre sí 2 veces (Cuando el valor tomado es ‘b’ o ‘c’), entonces el el número medio de bits necesarios es

{(0,5 * 1) + (0,25 * 2) + (0,25 * 2)} = 1,5 bits.

Entonces, la entropía de la variable anterior que tiene esas probabilidades especificadas de tomar diferentes valores es 1.5

Entropía de Shannon

E = -∑i(p(i)×log2(p(i)))

Almacenamiento Requerido

Como podemos ver, el caso de probabilidades que tienen numeradores o denominadores que no son potencias de 2 tiene un tratamiento especial. Por ejemplo, supongamos que ‘a’ ocurre con probabilidad 9/27, eso significa que podría haber 27 valores diferentes. la variable puede asumir, y ‘a’ es 9 de ellos. Ahora, log2 (27) = 4.75488 .., Que no es entero, entonces, cómo interpretar en este escenario. Es obvio que no es posible en nuestra realidad necesitar

{log2 (27) -log2 (9)} = (4.75488–3.1699) = 1.5849 bits impares

para almacenar ‘a’! En el almacenamiento digital, los bits vienen enteros, en números enteros y no en fracciones.
En este caso, la fórmula de la entropía se convierte en una entidad matemática, tal vez sin un análogo exacto del mundo real en el mundo actual. Sin embargo, para comprender los resultados de la fórmula de la entropía de Shannon en estos escenarios, podemos imaginar nuevos tipos extraños de tecnología donde las unidades de almacenamiento pueden venir en cantidades no integrales y pueden tomar valores no integrales. Es posible que estas tecnologías no sean tan extrañas después de todo: por ejemplo, en las computadoras cuánticas, un “qubit” es un solo bit que puede tener simultáneamente los valores 0 y 1 con diferentes probabilidades α y β. Un poco más mundanamente, en el ejemplo anterior, supongamos que tenemos una lógica de tres estados donde cada unidad de almacenamiento podría tomar uno de los 3 valores posibles. Ahora, si cambiamos la base del logaritmo en la fórmula de entropía a 3, de repente tenemos

-p * log3 (p) = -(9/27) * log (9/27) = (9/27) * {log (27) -log (9)} = (27/9) * {3–2} = 1/3. 

Es decir, “a” se puede representar en una unidad de almacenamiento de tres estados, y “a” ocurre 1/3 de las veces.
Así, un simple cambio en la base del logaritmo utilizado en la fórmula de la entropía nos dice el número mínimo absoluto de bits necesarios para almacenar la información en una tecnología donde cada unidad de almacenamiento permite tantos estados como la base del logaritmo. En cualquier caso, incluso para el almacenamiento digital que tiene bits binarios, la entropía de Shannon representa un límite inferior en el número de bits reales necesarios para almacenar o transmitir información. En el ejemplo anterior, necesitaremos 2 bits para representar “a”, siendo 2 el siguiente entero mayor que 1.263.

Sigan atentos creadores!