Entropía

2| entropía (Teoría de la información) Magnitud que mide la información contenida en un flujo de datos, es decir, lo que nos aporta sobre un dato o hecho concreto.

Por ejemplo, que nos digan que las calles están mojadas, sabiendo que acaba de llover, nos aporta poca información, porque es lo habitual. Pero si nos dicen que las calles están mojadas y sabemos que no ha llovido, aporta mucha información (porque no las riegan todos los días).

Nótese que en el ejemplo anterior la cantidad de información es diferente, pese a tratarse del mismo mensaje: Las calles están mojadas. En ello se basan las técnicas de compresión de datos, que permiten empaquetar la misma información en mensajes más cortos.

La medida de la entropía puede aplicarse a información de cualquier naturaleza, y nos permite codificarla adecuadamente, indicándonos los elementos de código necesarios para transmitirla, eliminando toda redundancia. (Para indicar el resultado de una carrera de caballos basta con transmitir el código asociado al caballo ganador, no hace falta contar que es una carrera de caballos ni su desarollo).

La entropía nos indica el límite teórico para la compresión de datos.

Su cálculo se realiza mediante la siguiente fórmula:

H = p1*log(1/p1)+p2*log(1/p2)+ .. pm*log(1/pm)

donde H es la entropía, las p son las probabilidades de que aparezcan los diferentes códigos y m el número total de códigos. Si nos referimos a un sistema, las p se refieren a las probabilidades de que se encuentre en un determinado estado y m el número total de posibles estados

Se utiliza habitualmente el logaritmo en base 2, y entonces la entropía se mide en bits.

Por ejemplo: El lanzamiento de una moneda al aire para ver si sale cara o cruz (dos estados con probabilidad 0,5) tiene una entropía:

H = 0,5*log2(1/0,5)+0,5*log2(1/0,5) = 0,5*log2(2)+0,5*log2(2) = 0,5+0,5 = 1 bit