Entropa (informacin)

En el mbito de la teora de la informacin la entropa,

tambin llamada entropa de la informacin y entropa
de Shannon (en honor a Claude E. Shannon), mide la
incertidumbre de una fuente de informacin.

sistema aislado, la interaccin entre las partculas tiende a aumentar su dispersin, afectando sus posiciones y
sus velocidades, lo que causa que la entropa de la distribucin aumente con el tiempo hasta llegar a un cierto
mximo (cuando el mismo sistema es lo ms homogneo
y desorganizado posible); lo que es denominado segunda
ley de la termodinmica. La diferencia entre la cantidad
de entropa que tiene un sistema y el mximo que puede
llegar a tener se denomina neguentropa, y representa la
cantidad de organizacin interna que tiene el sistema. A
partir de esta ltima se puede denir la energa libre de
Gibbs, que indica la energa que puede liberar el sistema al aumentar la entropa hasta su mximo y puede ser
transformada en trabajo (energa mecnica til) usando
una mquina ideal de Carnot. Cuando un sistema recibe
un ujo de calor, las velocidades de las partculas aumentan, lo que dispersa la distribucin y hace aumentar la entropa. As, el ujo de calor produce un ujo de entropa
en la misma direccin.

La entropa tambin se puede considerar como la cantidad de informacin promedio que contienen los smbolos
usados. Los smbolos con menor probabilidad son los que
aportan mayor informacin; por ejemplo, si se considera como sistema de smbolos a las palabras en un texto,
palabras frecuentes como que, el, a aportan poca
informacin, mientras que palabras menos frecuentes como corren, nio, perro aportan ms informacin.
Si de un texto dado borramos un que, seguramente no
afectar a la comprensin y se sobreentender, no siendo
as si borramos la palabra nio del mismo texto original. Cuando todos los smbolos son igualmente probables
(distribucin de probabilidad plana), todos aportan informacin relevante y la entropa es mxima.
El concepto entropa es usado en termodinmica,
mecnica estadstica y teora de la informacin. En todos
los casos la entropa se concibe como una medida del
desorden o la peculiaridad de ciertas combinaciones.
La entropa puede ser considerada como una medida de
la incertidumbre y de la informacin necesarias para, en
cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de informacin y el
de entropa estn bsicamente relacionados entre s, aunque se necesitaron aos de desarrollo de la mecnica estadstica y de la teora de la informacin antes de que esto
fuera percibido.

2 Concepto intuitivo

H(X)

0.5

Relacin con la entropa termodinmica

La entropa de la teora de la informacin est estrechamente relacionada con la entropa termodinmica. En la

termodinmica se estudia un sistema de partculas cuyos
estados X (usualmente posicin y velocidad) tienen una
cierta distribucin de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los smbolos en
la teora de la informacin). La entropa termodinmica
es igual a la entropa de la teora de la informacin de
esa distribucin (medida usando el logaritmo neperiano)
multiplicada por la constante de Boltzmann k, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la
entropa termodinmica toma la forma k log(N). En un

0.5
Pr(X = 1)

Entropa de la informacin en un ensayo de Bernoulli X (experimento aleatorio en que X puede tomar los valores 0 o 1). La
entropa depende de la probabilidad P(X=1) de que X tome el
valor 1. Cuando P(X=1)=0.5, todos los resultados posibles son
igualmente probables, por lo que el resultado es poco predecible
y la entropa es mxima.

El concepto bsico de entropa en teora de la informa1

3 DEFINICIN FORMAL

cin tiene mucho que ver con la incertidumbre que existe Si ahora cada uno de los k estados tiene una probabilidad
en cualquier experimento o seal aleatoria. Es tambin la pi , entonces la entropa vendr dada por la suma pondecantidad de ruido o desorden que contiene o libera rada de la cantidad de informacin:[1]
un sistema. De esta forma, podremos hablar de la cantidad de informacin que lleva una seal.
H = p1 log2 (p1 ) p2 log2 (p2 ) ....
k
Como ejemplo, consideremos algn texto escrito en
pk log2 (pk ) = i=1 pi log2 (pi )
espaol, codicado como una cadena de letras, espacios
y signos de puntuacin (nuestra seal ser una cadena de
Por lo tanto, la entropa de un mensaje X , denotado por
caracteres). Ya que, estadsticamente, algunos caracteres
H(X) , es el valor medio ponderado de la cantidad de
no son muy comunes (por ejemplo, w), mientras otros
informacin de los diversos estados del mensaje:
s lo son (como la a), la cadena de caracteres no ser tan aleatoria como podra llegar a ser. Obviamente,

H(X) = i p(xi ) log2 p(xi )

no podemos predecir con exactitud cul ser el siguiente
carcter en la cadena, y eso la hara aparentemente aleatoria. Pero es la entropa la encargada de medir precisa- que representa una medida de la incertidumbre media
mente esa aleatoriedad, y fue presentada por Shannon en acerca de una variable aleatoria y por tanto de la cantisu artculo de 1948, A Mathematical Theory of Communi- dad de informacin.
cation (Una teora matemtica de la comunicacin, en
ingls).
Nota 1: Obsrvese que se usa el logaritmo en baShannon ofrece una denicin de entropa que satisface
se 2 porque se considera que la informacin se va
las siguientes armaciones:
a representar mediante cdigo binario (se quiere representar con bits). Si para representar la informacin se usaran valores en una base a entonces sera
La medida de informacin debe ser proporcional
conveniente utilizar el logaritmo en base a .
(lineal continua). Es decir, el cambio pequeo en
una de las probabilidades de aparicin de uno de los
elementos de la seal debe cambiar poco la entropa.

Nota 2: Obsrvese que es una cantidad adimensional, es decir no lleva unidad.

Si todos los elementos de la seal son equiprobables

a la hora de aparecer, entonces la entropa ser m- 3.1
xima.

Ejemplos

La entropa de un mensaje M de longitud 1 carcter

que utiliza el conjunto de caracteres ASCII, supoEjemplos de mxima entropa: Suponiendo que estamos a
niendo una equiprobabilidad en los 256 caracteres
la espera de un texto, por ejemplo un cable con un mensaASCII, ser:
je. En dicho cable solo se reciben las letras en minscula
de la a hasta la z, entonces si el mensaje que nos llega es
qalmnbphijcdgketrsfuvxyzwo el cual posee una lon- H(M ) = log (256) = 8
2
gitud de 27 caracteres, se puede decir que este mensaje
llega a nosotros con la mxima entropa (o desorden po Supongamos que el nmero de estados de un mensasible); ya que es poco probable que se pueda pronosticar
je es igual a 3, M1 , M2 y M3 donde la probabilidad
la entrada de caracteres, pues estos no se repiten ni estn
de M1 es 50 %, la de M2 25 % y la de M3 25 %. Por
ordenados en una forma predecible.
tanto, la entropa de la informacin es:

Denicin formal

Supongamos que un evento (variable aleatoria) tiene un

grado de indeterminacin inicial igual a k (i.e. existen k
estados posibles) y supongamos todos los estados equiprobables. Entonces la probabilidad de que se d una de
esas combinaciones ser p = 1/k . Luego podemos representar la expresin ci como:
ci = log2 (k) = log2 [1/(1/k)] =
log2 (1/p) = log2 (1) log2 (p) = log2 (p)
| {z }
=0

H(M ) = 1/2 log2 (2)+1/4 log2 (4)+1/4 log2 (4) = 1, 5

3.2 Informacin mutua

La entropa puede verse como caso especial de la
informacin mutua. La informacin mutua de dos
variables aleatorias, denotado por I(X;Y), es una cantidad
que mide la dependencia mutua de las dos variables; es
decir, mide la reduccin de la incertidumbre (entropa)
de una variable aleatoria, X, debido al conocimiento del
valor de otra variable aleatoria, Y.[2] De la denicin
podemos concluir que, si X e Y son iguales, entonces
I(X;X)=H(X).

5.1

Ejemplo

Propiedades

La entropa tiene las siguientes propiedades:

1. La entropa es no negativa. Esto es evidente ya que al
ser pi una probabilidad entonces 0 < pi 1 . Por
tanto, podemos decir que log2 pi 0 y por tanto
log2 pi 0
2. H loga (n) Es decir, la entropa H est acotada superiormente (cuando es mxima) y no supone
prdida de informacin.
3. Dado un proceso con posibles resultados {A1 ,..,A }
con probabilidades relativas p1 ,...,p , la funcin
H(p1 , . . . , pn ) es mxima en el caso de que p1 =
= pn = 1/n . El resultado es intuitivo ya que tenemos la mayor incertidumbre del mensaje, cuando
los valores posibles de la variable son equiprobables
4. Dado un proceso con posibles resultados {A1 ,..,A }
con probabilidades relativas p1 ,...,p , la funcin
H(p1 , . . . , pn ) es nula en el caso de que pi = 0
para todo i, excepto para una clase, tal que: pj = 1 .
De forma intuitiva podemos pensar que cuando uno
o ms estados tienen una probabilidad alta, disminuye signicativamente la entropa porque, como es
lgico, existe una menor incertidumbre respecto al
mensaje que se recibir.

Codicador ptimo

3
Podemos construir un codicador ptimo basndonos en
la entropa de una variable aleatoria de informacin X.
En efecto, la entropa nos da el nmero medio de bits (si
usamos logaritmos de base 2) necesarios para codicar el
mensaje a travs de un codicador ptimo y por tanto
nos determina el lmite mximo al que se puede comprimir un mensaje usando un enfoque smbolo a smbolo
sin ninguna prdida de informacin (demostrado analticamente por Shannon), el lmite de compresin (en bits)
es igual a la entropa multiplicada por el largo del mensaje. Reescribiendo la ecuacin de clculo de la entropa
llegamos a que:

H(X) =

p(xi ) log2 p(xi ) =

p(xi ) log2 p(xi ) =

Por lo tanto, la informacin (que se encuentra denida en

bits, dado que la base del logaritmo es 2) que aporta un
determinado valor o smbolo xi de una variable aleatoria
discreta X se dene como:
I(xi ) = log2

1
p(xi )

= log2 p(xi )

Esta expresin representa el nmero necesario de bits para codicar el mensaje x en el codicador ptimo y por
tanto la entropa tambin se puede considerar como una
medida de la informacin promedio contenida en cada
smbolo del mensaje.

5.1 Ejemplo

Supongamos que el nmero de estados de un mensaje es

Un codicador ptimo es aquel que utiliza el mnimo igual a 3 M1 , M2 y M3 donde la probabilidad de M1 es
nmero de bits para codicar un mensaje. Un codicador 50 %, la de M2 25 % y la de M3 25 %.
ptimo usar cdigos cortos para codicar mensajes frecuentes y dejar los cdigos de mayor longitud para aquePara M1 tenemos que log2 [1/p(M1 )]) =
llos mensajes que sean menos frecuentes. De esta forma
log2 2 = 1
se optimiza el rendimiento del canal o zona de almacenaPara M2 tenemos que log2 [1/p(M2 )]) =
miento y el sistema es eciente en trminos del nmero
log2 4 = 2
de bits para representar el mensaje.
Para M3 tenemos que log2 [1/p(M3 )]) =
Por ejemplo, el cdigo Morse se aprovecha de este princilog2 4 = 2
pio para optimizar el nmero de caracteres a transmitir a
partir del estudio de las letras ms frecuentes del alfabeto
ingls. Aunque el cdigo Morse no es un codicador ptimo, asigna a las letras ms frecuente cdigos ms cortos.
Otro ejemplo sera el algoritmo de Human de codicacin que sirve para compactar informacin.[3] Este mtodo se basa en el codicador ptimo. Para ello lo primero
que hace es recorrer toda la informacin para encontrar la
frecuencia de los caracteres y luego a partir de esta informacin busca el codicador ptimo por medio de rboles
binarios. Algunas tcnicas de compresin como LZW o
deacin no usan probabilidades de los smbolos aislados,
sino que usan las probabilidades conjuntas de pequeas
secuencias de smbolos para codicar el mensaje, por lo
que pueden lograr un nivel de compresin mayor.

Por tanto, en el codicador ptimo para transmitir M1

har falta un bit y para M2 y M3 ser necesario contar
con dos bits. Por ejemplo, podramos codicar M1 con
0, M2 con 10 y M3 con 11. Usando este convenio para codicar el mensaje M1 M2 M1 M1 M3 M1 M2 M3
usaramos 010001101011 y por tanto 12 bits. El valor
de la entropa sera:

H(X) = 1/2 log2 (2)+1/4 log2 (4)+1/4 log2 (4) = 1, 5

Por tanto, el codicador ptimo necesita de media 1,5
bits para codicar cualquier valor de X.

p(xi )[log

7 ENTROPA DE UN PROCESO ESTOCSTICO

Entropa condicional

La primera igualdad es por la denicin de la

entropa condicional y la segunda por aplicacin del teorema de Bayes.

Vase tambin artculo dedicado: Entropa condicional

Observar que si HC (K) = 0 signica que se

podr romper el cifrado pues ya no hay incertidumbre. Esta anulacin nos introduce en el
concepto de distancia de unicidad.

Supongamos que en vez de tener una nica variable aleatoria X, existe otra variable Y dependientes entre s, es
decir el conocimiento de una (por ejemplo, Y) entrega informacin sobre la otra (por ejemplo, X). Desde el punto
de vista de la entropa de la informacin podemos decir
que la informacin de Y disminuir la incertidumbre de
X. Por tanto, podemos decir que la entropa de X ser
condicional a Y, y por tanto:
H(X, Y ) =

x,y

p(x, y) log2 p(x, y)

Podemos calcular la entropa del conocimiento del

mensaje una vez conocido el texto cifrado, y por
tanto medir la equivocacin de la clave (en ingls,
key equivocation), HC (M ) , tambin denotada por
H(M |C) , mediante la frmula:

HC (M ) =

)
H(X|Y
p(y)
x p(x|y) log2 p(x|y)
y

P (E, M ) logPE (M ) =

E,M

Como por el teorema de Bayes tenemos que

p(x,y)=p(y)p(x|y) donde p(x|y) es la probabilidad
de que se d un estado de X conocida Y, podemos decir:

P (E)

La primera igualdad es por la denicin de la

entropa condicional y la segunda por aplicacin del teorema de Bayes.

6.2 Ejemplo

Supongamos una variable X con cuatro estados:

x1 , x2 , x3 , x4 todos equiprobables y por tanto
p(xi ) = 1/4 . Existe adems otra variable Y con
El concepto de entropa condicional es muy interesante tres estados; y1 , y2 , y3 con probabilidades p(y1 ) = 1/2
en el campo del criptoanlisis. Proporciona una herra- y p(y2 ) = p(y3 ) = 1/4 . Se conocen, adems, las
mienta para evaluar el grado de seguridad de los sistemas. siguientes dependencias:
Por ejemplo, para un sistema de cifrado hay dos entropas
condicionales interesantes:[4] Supongamos
Si Y = y entonces los posibles valores de x

6.1

Aplicacin en criptoanlisis

son x1 , x2 , x3 , x4
Un mensaje M1 es sometido a un proceso de cifrado
usando la clave K1 obteniendo E(K1 ,M1 )=C1 .

Si Y = y2 entonces los posibles valores de x

son x2 , x3

PC (K) representan la probabilidad condicional de

la clave K dado el criptograma recibido C. A veces
tambin se denota por P (K|C)

Si Y = y3 entonces los posibles valores de x

son x3 , x4
Aplicando las frmulas tenemos:

PC (M ) representan la probabilidad condicional del

mensaje M dado el criptograma recibido C. A veces
H(X) = 2
tambin se denota por P (M |C)
H(Y ) = 1, 5
Entonces:

H(X/Y ) = 1, 5

En este caso el conocimiento de la dependencia de X res Podemos calcular la entropa del conocimiento de la pecto Y reduce la entropa de X de 2 a 1,5.
clave una vez conocido el texto cifrado, y por tanto
medir la equivocacin del mensaje (en ingls, message equivocation), HC (K) , tambin denotada por
7 Entropa de un proceso estocstiH(K|C) , mediante la frmula:

co

HC (K) =

E,K

P (E, K) logPE (K) =

P (E)

Un proceso estocstico {Xi } es una secuencia indexada

aleatorias. En general, puede haber dePEde
(K)variables
logPE (K)
pendencias entre las variables aleatorias. Para estudiar la
[5]

PE (M ) logPE

5
probabilidad de cierto conjunto de valores se suele adoptar el siguiente convenio:

9 Vase tambin
Entropa cruzada

P r[(X1 , X2 , ..., Xn ) = (x1 , x2 , ..., xn )] = p(x1 , x2 , ..., xn ) Perplejidad

Sea {Xi }i=1,..n un proceso estocstico de n variables
aleatorias, y sea An el conjunto de la posibles combinaciones de valores de {Xi }i=1,..n . Se dene la entropa
del proceso estocstico, tambin llamada entropa del
n-grama y denotado por Hn , como:
Hn = H(X1 , ..., Xn ) =

sAn

7.1

Vase tambin artculo dedicado: Ratio de entropa

[6]

La ratio de entropa de una secuencia de n variables

aleatorias (proceso estocstico) caracteriza la tasa de crecimiento de la entropa de la secuencia con el crecimiento
de n.
La ratio de entropa de un proceso estocstico {Xi } viene denida por la ecuacin:
1
H(X1 , ..., XN )
n

siempre que dicho lmite exista.

Referencias

[1] Cuevas Agustn, Gonzalo, Teora de la informacin, codicacin y lenguajes, Ed. SEPA (Sociedad para Estudios Pedaggicos Argentinos), Serie Informtica 1986
[2] Dan C. Marinescu, Gabriela M. Marinescu, Classical and
Quantum Information,Academic Press 2012
[3] Human, D., A method for the Construction of
Minimum-Redundancy Codes, Proc. IRE, Vol 40 1952
[4] Applied cryptology, cryptographic protocols and computer security models, Richard A. DeMillo et al. American
Mathematical Society 1983
[5] Thomas M. Cover, Joy A. Thomas,"Elements of Information Theory, John Wiley & Sons. Second Edition 2006
[6] Thomas M. Cover, Joy A. Thomas,"Elements of Information Theory, John Wiley & Sons. Second Edition 2006

8.1

Neguentropa o Sintropa Antnimo de entropa

10 Enlaces externos

P ((X1 , ..., Xn ) = s) log P ((X

Xn ) =
s)
1 , ...,
Una
Teora
Matemtica
de la Comunicacin (en in-

Ratio de entropa

H(X) = limn

Capacidad de canal

Bibliografa

Jorge Rami Aguirre, Aplicaciones criptogrcas.

Libro gua de la asignatura de Seguridad Informtica. Escuela Universitaria de Informtica. Universidad Politcnica de Madrid. Enero 1998.

gls)
Calculadora de la entropa de Shannon (en ingls)

11 ORIGEN DEL TEXTO Y LAS IMGENES, COLABORADORES Y LICENCIAS

11
11.1

Origen del texto y las imgenes, colaboradores y licencias

Texto

Entropa (informacin) Fuente: https://es.wikipedia.org/wiki/Entrop%C3%ADa_(informaci%C3%B3n)?oldid=90938411 Colaboradores: Loqu, Robbot, Tano4595, Barcex, Ploncomi, AlfonsoERomero, RobotQuistnix, Chobot, Pabloab, Yrbot, GermanX, Wewe, Jesuja,
Fercufer, Gizmo II, CEM-bot, Javg, M1ss1ontomars2k4, Davius, Thijs!bot, Bryant1410, Clementito, Dogor, CommonsDelinker, TXiKiBoT, Humberto, Idioma-bot, Plux, Yaselc, Stardust, VolkovBot, Jose gueredo, House, Muro Bot, J.M.Domingo, Alicia M. Canto,
Srbanana, Dortegaparrilla, Correogsk, Tirithel, Nicop, Juan Mayordomo, VanBot, UA31, AVBOT, David0811, Ezarate, MelancholieBot,
Saloca, Luckas-bot, Elchureee, Yuri Grille Orce, ArthurBot, MartinDM, GiL87, SuperBraulio13, Almabot, Xqbot, Jkbw, Botarel, RedBot, Humbefa, Jorge c2010, Foundling, HRoestBot, Allforrous, Sergio Andres Segovia, Grillitus, ChuispastonBot, Albertojuanse, Earnaor,
Wiki-luismex, AvicBot, BeatLeoTB, Acratta, Elvisor, RosenJax, Rafag, Addbot, JacobRodrigues y Annimos: 86

11.2

Imgenes

Archivo:Binary_entropy_plot.svg Fuente: https://upload.wikimedia.org/wikipedia/commons/2/22/Binary_entropy_plot.svg Licencia:

CC-BY-SA-3.0 Colaboradores: original work by Brona, published on Commons at Image:Binary entropy plot.png. Converted to SVG by
Alessio Damato Artista original: Brona and Alessio Damato

11.3

Licencia del contenido

Creative Commons Attribution-Share Alike 3.0