INSTITUTO POLITECNICO NACIONAL

ESCUELA SUPERIOR DE INGENIERA

MECNICA Y ELECTRICA
ESIME CULHUACAN
INGENIERIA EN COMPUTACION
Entropa de la informacin y capacidad
de un canal
Modulacin Digital
ALUMNO:
ALBINO CRUZ RAFAEL
2013350006
Profesor: Orlando Vargas Reyes
GRUPO: 6CX04

Entropa de la informacin
Entropa es un concepto usado originalmente en termodinmica, mecnica
estadstica y luego en teora de la informacin. Se concibe como una medida del
desorden o una medida de la incertidumbre, aunado a ello, la informacin tiene
que ver con cualquier proceso que permite acotar, reducir o eliminar la
incertidumbre; resulta que el concepto de informacin y el de entropa estn
ampliamente relacionados entre s, aunque se tard aos en el desarrollo de la
mecnica estadstica y la teora de la informacin para hacer esto aparente.
El punto de vista que se explica aqu data como una formulacin que hace la
teora de la informacin. Por ello la entropa se llama frecuentemente entropa de
Shannon, en honor a Claude E. Shannon.
La entropa asociada a la variable aleatoria X es un nmero que depende
directamente de la distribucin de probabilidad de X e indica como es de
predictible el resultado del proceso sujeto a incertidumbre o experimento. Desde
un punto de vista matemtico cuanto ms plana sea la distribucin de probabilidad
ms difcil ser acertar cul de las posibilidades se dar en cada instancia. Una
distribucin es plana (tiene alta entropa) cuando todos los valores de X tienen
probabilidades similares, mientras que es poco plana cuando algunos valores de X
son mucho ms probables que otros.
En una distribucin de probabilidad plana (con alta entropa) es difcil poder
predecir cul es el prximo valor de X que va a presentarse, ya que todos los
valores de X son igualmente probables.
Shannon ofrece una definicin de entropa que satisface las siguientes
afirmaciones:
La medida de informacin debe ser proporcional (continua). Es decir, el cambio
pequeo en una de las probabilidades de aparicin de uno de los elementos de la
seal debe cambiar poco la entropa.
Si todos los elementos de la seal son igualmente probables a la hora de
aparecer, entonces la entropa ser mxima.
La informacin que aporta un determinado valor (smbolo), xi, de una variable
aleatoria discreta X, se define como:

Cuya unidad es el bit cuando se utiliza el logaritmo en base 2 (por ejemplo,

cuando se emplea el logaritmo neperiano se habla de nats). A pesar del signo

negativo en la ltima expresin, la informacin tiene siempre signo positivo (lo cual
queda ms claro en la primera expresin).
La entropa determina el lmite mximo al que se puede comprimir un mensaje
usando un enfoque smbolo a smbolo sin ninguna prdida de informacin
(demostrado analticamente por Shannon), el lmite de compresin (en bits) es
igual a la entropa multiplicada por el largo del mensaje. Tambin es una medida
de la informacin promedio contenida en cada smbolo del mensaje. Su clculo se
realiza a partir de su distribucin de probabilidad p(x) mediante la siguiente
frmula:

Propiedades de la entropa
0 <= H <= loga (m). Es decir, la entropa H est acotada superiormente (cuando es
mxima) y no supone perdida de informacin.
Dado un procesos con posibles resultados {A1,.., An} con probabilidades relativas
p1,. . ., pn, la funcin H (p1,. . ., pn), es mxima en el caso de que p1 = = pn =
1/n,
Dado un procesos con posibles resultados {A1,.., An} con probabilidades relativas
p1,. . ., pn, la funcin H (p1,. . ., pn), es nula en el caso de que pi = 0 para
cualquier i.
Capacidad de un canal
Se llama capacidad de un canal a la velocidad, expresada en bps (bits por
segundo), a la que se pueden transmitir los datos en un canal o ruta de
comunicacin
Las limitaciones en el ancho de banda surgen de las propiedades fsicas de los
medios de transmisin o por limitaciones que se imponen deliberadamente en el
transmisor para prevenir interferencia con otras fuentes que comparten el mismo
medio.
Cuanto mayor es el ancho de banda mayor el costo del canal.
Lo deseable es conseguir la mayor velocidad posible dado un ancho de banda
limitado, no superando la tasa de errores permitida.
El Mayor inconveniente para conseguir esto es el RUIDO.
Ancho de banda de NYQUIST

Nyquist supuso en su teorema un canal exento de ruido (ideal)

Por lo tanto la limitacin de la velocidad de transmisin permitida en el canal, es la
impuesta exclusivamente por el ancho de banda del canal.
El teorema de Nyquist establece que:
La velocidad mxima de transmisin en bits por segundo para un canal (sin ruido)
con ancho de banda B (Hz) es:
C=2B log2 M
Donde:
M= niveles de la seal
Si M=2 entonces log2 (2)=1, por lo tanto:
C=2B
Ejemplo:
Si suponemos que un canal de voz con un ancho de banda de 3100 Hz se utiliza
con un modem para transmitir datos digitales (2 niveles). La capacidad C del canal
es 2B= 6200 bps.
Si se usan seales de ms de 2 niveles; es decir, cada elemento de seal puede
representar a ms de 2 bits, por ejemplo si se usa una seal con cuatro niveles de
tensin, cada elemento de dicha seal podr representar dos bits (dibits).
Aplicando la frmula de Nyquist tendremos:
C=2 B log (4)= 2 (3100) (2)=12,400 bps
Shannon Hartley
Dado un nivel de ruido, cuanto mayor es la velocidad de transmisin mayor es la
tasa de errores

El teorema de Shannon establece que:

C = B log2 (1+S/N)
Donde:
C=capacidad terica mxima en bps
B=ancho de banda del canal Hz.
S/N=relacin de seal a ruido, S y N dados en watts.
Ejemplo:
Supngase que el espectro de un canal est situado entre 3Mhz y 4 Mhz y que la
SNR es de 24 dB.
B=4Mhz- 3Mhz=1Mhz
SNR=24 dB =10 log10 (SNR)=251
Usando la frmula de Shannon se tiene que:
C= 106 log2

(1+251)= 8 Mbps

Este es un lmite terico difcil de alcanzar.

Segn Nyquist para alcanzar este lmite Cuntos niveles sern requeridos?
C= 2 B log2 M=8x106 = 2x106 x log2 M
4= log2 M

entonces M=16 niveles

Para un nivel de ruido dado, podra parecer que la velocidad de transmisin se

puede aumentar incrementando tanto la energa de la seal como el ancho de
banda.

Sin embargo, al aumentar la energa de la seal, tambin lo hacen las no

linealidades del sistema dando lugar a un aumento en el ruido de intermodulacin.
Ya que el ruido se ha supuesto blanco, cuanto mayor sea el ancho de banda, ms
ruido se introducir al sistema. Por lo tanto, cuando aumenta B, disminuye SNR.
Bibliografa
http://tgsentropia.blogspot.mx/2010/10/shannon-y-la-teoria-de-la-informacion.html
http://exa.unne.edu.ar/depar/areas/informatica/teleproc/Comunicaciones/Presentac
iones_Proyector/TeorInformacCodigos.pdf
http://sistemas.fciencias.unam.mx/~cvrc/files/stnl.pdf
http://galia.fc.uaslp.mx/~cantocar/comunic_datos/5ACAPACIDAD_DEL_CANAL.ppt
http://www.virtual.unal.edu.co/cursos/sedes/manizales/4040051/html/capitulos/cap
_i/teorema_de_shannon.pdf