La teora de la informacin fue desarrollada por Claude E.

Shannon para encontrar los lmites

fundamentales en la compresin y almacenamiento confiable y comunicacin de datos. ... se
ha ampliado para encontrar aplicaciones en muchas otras reas, incluyendo inferencia
estadstica, procesamiento del lenguaje natural, criptografa, otras redes diferentes a las
redes de comunicacin como en neurobiologa, la evolucin y funcin de cdigos
moleculares, seleccin de modelos en ecologa, fsica trmica, computacin cuntica,
deteccin de plagiarismo y otras formas de anlisis de datos.
Una medida clave de la informacin en la teora es conocida como entropa, la
que usualmente se expresa como el nmero promedio de bits necesarios para
almacenamiento o comunicacin. ...La entropa cuantifica la incertidumbre
involucrada al encontrar una variable al azar. Por ejemplo, tirar una moneda (con
dos resultados probables) tendr menos entropa que tirar un dado (con 6
resultados igualmente probables).
Aplicaciones de tpicos fundamentales de la teora de la informacin incluyen
compresin sin prdida de datos (ej. Archivos ZIP), compresin de datos con
prdida (ej. MP3s), y codificacin de canal (ej. Para lneas DSL). El campo
est en la interseccin de las matemticas, estadstica, ciencias de la
computacin, fsica, neurobiologa, e ingeniera elctrica. Su impacto ha sido
crucial para el xito de las misiones del Voyager al espacio profundo, la
invencin del disco compacto, la factibilidad de los telfonos mviles, el
desarrollo de Internet, el estudio de la lingstica y la percepcin humana, la
comprensin de los agujeros negros, y otros campos numerosos. Subcampos
importantes de la teora de la informacin son la codificacin de fuentes,
codificacin de canales, teora de la complejidad algortmica, teora de la
informacin algortmica, y medida de la informacin.
Segn el trabajo original de Shannon:
Un sistema de comunicacin consiste de cinco partes esenciales:
1.
Una Fuente de Informacin que produce un mensaje o secuencia de
mensajes a ser comunicados a una terminal receptora. Los mensajes pueden ser
de varios tipos:
Una secuencia de letras
Una funcin nica de tiempo ft como en radio o telefona
Ua funcin de tiempo y otras variables como en la televisin en blanco y
negro- aqu el mensaje puede considerarse como una funcin fxy de dos
coordenadas espaciales y tiempo, la intensidad de la luz en el punto xy y
tiempo t en la placa del tubo.
2o ms funciones de tiempo, es decir ft, gt, ht- este es el caso de la
transmisin de sonido tridimensional o si el sistema intenta servir varios
canales individuales en mltiple.
varias funciones de varias variablesen la televisin de color consiste de
tres funciones fxyt, gxyt, hxyt definidas en un continuo tridimensional

tambin podemos pensar de esas tres funciones como componentes de un

campo de vectores definido en la reginsimilarmente, varias fuentes de
televisin blanco y negro produciran mensajes consistentes de un nmero
de funciones de tres variables.
Tambin pueden ocurrir varias combinaciones, por ejemplo en televisin con
un canal de audio asociado.
2.
Un Transmisor que opera sobre el mensaje de alguna manera para producir
una seal adecuada para la transmisin a travs del canal. En telefona esta
operacin consiste meramente de cambiar la presin de sonido en una corriente
elctrica proporcional. En telegrafa tenemos una operacin de codificacin que
produce una secuencia de puntos, rayas y espacios en el canal correspondiente al
mensaje. En un sistema PCM mltiple las diferentes funciones de lenguaje deben
ser muestreadas, comprimidas, cuantificadas y codificadas, y finalmente
interfoliadas adecuadamente para construir la seal. Sistemas Vocoder, televisin
y frecuencia modulada son otros ejemplos de operaciones complejas aplicadas al
mensaje para obtener la seal.
3.
El canal es meramente el medio utilizado para transmitir la seal del
transmisor al receptor. Puede ser un par de alambres, un cable coaxial, una banda
de frecuencia de radio, un haz de luz, etc.
4.
El Receptor ordinariamente realiza la operacin inversa de la hecha por el
Transmisor, reconstruyendo el mensaje de la Seal.
5.
El Destino es la persona (o cosa) para quien se propone el mensaje.
Podemos clasificar los sistemas de comunicacin en tres
categoras principales: Discretos, Continuos y Mixtos.
Entendemos como Sistema Discreto uno en el que ambos Mensaje y
Seal son una secuencia de smbolos discretos. Tpico caso es el
telgrafo donde el mensaje es una secuencia de letras y la seal
una secuencias de puntos, rayas y espacios. Un Sistema Continuo es
uno en el que el Mensaje y la Seal son tratados como funciones
continuas, ej. Radio o televisin. Un Sistema Mixto es uno en el que
aparecen ambas, variables Continuas y Discretas, ej. Transmisin de
palabras PCM.