Trabajo #1 1 [Teora de cdigo] Pontificia Universidad Catlica Madre y Maestra Recinto Santo Toms de Aquino

Departamento de Ingeniera en Telemtica

Teora de Cdigo Profesor Olson Ortiz Trabajo #1: Claude Shannon y Entropa

Presentado por:

Ramn E. Matos 2007-5963

Viernes 16 de Septiembre del 2011 Santo Domingo, Repblica Dominicana

Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 2 [Teora de cdigo] Introduccin

Las telecomunicaciones que tenemos hoy es el resultado de los aportes de ingenieros y fsicos del pasado. Cuando en 1948, Claude Shannon y Weaver enunciaron la "Teora matemtica de la comunicacin",5 tal vez no imaginaban la amplia utilidad que su teora representara para otras reas del conocimiento humano. Concebida con la finalidad de mejorar el sistema ingenieril de las comunicaciones, al conceptualizar los elementos que integraban un sistema de comunicacin, posibilit precisar un esquema de la comunicacin humana y, con ello, determinar algo que slo se conoca intuitivamente: qu es la informacin. Esta teora, se utilizara ms tarde para definir el objeto de estudio de una ciencia en gestacin. Claude Shannon fue un visionario y su teora sirve de gua, an hoy, a cientficos e ingenieros de la comunicacin en su empeo de hacer ms rpidos, eficientes y seguros los sistemas de comunicacin. En este trabajo vamos a detallar los inicios de la vida de Shannon, su vida personal, su carrera y profesional y todos los aportes a la tecnologa moderna. Tambin desarrollaremos el trmino de la entropa, que puede parecer un concepto misterioso y difcil de entender, que comnmente se relaciona con el desorden. Sin embargo, si nos adentramos en el significado de ste, no slo veremos que se entiende fcilmente, sino que adems encierra una serie de sutilezas que lo hacen muy interesante. Antes de comenzar a explicar la entropa y ver qu relacin real tiene sta con el nivel de desorden, debemos hacer una pequea y fcil introduccin a la fsica estadstica: diferenciar entremicroestados y macroestados.

Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 3 [Teora de cdigo] Claude Shannon: Biografa Nacido en Petoskey, Michigan (Estados Unidos), hijo del juez de Gaylord y una profesora de secundaria. Desde su juventud se destac por su inquietud investigadora y su habilidad en la creacin de prototipos tcnicos, tal vez dando continuidad al talento creativo de su abuelo. Se gradu con premio extraordinario en la Universidad de Michigan en Ingeniera Elctrica y en Matemticas. A los 20 aos se traslad al Instituto Tecnolgico de Massachusetts (MIT) como ayudante de investigacin en ingeniera elctrica, donde super, a los 24 aos, su tesis doctoral en matemticas sobre la aplicacin del lgebra booleana en el anlisis de datos (An Algebra for Theoretical Genetics). En el MIT se ocup en el desarrollo de los primeros ordenadores, cerca de Vannevar Bush, cuyo Memex ha sido considerado un claro antecedente de Internet. A los 25 aos publica Mathematical theory of the differential analyzer. Tambin trabaj en los Laboratorios Bell y en el Institute for Advanced Study de Princenton en sistemas de automatizacin de armas. Pero su trabajo central no aparecer hasta 1948, cuando presenta su Teora Matemtica de la Comunicacin, un trabajo que ha sido calificado como la carta magna de la era de la informacin (`A Mathematical Theory of Communication', Bell System Technical Journal, Vol. 27, julio y octubre 1948, pgs. 379-423 y 623-656, que un ao ms tarde revisa, en un trabajo enriquecido por Warren Weaver, bajo el enunciado de The Mathematical Theory of Communication, publicado por la Universidad de Illinois). Asimismo se da a conocer el teorema Shannon-Hartley, segn el cual slo es posible eliminar el 'ruido' en la transmisin de informacin cuando el flujo de informacin no exceda la capacidad del canal. La biografa de Shannon est llena de los frutos de su ingenio, con numerosas aplicaciones en el campo de las mquinas automticas, desde un ratn electrnico hasta un WC automtico, pasando por diversos juego electrnicos de ajedrez, calculadoras, instrumentos musicales, juguetes mecnicos, relojes, etc. Miembro de la Academia Americana de Artes y Ciencias, de la Academia Nacional de Ciencias, de la Academia Nacional de Ingeniera, de la Sociedad Filosfica Americana y la Royal Society de Londres. Entre los numerosos premios recibidos por Shannon, destacan la National Medal of Science en 1966, el Kyoto en 1985, etctera. Estudia el flujo de las ondas electromagnticas a travs de un circuito. Y entiende que a travs del cdigo binario se puede homogeneizar todo tipo de informacin (textos, sonidos, imgenes...). Distingue claramente entre mensaje y el medio por el que ste se transmite. Al tiempo, analiza cmo medir la eficacia de un canal de comunicacin a travs del concepto de entropa, tomado de la segunda ley de la termodinmica. La entropa mide las prdidas derivadas de los ruidos en la transmisin de informacin de Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 4 [Teora de cdigo] un mensaje, y, al tiempo, la posibilidad de eliminar las mermas, la incertidumbre, mediante la redundancia y la codificacin numrica en el origen del proceso de comunicacin y su descodificacin en la fase de recepcin. Al cabo de ms de medio siglo de sus hallazgos se sigue considerando el trabajo de Shannon la pieza clave en el desarrollo que lleva a que la comunicacin adquiera un carcter de centralidad en la sociedad actual. Asimismo, sienta los fundamentos matemticos de la revolucin tecnolgica de la segunda mitad del siglo XX. Desde el estudio del lgebra 'booleana' teoriza acerca del cdigo binario, la base del lenguaje digital, a partir de unidades bsicas de informacin, definidas por dos estados: el si y el no, el 0 y el 1, abierto/cerrado, verdadero/falso, blanco/negro. El 0 y el 1 aparecen como el tomo de la informacin, como la base constructiva del mensaje. Una informacin compleja es una sucesin de unidades bsicas, de unos y ceros. Ms all de la formulacin terica, Shannon construy circuitos y mquinas basadas en los flujos binarios de informacin, mediante interruptores y rels en las que se anticipaban los embriones de muchos de los desarrollos de las dcadas posteriores. La informacin as tratada adquiere una dimensin fsica, cuantificable y mesurable, independientemente del contenido, de los emisores y de los receptores. Equis pginas de un libro tienen la misma informacin que una cantidad igual de otro, independientemente de sus autores y la calidad de sus contenidos... La base matemtica de la teora radica en su cuantificacin, en la descripcin del concepto tcnico de canal, en la codificacin y descodificacin de las seales; esto es, un concepto de la informacin distinto al conocido hasta entonces en los mbitos de las ciencias sociales. Las aportaciones del veterano Warren Weaver a la concepcin de Shannon son importantes, en la medida que da alcances que sobrepasan el mero mbito de la escena tcnica. Bajo la firma de ambos se publica el texto central de la teora matemtica (The Mathematical Theory of Communication, Universidad de Illinois, 1949), que ejercer una influencia en distintas reas disciplinares y corrientes de pensamiento orientadas hacia el estudio de la comunicacin. Shannon pas quince aos en los laboratorios Bell, una asociacin muy fructfera con muchos matemticos y cientficos de primera lnea como Harry Nyquist, Walter Houser Brattain, John Bardeen y William Bradford Shockley, inventores del transistor; George Stibitz, quien construy computadoras basadas en relevadores, Warren Weaver, quien escribi una larga y clarificadora introduccin a su The Mathematical Theory of Communication y muchos otros ms. Durante este perodo Shannon trabaj en muchas reas, siendo lo ms notable todo lo referente a la teora de la informacin, un desarrollo que fue publicado en 1948 bajo el nombre de una Teora Matemtica de la Comunicacin. En este trabajo se demostr que todas las fuentes de informacin (telgrafo elctrico, telfono, radio, la gente que habla, las cmaras de televisin, etc.) se pueden medir y que los canales de comunicacin tienen una unidad de medida similar, determinando la velocidad mxima de transferencia o capacidad de canal. Mostr tambin que la informacin se puede transmitir sobre un canal si, y solamente si, la magnitud de la fuente no excede la

Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 5 [Teora de cdigo] capacidad de transmisin del canal que la conduce, y sent las bases para la correccin de errores, supresin de ruidos y redundancia. En el rea de las computadoras y de la inteligencia artificial, public en 1950 un trabajo que describa la programacin de una computadora para jugar al ajedrez, convirtindose en la base de posteriores desarrollos. En el campo de la Biblioteconoma y la Documentacin, el desarrollo booleano revolucion las bsquedas en catlogos de bibliotecas o en bases de datos de centros de documentacin. A lo largo de su vida recibi numerosas condecoraciones y reconocimientos de universidades e instituciones de todo el mundo. Preguntado en una ocasin por un periodista si las mquinas podan pensar replic: Naturalmente! Usted y yo somos mquinas y vaya si pensamos!. Claude Elwood Shannon falleci el 24 de febrero del ao 2001, a la edad de 84 aos, despus de una larga lucha en contra la enfermedad de Alzheimer. La Entropa Cuando se plantea la pregunta: "Por qu ocurren los sucesos en la Naturaleza de una manera determinada y no de otra manera?", se busca una respuesta que indique cul es el sentido de los sucesos. Por ejemplo, si se ponen en contacto dos trozos de metal con distinta temperatura, se anticipa que finalmente el trozo caliente se enfriar, y el trozo fro se calentar, finalizando en equilibrio trmico. El proceso inverso, el calentamiento del trozo caliente y el enfriamiento del trozo fro es muy improbable que se presente, a pesar de conservar la energa. El universo tiende a distribuir la energa uniformemente; es decir, a maximizar la entropa. La funcin termodinmica entropa es central para la segunda Ley de la Termodinmica. La entropa puede interpretarse como una medida de la distribucin aleatoria de un sistema. Se dice que un sistema altamente distribuido al azar tiene alta entropa. Un sistema en una condicin improbable tendr una tendencia natural a reorganizarse a una condicin ms probable (similar a una distribucin al azar), reorganizacin que dar como resultado un aumento de la entropa. La entropa alcanzar un mximo cuando el sistema se acerque al equilibrio, y entonces se alcanzar la configuracin de mayor probabilidad. Coloquialmente, puede considerarse que la entropa es el desorden de un sistema, es decir, su grado de homogeneidad. Un ejemplo domstico sera el de lanzar un vaso de cristal al suelo: tender a romperse y a esparcirse, mientras que jams conseguiremos que, lanzando trozos de cristal, se construya un vaso por s solo. Otro ejemplo domstico: tenemos dos envases de un litro de capacidad que contienen, respectivamente, pintura blanca y pintura negra; con una cucharita, tomamos pintura blanca, la vertemos en el recipiente de pintura negra y mezclamos; luego tomamos con la misma cucharita pintura negra, la vertemos en el recipiente de pintura blanca y mezclamos; repetimos el proceso hasta que tenemos dos litros de pintura gris, que no podremos reconvertir en un litro de pintura blanca y otro de pintura negra; la entropia

Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 6 [Teora de cdigo] del conjunto ha ido en aumento hasta llegar a un mximo cuando los colores de ambos recipientes son sensiblemente iguales (sistema homogneo). La variacin de entropa nos muestra la variacin del orden molecular ocurrido en una reaccin qumica. Si el incremento de entropa es positivo, los productos presentan un mayor desorden molecular (mayor entropa) que los reactivos. En cambio, cuando el incremento es negativo, los productos son ms ordenados. Hay una relacin entre la entropa y la espontaneidad de una reaccin qumica, que viene dada por la energa de Gibbs. Entropa es un concepto en termodinmica, mecnica estadstica y teora de la informacin. La Entropa se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La Entropa puede ser considerada como una medida de la incertidumbre y de las informaciones necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de informacin y el de entropa estn ampliamente relacionados entre s, aunque se necesitaron aos de desarrollo de la mecnica estadstica y de la teora de la informacin antes de que esto fuera percibido. Este artculo versa sobre la Entropa, formulacin que hace de ella la teora informacin. Esta entropa se frecuentemente Entropa de Shannon, en a Claude E. Shannon. en la de la llama honor

La Entropa tambin es entendida como la cantidad de informacin promedio que contienen los smbolos usados. Los smbolos con menor probabilidad son los que aportan mayor informacin; por ejemplo, si se considera como sistema de smbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca informacin. Mientras que palabras menos frecuentes como "corren", "nio", "perro" aportan ms informacin. Si de un texto dado borramos un "que", seguramente no afectar a la comprensin y se sobreentender, no siendo as si borramos la palabra "nio" del mismo texto original. Cuando todos los smbolos son igualmente probables (distribucin de probabilidad plana), todos aportan informacin relevante y la entropa es mxima. Finalmente, la entropa de la teora de la informacin est estrechamente relacionada con la entropa termodinmica. En la termodinmica se estudia un sistema de partculas cuyos estados X (usualmente posicin y velocidad) tienen una cierta distribucin de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los smbolos en la teora de la informacin). La entropa termodinmica es igual a la entropa de la teora de la informacin de esa distribucin (medida usando

Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 7 [Teora de cdigo] el logaritmo neperiano) multiplicada por la constante de Boltzmann k, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la entropa termodinmica toma la forma k log(N). En un sistema aislado, la interaccin entre las partculas tiende a aumentar su dispersin, afectando sus posiciones y sus velocidades, lo que causa que la entropa de la distribucin aumente con el tiempo hasta llegar a un cierto mximo (cuando el mismo sistema es lo ms homogneo y desorganizado posible); lo que es denominado segunda ley de la termodinmica. La diferencia entre la cantidad de entropa que tiene un sistema y el mximo que puede llegar a tener se denomina neguentropa, y representa la cantidad de organizacin interna que tiene el sistema. A partir de esta ltima se puede definir la energa libre de Gibbs, la que indica la energa que puede liberar el sistema al aumentar la entropa hasta su mximo y puede ser transformada en trabajo (energa mecnica til) usando una mquina ideal de Carnot. Cuando un sistema recibe un flujo de calor, las velocidades de las partculas aumentan, lo que dispersa la distribucin y hace aumentar la entropa. As, el flujo de calor produce un flujo de entropa en la misma direccin. Recientes estudios han podido establecer una relacin entre la entropa fsica y la entropa de la teora de la informacin gracias a la revisin de la fsica de los agujeros negros. Segn la nueva teora de Jacob D. Bekenstein el bit de informacin sera equivalente a una superficie de valor 1/4 del rea de Planck. De hecho, en presencia de agujeros negros la segunda ley de la termodinmica slo puede cumplirse si se introduce la entropa generalizada o suma de la entropa convencional (Sconv) ms un factor dependiente del rea total (A) de agujeros negros existente en el universo, del siguiente modo:

Donde, k es la constante de Boltzmann, c es la velocidad de la luz, G es la constante de la gravitacin y es la constante de Planck racionalizada. Los agujeros negros almacenaran la entropa de los objetos que engulle en la superficie del horizonte de sucesos. Stephen Hawking ha tenido que ceder ante las evidencias de la nueva teora y ha propuesto un mecanismo nuevo para la conservacin de la entropa en los agujeros negros. Simplemente, al realizar un trabajo, se ocupa muy poca energa; la entropa se encarga de medir la energa que no es usada y queda reservada en un cuerpo. El concepto bsico de entropa en teora de la informacin tiene mucho que ver con la incertidumbre que existe en cualquier experimento o seal aleatoria. Es tambin la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de informacin que lleva una seal. Como ejemplo, consideremos algn texto escrito en espaol, codificado como una cadena de letras, espacios y signos de puntuacin(nuestra seal ser una cadena de Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 8 [Teora de cdigo] caracteres). Ya que, estadsticamente, algunos caracteres no son muy comunes (por ejemplo, 'w'), mientras otros s lo son (como la 'a'), la cadena de caracteres no ser tan "aleatoria" como podra llegar a ser. Obviamente, no podemos predecir con exactitud cul ser el siguiente carcter en la cadena, y eso la hara aparentemente aleatoria. Pero es la entropa la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artculo de 1948, A Mathematical Theory of Communication("Una teora matemtica de la comunicacin", en ingls). Shannon ofrece una definicin de entropa que satisface las siguientes afirmaciones: La medida de informacin debe ser proporcional (continua). Es decir, el cambio pequeo en una de las probabilidades de aparicin de uno de los elementos de la seal debe cambiar poco la entropa. Si todos los elementos de la seal son equiprobables a la hora de aparecer, entonces la entropa ser mxima. Ejemplos de mxima entropa: Suponiendo que estamos a la espera de un texto, por ejemplo un cable con un mensaje. En dicho cable solo se reciben las letras en minscula de la a hasta la z, entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwo" el cual posee una longitud de 27 caracteres, se puede decir que este mensaje llega a nosotros con la mxima entropa (o desorden posible); ya que es poco probable que se pueda pronosticar la entrada de caracteres, pues estos no se repiten ni estn ordenados en una forma predecible. Conclusin La Ciencia de la Informacin est sujeta a una constante evolucin, y su campo de accin se ampla cada vez ms, a partir del hecho de que su objeto de estudio se halla presente en cada elemento de la vida. Por lo pronto, las lneas futuras de su desarrollo se dirigen hacia la bsqueda de nuevos modelos de acceso, transferencia y asimilacin de informacin, en el entorno de la realidad virtual, los sistemas expertos y la inteligencia artificial. Hoy en da podemos estar conviviendo con los padres de los descubrimientos de las tecnologas del futuro. En cuanto al concepto de entropa desarrollado en respuesta a la observacin de que una cierta cantidad de energa liberada de funcionales reacciones de combustin Siempre se pierde debido a la disipacin o la friccin y por lo tanto no se transforma en trabajo til. Los primeros motores de calor como Thomas Savery (1698), el Newcomen motor (1712) y el Cugnot de vapor de tres ruedas (1769) eran ineficientes, la conversin de menos de dos por ciento de la energa de entrada en produccin de trabajo til; una gran cantidad de energa til se disipa o se pierde en lo que pareca un estado de aleatoriedad inconmensurable. Durante los prximos dos siglos, los fsicos investigaron este enigma de la energa perdida, el resultado fue el concepto de entropa. Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011

Trabajo #1 9 [Teora de cdigo] Bibliografa

Pgina web, http://es.wikipedia.org/wiki/Entrop%C3%ADa_(informaci%C3%B3n), consultado el jueves 15 de septiembre 2011.

Pgina web, http://es.wikipedia.org/wiki/Entrop%C3%ADa, consultado el jueves 15 de septiembre 2011.

Pgina web, http://www.infoamerica.org/teoria/shannon1.htm, jueves 15 de septiembre 2011.

consultado el

Pgina web, http://es.wikipedia.org/wiki/Claude_Elwood_Shannon, consultado el jueves 15 de septiembre 2011.

Pgina

web,

http://inquietudes.wordpress.com/2008/01/27/entendiendo-la-

entropia/, consultado el jueves 16 de septiembre 2011.

Teora de cdigo - Teora Seccin 001 - Prof. Olson Ortiz - Viernes 16 de Septiembre 2011