El concepto matemtico de informacin.

Por Bronstein, Vctor

En la dcada del '40, para poder seguir trabajando con estas ideas fue fundamental desarrollar el concepto de informacin. No es casual que antes hablramos de sistemas formales y que ahora estemos hablando de informacin. Ambos conceptos tienen la misma raz comn: el concepto de forma, informacin etimolgicamente quiere decir dar forma, aunque nosotros espontneamente lo asociamos a un modo de comunicacin. En la dcada del '40 empieza a desarrollarse una teora de la informacin que nos permite trabajar con estos conceptos de mquinas de informacin. Claude Shannon fue quien trabaj y desarroll esta teora matemtica de la comunicacin. Shannon desarrolla esta teora trabajando en un proyecto blico. Nosotros dijimos la clase pasada que para todos los desarrollos de estas tecnologas, ia ocurrencia de la Segunda Guerra Mundial permiti que existiera la preocupacin en resolver ciertos problemas que tenan estas tecnologas. Shannon trabajaba en la tecnologa del radar y en las comunicaciones entre cuadrilla de aviones. En esta teora matemtica de la comunicacin, l logra dar una definicin operativa del concepto de informacin. Hasta ese momento se hablaba de comunicacin, ya que el concepto de informacin no era un concepto desarrollado haca 50 aos. Shannon logra dar esta conceptualizacin de la informacin a partir de plantear un modelo de comunicacin, que es el modelo de emisor, codificador, canal, decodificador, receptor y el ruido. A partir de este modelo se entiende a la comunicacin, como la transmisin de informacin.

Shannon postul este modelo para entender pomo este proceso de comunicacin fundamental se produce entre las mquinas y con las mquinas. Si bien el modelo de Shannon es de tipo ingenieril por los problemas que el estaba tratando de resolver (fiabilidad de los canales, eliminacin de ruidos, sistemas de codificacin), sus trabajos se entrecruzan con los desarrollos que estaba produciendo la Ciberntica. La aparicin del libro de Wiener en 1948 "Ciberntica o acerca del control y la comunicacin en las mquinas y os animales " es casi contempornea a la aparicin de a propia obra de Shannon. Wiener tambin introduca el tema de comunicacin y la problemtica del control, a partir de la similitud en la comunicacin entre mquinas y la comunicacin entre sistemas biolgicos Nos hallarnos as ante una tendencia general, que se dio a principios de la dcada del '50 donde se rescataba fundamentalmente el aporte epistemolgico, novedoso planteado por el concepto de mecanismo. La caracterstica de un mecanismo es crear un determinismo propio que se opone al determinismo del entorno. Dentro de la teora matemtica de la comunicacin, Shannon plantea que puede haber tres tipos de preguntas o niveles: el primero es el nivel tcnico; donde se analiza cmo se transmiten los mensajes, el segundo es el nivel semntico, donde nos preguntamos cul es el significado de los mensajes; y el tercero es el nivel conductual, donde se aprecia cmo se modifican las conductas del receptor. Preocupado por problemas de ndole ingenieril, Shannon trabaj exclusivamente sobre el primer nivel; y especul con diversa fortuna acerca de los otros dos niveles. Su desarrollo de la teora de a comunicacin se centr en la transmisin de los mensajes. Para trabajar sobre el nivel tcnico, Shannon tuvo que buscar una definicin de informacin que se pudiera medir. Un elemento

fundamental

es la posibilidad de cuantificar. Para poder hacer

ciencia tenemos que medir y para poder medir tenemos que generar conceptos medibles. La explicacin cientfica tiene cuatro pasos fundamentales. 1) distincin del fenmeno que quiero explicar, por ejemplo: quiero explicar el fenmeno de la cada de los cuerpos. 2) postulacin de un modelo que genere la explicacin que estoy buscando.
3) clculo dentro del modelo de otro estado del sistema que quiero

explicar. Por ejemplo quiero saber cunto tiempo tard una tiza al caer de una altura determinada.
4) verificacin del punto 3. Es decir tengo que usar un reloj y medir

el procedimiento. Esto est vinculado con lo que veamos al principio del captulo entre el sistema formal y la explicacin cientfica. El sistema formal trabaja con clculos, y despus o que tratamos de hacer es acoplar nuestro modelo con la realidad, algo que la ciencia hace constantemente, llya Prigogine, el premio Nobel de qumica y padre fundador de la teora de las estructuras disipativas llama dilogo experimental al intento de acoplar lo que ocurre en la realidad con nuestro modelo. Pero para poder calcular necesito medir, en nuestro caso de la tiza, el tiempo. Una explicacin cientfica requiere de la medicin. Cuando Shannon empieza a preguntarse qu es la informacin se da cuenta de que un mensaje es ms o menos importante en funcin de la novedad que posee. Si un mensaje es esperado no tiene informacin, o muy poca informacin, y al revs, cuando es inesperado (especialmente en el caso de tragedias o acontecimientos muy dolorosos e imprevistos) posee una cantidad impresionante de informacin.

Asociamos la novedad con la probabilidad, eso hace que la cantidad de informacin del mensaje no sea un valor intrnseco del mensaje; por ejemplo: si decimos "est lloviendo", y preguntamos que cantidad de vocales tiene ese mensaje, podemos calcularlas. Ahora si preguntamos cunta informacin tiene el mensaje, no lo podrn contestar, porque no lo saben. La cantidad de informacin que tiene el mensaje depende del contexto de donde surge. La preocupacin mayor de Shannon eran la fuente de emisin, el cdigo y el canal. Shannon quera saber qu cantidad de informacin poda enviarse por ciertos canales de informacin. Quera saber si la cantidad de informacin que tena un mensaje entraba en la capacidad de transmitir informacin que tena un canal. La suya era una preocupacin de ingeniero; necesitaba saber si esos mensajes que enviaba iban a llegar bien, es decir, cada mensaje tena que tener una cantidad de informacin igual o menor a la capacidad del canal; por ejemplo: si tenemos una galera de un metro y se quiere hacer pasar por ella algo que mide dos metros, no entra. Para enviar un mensaje Shannon tena que medir la informacin desde el emisor y compararla con la cantidad de informacin que l llamaba capacidad del canal. En este sentido la preocupacin de Shannon radicaba casi exclusivamente en el emisor. El asoci la cantidad de informacin a la novedad que tena el mensaje. Esta novedad estaba dada por el contexto en el cual surga el mensaje. La novedad no se puede medir, pero la probabilidad s, utilizndose una magnitud entre 0 y 1 . Por ejemplo: S i tenemos un dado con 6 caras del 1 al 6, y preguntamos cul es i a probabilidad de que salga el 7, la respuesta es 0, es decir no va a salir nunca. Ahora con el mismo lado si preguntamos cul es la probabilidad de que salga el 1, 2, 3, 4, 5 6, la respuesta ser 1 . Shannon desarrolla una

definicin de informacin que combina el concepto de probabilidad y para eso define una formula matemtica: la informacin es el logaritmo de l a inversa de la probabilidad de ocurrencia del mensaje. La conclusin a la que llego Shannon es que si tenemos por ejemplo un dado que en todas sus caras tiene un as, y nos preguntamos: Cul es la probabilidad de que al tirarlos saiga un as? la probabilidad es 1, porque tenemos la certeza de que va a salir un as. Si tenemos un solo mensaje, no tiene ninguna informacin. Para que haya informacin necesitamos por lo menos dos mensajes, entonces hay que inventar un sistema de medicin que nos represente este concepto, y esto se hace recurriendo a los logaritmos. Si tenemos un solo mensaje, el logaritmo de 1 es 0, ahora para dos mensajes, tenemos el logaritmo de 2 que es 1, esto representa el fenmeno que queremos explicar. Esta utilizacin es arbitraria. Cuidado! Cuando decimos dos mensajes, a veces como es el caso de! timbre tenemos que sus estados posibles son o bien que suena y que no suena (dos mensajes). En el caso de la moneda tenemos l a misma probabilidad de que salga "cara" "seca", pero en el caso del timbre tenemos un mensaje con mucha probabilidad, y otro con muy poca probabilidad. En el da hay 90.000 segundos y la probabilidad de que suene es muy baja; por ejemplo 1 0 segundos en todo el da. A la inversa l a probabilidad de que no suene es muy alta. La mayor informacin se tiene cuando suena. El hecho de que no suene no tiene casi informacin, entonces no nos llama la atencin.