PROCESO ESTOCSTICOS, CADENAS DE MARKOV Y FUENTES DE MARKOV

ANDRES LEONARDO GARCA

CAMILO ANDRES ORTIZ MORALES
EDGAR FABIN IBAEZ

JULIO CESAR FLOREZ

UNIVERSIDAD DISTRITAL FRANCISCO JOS DE CALDAS

INGENIERA DE SISTEMAS
BOGOT
2014
1

TABLA DE CONTENIDO

PG.

1.
2.
3.
4.
5.
6.

INTRODUCCIN
PROCESOS ESTOCSTICOS
PROCESOS DE MARKOV
CADENAS DE MARKOV
CONCLUSIONES
REFERENCIAS

8
9

1. INTRODUCCIN

La teora de la informacin de Claude Shannon (1948) sent las bases matemticas

y cuantificables del proceso de la comunicacin, como ya se ha visto a travs del
curso, en la comunicacin intervienen varios elementos que interactan de manera
ordenada para hacer llegar la informacin de una fuente a un destino; es
precisamente de ste primer elemento, la fuente, del cual trata ste trabajo, en
especial las fuentes de informacin con memoria nula, una fuente en trminos de la
comunicacin es el elemento que produce mensajes, los cuales pueden ser
anlogos o discretos y que se trasmiten a travs del canal para llegar a su destino.

2. FUENTES DE INFORMACIN
2.1. DEFINICIN:
Fuente de informacin:
Una fuente de informacin es un objeto que a su salida produce un evento, en la
comunicacin es el elemento que origina mensajes, una fuente de informacin
discreta es aquella que produce mensajes con un nmero finito y fijo de smbolos.
Las fuentes de informacin, a dems de dividirse en discretas y continuas tambin
se seccionan en fuentes con memoria y fuentes sin memoria. Las sin memoria,
tambin llamadas de memoria nula son fuentes en las que la probabilidad de
ocurrencia de un smbolo no depende del smbolo precedente, en las fuentes con
memoria, la probabilidad de ocurrencia de un smbolo est ligada con el o los
smbolos anteriores.
2.2. FUENTE DISCRETA DE INFORMACIN CON MEMORIA NULA.
Shannon consider una fuente discreta sin memoria a una fuente en la que los
smbolos son producidos de acuerdo con una distribucin de probabilidad, es decir
que no son necesariamente equiprobables, segn Shannon, cada smbolo tiene una
probabilidad propia de ocurrencia y la sumatoria de la probabilidad de ocurrencia de
todos los smbolos es igual a 1. Puede considerarse una fuente de tipo discreto con
memoria nula, como sigue:

Figura 1. Representacin de una fuente discreta de informacin con memoria nula.

En donde x es un conjunto de smbolos pertenecientes a un alfabeto finito y fijo

S={x1, x2, x3, , xn}, y P(xi) es la probabilidad propia (y fija) de ocurrencia de cada
smbolo.
2.2.1. CLCULO DE LA INFORMACIN Y ENTROPA SUMINISTRADAS POR
UNA FUENTE DISCRETA DE MEMORIA NULA.
Puede calcularse la informacin media suministrada por una fuente de ste tipo,
como se explica a continuacin: La presencia de un smbolo xi, corresponde a una
cantidad de informacin igual a:
( )

)
( )

Siempre se trabajar tomando el logaritmo en base 2, es decir, en unidades

Shannon, que es la unidad ms utilizada. La informacin suministrada por cada
smbolo debe cumplir con las siguientes propiedades:

CONTINUIDAD
I(xi) deber estar denida y ser continua para todo valor de P(xi), xi. Dado
que la probabilidad de cada smbolo vara en forma continua dentro del [0,1],
se pretende que la I(xi) lo haga del mismo modo.
NO NEGATIVIDAD
I(xi) deber ser positiva o nula. No tiene sentido pensar en valores de I(xi)
negativos. Toda emisin de un nuevo smbolo aporta al entorno un
conocimiento que, como mnimo, podr ser nulo. En el otro extremo no se
reconoce lmite, es decir se acepta que I(xi) puede alcanzar valores
arbitrariamente grandes xi.
RELACION INVERSA
I(xi) deber crecer a medida que decrece la probabilidad del smbolo
correspondiente y viceversa.
ADITIVIDAD
I(xi) deber ser tal que la I(xi) correspondiente a dos smbolos
estadsticamente independientes se sume. Tomando en cuenta que la
probabilidad conjunta de dos smbolos estadsticamente independientes, es
decir la probabilidad de que dos smbolos, no necesariamente distintos, sean
emitidos (ambos) por la fuente, desde luego en distintos espacios de tiempo,
es igual al producto de las probabilidades individuales: P(xi, xj) = P(xi) P(xj),
se pretende que la I(xi) aportada por los dos smbolos se pueda sumar, es
decir: I(xi, xj) = I(xi) + I(xj)
.
La probabilidad de que aparezca es precisamente P(xi), de modo que la cantidad
media de informacin por smbolo de la fuente, es:
( ) ( )
En donde S indica la suma extendida a los n smbolos de la fuente S. sa
magnitud, cantidad media de informacin por smbolo de la fuente recibe el nombre
de entropa de la fuente de memoria nula, y se representa por H(S).
( )

( )

)
( )

2.2.2. SUMINISTRO DE INFORMACIN Y REDUNDANCIA DE LA FUENTE.

Para el estudio de la informacin resulta til relacionar el tiempo con la nocin de
informacin, se define entonces el suministro de informacin de una fuente como la
relacin de su entropa (valor medio de la informacin por smbolo) al nmero medio
de smbolos por segundo. Sea la duracin de los smbolos de la fuente:
Z={Z1, Z2, Z3, , Zn}
Se considera una serie de smbolos m, de longitud muy grande, la duracin T, de
una serie es:
T=m1 Z1+ m2 Z2+ m3 Z3+ + mn Zn
5

En el que mi es el nmero de smbolos xi emitidos durante el tiempo T, y:

Si m es muy grande, se puede escribir aproximadamente:

En donde

representa la duracin media por smbolo.

Con esto, se obtiene que el suministro de informacin de la fuente es:

( )

( )

Y se expresa en bits por segundo. (S es el alfabeto de smbolos).

La redundancia se define como la diferencia entre el valor mximo de la entroa y su
valor real.
R(S)=Hmax(S)-H(S)
La redundancia con relacin a la entropa mxima se llama redundancia relativa.
( )
( )

( )
( )

2.2.3. EXTENSIN DE UNA FUENTE DISCRETA SIN MEMORIA.

Se puede pensar que la fuente S en lugar de transmitir sus smbolos uno a uno, los
emite en muestras de tamao m, lo que da una extensin de Sm a la fuente S; si la
fuente posee un numero n de smbolos, la fuente Sm puede emitir nm mensajes
diferentes. La probabilidad de la muestra
es
(

) (

). Calculando la entropa:

( )

( )

Teniendo en cuenta que:

( )

) (

) (

) (

) (

Puesto que

( )
, la probabilidad de que el mensaje i, posicin j, haya uno
de los n smbolos del alfabeto es la unidad.
Entonces:
(

( )

( )

( )

( )

Pero
( )

(
)

)
(

(
) (

) (

) (

)
(

(
)

(
(

)
( )

Ya que las diferentes sumatorias valen 1, segn se haba visto arriba, y como hay m
trminos semejantes, j=1 a m.
(

( )

CONCLUSIONES.
7

En las fuentes de informacin discretas con memoria nula la aparicin de un

smbolo no est condicionado a sus predecesores ni condiciona sus
sucesores.

La informacin proporcionada por algn smbolo, es inversamente

proporcional a la probabilidad de su aparicin.

La entropa de una fuente de informacin que transmite un alfabeto por m

cadenas, es igual a m veces la entropa del alfabeto.

4. REFERENCIAS
8

Abramson, Norman. Teora de la informacin y codificacin. Quinta edicin. Editorial

Paraninfo, 1981. Pgs. 27-29.
Cuevas, Gonzalo. Teora de la informacin, codificacin y lenguajes. Editorial
Imnasa, 1975. Pgs. 105-109.
Murray, Leslie. Introduccin a la teora de la informacin. Disponible en lnea:
http://comunicaciones.eie.fceia.unr.edu.ar/cx/teoinfo.pdf