CSA.

Sucesiones de VA

Tema 5. Sucesiones de Variables Aleatorias

1. CONCEPTO En muchos problemas de procesado de seal o imagen, control digital y comunicaciones disponemos de datos muestreados en un determinado orden temporal; estos datos pueden modelarse como observaciones de una VA que va cambiando de distribucin a lo largo del tiempo. En otras ocasiones no dispondremos de muestras, sino de los valores verdaderos de la variable en distintos instantes de tiempo (pinsese, por ejemplo, en el valor de un registro en un ordenador, o en algo tan simple como el lanzamiento repetido de una moneda). Estos problemas se solucionan utilizando un modelo probabilstico ms general que el estudiado hasta ahora: las secuencias aleatorias. En este tema estudiaremos el concepto y las principales propiedades de estos modelos. Como veremos las secuencias estocsticas se pueden pensar como un vector aleatorio infinito-dimensional. Si la dimensin del vector es numerable hablaremos de procesos en tiempo discreto y en otro caso hablaremos de procesos en tiempo continuo, que sern tratados en el prximo tema. Formalmente, diremos que una sucesin de VA o proceso estocstico en tiempo discreto es una familia numerable de variables aleatorias {X1, , Xn, } tal que cualquier subfamilia finita de ella es una VA n-dimensional. La representaremos por:
! n=1 ! n=1

Xn

o X[n]

Para un valor concreto de cada VA tendremos una sucesin de nmeros reales llamada realizacin o trayectoria del proceso. En muchas ocasiones es interesante estudiar las propiedades asintticas de las secuencias aleatorias, propiedades que, inevitablemente vendrn ligadas a conceptos como lmite o convergencia. Al trabajar con variables aleatorias, tendremos que definir una medida de convergencia para las sucesiones. A continuacin definimos los criterios de convergencia ms utilizados habitualmente: Convergencia puntual: Es la convergencia de una trayectoria pensada como una sucesin de nmeros reales. Se utiliza poco, pues nada nos asegura que el lmite sea una VA. Convergencia en probabilidad o dbil:
X n " # X $ lim P{& / X n (&) ' X(&) < (} = 1 )( > 0 "
n#% P

Convergencia casi segura o fuerte:

!

' * cs X n " # X $ P(% / lim X n (%) = X(%)+ = 1 " ) n#& ,

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

Convergencia en distribucin:
X n " # X $ lim Fn (x) = F(x) para todo punto de continuidad de F "
n#% D

Convergencia en media cuadrtica:

!
X n ""# X $ lim E X n & X
n#% mc

}=0

Los distintos tipos de convergencia estn relacionados entre ellos: Las convergencias casi ! segura y en media cuadrtica implican convergencia en probabilidad, mientras que sta implica convergencia en distribucin. El siguiente esquema ilustra la situacin en un espacio de sucesiones de VA.

2. LEYES DE LOS GRANDES NMEROS En muchas situaciones nos interesar estudiar el lmite de alguna funcin de la sucesin tal como la suma o el promedio. En los temas anteriores hemos visto algunas propiedades de la suma finita de variables aleatorias: - La esperanza de la suma es la suma de las esperanzas - Si las variables son incorreladas, la varianza de la suma es la suma de las varianzas - Si las variables son independientes, la fdp de la suma es el producto de convolucin de las fdp y la funcin caracterstica de la suma es el producto de las funciones caractersticas. A continuacin enunciaremos algunos resultados relativos a la convergencia de promedios de variables aleatorias: las leyes de los grandes nmeros. Leyes dbiles de los grandes nmeros Teorema de Markov : Sea {Xn} una sucesin de VA tales que todas las VA tengan esperanza y varianza finita, sean incorreladas dos a dos y verifique la condicin:

1 n2
Entonces se verifica:
n

! Var(X k) !!" 0
k=1 n"!

1 n

!
k=1

Xk - 1 n

! E(X k) !P" 0
k=1 n"!

CSA. Sucesiones de VA

Obs: Un caso particular de este teorema es aquel en el que las variables de la sucesin son idnticamente distribuidas, es decir, todas tienen la misma distribucin con los mismos parmetros, por lo que tienen la misma media y varianza; en este caso el teorema de Markov nos dira que el promedio de las VA converge a la media de la distribucin. Leyes fuertes de los grandes nmeros Teorema: Dada una sucesin de VA mutuamente independientes, idnticamente distribuidas y con esperanza finita , entonces el promedio de VA converge casi seguro a la media de la distribucin.

1 n " ! Xk "cs# n k =1 n#$

Esta es una versin del teorema de Markov con hiptesis ms duras, pero tambin se obtiene una convergencia fuerte. Obs: La importancia prctica de las leyes de los grandes nmeros radica en que nos garantiza que promediando una cantidad suficientemente grande de valores observados de una VA obtenemos una buena estimacin de la media. Como corolario de las leyes de los grandes nmeros se puede concluir el conocido como teorema de Bernoulli que nos dice lo siguiente: Dado un espacio de probabilidad (, F, P) y un suceso A de F tal que P(A) = p, entonces:
f r (A) " # p = P(A) "
n#$ cs

La demostracin es muy sencilla. Planteemos la repeticin sucesiva e independientemente del experimento y en la realizacin n-sima definimos la VA Xn que toma valor 1 si ocurre el suceso A ! y valor 0 en otro caso. Evidentemente: P(Xn = 1) = p; P(Xn = 0) = 1-p; E{Xn} = p y las VA Xn son independientes e idnticamente distribuidas. Por las leyes de los grandes nmeros:
1 n
n

"X
k=1

# $p #
n$%

cs

Dado que el promedio de las VA coincide con la frecuencia relativa del suceso A, se verifica el teorema.
! Con este resultado cerramos un camino que habamos iniciado en el primer tema, cuando

hablbamos de las posibles definiciones de probabilidad. En aquel momento dimos una definicin frecuencial, pero optamos por utilizar una definicin axiomtica. A lo largo de los temas anteriores hemos ido realizando distintas interpretaciones frecuenciales de diferentes conceptos. Gracias al teorema de Bernoulli, vemos que las dos definiciones coinciden, por lo que todas las interpretaciones que hemos hecho dejan de ser simplemente un punto de vista complementario para pasar a ser una realidad.

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

3. EL TEOREMA CENTRAL DEL LMITE Sentmonos delante de un ordenador y procedamos a obtener valores como suma de nmeros generados aleatoriamente de acuerdo a una ley uniforme. Si representamos grficamente en un histograma una cantidad suficientemente grande de los valores obtenidos, observaremos que el histograma se parece a una campana de Gauss. Si en lugar de partir de una distribucin uniforme lo hacemos desde una exponencial, una Rayleigh, una Cauchy o cualquier otra distribucin observaremos que el resultado es el mismo. Ello es debido al teorema central del lmite. El gran uso que la distribucin normal tiene en la ciencia y en la ingeniera es debido, en parte, al hecho de que el error de medida o el ruido en sistemas de comunicacin son debidos, a menudo, a la suma de muchos trminos aleatorios, independientes entre s, con poca importancia si consideramos cada uno de ellos por separado, pero que sumados producen una desviacin apreciable sobre la medida o la seal. En estas condiciones la distribucin resultante de la suma de todos estos trminos se aproxima a una distribucin normal. La bondad de esta aproximacin depende de distintos elementos, como el tipo de distribucin de los sumandos y su nmero. En general, la aproximacin es mejor en torno a la media de la distribucin, de ah la inclusin del trmino central en la denominacin del teorema que describe este fenmeno. Formalmente, el teorema central del lmite (en una de sus mltiples versiones) nos dice que si tenemos una sucesin de VA continuas independientes e idnticamente distribuidas, con esperanza y varianza finitas, entonces su suma es asintticamente normal; es decir: Si X(n) = X1 + + Xn entonces X(n) " E{X(n)} D # $ N(0,1) # Var{X(n)} n$% o, llamando y a la media y desviacin tpica de una cualquiera de las VA:
X(n) " n D $ % N(0,1) $ n%& # n

Existen distintas versiones de este teorema, por ejemplo la hiptesis de que las variables sean idnticamente distribuidas puede sustituirse por la de uniformemente acotadas (es decir, existe un ! valor que acota todos los posibles valores de todas las VA, es decir, existe un nmero M/ |Xn| < M para todo valor de n). El teorema central del lmite puede pensarse como una propiedad de la convolucin de funciones positivas.

CSA. Sucesiones de VA

Ejemplo: La suma de uniformes converge muy rpidamente a una normal (las distribuciones representadas han sido previamente estandarizadas).

Ejemplo 5.1: Disponiendo de un generador uniforme de nmeros aleatorios, cmo simularas de modo eficiente una N(0,1)?

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

Existe una versin del teorema para variables discretas que puede enunciarse como sigue: Si tenemos una sucesin de VA independientes; bajo las mismas hiptesis del caso continuo, si X= X1++Xn, E(X) = y Var(X) = 2; para una valor de n suficientemente grande se verifica que:
% 1 P(X = k) " e # 2$ (k%) 2 2# 2

Es decir, f(x) tiende a una sucesin de impulsos cuya envolvente es una normal.
0.2

!
0.15 0.1 0.05 0 -10

-8

-6

-4

-2

10

X Figura: Representacin de una envolvente normal para una VA discreta

Si aplicamos esta versin del teorema a una sucesin de VA independientes con distribucin de Bernoulli (cuya suma es exactamente una distribucin binomial), tendremos el teorema de DeMoivre-Laplace que nos asegura que una distribucin binomial X de parmetros n y p se puede aproximar, para valores de n suficientemente grandes, por una normal de media np y varianza np(1 p). Es decir:

! n$ P(X = k) = # & p k (1' p)n ' k ( " k%

cuando el parmetro n es suficientemente grande.

1 e 2)np(1 ' p)

'

( k 'np) 2np(1' p)

Este resultado es especialmente til para calcular probabilidades acumuladas en una binomial

Ejemplo 5.2: A travs de una lnea telefnica se transmite una serie de 1000 bits (ceros o unos con igual probabilidad). Aproxima la probabilidad de que el nmero de unos no difiera de 500 en ms de cuatro.

CSA. Sucesiones de VA

EJERCICIOS PROPUESTOS: TCL. Stark. Ejemplo 4.7.9. Pag. 217. Promedio de VA. Stark. Problema 4.23. Pag 222. Problema 4.24. Pag 222 Teorema de DeMoivre-Laplace. Papoulis. 2 ed.: Ej. 8.12. Pag. 196. El mismo problema est en Papoulis 3 ed., ej. 8.16, pag. 216 y en Papoulis 4 ed., ej. 7.16, pag. 280. Nota: Las referencias indicadas para los problemas son vlidas para la 2 edicin del Stark. LECTURAS RECOMENDADAS: Convergencia y teoremas lmite. Papoulis. Secciones 8.4 y 8.5 (2 ed.), seccin 8.4 (3 ed.) o seccin 7.4 (4 ed.). Distribucin gaussiana y teorema central del lmite. Li. Seccin 3.5 INFORMACIN Y DOCUMENTACIN ADICIONAL: La documentacin de este tema se complementa con un boletn de problemas. En clases de laboratorio se realizar una prctica de ordenador (prctica #7). Esta prctica dispone de un enunciado que es recomendable leer antes de asistir al laboratorio.