CSA.

Procesos estocsticos

Tema 6. Procesos estocsticos

1. DESCRIPCIN DE UN PROCESO ESTOCSTICO Los procesos estocsticos o procesos aleatorios constituyen una herramienta estadstica que surge ante la necesidad de modelar el comportamiento de experimentos aleatorios que varan en el tiempo o que dependen de alguna otra variable determinista. Las sucesiones de variables aleatorias, definidas en el tema anterior, son un ejemplo de proceso estocstico en el que el conjunto de instantes de tiempo es infinito numerable. Por su parte, los procesos estocsticos continuos tambin constituyen una familia infinita de VA, pero en este caso no numerable. Supongamos que estamos estudiando el nmero de llamadas que se producen en una central telefnica. Para un intervalo de tiempo determinado, por ejemplo una hora, se puede definir la VA: Nmero de llamadas que se producen en una hora. Si consideramos un intervalo mayor, por ejemplo dos horas, es evidente que el nmero de llamadas observadas tender a ser superior y, por tanto, la distribucin de probabilidad de esta nueva VA ser distinta a la anterior. As para cada tiempo que fijemos tendremos una VA, en principio distinta. En situaciones de este tipo surge de modo natural la conveniencia de definir una familia de variables aleatorias que dependen de una variable determinista, es decir, un proceso estocstico. En este caso concreto, podemos definir el proceso estocstico X(t) como el nmero de llamadas que se producen en el intervalo (0,t). As, para cada valor de t que elijamos tendremos una VA diferente. Habamos definido una VA X como una funcin que a cada posible resultado del experimento le asigna un nmero real X(). En un proceso estocstico el resultado del experimento puede variar con el tiempo, por lo que asignaremos un nmero real como una funcin de ambos X(t,). Def: Dado un experimento : (, F, P) si suponemos que el resultado del experimento, , se produce en un tiempo t, podemos asignar una funcin de ambos X(t,) sobre R. Un proceso estocstico (PE) es una funcin de dos variables, t y , una determinista y otra aleatoria, tal que: (a) X(t,) es una familia de funciones temporales. (b) Si se fija tenemos una funcin temporal X(t) llamada realizacin del proceso. (c) Si se fija t tenemos una VA. (d) Si se fijan t y tenemos un nmero real o complejo. La variable tiene una interpretacin similar en la VA X() y en el PE X(t,). Para una VA, representa un resultado del experimento. En el caso del PE X(t,) tambin lo representa, con la diferencia de que en este caso el experimento est definido para los distintos valores de t y el resultado es en realidad un conjunto de resultados; una funcin temporal que hemos denominado realizacin del proceso. Al igual que ocurra con las VA, notaremos un proceso omitiendo la dependencia con : X(t).

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

Llamaremos espacio de tiempos T al conjunto de los posibles valores del tiempo y espacio de estados S al conjunto de los posibles valores del proceso. As, hablaremos de procesos discretos o continuos en el tiempo y de procesos continuos, discretos o mixtos en el espacio de estados. Para los procesos discretos en el tiempo, dado que podemos numerar los instantes de tiempo, utilizaremos la siguiente notacin: X(tn) = X[n].
.

Ejemplo: Distintas realizaciones del proceso X(t)=Ncos((2/24)t+) siendo N y VA con distribuciones P(10) y U(0,2) respectivamente. En este ejemplo, tanto el espacio de tiempos como el espacio de estados son continuos.
20 15 10 5
X(t)

0 -5 -10 -15 -20 0 10 20 30 40 tiempo (h) 50 60 70

Ejemplo: El nmero de llamadas que llegan a una central telefnica es un proceso continuo en el tiempo pero discreto en el espacio de estados. En la grfica siguiente se ven 3 realizaciones.
10

Nmeros reales
8

X(t0, !1) x x X(t0, !2)

Realizaciones

Nmero de llamadas

X(t, !1) X(t, !2) X(t0), VA

x X(t0, !3)

X(t, !3)

Tiempo

10

t0

15

CSA. Procesos estocsticos

Ejemplo 6.1: Sea el proceso X(t,) = at+ Y() con a determinista e Y~U(0,1). En la notacin habitual: X(t) = at+Y. Dibuja una realizacin del proceso, y especifica los espacios de estados y de tiempos.

Al estar un PE formado por infinitas VA tendr sentido hablar de la FD o de la fdp conjunta de un grupo de ellas o de las marginales correspondientes a las VA individuales. Hablaremos entonces de orden de la FD o de la fdp en funcin del nmero de VA que consideremos. En lo relativo a la FD, supondremos en todo momento que estamos trabajando con VA reales. Dado un PE X(t), si fijamos un tiempo t = t0, tendremos una VA X(t0) que tendr una FD asociada. Si cambiamos el instante de tiempo tendremos una VA en principio, distinta a X(t0), con una FD diferente. En este sentido, la FD depende del tiempo, por lo que definimos la FD de primer orden del proceso X(t) como: FX(x;t) = P(X(t) x) Desde el punto de vista frecuencial podemos interpretar la FD de primer orden de la siguiente forma: supongamos que realizamos el experimento n veces, en cada una de ellas observamos una funcin temporal X(t); con lo que obtenemos n realizaciones. As, la aproximacin frecuencial de F(x;t) sera el nmero de trayectorias que toman valores menores o iguales que x en el punto t, dividido por n. Derivando respecto a x tendremos la fdp de primer orden. Anlogamente se define la FD de segundo orden como: F(x1,x2;t1,t2) = P(X(t1) x1, X(t2) x2) Calculando las derivadas parciales respecto a x1 y x2 obtendramos la fdp de segundo orden. Los conceptos de marginal y distribucin o densidad condicionada son anlogos a los definidos para VA bidimensionales. As, por ejemplo: F(x1;t1) = F(x1,; t1,t2)
f(x1 ;t 1 ) = #
" !"

f(x1 ,x2 ;t1 ,t 2 )dx 2 f(x1,x 2 ; t1 ,t 2 ) f(x 2 ; t 2 )

f(x1 ;t 1 / X(t 2 ) = x2 ) =

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

Ejemplo: Realizacin de un proceso continuo en el tiempo con fdp de primer orden gaussiana.

fdp en tiempo t=0 fdp en tiempo t=2 fdp en tiempo t=4 Realizacin del proceso
3 2 1 0 -1 -2 -3 -4 -1 0 1

X(t)

Tiempo (t)

Hablaremos en general de FD de orden n como: F(x1,,xn; t1,,tn) = P(X(t1) x1,, X(tn) xn) Calculando las derivadas parciales obtendramos la fdp de orden n. Evidentemente una FD o una fdp de orden n determina todas las FD o fdp de orden inferior, pues son las marginales de sta. Para determinar estadsticamente un PE, necesitaramos conocer la FD o la fdp de orden n, para cualquier valor de n y para cualquier valor de t1,,tn. Esto es, en la prctica, realmente difcil, por lo que se estudiarn una serie de parmetros y propiedades de los PE, que, si bien no los determinan completamente, nos permiten obtener mucha informacin acerca de ellos. Un proceso bidimensional consiste en dos procesos X(t) e Y(t) y queda estadsticamente determinado si conocemos la FD o fdp conjunta de las VA X(t1),, X(tn); Y(t1),, Y(tm) para cualquier n y m; y para todo t1, , tn; t1,, tm Un proceso complejo Z(t) = X(t)+jY(t) es una familia de funciones complejas y est estadsticamente determinado en funcin del proceso bidimensional X(t),Y(t).

CSA. Procesos estocsticos

Ejemplo 6.2: Sea el proceso X(t) = at+Y con a determinista e Y~U(0,1). Determina la FD y la fdp de primer orden.

2. ESTADSTICOS DE UN PROCESO ESTOCSTICO Def: Llamaremos media de un PE a:

E{X(t)} = X (t) = "
+! -!

xf(x; t) dx

En el caso complejo, E{Z(t)} = E{X(t)} + jE{Y(t)} Para cada valor de t distinto tenemos, en principio, una VA diferente; por lo que tendremos tambin una media distinta. Por ello la media de un proceso es, en general, una funcin dependiente del tiempo. Def: Llamaremos autocorrelacin de un PE a:
R X (t1 ,t 2 ) = E{X(t 1 )X(t 2 )} =

"#! "-!

+! +!

x1x 2 f(x1 ,x 2 ; t1 ,t 2 ) dx1dx2

En el caso complejo: RX(t1,t2) = E{X(t1)X*(t2)}; donde X*(t) representa el conjugado de X(t) Si t1=t2, tenemos la potencia media del proceso : RX(t,t) = E{X2(t)} Def: Se define correlacin cruzada entre los procesos X(t) e Y(t) como: RXY(t1,t2) = E{X(t1)Y*(t2)} Def: Llamaremos autocovarianza de un PE a: CX(t1,t2) = E{[X(t1)X(t1)][X(t2)X(t2)]} = RX(t1,t2) X(t1)X(t2) Un caso particular es la funcin de varianzas (t1=t2): CX(t,t) = E{[X(t)X(t)]2}= RX(t,t) X2(t)= E{X2(t)}X2(t) = Var{X(t)} En el caso complejo: CX(t1,t2) = E{[X(t1)X(t1)][X*(t2)*X(t2)]} = RX(t1,t2)X(t1)*X(t2)

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

Def: Se define covarianza cruzada entre los procesos X(t) e Y(t) como: CXY(t1,t2) = E{[X(t1)X(t1)][Y*(t2)*Y(t2)]} = RXY(t1,t2) X(t1)*Y(t2) Estos estadsticos son, en general, funciones que dependen de uno o ms instantes de tiempo. Obs: Los conceptos de covarianza y correlacin ya haban sido utilizados en la seccin de VA. As como la idea
de covarianza es una extensin lgica de aquella definicin, no ocurre lo mismo con la correlacin. De todas formas, tanto la covarianza, como la correlacin o el coeficiente de correlacin son estadsticos directamente relacionados, cuyo objetivo es proporcionar una medida de dependencia lineal entre VA. De hecho, es fcil demostrar que son equivalentes si las medias son cero y las desviaciones tpicas una unidad, es decir, si las variables estuviesen tipificadas. Esa transformacin no supone ms que un cambio de escala para reducir la correlacin al intervalo (-1,1), de tal forma que toda la informacin de la relacin lineal entre las dos seales est contenida en la esperanza del producto, que es precisamente como se ha definido la correlacin cruzada o la autocorrelacin. En procesado de seal se suele usar mas sta que la funcin de coeficientes de correlacin por ser mas sencilla de calcular y por estar directamente relacionada con la potencia de la salida en un sistema lineal invariante en el tiempo. As, si X(t) e Y(t) representan la entrada y la salida de un sistema lineal, la potencia media en la salida E{Y (t)}no es solo funcin de la potencia media en la entrada E{X (t)}, sino que necesitamos conocer E{[X(t1)+X(t2)] }, que claramente se calcula a partir de la potencia media en los tiempos t1 y t2 y a partir de la autocorrelacin de X en t1, t2.
2 2 2

Ejemplo 6.3: Para el proceso X(t) = at+Y visto en el ejemplo anterior, calcula la esperanza, la varianza, la autocorrelacin y la autocovarianza

CSA. Procesos estocsticos

A continuacin generalizamos los conceptos, ya estudiados en VA, de independencia, incorrelacin y ortogonalidad para PE. Def: Dos procesos X(t) e Y(t) son independientes si su fdp conjunta de cualquier orden se puede descomponer como el producto de dos fdp marginales, una conteniendo trminos slo dependientes del proceso X(t) y la otra dependientes de Y(t). Def: Dos procesos X(t) e Y(t) son incorrelados si CXY(t1, t2) = 0 para cualquier valor de t1 y t2. Def: Dos procesos X(t) e Y(t) son ortogonales si RXY(t1, t2) = 0 para cualquier valor de t1 y t2. Obs: Para los procesos discretos en el tiempo utilizaremos la siguiente notacin: E(X[n]) = X[n] RX[n1,n2] = E{X[n1]X*[n2]} CX[n1,n2] = RX[n1,n2] - X[n1]*X[n2] 3. ESTACIONARIEDAD Uno de los objetivos fundamentales de los modelos estocsticos es la prediccin. Para ello, basndonos en la historia del proceso, trataremos de conjeturar su comportamiento futuro. Para poder hacer esto, necesitamos que las condiciones futuras sean anlogas a las pasadas. Esta propiedad se conoce con el nombre de estacionariedad. De modo general, podramos decir que un PE es estacionario si sus propiedades estadsticas son invariantes ante una traslacin de tiempo. Esto implica que el mecanismo fsico subyacente que genera el experimento no cambia con el tiempo. En la prctica existen muchos fenmenos fsicos cuyo comportamiento se puede modelar mediante un PE estacionario. Como comprobaremos al analizar sus propiedades, una de las ventajas de estos procesos es que son ms sencillos de caracterizar, pues algunos de sus estadsticos no dependen del tiempo. Formalmente, diremos que un proceso X(t) es estacionario (en sentido estricto) si sus propiedades estadsticas no varan al trasladar el origen de tiempos; es decir, X(t) y X(t+) tienen las mismas propiedades estadsticas . Expresndolo en trminos de la fdp: X(t) es estacionario n; t1,,tn; se verifica que: f(x1,,xn; t1,,tn) = f(x1,,xn; t1+,,tn+) Diremos que dos procesos X(t) e Y(t) son conjuntamente estacionarios si sus propiedades estadsticas conjuntas son idnticas a las de X(t+) e Y(t+) . Un proceso complejo Z(t)=X(t)+jY(t) es estacionario si los son conjuntamente X(t) e Y(t). Las principales propiedades de los procesos estacionarios son: 1) f(x;t) = f(x;t+) ; por tanto podemos conseguir cualquier valor de t eligiendo el adecuado; es decir, la fdp de primer orden no depende del tiempo, y por tanto, parmetros como la media, que se calculan exclusivamente a partir de la fdp de primer orden, no dependen del tiempo.

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

2) f(x1,x2; t1,t2) =f(x1,x2; t1+,t2+) t1,t2; En particular si = t1 tenemos que f(x1,x2; t1,t2) =f(x1,x2; ) con = t2t1; es decir, la fdp de segundo orden no depende de los instantes temporales que consideremos, sino de la distancia entre ellos; en particular, los parmetros que dependan slo de la fdp de segundo orden, como la autocorrelacin o la autocovarianza, dependen slo de la distancia temporal entre los instantes considerados, independientemente de dnde estn situados. Verificar que un proceso es estacionario en sentido estricto es, en general, imposible, pues implica estudiar infinitas fdp. Por ello estudiaremos otros tipos de estacionariedad. Def: Un proceso es estacionario de orden k si la condicin de estacionariedad estricta se cumple para todas las fdp de orden n con n k. Def: Un proceso es estacionario en sentido amplio (dbilmente estacionario) si: E{X(t)} = (independiente del tiempo) RX(t1,t2) = RX() con = t2 t1 (es slo funcin de la distancia temporal entre los instantes considerados) Evidentemente, si un proceso es estacionario de orden dos, tambin lo es en sentido amplio. Este tipo de estacionariedad (la dbil) es la ms frecuentemente utilizada en la prctica, pues se basa en parmetros que son fcilmente estimables a partir de una muestra del proceso. Otros tipos de estacionariedad que podran definirse son: asinttica, en un intervalo o peridica. Algunas propiedades de la correlacin de procesos estacionarios son: Si X(t) e Y(t) son PE estacionarios en sentido amplio, se verifica: 1) La potencia media del proceso, E{|X(t)|2}, no depende de t, ya que: RX(0) = E{X(t)X*(t)} = E{|X(t)|2} 2) RXY() = R*YX() ya que: RXY() = E{X(t)Y*(t )} = E{X(+)Y*()} = R*YX() siendo = t. En particular, si X e Y son reales RXY() = RYX(). 3) RX() = R*X() ya que: Haciendo X = Y en 2). En particular, si X es real RX() = RX(). Ruido blanco El trmino ruido se emplea en el mundo de las telecomunicaciones para hacer referencia a seales indeseables que constituyen una interferencia en un sistema de comunicacin. En la prctica el modelo que se emplea habitualmente para estas interferencias es el que se conoce como ruido blanco, que viene dado por la siguiente definicin: Def: Un proceso X(t) es ruido blanco si CX(t1,t2) = 0 t1t2; o lo que es lo mismo, las variables X(t1) y X(t2) estn incorreladas. La autocovarianza del ruido blanco se puede expresar equivalentemente como:

CSA. Procesos estocsticos

C X (t 1 ,t 2 ) = q( t1 )! (t 1 " t 2 )

q (t ) # 0

Diremos que el proceso es ruido blanco en sentido estricto si las variables X(t1) y X(t2) son independientes. A menudo la distribucin que se emplea para modelar el ruido en cada instante es la distribucin gaussiana, en cuyo caso las definiciones de ruido blanco y ruido blanco en sentido estricto son equivalentes. Obs: Generalmente se asume que el ruido blanco tiene media cero, por lo que su funcin de autocorrelacin
coincide con su autocovarianza. Adems, tambin es habitual considerar que la varianza del proceso es constante, con lo cual el ruido blanco constituye un proceso estacionario en sentido amplio. Tal y como se deduce de su definicin, el ruido blanco en sentido estricto presenta una valor en cada instante de tiempo que no depende de cual haya sido su valor en los instantes precedentes y que no ejerce ninguna influencia en sus valores futuros. Los PE se pueden estudiar tambin en el dominio de la frecuencia. Concretamente para un PE estacionario se define la densidad espectral de potencia como la transformada de Fourier de su funcin de autocorrelacin:
S(! ) = $" # R X (% )e " j!%d%
#

Si aplicamos esta expresin a la funcin de autocorrelacin del ruido blanco de media cero, se obtiene que su espectro viene dado por una constante, es decir, se trata de un espectro plano, cuya magnitud es comn a todas las frecuencias. El nombre de ruido blanco contrasta de este modo con el trmino ruido coloreado, que es aquel cuyo espectro presenta magnitudes distintas para diferentes frecuencias.

4. ERGODICIDAD Supongamos que slo tenemos acceso a una realizacin del PE y pretendemos conocerlo a partir de esa nica funcin temporal; para ello nos interesar conocer sus estadsticos (media, autocorrelacin, etc). Estudiaremos entonces los promedios temporales del proceso. Si X(t) es un PE estacionario en sentido amplio, llamaremos valor medio en el tiempo o media temporal a:

1 T lim $ X(t)dt = T! " T T!" 2T #T Llamaremos autocorrelacin temporal a: 1 T A X (!) = lim % X(t)X(t + !) dt T"# 2T $T Ambas son VA con valores diferentes para cada realizacin del proceso. M X = lim
Las definiciones son similares para el caso discreto. Para un PE en tiempo discreto X[k], estacionario en sentido amplio y definido para valores enteros de k, con k0, la media temporal y la autocorrelacin temporal se calcularan mediante las siguientes expresiones respectivamente: 1 N#1 M X = lim $ X[k] N! " N k =0
A X (!) = lim
N"#

1 N$1 % X[k]X[k + !] N k =0

10

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

Obs: Si el proceso estuviese definido para ndices k1, las expresiones anteriores seran equivalentes, pero en el denominador, en lugar de N estara el nmero de sumandos (N-1). Diremos que un proceso es ergdico si sus promedios estadsticos se pueden calcular a partir de una realizacin; es decir, si sus promedios estadsticos coinciden con sus promedios temporales. Hablaremos por tanto de ergodicidad en media y de ergodicidad en autocorrelacin. Ergodicidad en media: Dado que la media temporal no depende del tiempo, para que un PE sea ergdico en media es necesario que la media del proceso sea constante, lo cual tenemos asegurado si el proceso es estacionario. El hecho de decir que el lmite de una VA coincide con una constante, se interpreta as: 1 T Sea T = # X(t)dt 2T "T Un proceso ser ergdico en media si, con probabilidad 1: T cuando T

Ahora bien, T es una VA, cuya media es:

E( T ) =
Por tanto:

1 2T

#"T E(X(t))dt =

T #T !"! $ % 2 #T !"! 0 $ E ( T & ) # # # # T

# } ## ! 0
T! "

Por ello, para estudiar! ergodicidad, se halla el promedio temporal en un intervalo (-T,T) la finito y se estudia si la varianza de la integral resultante tiende a cero cuando T tiende a . Ejemplo resuelto: Sea A una VA con distribucin N(0,1). A partir de ella se construye el PE X(t) = A t. Evidentemente, E{X(t)} = 0 t. Sin embargo: 1 T 1 T T = "! T X(t)dt = 2T "!T Adt = A # 0 2T Claramente el PE no es ergdico en media. Lo que si es cierto en cualquier caso es que E(T) = X; en nuestro caso E(A) = 0. Ergodicidad en autocorrelacin: Intentaremos determinar la autocorrelacin de un proceso estacionario en trminos de una realizacin. Sea: RX() = E{X(t)X(t+)} Construimos el proceso : Z(t) = X(t)X(t+) Evidentemente E{Z(t)} = RX() Por tanto, el proceso X(t) ser ergdico en autocorrelacin si y solo si el proceso Z(t) es ergdico en media.

CSA. Procesos estocsticos

11

Ejemplo 6.4: La seal de entrada de un conversor es un PE Y[n] tal que Y[n]~N(,) n=0,1,..; siendo Y[n] e Y[m] independientes n m. La salida del conversor es el proceso X(t)=Y[ParteEntera(t)], con t 0. a) Indica el rango de X(t) y representa grficamente una realizacin del proceso. b) Estudia la estacionariedad y la ergodicidad en media de X(t). c) Es el proceso Y[n] estacionario en autocorrelacin? d) Estudia la estacionariedad y la ergodicidad en autocorrelacin de X(t).

5. EJEMPLO Sea X(t) = Acos(t+) donde es una VA U(-,) con A y deterministas. Determina: a) densidad de primer orden b) E{X(t)} c) RX(t1, t2) d) Estudia la estacionariedad en sentido amplio e) La media y la autocorrelacin temporales f) Estudia la ergodicidad.

12

Departamento de Teora de la Seal y Comunicaciones. Universidad de Vigo

CSA. Procesos estocsticos

13

EJERCICIOS PROPUESTOS: FD de un PE. Li. Problema 6.2. Pag. 301. FD y esperanza de un PE. Papoulis. 2 ed.: Prob. 9.1. Pag. 258. 3 ed.: Prob. 10.1. Pag. 340. 4 ed.: Prob. 9.1. Pag. 430. Estadsticos de un PE. Li. Problema 6.5. Pag. 301. Correlacin de la suma y la diferencia. Li. Problema 6.32. Pag. 305. Estacionariedad y autocorrelacin. Li. Problemas de autoevaluacin 6.3. Pag. 310. Estacionariedad y autocovarianza. Papoulis. 3 ed.: Problema 10.10. Pag. 340. 4 ed.: Problema 9.10. Pag. 430. Correlacin cruzada. Li. Ejemplos adicionales 6.24. Apartados a), b) y c). Pag. 298. LECTURAS RECOMENDADAS: Stark: Introduccin y apartado 8.19 Li: Apartados 6.1 y 6.3. INFORMACIN Y DOCUMENTACIN ADICIONAL: La documentacin de este tema se complementa con un boletn de problemas. En clases de laboratorio se realizar una prctica de ordenador (prctica #8). Esta prctica dispone de un enunciado que es recomendable leer antes de asistir al laboratorio.