Vectores Gaussianos e introducci

on a los procesos estoc

asticos.

Vectores Gaussianos e introduccion a los procesos

estocasticos.
Diego A. Patino, M.Sc., Ph.D.
Pontificia Universidad Javeriana

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.

Motivacion

Vectores aleatorios gaussianos

Definici
on de procesos estoc
asticos

Caracterizaci
on de procesos estoc
asticos

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Motivaci
on

Motivacion

Generalizar la fpd normal para un vector de variables

aleatorias.
Hasta ahora, procesos que no cambian en el tiempo:
Probabilidad. Como caracterizar un fen
omeno aleatorio que
varia en el tiempo? Procesos estoc
asticos.

Ejemplos: Se
nales de telecomunicacion, se
nales biomedicas,
se
nales ssmicas, manchas solares a
no tras a
no, ndice de la
bolsa segundo a segundo, tiempo de espera en cola de cada
uno de los usuarios que van llegando a una ventanilla, el clima.

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Vectores aleatorios gaussianos

Para una variable aleatoria x, la fpd gaussiana es N(m, 2 ) es:
2
1 (xm)
2

e 2
f (x) =

Para un vector de variables aleatorias no correlacionado

x = [x1 , . . . , xn ]T , entonces
1

f (x) =

e 2 (xm) C (xm)

(2)n/2 detC

Donde C es la matriz de covarianzas.

Esta es la formulacion general de la funcion de densidad de un
vector aleatorio gaussiano.

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Vectores aleatorios gaussianos

En general, un vector aleatorio X = [X1 , . . . , Xn ]T es
gaussiano si todas las combinacion lineales de sus
componentes
n
X
ci Xi
i =1

resulta en una variable aleatoria gaussiana.

Del item anterior, se puede observar entonces que cualquier
subvector tambien es gaussiano. Entonces, todas las
combinaciones lineales de los componentes del subvector
[X1 , X3 , X5 ]T son gaussianas.
De ejercicios ya vistos, la suma de dos gaussianos es una
variable gaussiana. Combinacion lineal de variables
gaussianas es una gaussiana.
5

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Vectores aleatorios gaussianos

Ejemplo: Sea X un vector

matriz de covarianza:

1
3

10
5

aleatorio Gaussiano de tama

no 5 y

3 7 10 5
10 17 9 15

17 6 16 13

9 16 60 53
15 13 53 40

Encontrar la matriz de covarianzas de [X1 , X3 , X5 ]T

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Vectores aleatorios gaussianos

Si X es un vector aleatorio gaussiano, entonces AX + b para

cualquier matrix A [r n] y cualquier vector B [r ] tambien es
gaussiano:
X N(m, C ) AX + b N(Am + b, ACAT )
Entonces si X es Gaussiano, Y = AX tambien es Gaussiano.
Si Y es gaussiano, X es necesariamente Gaussiano?

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Vectores aleatorios gaussianos

Si X es un vector aleatorio gaussiano, entonces AX + b para
cualquier matrix A [r n] y cualquier vector B [r ] tambien es
gaussiano:
X N(m, C ) AX + b N(Am + b, ACAT )
Entonces si X es Gaussiano, Y = AX tambien es Gaussiano.
Si Y es gaussiano, X es necesariamente Gaussiano?
NO!

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Funcion caracterstica de un vector gaussiano

Si X N(m, C ) (vector aleatorio), su funcion caracterstica

conjunta esta dada por:
X () = e j

T m T C /2

PROBAR!

Donde = [1 , 2 , . . . , n ]T .
Calculemos la funcion caracterstica cuando C es diagonal.

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Funcion caracterstica de un vector gaussiano

Suponga la siguiente matriz de
2
1
0

C = ..
.
0

covarianzas (i2 = Cii = var (Xi )):

0 ... 0
22 . . . 0

.. . .
.
. ..
.
0

entonces,
T C =

. . . n2

n
X

i2 i2

i =1

por lo tanto:
X () = e j

T m T C /2

n
Y
i =1

2 2

e ji mi i i /2 =

n
Y

Xi (i )

i =1
10

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Funcion caracterstica de un vector gaussiano

El resultado anterior quiere decir que variables aleatorias

gaussianas independientes implican que no estan
correlacionadas.
Esta afirmaci
on es cierta para todo tipo de variables
aleatorias?

11

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Funcion caracterstica de un vector gaussiano

El resultado anterior quiere decir que variables aleatorias

gaussianas independientes implican que no estan
correlacionadas.
Esta afirmaci
on es cierta para todo tipo de variables
aleatorias?
NO. SOLAMENTE ES CIERTO PARA LAS GAUSSIANAS.
Ejemplo: Considerese X Uniforme(1, 1) y Y = X 2 . X y
Y NO son independientes, pero si son no correlacionados.
Independencia No correlaci
on.

No correlacion ; Independencia.

12

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Esperanza condicional de vectores gaussianos

Si X y Y son vectores aleatorios [X T , Y T ]T es un vector

aleatorio gaussiano, entonces
E [X |Y = y ] = A(Y mY ) + mX
Donde ACY = CXY .
Entonces, cuando X y Y son conjuntamente gaussianos, el
estimador MMSE es igual al estimador lineal MMSE .

13

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Probabilidad condicional de vectores gaussianos

Si [X T , Y T ]T es un vector aleatorio Gaussiano, entonces dado

Y = y.
X N(E [X |Y = y ], CX |Y )
donde CX |Y = CX ACYX , E [X |Y = y ] = A(y mY ) + mX
y ACY = CXY . Si CX1|Y existe, entonces:
fX |Y (x|y ) =

(xg (y ))
12 (xg (y ))T CX1
|Y

(2)n/2

detCX |Y

g (y ) = E [X |Y = y ]
14

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Vectores aleatorios gaussianos

Probabilidad condicional de vectores gaussianos

Ejemplo: Suponga una se

nal X N(0, 1) se transmite en un canal
ruidoso. La medida del receptor es Y = X + W , W N(0, 2 ) es
independiente de X . Encontrar E [X |Y = y ] y fX |Y (x|y )

15

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Introduccion de procesos estocasticos

Un proceso estoc
astico (proceso aleatorio) es una familia de
variables aleatorias
En principio, esta definici
on se refiere a una familia finita de
variables aleatorias tales como {X , Y , Z }.
En practica, los procesos estoc
asticos se refieren a familias
infinitas. Se trabaja con una cantidad infinita de variables
aleatorias.

Ejemplos: Enviar bits sobre un canal wireless donde no hay un

conjunto determinado de datos.
La potencia de la se
nal en un receptor de telefono celular varia
continuamente en el tiempo aleatoriamente dependiendo de la
ubicaci
on.
16

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo discreto

Un proceso aleatorio en tiempo discreto es una familia de
variables aleatorias {Xi } donde i Z.
{Xi , i = 1, 2, . . .},

{Xi , i = 0, 1, 2, . . .}
X () = x

Espacio muestral

Variable aleatoria
Xi ()
Espacio muestral
Proceso estocastico
17

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo discreto

Para un fijo, entonces se puede obtener una secuencia

X1 (), X2 (), X3 (), . . .. Tal secuencia de variables aleatorias se
conoce como realizaci
on, o funci
on muestral de un proceso
estoc
astico.
Ejemplo: (Bits enviados en un canal ruidoso). Al enviar una
secuencia de bits en un canal ruidoso, los bits llegan
independientemente e invertidos con probabilidad p. Sea Xi = 1 si
el i-esimo bit esta invertido y Xi = 0 de otra manera. Entonces
{Xi , i = 1, 2, . . .} es una secuencia independiente de Bernoulli (p).
18

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo discreto

1
0.5
0
0

10

15

20

25

10

15

20

25

10

15

20

25

1
0.5
0

1
0.5
0

19

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo discreto

Ejemplo: Considere el amplificador de un radio-receptor. Todos los

amplificadores generan internamente ruido termico. Entonces, a
un
si el radio no esta recibiendo ninguna se
nal, el voltaje a la salida
del amplificador no es cero. Este generalmente se se puede modela
como una variable Gaussiana cada vez que se toma una medida.
Suponga que medimos este voltaje cada segundo y denote la
medida i-esima como Zi .

20

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo discreto

2
0
2
5

10

15

20

25

10

15

20

25

10

15

20

25

2
0
2

2
0
2

21

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo continuo

Un proceso estoc
astico en tiempo continuo es una familia de
variables aleatorias X (t, ) donde t es un rango de tiempo
especfico.
X () = x
Espacio muestral

Variable aleatoria
X (t, )
Espacio muestral
Proceso estocastico
22

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo continuo

El proceso estocastico significa que cada resultado de un

experimento se asigna una funcion del tiempo x(t).
Ejemplo: La variable aleatoria definida por:
X (t, ) = A() sin t,

t0

Cada resultado de del experimento, dentro del espacio

muestral corresponde una funcion senosoidal con amplidud
diferente.

23

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo continuo

x(t,)=x(t)
1

X(t,)

0.5

0.5
2

1
1

1.5
2

0.5

4
5

24

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo continuo

0.8
x(t1,)
0.6
0.4

x(t,)

0.2
0

0.2
0.4
0.6

0.8

0.2

0.4

0.6

0.8

1
t

1.2

1.4

1.6

1.8

25

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo continuo

Ejemplo: Considerese el proceso estoc
astico definido por:
X (t, ) = A() sin t
Siendo A() uniforme(1, 1). Hallar la funcion de densidad de
X (t0 , ).
Ejemplo: Considerese el proceso estoc
astico definido por:
X (t, ) = cos(2t + ),

< t <

En donde es una variable uniformemente distribuida en (0, 2).

Hallar la funcion de densidad del proceso fX (x)
26

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Definici
on de procesos estoc
asticos

Procesos en tiempo continuo (Movimiento Browniano o

proceso de Wiener)
Ejemplo: En 1827, Robert Brown observ
o que peque
nas partculas
en un lquido se mueven continuamente y siguen caminos
aleatorios. Los caminos posibles se denominan movimiento
Browniano.

27

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Caracterizaci
on de procesos estoc
asticos

Caracterizacion de procesos estocasticos

Para una variable aleatoria X , si se conoce la fdp se puede
encontrar P[x B], E [g (X )] para cualquier conjunto B o
funcion g . De igual manera para dos variables aleatorias.
Kolmogorov mostr
o que un proceso estoc
astico X (t, ) es
completamente caracterzado cuando se puede calcular:
1i <

P[X (t1 , ), X (t2 , ), . . . , X (tn , ) B]

para conjuntos B arbitrarios y tiempos diferentes t1 , . . . , tn .

Esto no solo requiere estimar las funciones de densidad
conjunta, tambien estimar fX1 (x1 ), fX1 X2 (x1 , x2 ),
fX1 X2 X3 (x1 , x2 , x3 ).
28

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Caracterizaci
on de procesos estoc
asticos

Caracterizacion de procesos estocasticos

Para un valor especfico de t, X (t, ) es una variable aleatoria.
Entonces la fdp del proceso depende del tiempo. Para dos instantes
dados de tiempo t1 y t2 :
FX (x; t) = P[X (t) x],

fX (x; t) =

F (x; t)
x

La funcion conjunta (de segundo orden) es entonces:

F (x1 , x2 ; t1 , t2 ) = P[X (t1 ) x1 , X (t2 ) x2 ]
y la funcion de densidad:
f (x1 , x2 ; t1 , t2 ) =

2 F (x1 , x2 ; t1 , t2 )
x1 x2
29

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Caracterizaci
on de procesos estoc
asticos

Caracterizacion de procesos estocasticos

Entonces, las marginales son:
Z
fx1 ,t1 =
f (x1 , x2 ; t1 , t2 )dx2

fx2 ,t2 =

f (x1 , x2 ; t1 , t2 )dx1

y la condicional:
f (x1 , t1 |x2 , t2 ) =

f (x1 , x2 ; t1 , t2 )
f (x2 ; t2 )

Es muy dficil caracterizar un procesos estocastico con las

funciones de densidad
30

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Caracterizaci
on de procesos estoc
asticos

Caracterizacion de procesos estocasticos

Es muy com
un caracterizarlo mediante los momentos.
Si X (t) es un proceso estoc
astico, entonces la funci
on de
media
mX (t) = E [X (t)]
Si X (t1 , ) y X (t2 ) son dos variables aleatorias de un proceso
X (t, ) entonces su correlaci
on:
RX (t1 , t2 ) = E [X (t1 )X (t2 )]

31

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Caracterizaci
on de procesos estoc
asticos

Caracterizacion de procesos estocasticos

Ejemplo: En un sistema de comunicaciones, la portadora en el

receptor se modela como x(t) = cos(2ft + ),
uniforme(, ). Encontrar la funcion de media y la funcion
de correlacion de x(t).
Ejemplo: Encontrar la funcion de correlaci
on de:
Xn = Z1 + . . . + Zn ,

n = 1, 2, . . .

si los Zi tienen media 0 y no est

an correlacionados. La varianza de
todas las variables es igual, i.e., 2 = var (Zi ), i

32

Vectores Gaussianos e introducci

on a los procesos estoc
asticos.
Caracterizaci
on de procesos estoc
asticos

Caracterizacion de procesos estocasticos

Ejemplo: Sea p y q dos variables aleatorias que satisfacen la

ecuacion diferencial de primer orden
p

dx
+ qx(t) = 0.
dt

Halle la funcion de densidad de x

Ejemplo: Considere el proceso estoc
astico X (t) de la forma
X (t) = A cos(100t + ), A N(0, 1) y U(, ). Hallar
E [X (t)] y RXX (t1 , t2 ).

33