Filtros de Wiener

Tratamiento Estadstico de Seales

Pablo Mus, Ernesto Lpez, Luis Di Martino
{pmuse,elopez,dimartino}@fing.edu.uy
Departamento de Procesamiento de Seales
Instituto de Ingeniera Elctrica
Facultad de Ingeniera

Abril de 2015

Biblio:
I Haykin, Adaptive Filter Theory, 4ta. edicin: Captulo 2 y Apndice B.
I Hayes, Statistical Digital Signal Processing and Modeling, 1996: Captulo 7,

secs. 7.2 y 7.3.

Introduccin
Estudiaremos una clase de filtros en tiempo discreto, ptimos en un
sentido que definiremos ms adelante, llamados Filtros de Wiener.

Filtrado lineal ptimo: planteo del problema

Given input samples and filter coefficients

Input
u(0), u(1), u(2),

Linear
discrete-time
filter
w0, w1, w2,

Conditions at time n

Output
y(n)

Desired
response
d(n)
+

Estimation
error
e(n)
Figure 2.1

{u(n)}, {d(n)}: realizaciones

de procesos estocsticos conjuntamente
Block diagram representation of the statistical filtering problem.
WSS, de media nula (si no, basta con restrselas).

2002
Prentice Hall, Inc. de la respuesta deseada en tiempo n.
y(n):
estimacin
Simon Haykin

e(n) = d(n) y(n): error de estimacin en tiempo n

Adaptive Filter Theory 4E

Objetivo: hacer e(n) lo ms chico posible en algn sentido estadstico.

Restricciones y opciones de diseo

I

Sobre el filtro
I
I

Restricciones: lineal y discreto.

Opciones: FIR o IIR. Trataremos la teora para IIRs (siendo los FIRs
un caso particular), pero nos focalizaremos en los FIRs por ser
inherentemente estables.
Obs: cuando tratemos con filtros adaptivos, tener que lidiar con IIRs
y sus posibles inestabilidades hacen del problema difcil de manejar.
Por esta razn en general en filtros adaptivos se utilizan FIRs, a pesar
que los IIR son mucho menos demandantes computacionalmente.

Restricciones y opciones de diseo

I

Sobre el filtro
I
I

Restricciones: lineal y discreto.

Opciones: FIR o IIR. Trataremos la teora para IIRs (siendo los FIRs
un caso particular), pero nos focalizaremos en los FIRs por ser
inherentemente estables.
Obs: cuando tratemos con filtros adaptivos, tener que lidiar con IIRs
y sus posibles inestabilidades hacen del problema difcil de manejar.
Por esta razn en general en filtros adaptivos se utilizan FIRs, a pesar
que los IIR son mucho menos demandantes computacionalmente.

Sobre el criterio estadstico de optimalidad

I

E[|e(n)|]: convexo, no diferenciable. Corresponde a distribuciones de

Laplace.
E[|e(n)|2 ]: convexo, diferenciable. Corresponde a distribuciones
Gaussianas. Es matemticamente ms sencillo de tratar (podemos
calcular gradientes).
Otros.

Posibles Aplicaciones
Dependiendo de cmo estn vinculadas u(n) y d(n), varios problemas
fundamentales pueden ser planteados como un filtrado de Wiener:

Posibles Aplicaciones
Dependiendo de cmo estn vinculadas u(n) y d(n), varios problemas
fundamentales pueden ser planteados como un filtrado de Wiener:
I

Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir
de muestras ruidosas con un filtro causal, i.e. a partir de las
muestras u(n), u(n 1), u(n 2), . . . .

Posibles Aplicaciones
Dependiendo de cmo estn vinculadas u(n) y d(n), varios problemas
fundamentales pueden ser planteados como un filtrado de Wiener:
I

Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir
de muestras ruidosas con un filtro causal, i.e. a partir de las
muestras u(n), u(n 1), u(n 2), . . . .

Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo,
estimar d(n) offline a partir de todo el registro de datos disponibles
(previos y posteriores a n).

Posibles Aplicaciones
Dependiendo de cmo estn vinculadas u(n) y d(n), varios problemas
fundamentales pueden ser planteados como un filtrado de Wiener:
I

Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir
de muestras ruidosas con un filtro causal, i.e. a partir de las
muestras u(n), u(n 1), u(n 2), . . . .

Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo,
estimar d(n) offline a partir de todo el registro de datos disponibles
(previos y posteriores a n).

Prediccin: si d(n) = u(n + 1) y el filtro es causal, se busca estimar

u(n + 1) a partir de u(n) y sus muestras previas.

Posibles Aplicaciones
Dependiendo de cmo estn vinculadas u(n) y d(n), varios problemas
fundamentales pueden ser planteados como un filtrado de Wiener:
I

Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir
de muestras ruidosas con un filtro causal, i.e. a partir de las
muestras u(n), u(n 1), u(n 2), . . . .

Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo,
estimar d(n) offline a partir de todo el registro de datos disponibles
(previos y posteriores a n).

Prediccin: si d(n) = u(n + 1) y el filtro es causal, se busca estimar

u(n + 1) a partir de u(n) y sus muestras previas.

Deconvolucin: u(n) = h d(n) + v(n). El objetivo es encontrar

algn filtro de respuesta al impulso g(n) tal que podamos estimar
= g u(n).
d(n)

Posibles Aplicaciones
Dependiendo de cmo estn vinculadas u(n) y d(n), varios problemas
fundamentales pueden ser planteados como un filtrado de Wiener:
I

Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir
de muestras ruidosas con un filtro causal, i.e. a partir de las
muestras u(n), u(n 1), u(n 2), . . . .

Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo,
estimar d(n) offline a partir de todo el registro de datos disponibles
(previos y posteriores a n).

Prediccin: si d(n) = u(n + 1) y el filtro es causal, se busca estimar

u(n + 1) a partir de u(n) y sus muestras previas.

Deconvolucin: u(n) = h d(n) + v(n). El objetivo es encontrar

algn filtro de respuesta al impulso g(n) tal que podamos estimar
= g u(n).
d(n)

Otros.

Filtrado de Wiener: Solucin al problema

Objetivo: encontrar w0 , w1 , w2 , . . . tales que se minimice

Jn (w) = E[|e(n)2 |] = J(w).

Desarrollaremos la solucin matemtica a este problema de

optimizacin estadstica abordando dos enfoques diferentes pero
complementarios:
I

El principio de ortogonalidad (caractersticos de los espacios de

Hilbert)

La superficie de performance del error e(n).

Las ecuaciones normales o de Wiener-Hopf (1)

I

Entrada:
Resp. al impulso del filtro:
I

u(0), u(1), u(2), . . .

w0 , w1 , w2 , . . .


complejas e infinitas.

Salida del filtro:

y(n) =

+
X

wk u(n k), n = 0, 1, 2, . . .

k=0
H

=w u(n), con wT = [w0 , w1 , w2 , . . . ],

u(n)T = [u(n), u(n 1), u(n 2), . . . ]
I

e(n) = d(n) y(n).

Recordemos que {u(n)}, {d(n)} son realizaciones de procesos

estocsticos conjuntamente WSS, de media nula

Las ecuaciones normales o de Wiener-Hopf (2)

Queremos ver bajo qu condiciones en w (o cual es el filtro tal que)
J(w) = E[e (n)e(n)] alcanza el mnimo.
Definamos pT = [p(0), p(1), p(2), . . . ] = E[u(n)d (n)].
Ejercicio:
1. Escribir J(w) como funcin de w, R = E[u(n)u(n)H ], p y
d2 = E[|d(n)|2 ], y verificar que es cuadrtica y convexa en w.
2. Escribir el sistema de ecuaciones que debe verificar
wo = arg minw J(w), conocido como ecuaciones normales.

Las ecuaciones normales o de Wiener-Hopf (2)

Queremos ver bajo qu condiciones en w (o cual es el filtro tal que)
J(w) = E[e (n)e(n)] alcanza el mnimo.
Definamos pT = [p(0), p(1), p(2), . . . ] = E[u(n)d (n)].
Ejercicio:
1. Escribir J(w) como funcin de w, R = E[u(n)u(n)H ], p y
d2 = E[|d(n)|2 ], y verificar que es cuadrtica y convexa en w.
2. Escribir el sistema de ecuaciones que debe verificar
wo = arg minw J(w), conocido como ecuaciones normales.
J(w) =E[(d (n) uH (n)w)(d(n) wH u(n))]
=E[|d(n)|2 + wH E[u(n)u(n)H ]w wH E[u(n)d (n)] E[d(n)uH (n)]w
=wH Rw pH w wH p + d2 .
Es convexa ya que R es def. positiva, por lo que admite un nico mnimo local.

Las ecuaciones normales o de Wiener-Hopf (2)

Queremos ver bajo qu condiciones en w (o cual es el filtro tal que)
J(w) = E[e (n)e(n)] alcanza el mnimo.
Definamos pT = [p(0), p(1), p(2), . . . ] = E[u(n)d (n)].
Ejercicio:
1. Escribir J(w) como funcin de w, R = E[u(n)u(n)H ], p y
d2 = E[|d(n)|2 ], y verificar que es cuadrtica y convexa en w.
2. Escribir el sistema de ecuaciones que debe verificar
wo = arg minw J(w), conocido como ecuaciones normales.
J(w) =E[(d (n) uH (n)w)(d(n) wH u(n))]
=E[|d(n)|2 + wH E[u(n)u(n)H ]w wH E[u(n)d (n)] E[d(n)uH (n)]w
=wH Rw pH w wH p + d2 .
Es convexa ya que R es def. positiva, por lo que admite un nico mnimo local.

Sabemos que w = 2 w
(ver Haykin, Apndice B).
J
0 = 2 w
(wo ) = 2Rwo 0 2p 0 Rwo = p Ecuaciones normales

Principio de ortogonalidad
Breve parntesis: E[X H Y ] como producto interno

I X e Y vectores aleatorios t.q. E[X] = E[Y ] = 0, a C constante.

I < X, Y >:= E[X H Y ] define un producto interno:
I < X, X > 0, y < X, X >= 0 E[X] = 0.
I < X, Y >=< Y, X >
I < aX, Y >= a< X, Y > (linealidad de E[]).
I

< X, aY >= a < X, Y > (linealidad de E[]).

I < X, Y >= E[X H Y ] = 0 X, Y no correlacionados (o ortogonales para este p. i.).

Principio de ortogonalidad
Breve parntesis: E[X H Y ] como producto interno

I X e Y vectores aleatorios t.q. E[X] = E[Y ] = 0, a C constante.

I < X, Y >:= E[X H Y ] define un producto interno:
I < X, X > 0, y < X, X >= 0 E[X] = 0.
I < X, Y >=< Y, X >
I < aX, Y >= a< X, Y > (linealidad de E[]).
I

< X, aY >= a < X, Y > (linealidad de E[]).

I < X, Y >= E[X H Y ] = 0 X, Y no correlacionados (o ortogonales para este p. i.).

Rwo = p E[u(n)u(n)H ]wo = E[u(n)d (n)]

E[u(n)(d (n) u(n)H wo )] = E[u(n)eo (n)] = 0.
E[u(n k)eo (n)] = 0 k = 0, 1, 2, . . .
La CNS para que J alcance el mnimo es que el error e(n) = eo (n)
sea ortogonal a todas las muestras involucradas al tiempo n.





  

Principio de ortogonalidad (cont.)

Cuando el filtro opera en condicin ptima w = wo , la estimacin de la
respuesta deseada y el error de estimacin son ortogonales:
E[yo (n)e (n)] = E[woH u(n)eo (n)] = woH E[u(n)eo (n)] = 0.







Principio de ortogonalidad (cont.)

Cuando el filtro opera en condicin ptima w = wo , la estimacin de la
respuesta deseada y el error de estimacin son ortogonales:
E[yo (n)e (n)] = E[woH u(n)eo (n)] = woH E[u(n)eo (n)] = 0.








Error cuadrtico medio mnimo

eo (n) = d(n) yo (n), yo (n) = d(n),

Jmin = E[|eo (n)|2 ]
Por el principio de ortogonalidad, sabemos que eo (n) yo (n), de dnde
d(n) = eo (n) + yo (n) E[|d(n)|2 |] = E[|eo (n)|2 ] + E[|yo (n)|2 ]
| {z } | {z } | {z }
d2

Jmin = d2 d2 :=

Jmin
d2

Jmin

=1

d2
d2

2
d

. Tendremos 0 1.

Solucin de las ecs. normales para filtros transversales

u(n)

z1

w*0

u(n-1)

z1

w*1

...

u(n-M+2)

...

*
wM2

z1

u(n-M+1)

*
wM
1

...
e(n)

d(n|u
n)

Ahora estamos en dimensin finita:

d(n)

u(n)T = [u(n), u(n 1), . . . , u(n M + 1)]

Figure 2.4

wT = [w0 , w1 , . . . , wM 1
], woTfilter.= [wo,0 , wo,1 , . . . , wo,M 1 ]
Transversal
pT = [p(0), p(1), . . . , p(M + 1)]
1

R Hall,
p Inc. Necesitamos conocer:
o =
w
2002
Prentice
Simon Haykin
las correlaciones cruzadas entre u(n k)
Adaptive Filter Theory 4E

matriz de correlacin de u(n) y

y d(n), k = 0, 1, . . . , M 1.

Superficie de performance del error

J(w) = wH Rw pH w wH p + d2 .
Jmin = J(wo ) = pH RH RR1 p pH R1 p pH RH p + d2 .
= d2 pH R1 p
= d2 pH wo .
Se puede ver fcilmente que J(w) = Jmin + (w wo )H R(w wo )

Superficie de performance del error

J(w) = wH Rw pH w wH p + d2 .
Jmin = J(wo ) = pH RH RR1 p pH R1 p pH RH p + d2 .
= d2 pH R1 p
= d2 pH wo .
Se puede ver fcilmente que J(w) = Jmin + (w wo )H R(w wo )

Forma cannica de la superficie de error

Sabemos que R = QQH (R hermtica, teorema espectral). Luego,
J(w) = Jmin + (w wo )H QQH (w wo )
= Jmin + vH v, con v = QH (w wo ) la proyeccin de (w wo )
en los ejes principales de R ( de la superficie de error).
= Jmin +

M
1
X
k=0

k |vk |2 .

Superficie de performance del error: ejemplo de un filtro con

dos taps

14.47

Cost function J

11.61

8.75

5.88

3.02

0.16
4.00
3.20

4.00
2.40
w0

3.00
1.60
0.80

1.00
0.00

2.00
w1

0.00

Figure 2.7
Error-performance surface of the two-tap transversal filter described in the example of Section 2.7.

Figure 2.8

En la forma cannica, Jmin se alcanza en (w

plots
woof) the
=error-performance
(0, 0), y los
ejes
Contour
surface
depicted in Fig 2.7.
estn orientados segn los ejes principales de las elipses de las curvas de
nivel.
2002 Prentice Hall, Inc.

2002 Prentice Hall, Inc.

Simon Haykin
Adaptive Filter Theory 4E

Simon Haykin

Filtros de Wiener IIR

No sern abordados aqu por las razones expuestas en la introduccin: la
mayora de las seales no son WSS y a lo sumo se asumir que los
procesos son localmente WSS, lo que da lugar a los filtros adaptivos.
Pero en el caso de que los procesos sean WSS en su conjunto, pueden ser
de gran utilidad.
Se recomienda la siguiente lectura:
I

Filtro de Wiener IIR no causal (Hayes, 7.3.1). Ejemplo de

aplicacin: Deconvolucin (Hayes, 7.3.5).

Teorema de factorizacin espectral (Hayes, . 3.5)

Filtro de Wiener IIR causal (Hayes, 7.3.2 y 7.3.3)