IA353 Profs. Fernando J. Von Zuben & Romis R. F.

Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

Suavidade e Teoria de Regularizao

anlise multivarivel clssica: fornece ferramentas poderosas na obteno de associaes lineares entre as variveis. se todas as informaes relevantes puderem ser extradas com base nestas ferramentas clssicas, nenhum passo adicional se faz necessrio. nos casos em que associaes no-lineares arbitrrias esto presentes, a determinao do tipo de no-linearidade fundamental para a obteno do melhor modelo de aproximao a partir dos dados de entrada/sada. quando a forma da no-linearidade conhecida previamente e passvel de descrio matemtica, modelos paramtricos so normalmente empregados, simplificando o problema de aproximao, j que os parmetros podem ser determinados com base em tcnicas de regresso no-linear.

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

quando a forma da no-linearidade desconhecida, a utilizao de modelos paramtricos pode representar uma perda acentuada de flexibilidade de representao, principalmente nos casos em que as restries paramtricas impostas ao modelo de aproximao no correspondem forma da no-linearidade que deve ser aproximada. mesmo no caso de problemas de aproximao passveis de tratamento paramtrico, recomendada uma abordagem inicial utilizando modelos no-paramtricos para auxiliar na determinao do tipo de parametrizao que pode ser utilizada. STONE (1977) faz um estudo mais aprofundado desta e outras motivaes para o emprego de modelos no-paramtricos. dificuldade: o emprego de modelos no-paramtricos provoca uma significativa acentuao de uma caracterstica j presente em alguns problemas de aproximao que utilizam abordagens paramtricas: a maldio da dimensionalidade.

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

esta expresso foi empregada originalmente por BELLMAN (1961) e se refere basicamente existncia de uma relao direta entre a dimensionalidade dos dados e a quantidade de dados necessria para possibilitar o sucesso da tarefa de aproximao. a conseqncia prtica da maldio da dimensionalidade a necessidade de um aumento exponencial no nmero de dados para a manuteno do poder de aproximao com um aumento da dimenso do espao de aproximao. apesar de estar invariavelmente associada a uma reduo da capacidade de aproximao, a imposio de um conjunto de restries (inclusive, restries paramtricas) aos modelos no-paramtricos pode reduzir significativamente o efeito da maldio da dimensionalidade. concluso: os melhores modelos de aproximao so aqueles capazes de conciliar o nvel de dependncia da dimensionalidade com a flexibilidade do modelo de aproximao.

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

1. A suavidade da funo a ser aproximada

um problema bem-comportado quando sua soluo nica e depende continuamente dos dados disponveis. neste sentido, problemas de aproximao baseados em um nmero finito de pares de vetores de entrada-sada, gerados a partir do mapeamento definido pela funo a ser aproximada, so problemas mal-comportados, pois a informao contida nos dados de entrada-sada no suficiente para reconstruir unicamente o mapeamento em regies onde os dados no esto disponveis e, em princpio, no h como assegurar que a soluo tima dependa continuamente dos dados disponveis. portanto, algum tipo de restrio deve ser imposta funo a ser aproximada de forma a produzir um problema de aproximao bem-comportado. a suavidade de uma funo reflete o efeito da no-localidade, isto , o valor da funo em um ponto depende do valor da funo em uma regio que envolve este ponto.

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

quando o nvel de suavidade da funo a ser aproximada no conhecido a priori, geralmente espera-se obt-lo a partir dos dados amostrados. em face da impossibilidade de se estimar o grau de suavidade de uma funo a ser aproximada, a nica opo impor um grau apropriado de suavidade. no entanto, como j mencionado acima, restries de suavidade muito acentuadas, como supor que a funo a ser aproximada linear ou invariante sobre algum tipo de transformao, apesar de simplificarem decisivamente o problema de aproximao, podem acarretar uma reduo drstica na capacidade de aproximao quando aplicadas a mapeamentos que no atendem estas restries. o melhor modelo de aproximao pode finalmente ser caracterizado como aquele que apresenta restries de suavidade compatveis com o mapeamento a ser aproximado, de forma a atingir um nvel de aproximao adequado com base no menor nmero de componentes e operadores.

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

2. Teoria de regularizao
nesta seo, analisado como o tipo de suavidade imposta funo a ser aproximada vai determinar automaticamente o tipo de modelo de aproximao a ser utilizado. tcnicas que exploram restries de suavidade em problemas de aproximao com base em dados de entrada/sada so conhecidas como regularizao, tendo sido introduzidas por TIKHONOV (1963) para o tratamento de problemas de reconstruo de superfcies. definio: regularizao o procedimento de obteno de um problema de aproximao bem-comportado, a partir de um mal-comportado, pela incorporao de restries de suavidade junto ao modelo de aproximao. a regularizao conduz a problemas de aproximao bem-comportados por permitir a definio de um processo contnuo e automtico, mas no necessariamente nico, que produza a melhor aproximao com base nos dados de entrada/sada.

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

este processo converge para um problema de otimizao que deve minimizar uma funo-objetivo apresentando dois termos bsicos: um expressando o erro de aproximao e o outro o nvel de distanciamento da condio de suavidade. a existncia de regularidade na funo a ser aproximada impede que o comportamento da funo seja estritamente local, viabilizando o processo de generalizao. o problema geral de aproximao a definio de um modelo de aproximao g para uma funo g: X m r a partir de um conjunto de dados {( x l , s l ) X r }lN 1 = amostrados, na presena de rudo, com base no mapeamento definido pela funo em uma regio compacta do espao de aproximao. como este problema mal-condicionado, a escolha de uma soluo particular dentre as infinitas solues possveis est vinculada atribuio de um grau apropriado de suavidade funo g.

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

o problema geral de aproximao passa ento a ser um problema de aproximao regularizado, que deve encontrar o grau de suavidade utilizando tcnicas variacionais, definidas com base no conjunto de dados e no tipo de suavidade imposta. a suavidade pode ser medida numericamente por intermdio de um funcional ( g ) que assume valores tanto menores quanto mais suave for a funo g . um procedimento comumente utilizado medir o grau de suavidade com base no espectro de freqncia da funo g (GIROSI et al., 1995). deste modo, uma anlise da funo no domnio da freqncia permite afirmar que uma funo mais suave que outras quando apresenta menor quantidade de energia em altas freqncias. o contedo de alta freqncia de uma funo pode ser medido adotando-se dois procedimentos bsicos em seqncia:

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

1. realizar uma filtragem da funo por meio de um filtro passa-alta; 2. medir a quantidade de energia ainda presente na funo filtrada. sendo assim, a funo de regularizao pode ser dada na forma:

( g , f ) = X

2 G( z)

F ( z)

dz ,

(1)

onde G e F so as transformadas de Fourier de g e f, respectivamente. F uma funo

definida positiva (MICCHELLI, 1986) previamente especificada que se aproxima de 0 quando z , de tal forma que 1/F corresponda a um filtro passa-alta. A funo F suposta ser simtrica (funo par) e definida de forma a garantir a existncia de g tal que a integral na equao (1) exista. neste caso, para N finito, o problema de aproximao regularizado encontrar o modelo de aproximao g que minimize o seguinte funcional:

Tpico 11 Suavidade e Teoria de Regularizao

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

J (g) =

1 N

l =1

2 (s l g (x l ) ) + ( g ) ,

(2)

onde um coeficiente positivo denominado parmetro de regularizao. como discutido anteriormente, o primeiro termo representa uma medida de distncia entre g e g , enquanto o segundo termo representa o grau de suavidade da funo g . o compromisso entre suavidade do processo de aproximao e fidelidade aos dados pertencentes ao conjunto de aproximao , portanto, controlado pelo parmetro de regularizao . certamente vai existir um valor timo * para o parmetro de regularizao que conduza a um melhor desempenho em termos de generalizao (BATES et al., 1987; CRAVEN & WAHBA, 1979; WAHBA, 1990).

Tpico 11 Suavidade e Teoria de Regularizao

10

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp

Referncias
BATES, D.M., LINDSTROM, M.J., WAHBA, G., YANDELL, B.S. GCVPACK - Routines for Generalized Cross Validation. Communications in Statistics - Simulation and Computation, vol. 16, no. 1, pp. 263-297, 1987. BELLMAN, R.E. Adaptive Control Processes. Princeton University Press, 1961. CRAVEN, P., WAHBA, G. Smoothing Noisy Data with Spline Functions: Estimating the Correct Degree of Smoothing by the Method of Generalized Cross-Validation. Numerische Mathematik, vol. 31, Fasc. 4, pp. 377-403, 1979. GIROSI, F., JONES, M., POGGIO, T. Regularization Theory and Neural Networks Architectures. Neural Computation, vol. 7, no. 2, pp. 219-269, 1995. MICCHELLI, C.A. Interpolation of Scattered Data: Distance Matrices and Conditionally Positive Definite Functions. Constructive Approximation, vol. 2, no. 1, pp. 11-22, 1986. STONE, C.J. Consistent nonparametric regression (with Discussion). The Annals of Statistics, vol. 5, no. 4, pp. 595645, 1977. TIKHONOV, A.N. Solution of incorrectly formulated problems and the regularization method. Soviet Math. Dokl., vol. 4, pp. 1035-1038, 1963. WAHBA, G. Spline Models for Observational Data. Society for Industrial and Applied Mathematics, 1990.

Tpico 11 Suavidade e Teoria de Regularizao

11