Mtodos Iterativos para Resolver Sistemas Lineales e

Departamento de Matemticas, CCIR/ITESM a 17 de julio de 2009

Indice
3.1. Introduccin . . . . . . . . . . . . . . . o 3.2. Objetivos . . . . . . . . . . . . . . . . 3.3. Generalidades . . . . . . . . . . . . . . 3.4. Mtodo Iterativo: Un ejemplo . . . . . e 3.5. Ventajas y Desventajas . . . . . . . . . 3.6. Mtodo Iterativo General . . . . . . . e 3.7. Metodo de Jacobi: Idea . . . . . . . . 3.8. Convergencia y convergencia en Jacobi 3.9. Matriz Diagonalmente Dominante . . 3.10. Orden conveniente para Jacobi . . . . 3.11. El Mtodo de Gauss-Seidel: Idea . . . e 3.12. Mtodo de Gauss-Seidel: Ejemplos . . e 3.13. Costo computacional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 2 2 3 3 5 5 5 6 6 7

3.1.

Introduccin o

En esta lectura veremos procedimientos iterativos para resolver un sistema de ecuaciones lineales. El primero de ellos conocido como el procedimiento de Jacobi basado en la idea de punto jo y un segundo procedimiento conocido como mtodo de Gauss-Seidel el cual es una modicacin simple del procedimiento de Jacobi. e o Introduciremos el concepto de matriz diagonalmente dominante el cual se relaciona con la garant de convera gencia en la aplicacin de los mtodos vistos. Veremos que en algunos casos es posible replantear el sistema o e para garantizar la convergencia. Asimismo se comentar en qu situaciones los mtodos iterativos son ms a e e a convenientes a los mtodos directos. e

3.2.

Objetivos

Ser importante que usted a Entienda los conceptos: mtodo iterativo, e ecuacin de recurrencia, o convergencia, matriz diagonalmente dominante En trminos cualitativos e Entienda la diferencia entre un mtodo directo y uno iterativo. e

 Entienda la conveniencia de usar un mtodo iterativo y uno directo. e Entienda y mecanice los procedimientos de Mtodo de Jacobi, y e Mtodo de Gauss-Seidel. e

3.3.

Generalidades

Un mtodo iterativo es un mtodo que progresivamente va calculando aproximaciones a la solucin e e o de un problema. En Matemticas, en un mtodo iterativo se repite un mismo proceso de mejora sobre una a e solucin aproximada: se espera que lo obtenido sea una solucin ms aproximada que la inicial. El proceso se o o a repite sobre esta nueva solucin hasta que el resultado ms reciente satisfaga ciertos requisitos. A diferencia de o a los mtodos directos, en los cuales se debe terminar el proceso para tener la respuesta, en los mtodos iterativos e e se puede suspender el proceso al termino de una iteracin y se obtiene una aproximacin a la solucin. o o o

3.4.

Mtodo Iterativo: Un ejemplo e

Considere el problema de encontrar una ra a una ecuacin cuadrtica, por ejemplo: z o a f (x) = x2 x 2 = 0 Un mtodo directo para resolverlo es aplicar la frmula general e o x= (1) (1)2 4(1)(2) 2(1) = 1, 2

Un mtodo iterativo es el mtodo de Newton que consiste en usar la frmula de mejora: e e o xi+1 = xi f (xi ) xi 2 xi 2 = xi f (xi ) 2 xi 1

Si tomamos como primera aproximacin x0 = 3 (para i = 0), tendremos o x1 = x0 x0 2 x0 2 32 3 2 =3 2.2 2 x0 1 231

Si ahora tomamos como aproximacin x1 = 2.2 y aplicamos de nuevo la frmula tendremos: o o x2 = x1 2.22 2.2 2 x1 2 x1 2 = 2.2 2.011 2 x1 1 2 2.2 1

Si ahora tomamos como aproximacin x2 = 2.011 y aplicamos de nuevo la frmula tendremos: o o x3 = x2 Etceter. a 2.0112 2.011 2 x2 2 x2 2 = 2.011 2.00004 2 x2 1 2 2.011 1

3.5.

Ventajas y Desventajas

Un elemento en contra que tienen los mtodos iterativos sobre los mtodos directos es que calculan aproe e ximaciones a la solucin. Los mtodos iterativos se usan cuando no se conoce un mtodo para obtener la o e e solucin en forma exacta. Tambin se utilizan cuando el mtodo para determinar la solucin exacta requiere o e e o mucho tiempo de clculo, cuando una respuesta aproximada es adecuada, y cuando el nmero de iteraciones a u es relativamente reducido. 2

3.6.

Mtodo Iterativo General e

Un mtodo iterativo consta de los siguientes pasos. e 1. inicia con una solucin aproximada (Semilla), o 2. ejecuta una serie de clculos para obtener o construir una mejor aproximacin partiendo de la aproxia o o macin semilla. La frmula que permite construir la aproximacin usando otra se conoce como ecuacin o o o de recurrencia. 3. se repite el paso anterior pero usando como semilla la aproximacin obtenida. o

3.7.

Metodo de Jacobi: Idea

El mtodo Jacobi es el mtodo iterativo para resolver sistemas de ecuaciones lineales ms simple y se aplica e e a slo a sistemas cuadrados, es decir a sistemas con tantas incgnitas como ecuaciones. o o 1. Primero se determina la ecuacin de recurrencia. Para ello se ordenan las ecuaciones y las incgnitas. De o o la ecuacin i se despeja la incgnita i. En notacin matricial se escribirse como: o o o x = c + Bx donde x es el vector de incgnitas. o 2. Se toma una aproximacin para las soluciones y a sta se le designa por xo o e 3. Se itera en el ciclo que cambia la aproximacin o xi+1 = c + Bxi (2) (1)

Ejemplo 3.1 Partiendo de (x = 1, y = 2) aplique dos iteraciones del mtodo de Jacobi para resolver el sistema: e 5x + 2y = 1 x 4y = 0 Solucin o Debemos primeramente despejar de la ecuacin la incgnita correspondiente. o o x = 0.20 + 0.00 x 0.40 y y = 0.00 + 0.25 x + 0.00 y Escrito en la notacin vectorial quedar o a: x y = 0.20 0.00 + 0.00 0.40 0.25 0.00 x y (3)

Aplicamos la primera iteracin partiendo de x0 = 1.00 y y0 = 2.00: o x1 = 0.20 + 0.00 (1.00) 0.40 (2.00) = 0.60 y1 = 0.00 + 0.25 (1.00) + 0.00 (2.00) = 0.25

Aplicamos la segunda iteracin partiendo de x1 = 0.60 y y1 = 0.25: o x2 = 0.20 + 0.00 (0.60) 0.40 (0.25) = 0.10 y2 = 0.00 + 0.25 (0.60) + 0.00 (0.25) = 0.15 Aplicamos la siguiente iteracin partiendo de x2 = 0.10 y y1 = 0.15: o x3 = 0.20 + 0.00 (0.10) 0.40 (0.15) = 0.26 y3 = 0.00 + 0.25 (0.10) + 0.00 (0.15) = 0.025 Aplicamos la siguiente iteracin partiendo de x3 = 0.26 y y3 = 0.025: o x4 = 0.20 + 0.00 (0.26) 0.40 (0.025) = 0.190 y4 = 0.00 + 0.25 (0.26) + 0.00 (0.025) = 0.065 Aplicamos la siguiente iteracin partiendo de x4 = 0.190 y y4 = 0.065: o x5 = 0.20 + 0.00 (0.19) 0.40 (0.065) = 0.174 y5 = 0.00 + 0.25 (0.19) + 0.00 (0.065) = 0.0475 Aplicamos la siguiente iteracin partiendo de x5 = 0.174 y y5 = 0.0475: o x6 = 0.20 + 0.00 (0.174) 0.40 (0.0475) = 0.181 y6 = 0.00 + 0.25 (0.174) + 0.00 (0.0475) = 0.0435 Si uno dispone de una hoja de clculo como EXCEL es fcil realizar los clculos anteriores: a a a

i 0 1 2 3 4 5 6 donde

xi 1.000 -0.600 0.100 0.260 0.190 0.174 0.181

yi 2.000 0.250 -0.150 0.025 0.065 0.047 0.043

xi+1 -0.600 0.100 0.260 0.190 0.174 0.181 0.182

yi+1 0.250 -0.150 0.025 0.065 0.047 0.043 0.045

Di 1.750 0.700 0.175 0.070 0.017 0.007 0.001

Di = mx (|xi xi+1 |, |yi yi+1 |) a Este Di es utilizado como criterio de paro en las iteraciones: Cuando Di es menos que cierto valor dado (digamos 0.001) uno ya no realiza la siguiente iteracin. Si se graca las aproximaciones obtenidas en el plano o x y se obtendr algo como: a

3.8.

Convergencia y convergencia en Jacobi

Uno de los principales problemas de los mtodos iterativos es la garant de que el mtodo va a converger, e a e es decir, va a producir una sucesin de aproximaciones cada vez efectivamente ms prximas a la solucin. En o a o o el caso del mtodo de Jacobi no existe una condicin exacta para la convergencia. Lo mejor es una condicin e o o que garantiza la convergencia, pero en caso de no cumplirse puede o no haberla es la siguiente: Si la matriz de coecientes original del sistema de ecuaciones es diagonalmente dominante, el mtodo de Jacobi seguro converge. e

3.9.

Matriz Diagonalmente Dominante

Una matriz se dice matriz diagonalmente dominante, si en cada uno de los renglones, el valor absoluto del elemento de la diagonal principal es mayor que la suma de los valores abslutos de los elementos restantes del mismo rengln. A veces la matriz de un sistema de ecuaciones no es diagonalmente dominante pero cuando o se cambian el orden de las ecuaciones y las incgnitas el nuevo sistema puede tener matriz de coecientes o diagonalmente dominante. Ejemplo 3.2 Son matrices diagonalmente dominantes: 4 1 1 6 1 2 4 1 0 , 2 8 3 , 1 3 3 8 3 2 9 3 2 9 Ejemplo 3.3 No son matrices diagonalmente dominantes: 4 1 3 4 1 1 4 4 8 1 , 2 8 7 , 2 3 8 3 10 2 3 10 20

3.10.

Orden conveniente para Jacobi

En ciertas ocasiones al aplicar Jacobi la matriz no es diagonalmente dominante y por tanto no existir gaa rant de convergencia. Sin embargo, en algunos casos ser posible reordenar las incgnitas en otra manera a a o de forma que la nueva matriz de coecientes sea diagonalmente dominante. Esto se puede detectar revisando todos los posibles ordenamientos de las incgnitas y ver cmo es la matriz resultante. Claro que esto conlleva o o un bueno nmero de pruebas pues el nmero posible de ordenamientos en n variables es (n 1)! pero cuando u u n es reducido es sencillo. Veamos algunos ejemplos. Ejemplo 3.4 Indique cul es el orden conveniente para aplicar Jacobi al sistema: a 3 x + 12 y z = 2 3 12 1 11 x 4 y + 3 z = 3 11 4 3 3 x 2 y 12 z = 2 3 2 12 Solucin o Con el orden y x z el sistema y su matriz de coecientes quedan: 12 y + 3 x z = 2 12 3 1 4 y + 11 x + 3 z = 3 4 11 3 2 y 3 x 12 z = 2 2 3 12 la matriz de coecientes es diagonalmente dominante 5

3.11.

El Mtodo de Gauss-Seidel: Idea e

El mtodo de Gauss-Seidel es muy semejante al mtodo de Jacobi. Mientras que en el de Jacobi se utiliza e e el valor de las incgnitas para determinar una nueva aproximacin, en el de Gauss-Seidel se va utilizando los o o valores de las incgnitas recien calculados en la misma iteracin, y no en la siguiente. o o Por ejemplo, en el mtodo de Jacobi se obtiene en el primer clculo xi+1 , pero este valor de x no se utiliza sino hasta la siguiente e a iteracin. En el mtodo de Gauss-Seidel en lugar de eso se utiliza de xi+1 en lugar de xi en forma inmediata o e para calcular el valor de yi+1 de igual manera procede con las siguientes variables; siempre se utilizan las variables recien calculadas.

3.12.

Mtodo de Gauss-Seidel: Ejemplos e

Ejemplo 3.5 Partiendo de (x = 1, y = 2) aplique dos iteraciones del mtodo de Gauss-Seidel para resolver el sistema: e 5x + 2y = 1 x 4y = 0 Solucin o Debemos primeramente despejar de la ecuacin la incgnita correspondiente. o o x = 0.20 + 0.00 x 0.40 y y = 0.00 + 0.25 x + 0.00 y Aplicamos la primera iteracin partiendo de x0 = 1.00 y y0 = 2.00: o x1 = 0.20 + 0.00 (+1.000) 0.40 (2.00) = 0.600 y1 = 0.00 + 0.25 (0.600) + 0.00 (2.00) = 0.15 Aplicamos la segunda iteracin partiendo de x1 = 0.600 y y1 = 0.15: o x2 = 0.20 + 0.00 (0.600) 0.40 (0.15) = 0.26 y2 = 0.00 + 0.25 (0.26) + 0.00 (0.15) = 0.065 Aplicamos la tercera iteracin partiendo de x2 = 0.26 y y2 = 0.065: o x2 = 0.20 + 0.00 (0.26) 0.40 (0.065) = 0.174 y2 = 0.00 + 0.25 (0.174) + 0.00 (0.174) = 0.0435 Ejemplo 3.6 Partiendo de (x = 1, y = 2, z = 0) aplique dos iteraciones del mtodo de Gauss-Seidel para resolver el sistema: e 10 x + 0 y z = 1 4 x + 12 y 4 z = 8 4 x + 4 y + 10 z = 4 Solucin o Debemos primeramente despejar de la ecuacin la incgnita correspondiente. o o x = 0.10 + 0.00 x + 0.00 y + 0.10 z y = 0.66 0.33 x + 0.00 y + 0.33 z z = 0.40 0.40 x 0.40 y + 0.00 z 6

Aplicamos la primera iteracin partiendo de x0 = 1.00, y0 = 2.00, y z = 0.00: o x1 = 0.10 + 0.00(1.00) + 0.00 (2.00) + 0.10 (0.00) = 0.1 y1 = 0.66 0.33(0.10) + 0.00 (2.00) + 0.33 (0.00) = 0.70 z1 = 0.40 0.40(0.10) 0.40 (0.70) + 0.00 (0.00) = 0.16 Aplicamos la segunda iteracin partiendo de x1 = 0.10 y y1 = 0.70 y z1 = 0.16: o x1 = 0.10 + 0.00(0.10) + 0.00 (0.70) + 0.10 (0.16) = 0.084 y1 = 0.66 0.33(0.084) + 0.00 (0.70) + 0.33 (0.16) = 0.748 z1 = 0.40 0.40(0.084) 0.40 (0.748) + 0.00 (0.16) = 0.134 Aplicamos la tercera iteracin partiendo de x1 = 0.084 y y1 = 0.748 y z1 = 0.134: o x1 = 0.10 + 0.00(0.084) + 0.00 (0.748) + 0.10 (0.134) = 0.086 y1 = 0.66 0.33(0.086) + 0.00 (0.748) + 0.33 (0.134) = 0.740 z1 = 0.40 0.40(0.086) 0.40 (0.740) + 0.00 (0.134) = 0.138

3.13.

Costo computacional

Es dif estimar el costo computacional de un mtodo iterativo, pues de antemano se desconoce cuntas cil e a iteraciones requerira para obtener una respuestas que satisfaga al usuario. Generalmente se procede a calcular el costo computacional por iteracin. En el caso del mtodo de Jacobi la relacin de recurrencia utilizada o e o es: xi+1 = c + B xi No es dif estimar el costo computacional que involucra: el producto de la matriz B, n n por el vector xi cil toma n (2n 1) FLOPs, y la suma de dos vectores en n toma n FLOPs lo cual da un total de 2 n2 FLOPs en cada iteracin del mtodo de Jacobi. o e Utilizando esta informacin podemos concluir que si el algoritmo toma m iteraciones entonces el total de o FLOPs ser de: a 2 m n2 Por ello es que el mtodo de Jacobi se preere en problemas donde n es grande, cuando se puede garantizar e la convergencia y cuando el nmero de iteraciones esperado es bajo. u