H . M .

Antia

Numerical Methods for

Scientists and Engineers
Second edition

Birkhauser Verlag
Basel - Boston - Berlin
 CONTENTS

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
List of Computer Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvi

1 Introduction 1
1.1 trrors in Numerical Computation . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . 2
1.2 Truncation Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1 .3 Programming ................. . .... ........ . ..... . ... ...... ..... ... .. 7
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2 Roundoff Error 17
2.1 Number Representation ........ ...... ....... . ..... ... ..... ....... ... 17
2.2 Roundoff Error . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .. . . 25
2 .3 Error Analysis . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . 35
2.4 Condition and Stability . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . .. . 45
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Exercises . . . . . . . . . . . . . . . . . .. . . .. . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . 54

3 Linear Algebraic Equations 63

3.1 introduction . . . . . . . . . .. . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. ...... . 64
3.2 Gaussian Elimination . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . 67
3.3 Direct Triangular Decomposition . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.4 Error Analysis . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . .. .. . 81
3.5 Matrix Inversion . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . . 90
3.6 Singular Value Decomposition . . . . . . . .. . . . .. . . . . . . . . . . . . . . . . , . . . . . . . . 91
3.7 Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 100
Bibliography . ,. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Exercises . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .. . . 105

4 Interpolation 114
4.1 Polynomial Interpolation . . . . . . . . . . . . . . . . . . . . , . . . . . . . . . . . . . . . . . . . . 115
4.2 Divided Difference Interpolation Formula . . . . . . . . . . , . . . . . . . . . , . . . . . . 120
vi Contents

4.3 Hermite Interpolation . ..... .. ........... ... . ..... .. ...... . . . .. . . . .. 130

4.4 Cubic Spline Interpolation ...... . ... .... ....... .... ... . . . ...... . . .. 132
4.5 B-splines . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
4.6 Rational Function Interpolation ....... .. ... ...... . . ...... . . . ... . . .. 142
4.7 Interpolation in Two or More Dimensions ..... . ... . . . ..... . . .... .. . 148
4 .8 Spline Interpolation in Two or More Dimensions ... ... . . . ...... . . .. 150
Bibliography . .. ......... ....... ...... . . ..... .... . . . ... .... . ... . . ... 153
Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

5 Differentiation 160
5.1. Differentiation of Interpolating Polynomials . . . . . . . . . . . . . . . . . . . . . . . . 160
5.2 Method of Undetermined Coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
5 .3 Extrapolation Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

6 Integration 175
6.1 Newton-Cotes Quadrature Formulas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
6.2 Extrapolation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
6.3 Gaussian Quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
6.4 Roundoff Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.98
6 .5 Weight Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.6 Improper Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
6.7 Integration over Infinite Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
6.8 Automatic Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
6.9 Summation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 235
6.10 Multiple Integrals . .. . ...... . ... . ... ............. .. .: . . . . . . . . . 242
6.11 Rules Exact for Monomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
6 .12 Monte Carlo Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
6.13 Equidistributed Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

7 Nonlinear Algebraic Equations 277

7.1 Real Roots . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
7.2 Fixed-Point Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
7.3 Method of False Position . . . . . . . . . . . . . . . . . . . . . .'. . .. . . . . . . . . . . . . . . . . . 284
7.4 Secant Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .'. . . . . . . . . . . . 289
7 .5 Newton-Raphson Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
7.6 - Brent's Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
7.7 Complex Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
7 .8 Muller's Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
7 .9 Quadrature Based Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
 Contents vii

7.10 Real Roots of Polynomials . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 313

7.11 Laguerre's Method . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
7.12 Roundoff Error ...... ....... . ... .... ..... ..... . ... ..... ........... . 320
7.13 Criterion for Acceptance of a Root .. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 323
7 .14 Ill-conditioning . . . . .. . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
7.7.5 System of Nonlinear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
7.16 Newton's Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 335
7.7.7 Broyden's Method . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Bibliography . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 342
Exercises . . . . . . . . . . .. . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 343

8 Optimisation 354
8.1 Golden Section Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
8.2 Brent's Method . . . . . . . . . . . . . . . . . . . . . . .,. . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
8.3 Methods Using Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
8.4 Minimisation in Several Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
8.5 Quasi-Newton Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
8.6 Direction Set Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
8.7 Linear Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
8.8 Simulated Annealing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404

9 Functional Approximations 499

9.1 Choice of Norm and Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
9.2 Linear Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . 415
9.3 Nonlinear Least Squares .. ..... ..... ........ . . ...... ..... .... ... ... 431
9.4 Least Squares Approximation. in Two Dimensions ... .... .......... . 436
9.5 Discrete Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . ... .... ........... 438
9.6 Fast Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 443
9.7 FFT in Two or More Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
9 .8 Inversion of Laplace Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 454
9.9 Pad6 Approximations . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . .. . . . . . . . . . . . 457
9.10 Chebyshev Expansions . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 463
9 .11 Minimax Approximations . . . . . .. . .. . . . . . . . . . . . . . .. . . .. . . . . . . .. . . . 472
9.12 Discrete Minimax Approximations . . . . . .. . . . . . . . . .. . .. . . . . . . . . . . . . . 481
9.13 L, -approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 486
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 488
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 490

].0 Algebraic Eigenvalue Problem 502

10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . .. . . .. . . . .. . . 503
10.2 Power Method . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .. . .. . . . . . . . . . . . . . . . 507
viii Contents

10 .3 Inverse Iteration . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513

10.4 Eigenvalues of a Real Symmetric Matrix . ..... ..... ..... . . ...... . . . 520
10.5 The QL Algorithm ..... ... . . ... . . .... . . .. ..... ...... . . ..... . . ... . .. 527
10.6 Reduction of a Matrix to Hessenberg Form . .... .... . . . ...... . . ..... 531
10.7 Lanczos Method . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535
10.8 QR Algorithm for a Real Hessenberg Matrix .... . ....... . . ... .. .... 537
10.9 Roundoff Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 543
Bibliography ...... ..... ... . . ... . . .... .. ....... ...... .. ..... . . ... . .. 545
Exercises . . . . . . . . . . . . . . . .. . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545

11 Ordinary Differential Equations 552

11 .1 Initial Value Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
11.2 Stability o Numerical Integration Methods . . . . . . . . . . . . . . . . . . . . . . . . . 557
11.3 Predictor-Corrector Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 565
11.4 Runge-Kutta Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579
11 .5 Extrapolation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ., . . . . 587
.
11 .6 Stiff Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589
11 .7 Boundaxy Value Problem . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 598
11.8 Finite Difference Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605
11.9 Eigenvalue Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
11.10 Expansion Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . : . . . . . . . . . . . . . . . . . . 620
11 .11 Some Special Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 628

12 Integral Equations 638

12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639
12.2 Fredholm Equations of the Second Kind . . . . . . . . . . . . . . . . . . . . . . . . . . . . 642
12.3 Expansion Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 649
12.4 Eigenvalue Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653
12.5 Fredholm Equations of the First Kind . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
12.6 Inverse Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661
12.7 Volterra Equations of the Second Kind . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
12.8 Volterra Equations of the First Kind . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . 672
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 676

13 Partial Differential Equations 682

13.1 Introduction .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683
13.2 Diffusion Equation .in Two Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687
13 .3 General Parabolic Equation in Two Dimensions . . . . . . . . . . . . . . . . . . . . 697
13.4 Parabolic Equations in Several Space Variables . . . . . . . . . . . . . . . . . . . . . 704
13 .5 Wave Equation in Two Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
 Contents ix

13.6 'General Hyperbolic Equations ..... .... ........ . .... ...... ... .... ... 714
13.7 Elliptic Equations . . . . . ., . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720
13.8 Successive Over-Relaxation Method . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 727
13.9 Alternating Direction Method ... ........ . ....... .... ... . ...... .... . 731
1.3 .10 Fourier Transform Method . .......... . .... .. . . . ....... ... ..... ..... 734
13.11 Finite Element Methods . ... . ....... ....... . . . .... ........ ..... ... . 736
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . 743

Appendix A: Answers and Hints 751

A.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751
A.2 Roundoff Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . .'. . . . . . . . . . . . . . . . . . . . . . . 752
A.3 Linear Algebraic Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758
A.4 Interpolation . ....... . ...... . ..... . .... .... . ., . . . . . . . . . . 763
... . .. . ... ..
A.5 Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767
A.6 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769
A.7 Nonlinear Algebraic Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
A.8 Optimisation . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . , . . . . . . . . . . . 782
A.9 Functional Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784
A.10 Algebraic Eigenvalue Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 792
A.11 Ordinary Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796
A.12 Integral Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800
A.13 Partial Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 805