Contents

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1 Introduction to Gaussian-Process Regression .
1.1.1 Preliminaries. . . . . . . . . . . . . . . . . .
1.1.2 Gaussian-Process Regression. . . . . . .
1.2 Relevance . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Outline of the Book . . . . . . . . . . . . . . . . . .
References . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

2 System Identication with GP Models. . . . . . . . . . . . . . . . . .

2.1 The Model Purpose . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Obtaining DataDesign of the Experiment, the Experiment
Itself and Data Processing. . . . . . . . . . . . . . . . . . . . . . . .
2.3 Model Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.1 Model Structure . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.2 Selection of Regressors . . . . . . . . . . . . . . . . . . . .
2.3.3 Covariance Functions. . . . . . . . . . . . . . . . . . . . . .
2.4 GP Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.1 Bayesian Model Inference . . . . . . . . . . . . . . . . . .
2.4.2 Marginal LikelihoodEvidence Maximisation . . . .
2.4.3 Estimation and Model Structure . . . . . . . . . . . . . .
2.4.4 Selection of Mean Function . . . . . . . . . . . . . . . . .
2.4.5 Asymptotic Properties of GP Models . . . . . . . . . . .
2.5 Computational Implementation . . . . . . . . . . . . . . . . . . . .
2.5.1 Direct Implementation . . . . . . . . . . . . . . . . . . . . .
2.5.2 Indirect Implementation . . . . . . . . . . . . . . . . . . . .
2.5.3 Evolving GP Models . . . . . . . . . . . . . . . . . . . . . .
2.6 Validation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7 Dynamic Model Simulation. . . . . . . . . . . . . . . . . . . . . . .
2.7.1 Numerical Approximation. . . . . . . . . . . . . . . . . . .
2.7.2 Analytical Approximation of Statistical Moments
with a Taylor Expansion . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

1
3
3
7
16
17
18

.....
.....

21
25

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

26
28
28
33
35
47
48
50
56
59
61
62
62
64
70
75
80
81

.....

81

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

xi

xii

Contents

2.7.3 Unscented Transformation . . . . . . . . . . . . . . .

2.7.4 Analytical Approximation with Exact Matching
of Statistical Moments . . . . . . . . . . . . . . . . . .
2.7.5 Propagation of Uncertainty . . . . . . . . . . . . . . .
2.7.6 When to Use Uncertainty Propagation? . . . . . .
2.8 An Example of GP Model Identication . . . . . . . . . . .
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

........

82

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

83
84
86
87
95

3 Incorporation of Prior Knowledge . . . . . . . . . . . . . . . . .

3.1 Different Prior Knowledge and Its Incorporation . . . . .
3.1.1 Changing InputOutput Data . . . . . . . . . . . . .
3.1.2 Changing the Covariance Function . . . . . . . . .
3.1.3 Combination with the Presumed Structure . . . .
3.2 Wiener and Hammerstein GP Models. . . . . . . . . . . . .
3.2.1 GP Modelling Used in the Wiener Model. . . . .
3.2.2 GP Modelling Used in the Hammerstein Model
3.3 Incorporation of Local Models . . . . . . . . . . . . . . . . .
3.3.1 Local Models Incorporated into a GP Model. . .
3.3.2 Fixed-Structure GP Model . . . . . . . . . . . . . . .
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

103
103
104
106
106
107
108
113
118
122
132
143

4 Control with GP Models . . . . . . . . . . . . . . .

4.1 Control with an Inverse Dynamics Model .
4.2 Optimal Control . . . . . . . . . . . . . . . . . .
4.3 Model Predictive Control . . . . . . . . . . . .
4.4 Adaptive Control . . . . . . . . . . . . . . . . . .
4.5 Gain Scheduling . . . . . . . . . . . . . . . . . .
4.6 Model Identication Adaptive Control . . .
4.7 Control Using Iterative Learning . . . . . . .
References . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

147
150
155
158
186
188
193
198
203

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

5 Trends, Challenges and Research Opportunities . . . . . . . . . . . . . . . 209

References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
6 Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.1 GasLiquid Separator Modelling and Control . . . . .
6.2 Faulty Measurements Detection and Reconstruction
in Urban Trafc. . . . . . . . . . . . . . . . . . . . . . . . . .
6.3 Prediction of Ozone Concentration in the Air . . . . .
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . 213
. . . . . . . . . . 214
. . . . . . . . . . 230
. . . . . . . . . . 241
. . . . . . . . . . 250

Appendix A: Mathematical Preliminaries . . . . . . . . . . . . . . . . . . . . . . . 253

Appendix B: Predictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
Appendix C: Matlab Code. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

http://www.springer.com/978-3-319-21020-9