Вы находитесь на странице: 1из 5

«Метод наименьших

квадратов»

Теория метода:
Будем изучать неизвестную нам функциональную зависимость y от x, в
результате некоторых экспериментов можно получить таблицу значений:
x x0 x1 ……………………. xn
y y0 y1 ……………………. yn

Наша задача состоит в том, чтобы найти приближенную зависимость y=


(x), значения которой при x=xi (i=0,1…,n) мало бы отличались от опытных
данных yi. Такая приближенная функциональная зависимость, построенная
на основе экспериментальных данных, называется эмпирической формулой.
Задача построения эмпирической формулы в общем отличается от задачи
интерполирования. В частности график эмпирической формулы не проходит
через заданные точки (xi,yi), как в случае интерполяции. Это приводит к тому
что экспериментальные данные в некоторой степени сглаживаются, а
интерполяционная формула повторила бы все ошибки, имеющиеся в
экспериментальных данных.
Построение эмпирической формулы включает в себя два этапа: подбор
общего вида формулы и определение наилучших численных значений
содержащихся в ней параметров. Если характер зависимости неизвестен, то
вид эмпирической формулы может быть произвольным. Однако
предпочтение обычно отдается наиболее простым формулам с наименьшим
числом параметров при условии их достаточной точности.
Перейдем к рассмотрению второго этапа построения эмпирической
зависимости. Будем считать, что тип эмпирической формулы выбран. Ее
можно записать в виде:
y= (x,a1,a2,…,am),
где - неизвестная функция, a1, a2 , …, am – неизвестные постоянные
параметры (m<n). Задача состоит в том, чтобы определить такие значения
этих параметров, при которых эмпирическая формула дает наилучшее
приближение к данной функции, значения которой в точках x1,x2,…,xn равны
соответственно y1,y2,…,yn.
Здесь не ставится условие, как в случае интерполяции, совпадения
значений эмпирической функции в точках xi (xi,a0,a1,…,am) с опытными
данными yi. Разность между этими значениями (отклонение)
обозначим через :
=| (xi,a0,a1,…,am) - yi | , (I=0,1,…,n).
Задача нахождения наилучших параметров a0,a1,…,am сводится таким
образом к некоторой минимизации отклонений . Существует несколько
способов решения этой задачи. Наиболее употребительным является наш,
метод наименьших квадратов: рассмотрим непрерывную функцию f(x), и
предполагаем что есть набор линейно независимых функций 1 ,…, m .
m
Будем строить линейные комбинации этих функций ∑c ϕ
k =1
k k которые будем

сопоставлять каждому элементу f принадлежащему пространству в котором


мы собираемся действовать. Считаем функции 1, … , m непрерывными (в
связи с тем что изначально мы задали f непрерывной).
Построим вектор F={f(xi)}, где i=1…n причем F={f(xi)}⊂Rn.Теперь
m
рассмотрим разность F- ∑c H
k =1
k k , где Нk-векторы с коэффициентами k (x i)

где i=1..n, то есть Hk⊂ Rn. Суть метода состоит в минимизации функции
m

I(f,C)=||F- ∑c H
k =1
k k ||2, где C=(c1, … ,cm).То есть минимум этого функционала

достигается на векторе C *={ck*}, который можно получить, решая систему


линейных алгебраических уравнений AC=-b, где b=-{(F,Hi)} i=1 ... m,
A={(Hi , Hj)} i,j=1 ... m. Матрица A строится следующим образом: A=QTQ
где QT=( H1, … , Hm)T, Q=( H1, … , Hm). Найдя решение уравнений C *,
~ m
~
f ( x) = ∑ c ϕk ( x) . А, в свою очередь f ( x)
*
построим функцию k
называется
k =1
аппроксимацией исходной функции f(x) по методу наименьших квадратов.

Подготовка к непосредственному построению полинома по


данному методу:
Предположим у нас есть система линейно независимых функций 1 =1,
2=x, x2, =x
 
3
, а также дана функция f (x)=x⋅e(-x)+E⋅Sin(18⋅x) для которой
будем строить эмпирическую формулу на промежутке [0,1], причём =0.1 .
Сама функция: f(x)=x⋅e(-x)
За узлы примем следующие точки x1=0, x2=0.1, x3=0.2, x4=0.3, x5=0.4, x6=0.5,
x7=0.6, x8=0.7, x9=0.8, x10=0.9, x11=1.

Посчитаем значение нашей функции в этих узлах: f(x1)=0, f(x2)=0.094,


f(x3)=0.170, f(x4)=0.232, f(x5)= 0.281, f(x6)= 0.319, f(x7)= 0.348, f(x8)= 0.369,
f(x9)= 0.384, f(x10)= 0.394, f(x11)=0.399.
Построение полинома по данному методу:
Посчитаем значения функций 1 (x), 2 (x), 3 (x), 4 (x):

Узлы Функция ϕ1(x) Функция ϕ2(x) Функция ϕ3(x) Функция ϕ(x)


4

x=0 1 0 0 0
x=0.1 1 0.1 0.01 0.001
x=0.2 1 0.2 0.04 0.008
x=0.3 1 0.3 0.09 0.027
x=0.4 1 0.4 0.16 0.064
x=0.5 1 0.5 0.25 0.125
x=0.6 1 0.6 0.36 0.216
x=0.7 1 0.7 0.49 0.343
x=0.8 1 0.8 0.64 0.512
x=0.9 1 0.9 0.81 0.729
x=1 1 1 1 1

Теперь создадим матрицы Q={ i(xj)} где i=1÷4; j=1÷11:

1 0 0 0
1 0.1 0.01 0.001
1 0.2 0.04 0.008
1 0.3 0.09 0.027
1 0.4 0.16 0.064
Q= 1 0.5 0.25 0.125
1 0.6 0.36 0.216
1 0.7 0.49 0.343
1 0.8 0.64 0.512
1 0.9 0.81 0.729
1 1 1 1

1 0.9
1 0.81
1 0.729
1
1 1 1 1 1 1 1 1 1 1 1
QT = 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0 0.01 0.04 0.09 0.16 0.25 0.36 0.49 0.64 0.81 1
0 0.001 0.008 0.027 0.064 0.125 0.216 0.343 0.512 0.729 1

Теперь можем построить матрицу A=QT⋅Q :

11 5.5 3.85 3.025


5.5 3.85 3.025 2.533
A= 3.85 3.025 2.533 2.208
3.025 2.533 2.208 1.978

Построим вектор b следующим образом:


b=-(f(x1),f(x2),f(x3),f(x4),f(x5),f(x6),f(x7),f(x8),f(x9),f(x10),f(x11))⋅Q:
-2.596
-1.913
b= -1.423

-1.150

Далее необходимо решить систему уравнений AC=-b, где


C=(c1,c2,c3,c4):

-0.095
1.806
C=
-0.504
1.156

То есть, получилось что c1=-0.095, c2=1.806, c3=-0.504, c4=1.156.


В итоге искомая эмпирическая функция
~
fε ( x) = K 0.095 C 1.806$x K 2.504$x 2 C 1.156$x 3
Таблица результатов:
~ ~
xi f ( xi ) f ε ( xi ) fε ( xi ) r ( xi ) = fε ( xi ) − fε ( xi )
0.05 0.048 0.05 −0.011 0.061
0.15 0.129 0.134 0.123 0.011
0.25 0.195 0.203 0.218 -0.015
0.35 0.247 0.258 0.280 -0.022
0.45 0.287 0.301 0.316 -0.015
0.55 0.317 0.334 0.333 -0.027
0.65 0.339 0.359 0.338 -0.02
0.75 0.354 0.377 0.339 -0.023
0.85 0.363 0.389 0.341 -0.026
0.95 0.367 0.396 0.352 -0.029

Построение совмещенных графиков: