Spis rzeczy

Metoda najmniejszych kwadratów

Niech $A$ będzie operatorem liniowym określonym na $D_{A}$, $D_{A}$ gęsty w $H$, $H$ - ośrodkowa przestrzeń Hilberta. Załóżmy, że dany jest układ funkcji $\left( \varphi_{k}\right)$ w $H$ taki, że $\varphi_{k}\inD_{A}$ dla $k=1,2,\ldots$ oraz $\left(A\varphi_{k}\right)$ stanowi bazę w $H$ (układ taki nazywamy $A-$bazą w $H$)

Metoda najmniejszych kwadratów polega na poszukiwaniu ciągu

$$u_{n}=%%{\displaystyle\sum\limits_{k=1}^{n}}a_{k}\varphi_{k}%%$$ przybliżeń rozwiązania uogólnionego $u_{0}$ równania$Au=f$. Stałe $a_{k}$ wyznacza się za pomocą warunku

$$\Vert Au_{n}-f\Vert^{2}=\underset{v_{n}}{\min}\Vert Av_{n}-f\Vert^{2}%%$$ (14.20)

gdzie minimum rozpatruje się po wszytkich funkcjach postaci $v_{n}=%%{\displaystyle\sum\limits_{k=1}^{n}}b_{k}\varphi_{k}$.
Obliczając $\Vert Av_{n}-f\Vert^{2}$ otrzymujemy

$$\Vert Av_{n}-f\Vert^{2} =\left( Av_{n}-f,Av_{n}-f\right) =\left( {\displaystyle\sum\limit......ent_mark>2921 {\displaystyle\sum\limits_{k=1}^{n}} b_{k}A\varphi_{k}-f\right) =$$

$$=<tex2html_comment_mark>2925 {\displaystyle\sum\limits_{i,j=1}^{n......\displaystyle\sum\limits_{k=1}^{n}} b_{k}A\varphi_{k}\right) +\left( f,f\right)$$

Wyrażenie to osiąga minimum gdy $\frac{\partial}{\partial b_{i}}\VertAv_{n}-f\Vert^{2}=0$ dla $i=1,2,\ldots,n$ co można zapisać w postaci układu równań

$$\left\{ \begin{array}[c]{ccccc}<tex2html_comment_mark>2934 \left(......varphi _{n}\right) b_{n} & =\left( f,A\varphi_{n}\right) \end{array} \right.%%$$ (14.21)

Z założenia wynika, że wyznacznik układu (14.21) jest różny od zera, zatem współczynniki $b_{i}$ są jednoznacznie wyznaczone.

T w i e r d z e n i e

Niech $A$ będzie operatorem liniowym dodatnio określonym na $D_{A}$,$D_{A}$ gęsty w $H$, $f\in H$, $H$ - ośrodkowa przestrzeń Hilberta. Niech $\left( \varphi_{k}\right)$ będzie $A-$bazą w $H$ (tzn. $\left(A\varphi_{k}\right)$ jest bazą w $H$) oraz $\varphi_{k}\inD_{A}$ dla $k=1,2,\ldots$. Wówczas ciąg $u_{n}$ postaci

$$u_{n}=%%{\displaystyle\sum\limits_{k=1}^{n}}b_{k}\varphi_{k}%%$$ gdzie stałe $b_{1},b_{2},\ldots,b_{n}$ są wyznaczone z układu równań (14.21) jest zbieżny w $H_{A}$ (a więc i w $H$) do rozwiązania uogólnionego $u_{0}$ równania $Au=f$ oraz$\lim\limits_{n\rightarrow\infty}Au_{n}=f$ w $H$.
 

U w a g a  1 (porównanie z metodą Ritza)

Niech $\left( v_{n}\right)$ oznacza ciąg Ritza, zaś $\left(u_{n}\right)$ ciąg otrzymany metodą najmniejszych kwadratów. Wówczas, ponieważ $F\left( u\right) =\Vert u-u_{0}\Vert_{A}%%^{2}-\Vert u_{0}\Vert_{A}^{2}$, więc z konstrukcji ciągu Ritza wynika, że

$$\Vert v_{n}-u_{0}\Vert_{A}\leq\Vert u_{n}-u_{0}\Vert_{A}$$ (14.22)

co oznacza, że ciąg Ritza jest ,,szybciej'' zbieżny. Z drugiej strony metoda najmniejszych kwadratów pozwala prosto oszacować popełniony błąd, bowiem na mocy nierówności (14.9) prawdziwe jest oszacowanie $\Vert u_{n}-u_{0}\Vert_{A}\leq\frac{1}{C}\Vert Au_{n}%%-f\Vert$.

U w a g a  2

W przypadku, gdy wiadomo, że $u_{0}\in D_{A}$ można rozważyć funkcjonał

$$\hat{F}\left( u\right) =F\left( u\right) +\Vert Au-f\Vert^{2}%%$$ i zastosować do niego metodę Ritza. Wówczas ciąg minimalizujący $\hat{F}$ spełnia dodatkowo warunek $\lim\limits_{n\rightarrow\infty}Au_{n}=f$ w $H$. Metoda ta nosi nazwę metody Couranta.

U w a g a  3

Do formalnego zastosowania metody najmniejszych kwadratów nie jest konieczne, żeby operator $A$ był dodatnio określony. Problem jednoznaczności wyznaczenia współczynników $b_{k}$ i zbieżności ciągu $\left(u_{n}\right)$ ma odpowiedź pozytywną przy następujących założeniach:

1. $A$ - liniowy, $\overline{D}_{A}=H$;
2. $\left(A\varphi_{k}\right)$ jest bazą w $H$;
3. Równanie $Au=f$ ma rozwiązanie $u_{0}\in D_{A}$;
4. Istnieje stała $K>0$ taka, że dla każdego $u\in D_{A}$ zachodzi nierówność $\Vert Au\Vert\geq K\Vert u\Vert$.