Numerička matematika - 15. predavanje

1. Metoda najmanjih kvadrata

U ovom predavanju bavimo se metodom najmanjih kvadrata. Posebno razmatramo linearnu i kvadratnu regresiju.

from IPython.lib.display import YouTubeVideo
vid = YouTubeVideo("eIUpemWup9U")
display(vid)

Sada istražite koju funkciju iz Pythonovih biblioteka koristimo za lineranu i kvadratnu regresiju za dani skup podataka. Ovdje će do sljedećeg predavanja biti ubačen kod za linearnu i kvardratnu regresiju koji koristi već ugrađene funkcije. Iskoristite 15 minuta da pronađete kako biste u sklopu ove Jupyter bilježnice riješili primjere za linearnu i kvadratnu regresiju koje smo imali na video predavanju.

Dodatak (4.12.2020.) Napomena! Za aproksimaciju polinomima u smislu najmanjih kvadrata koristimo fukciju numpy.polyfit ovaj link. Nadalje, možete pogledati u datotekama našega tima na MS Teamsu Jupyter bilježnicu usporedba_regresija.ipynb (Jupyter bilježnicu je izradio student Miho Hren)

2.1. Preodređeni sustavi, normalne jednadžbe i uvod u QR faktorizaciju matrice

U ovom dijelu predavanja bavimo se preodređenim sustavima, te ih rješavamo u smislu metode najmanjih kvadrata.

from IPython.lib.display import YouTubeVideo
vid = YouTubeVideo("Qq5qWRku3MU ") 
display(vid)

Sada samostalno riješite sljedeći zadatak! Više zadataka bit će obrađeno na vježbama u petak.

Zadatak Za funkciju $y=f(x)$ zadanu tablicom $$\begin{array}{c|c|c|c|c|c|c|} x_i& 0& 1& 2& 4& 7& 9\\ \hline 0& 4& 3& a& 30& b\end{array}$$ pravac koji aproksimira navedene podatke u smislu najmanjih kvadrata ima jednadžbu $y=3x+4$. Izračunajte vrijednosti $a$ i $b$.

Rješenje Imamo da je $f(x)=c_1x+c_0$ gdje je $c_1=3$ i $c_0=4.$

Formirajmo sustav normalnih jednadžbi. Matrica za ovaj problem je $$A=\begin{bmatrix} 1& 0\\ 1& 1\\ 1& 2\\ 1& 4\\ 1& 7\\ 1& 9\end{bmatrix}$$ Vektor $y$ je $$y=[0\ 4\ 3\ a\ 30\ b]^T$$ Dobivamo da je $$A^TA=\begin{bmatrix} 6&23\\ 23& 151\end{bmatrix}$$ Vektor desne strane je $$A^Ty=\begin{bmatrix}37+a+b\\ 220+4a+9b\end{bmatrix}$$ Dakle sustav normalnih jednažbi je $$\begin{bmatrix}6& 23\\ 23& 151\end{bmatrix}\begin{bmatrix}c_0\\ c_1\end{bmatrix}= \begin{bmatrix}37+a+b\\ 220+4a+9b\end{bmatrix}$$

Nama su $c_0$ i $c_1$ poznati a $a$ i $b$ moramo odrediti. Dobivamo $$a=\frac{179}{5},\quad b=\frac{101}{5}.$$