Legkisebb négyzetek módszere, legjobb lineáris közelítés
Ennek a témakörnek a képletei
Letöltöm az egész kurzus összes képletét:
LetöltömLetöltöm ennek a témakörnek a képleteit:
LetöltömVálogass kedvedre a témakör képletei között:
Gauss-féle normálegyenletek
Gauss-féle normálegyenletek:
\( n \cdot b_0 + b_1 \cdot \sum x_i = \sum y_i \)
\( b_1 \cdot x^2 + b_0 \cdot \sum x_i = \sum x_i y_i \)
Ahol \(n\) a megfigyelések száma.
Optimális megoldás a Gauss-féle normálegyenlettel
Az \(A \underline{x} = \underline{b} \) egyenletrendszer optimális megoldásai megegyeznek az
\( A^{T} \cdot A \cdot \underline{x} = A^{T} \cdot \underline{b} \)
egyenletrendszer megoldásaival.
Ellentmondó egyenletrendszerek optimális megoldása
Ha egy egyenletrendszernek nincs megoldása, akkor az optimális megoldás megadja a legjobb közelítést.
Az $A\underline{x}=\underline{b}$ egyenletrendszer optimális megoldásai megegyeznek az
\( A^T \cdot A\underline{x} = A^T \cdot \underline{b} \)
egyenletrendszer megoldásaival.
Gauss-féle normálegyenlet
Az $A\underline{x}=\underline{b}$ egyenletrendszer Gauss-féle normálegyenlete:
\( A^T \cdot A\underline{x} = A^T \cdot \underline{b} \)
Legjobb közelítés
Egy $\underline{b}$ vektort nem csak merőlegesen vetíthetjük, hanem ferdén is. Viszont egyedül a merőleges vetítés rendelkezik a legjobb közelítés tulajdonságával.
A $\underline{b}$ vektor legjobb közelítése a $W$ altérben egy olyan $\underline{b}'$ vektor, amire $ \mid \underline{b} - \underline{b}' \mid$ minimális.
Ennek a témakörnek a feladatai
Letöltöm az egész kurzus összes feladatát:
LetöltömLetöltöm ennek a témakörnek a feladatait:
LetöltömVálogass kedvedre a témakör feladatai között:
Mamutfenyők törzskerületével és életkorával kapcsolatos összefüggést vizsgálunk.
Az öt fán végzett mérések adatait arra fogjuk használni, hogy készítsünk belőlük egy függvényt, ami képes lesz megmondani a törzs kerületéből a fa életkorát.
Adjuk meg azt a lineáris függvényt, ami a két kiemelt ponton átmegy.
Mamutfenyők törzskerületével és életkorával kapcsolatos összefüggést vizsgálunk.
Az öt fán végzett mérések adatait arra fogjuk használni, hogy készítsünk belőlük egy függvényt, ami képes lesz megmondani a törzs kerületéből a fa életkorát.
Adjunk lineáris közelítést a mamutfenyők életkorának megállapítására a legkisebb négyzetek módszerével.
Mamutfenyők törzskerületével és életkorával kapcsolatos összefüggést vizsgálunk.
Az öt fán végzett mérések adatait arra fogjuk használni, hogy készítsünk belőlük egy függvényt, ami képes lesz megmondani a törzs kerületéből a fa életkorát.
Adjunk lineáris közelítést a mamutfenyők életkorának megállapítására a mátrixos megoldással.
Európa néhány országában megvizsgáltuk az egy főre jutó GDP-t és a 100 főre jutó személyautók számát.
Adjuk meg az adatsorra legjobban illeszkedő lineáris függvényt.
Négy diákot megkérdeztek, hogy hány órát tanultak a matekvizsgájukra és hány százalékot értek el. A válaszaik alapján készült ez a táblázat.
Adjuk meg az adatsorra legjobban illeszkedő lineáris függvényt, és készítsünk egy becslést arra, hogy 5 órányi tanulással hány százalékosra lehet megírni a vizsgát.
Adjuk meg az optimális megoldásait ennek az egyenletrendszernek:
\( 2x_1+6x_2 -2x_3 = 2 \)
\( -x_1+2x_2 +x_3 = 3 \)
\( -2x_1-2x_2 +2x_3 = 5\)
a) Adjuk meg az optimális megoldásait ennek az egyenletrendszernek:
\( -2x_1+3x_2 -x_3 = 2 \)
\( x_1+3x_2 +5x_3 = 5 \)
\( -x_1+6x_2 +4x_3 = 1\)
b) Keressük meg azt a megoldást, amire teljesül, hogy \( \mid \underline{x} \mid \) minimális.
Van egy nagyon ravasz dolog, amire a merőleges vetítéseket használhatjuk.
A vetítés működik síkban is…
És működik térben is.
Sőt, tovább általánosítható egy V vektortérben bármilyen W altérre.
Hogyha az A mátrix oszlopvektorai W-nek egy bázisát alkotják, akkor a W altérre történő merőleges vetítés mátrixa:
Itt van például ez a sík:
Ez a sík a háromdimenziós térben egy kétdimenziós altér.
És itt van a síkban két vektor.
Ez a két vektor a síknak egy bázisa.
Berakjuk most szépen őket ebbe az A mátrixba…
És egy kis számolással meg is van a merőleges vetítés mátrixa.
A ravasz dolog pedig most jön.
Itt van ez az egyenletrendszer…
Az egyenletrendszer együttható-vektorai mind ugyanabban a síkban helyezkednek el.
A jobb oldalon álló vektor viszont…
Na, az nincs benne ebben a síkban.
Így hát aztán nem meglepő, hogy az a1, a2 és a3 vektorok lineáris kombinációjával…
A b vektor nem állítható elő.
Vagyis az egyenletrendszer nem megoldható.
Az, hogy ez az egyenletrendszer nem megoldható, még nem nagy tragédia.
Gyakran vannak azonban olyan helyzetek, amikor valamilyen gazdasági vagy mérnöki probléma megoldása közben az ismeretlen mennyiségek meghatározására méréseket végzünk.
Az elkerülhetetlen mérési hibák pedig ellentmondó egyenletrendszerre vezetnek.
Vajon hogyan határozható meg a valóságban egészen biztosan létező megoldás, ezekből az ellentmondásos, tehát nem megoldható egyenletrendszerekből?
A gondot az okozza, hogy az egyenletrendszer együttható-vektorai által kifeszített altérben a b vektor nincsen benne.
Ettől ellentmondásos az egyenletrendszer és ezért nincs megoldása.
Hogyha a gondot az okozza, hogy a b vektor nincs benne az együttható-vektorok által kifeszített altérben…
Hát vetítsük bele, és minden rendbe is jön.
Ezzel a ravasz megoldással intézhetjük el azokat az egyenletrendszereket, amelyek elsőre nem megoldhatók.
Belevetítjük az együttható-vektorok síkjába a b vektort…
És most már a jobb oldalon álló vektor is ugyanabban a síkban van.
Ezt az egyenletrendszert bármelyik szokásos módszerrel megoldhatjuk.
Az elemi bázistranszformációval vagy a Gauss-eliminációval is.
Hogyha ezt a megoldást most behelyettesítjük az eredeti egyenletrendszerbe…
Akkor nem egészen fog stimmelni.
A kapott megoldás tehát nem pontosan az eredeti egyenletrendszer megoldása…
Ne feledkezzünk meg ugyanis arról az apróságról, hogy az eredeti egyenletrendszernek egyáltalán nincs is megoldása.
Amit így kaptunk nem más, mint az eredeti egyenletrendszer optimális megoldása.
Olyankor, amikor az eredeti egyenletrendszer megoldható, az optimális megoldás egybeesik a valódi megoldással.
Abban az esetben pedig, amikor egyébként nincs megoldás…
Nos, olyankor az optimális megoldás adja a megoldás legjobb közelítését.
Egyetlen kis gond van csak ezzel.
Az, hogy túl sokat kellett számolni.
De itt jön egy őrülten jó trükk, és hopp, egy pillanat alatt megkapjuk ugyanezt.
Az 
egyenletrendszer optimális megoldásai megegyeznek az
egyenletrendszer megoldásaival.
Hát, ez valóban elég barátságosnak tűnik.
Próbáljuk is ki.
Nem kell mást tennünk, mint az egyenletrendszer együtthatómátrixát transzponálni…
És a transzponáltat megszorozni az A mátrixszal …
Meg a b vektorral.
Ennek a megoldásai lesznek az eredeti egyenletrendszer optimális megoldásai.
Hát igen, valóban ugyanaz jött ki így is.
Rögtön folytatjuk…
Van egy nagyon ravasz dolog, amire a merőleges vetítéseket használhatjuk.
A vetítés működik síkban is…
És működik térben is.
Sőt, tovább általánosítható egy V vektortérben bármilyen W altérre.
Hogyha az A mátrix oszlopvektorai W-nek egy bázisát alkotják, akkor a W altérre történő merőleges vetítés mátrixa:
Itt van például ez a sík:
Ez a sík a háromdimenziós térben egy kétdimenziós altér.
És itt van a síkban két vektor.
Ez a két vektor a síknak egy bázisa.
Berakjuk most szépen őket ebbe az A mátrixba…
És egy kis számolással meg is van a merőleges vetítés mátrixa.
A ravasz dolog pedig most jön.
Itt van ez az egyenletrendszer…
Az egyenletrendszer együttható-vektorai mind ugyanabban a síkban helyezkednek el.
A jobb oldalon álló vektor viszont…
Na, az nincs benne ebben a síkban.
Így hát aztán nem meglepő, hogy az a1, a2 és a3 vektorok lineáris kombinációjával…
A b vektor nem állítható elő.
Vagyis az egyenletrendszer nem megoldható.
Az, hogy ez az egyenletrendszer nem megoldható, még nem nagy tragédia.
Gyakran vannak azonban olyan helyzetek, amikor valamilyen gazdasági vagy mérnöki probléma megoldása közben az ismeretlen mennyiségek meghatározására méréseket végzünk.
Az elkerülhetetlen mérési hibák pedig ellentmondó egyenletrendszerre vezetnek.
Vajon hogyan határozható meg a valóságban egészen biztosan létező megoldás, ezekből az ellentmondásos, tehát nem megoldható egyenletrendszerekből?
A gondot az okozza, hogy az egyenletrendszer együttható-vektorai által kifeszített altérben a b vektor nincsen benne.
Ettől ellentmondásos az egyenletrendszer és ezért nincs megoldása.
Hogyha a gondot az okozza, hogy a b vektor nincs benne az együttható-vektorok által kifeszített altérben…
Hát vetítsük bele, és minden rendbe is jön.
Ezzel a ravasz megoldással intézhetjük el azokat az egyenletrendszereket, amelyek elsőre nem megoldhatók.
Belevetítjük az együttható-vektorok síkjába a b vektort…
És most már a jobb oldalon álló vektor is ugyanabban a síkban van.
Ezt az egyenletrendszert bármelyik szokásos módszerrel megoldhatjuk.
Az elemi bázistranszformációval vagy a Gauss-eliminációval is.
Hogyha ezt a megoldást most behelyettesítjük az eredeti egyenletrendszerbe…
Akkor nem egészen fog stimmelni.
A kapott megoldás tehát nem pontosan az eredeti egyenletrendszer megoldása…
Ne feledkezzünk meg ugyanis arról az apróságról, hogy az eredeti egyenletrendszernek egyáltalán nincs is megoldása.
Amit így kaptunk nem más, mint az eredeti egyenletrendszer optimális megoldása.
Olyankor, amikor az eredeti egyenletrendszer megoldható, az optimális megoldás egybeesik a valódi megoldással.
Abban az esetben pedig, amikor egyébként nincs megoldás…
Nos, olyankor az optimális megoldás adja a megoldás legjobb közelítését.
Egyetlen kis gond van csak ezzel.
Az, hogy túl sokat kellett számolni.
De itt jön egy őrülten jó trükk, és hopp, egy pillanat alatt megkapjuk ugyanezt.
Az egyenletrendszer optimális megoldásai megegyeznek az
egyenletrendszer megoldásaival.
Hát, ez valóban elég barátságosnak tűnik.
Próbáljuk is ki.
Nem kell mást tennünk, mint az egyenletrendszer együtthatómátrixát transzponálni…
És a transzponáltat megszorozni az A mátrixszal …
Meg a b vektorral.
Ennek a megoldásai lesznek az eredeti egyenletrendszer optimális megoldásai.
Hát igen, valóban ugyanaz jött ki így is.
Rögtön folytatjuk…
Az egyenletrendszereknél tartottunk…
Annyit már tudunk, hogyha van egy olyan egyenletrendszer, ami ellentmondásos…
Akkor még azért van remény a megoldásra.
Ennek az egyenletrendszernek az együttható-vektorai…
Egy síkot feszítenek ki.
Egy olyan síkot, amiben a b vektor nincsen benne…
A b vektor tehát egészen biztosan nem áll elő az a1 a2 és a3 vektorok lineáris kombinációjaként.
Így hát az egyenletrendszer nem megoldható.
De ha belevetítjük a b vektort az együttható-vektorok által kifeszített síkba…
Akkor már igen.
Nem kell mást tennünk, mint ezt a másik egyenletrendszert megoldanunk, amit egyébként Gauss-féle normálegyenletnek nevezünk.
Ez pedig már egy szokásos egyenletrendszer, amit mondjuk Gauss-eliminációval szépen megoldunk.
Bár ez a megoldás is ugyanolyan három koordinátás vektor, mint a többiek…
Így hát ez a vektor sehol sem látható az ábrán.
De van itt még egy vicces dolog.
Keressük meg azt a megoldást, amire teljesül, hogy minimális.
Ez nem akkor van, amikor t nulla.
Hanem akkor, amikor ide…
Beírjuk ezeket a koordinátákat.
És így kiszámoljuk x3 értékét.
Meg is van a legkisebb abszolútértékű megoldás.
És itt jön még egy dolog.
A b vektort nem csak merőlegesen vetíthetjük, hanem ferdén is…
Viszont egyedül a merőleges vetítés rendelkezik a legjobb közelítés tulajdonságával.
A vektor legjobb közelítése a W altérben egy olyan vektor, amire minimális.
Mindjárt ki fog derülni, hogy a legjobb közelítés mindig a merőleges vetítés.
Legyen a V vektortérből a W altérbe történő merőleges vetítés mátrixa P.
Így hát a vektor W-re eső merőleges vetülete .
A vektornak a W-re eső valamilyen ferde vetülete pedig .
Lehet ez a W altér akár százdimenziós is, és vektorok mindig egy síkot feszítenek ki.
Mivel a BC szakasz merőleges erre a síkra, így merőleges a síkban fekvő minden szakaszra is.
Tehát merőleges AC-re is.
Így aztán ACB egy derékszögű háromszög, amiben BC egy befogó, AB pedig az átfogó, vagyis
Ez pedig azt jelenti, hogy valóban a legjobb közelítés.
A vektor legjobb közelítése a W altérben egy olyan vektor, amire minimális.
Az egyenletrendszereknél tartottunk…
Annyit már tudunk, hogyha van egy olyan egyenletrendszer, ami ellentmondásos…
