Statisztika epizód tartalma:
Statisztikai becslések, pontbecslés, intervallumbecslés, standard hiba, mintavételi hiba, nemmintavételi hiba, FAE-minta, EV-minta,rétegzett minta, többlépcsős minta, torzítatlanság, minimális variancia elve, konfidencia szint, konfidencia tartomány, sokasági átlag becslése, sokasági arány becslése, sokasági variancia.
STATISZTIKAI BECSLÉSEK
Pontbecslés
Olyan esetekben, amikor valamiért nem tudjuk vagy nem akarjuk a teljes sokaságot megvizsgálni, hogy meghatározzuk a fontosabb statisztikai mutatóit, becslést alkalmazunk. A becslés lényege, hogy egy minta alapján próbálunk ezekre a mutatókra következtetni. Ha például egy TV csatorna szeretné tudni, hogy egy országban az emberek naponta átlagosan hány órát nézik műsoraikat, nyilván nem kérdezhetik meg erről egyesével az ország összes lakosát. Vesznek tehát mondjuk egy 100 főből álló mintát és a minta alapján próbálnak az összes lakosra érvényes TV-nézési szokásokra következtetni. Ezt a fajta következtetési módszert, amikor a konkrétból következtetünk az általánosra indukciónak nevezzük. Kiszámoljuk a 100 fős minta átlagát, szórását vagy egyéb mutatóit és aztán ebből akarjuk megtippelni a teljes sokaságra vonatkozó átlagot, szórást vagy egyéb mutatókat.
A kérdés az, hogy ha tudjuk a minta átlagát, szórását és egyéb mutatóit, akkor abból milyen következtetéseket vonhatunk le a teljes sokaságra.
minta
teljes sokaság
Átlag
= mintaátlag
= sokasági átlag
Szórás
s=minta szórás
=sokasági szórás
Értékösszeg
minta értékösszeg
sokasági értékösszeg
Stb.
Vajon mekkora a sansza, hogy a minta átlaga megegyezik a sokasági átlaggal? Vagy ha nem egyezik meg, akkor mégis milyen távol eshet tőle? Vajon mekkora a sansza, hogy a minta szórása megegyezik a sokasági szórással? Vagy ha nem egyezik meg, milyen összefüggés van közöttük?
Ahhoz, hogy ezekre a kérdésekre választ kapjunk, átmenetileg meg kell fordítanunk a következtetésünk irányát. A célunk az, hogy képesek legyünk következtetni a konkrétból az általánosba, de ehhez előbb meg kell vizsgálnunk azt, hogy mi mondható fordított irányban, amikor az általánosból következtetünk konkrétra. Vizsgálódásunkat egy nagyon egyszerű példával kezdjük.
A teljes sokaság legyen az
1;2;3
Ez szimbolizálja előbbi TV-nézős példánkban az ország összes lakosát, és vegyünk ebből két elemű visszatevéses mintát. Amikor az igazi becslést csináljuk, természetesen csak egyetlen mintánk lesz majd és abból az egyetlen mintából kell becslést adnunk mindenre, de most megnézhetjük az összes lehetséges mintát.
A feladatunk az, hogy a minták alapján adjunk becslést az 1;2;3 számok átlagára, maximumára és értékösszegére.
Az 1;2;3 számok átlaga 2 maximuma 3 értékösszege 6, célunk pedig az, hogy megnézzük, az egyes minták átlaga, maximuma és értékösszege mennyire képes ezeket megbecsülni.
Ha a minta az (1; 1) akkor az átlag 1 a maximum 1 az értékösszeg pedig 2 vagyis mindhárom becslésünk elég távol jár a valóságtól.
Ha az (1; 2) akkor az átlag 1,5 ami már közelebb van a tényleges átlaghoz, a maximum 2, ami szintén nem olyan rossz, az értékösszeg 3.
Ha a minta az (1; 3) akkor az átlag éppen ugyanannyi, mint a sokasági átlag, vagyis a becslésünk tökéletes. A maximum 3, ez szintén stimmel, egyedül az értékösszeg teljesít rosszul.
minta
átlag
max
értékösszeg
(1; 1)
1
1
2
(1; 2)
1,5
2
3
(1; 3)
2
3
4
(2; 1)
1,5
2
3
(2; 2)
2
2
4
(2; 3)
2,5
3
5
(3; 1)
2
3
4
(3, 2)
2,5
3
5
(3; 3)
3
3
6
Az átlagra adott becslés kilenc esetből háromszor megegyezik a tényleges átlaggal. Ez 33% ami nem kimondottan jó arány. Van viszont még két eset, amikor a minta átlaga 1,5 további két eset pedig, amikor 2,5 és ezek sincsenek olyan távol a tényleges 2-től. Viszonylag elfogadható becslést tehát hét minta szolgáltat, mivel pedig az összes eset kilenc, az arány nem is olyan rossz. A maximum becslésénél még jobb a helyzet, ott ugyanis a kilenc mintából ötször kaptuk a valódi értéket. A legrosszabbul az értékösszeg szerepelt, ez a kilencből mindössze egyszer stimmel.
A kérdés az, hogy egyáltalán mikor tekinthetünk egy becslést jónak. Nos a becslések sikerességének értékelésekor az egyik alapvető szempont a torzítatlanság.
A mintaátlagok nem adják meg ugyan mindig a tényleges sokasági átlagot, de körülötte ingadoznak. A kilenc esetből három éppen megegyezik a sokasági átlaggal, kettő egy picit kevesebb, kettő egy picit több, míg egy-egy esetben jóval kevesebb vagy jóval több. A kapott becslések tehát a becsülni kívánt sokasági átlag körül helyezkednek el. A maximum és az értékösszeg becslése viszont féloldalas, minden mintából számított érték vagy pont annyi vagy kisebb, mint a tényleges érték. A becsléseknél ezt a féloldalasságot nem szeretjük.
Egy becslést torzítatlannak nevezünk, ha az egyes mintákból kapott becslések várható értéke megegyezik a becsülni kívánt mennyiséggel. Ez a tulajdonság azt jelenti, hogy a becslés során kapott értékek a becsülni kívánt érték körül ingadoznak, és ez az ingadozás szimmetrikus. A torzítatlan becsléseket mindig előnyben részesítjük a torzítottakkal szemben.
Nézzük meg, hogy az előbbi becsléseink közül melyek torzítatlanok és melyek torzítottak.
Az átlag becslése esetében úgy kapunk várható értéket, hogy minden minta átlagát beszorozzuk az adott minta valószínűségével, majd ezeket összeadjuk. Mivel minden minta esélye 1/9 így minden átlagot 1/9-el kell szorozni. Íme:
Ez a várható érték tulajdonképpen nem más, mint a mintaátlagok átlaga. Kiszámolva azt kapjuk, hogy éppen 2 vagyis pont megegyezik a tényleges sokasági átlaggal. A becslés tehát torzítatlan.
Nézzük meg mi a helyzet a maximum becslésével. Itt is átlagoljuk a mintákból kapott értékeket:
A teljes sokaság maximuma nem 2,44 hanem 3 ezért a maximumra kapott becslésünk torzított.
Lássuk mi mondható az értékösszeg becslésre!
A teljes sokaság értékösszege nem 4 hanem 6 tehát ez a becslés is torzított.
A három becslésünk közül tehát egyedül az átlag becslése bizonyult torzítatlannak. Érdemes megfigyelni, hogy az egyes mintákból az átlagra kapott becslések, hogyan helyezkednek el a tényleges sokasági átlag körül. A kilencből három esetben a becslés éppen megegyezik a tényleges átlaggal. Két esetben picit kevesebb, kettőben picit több.
Végül egy-egy esetben már jóval kevesebb vagy jóval több.
Ábrázolva őket oszlopdiagramon, egy jellegzetes háromszög alakú eloszlás rajzolódik ki.
minta
átlag
(1; 1)
1
(1; 2)
1,5
(1; 3)
2
(2; 1)
1,5
(2; 2)
2
(2; 3)
2,5
(3; 1)
2
(3, 2)
2,5
(3; 3)
3
Ez a jellegzetes alak valójában a normális eloszlás harang alakú görbéje. Azért ilyen háromszög szerű, mert nagyon kicsi, mindössze három elemű a teljes sokaságunk.
Ha a minta elég nagy, akkor a mintaátlagok eloszlása közelít a normális eloszlás jellegzetes harang-görbéjéhez, még akkor is, ha az eredeti sokaság nem normális eloszlású. Erről szólnak a centrális határeloszlás tételek.
Nézzünk meg egy másik példát is. Ezúttal a teljes sokaság legyen az
1; 2; 3; 4
vagyis ez szimbolizálja most az összes TV-nézőt a minta pedig két elemű visszatevés nélküli.
A sokasági átlag
maximum=4 értékösszeg=10
Lássuk, hogyan becsülhetjük ezt meg a minták alapján.
Még egyszer hangsúlyozzuk, hogy most még úgy akarjuk megbecsülni az átlagot, maximumot és értékösszeget, hogy közben pontosan tudjuk ezeket a tényleges értékeket, ami azért nem olyan rizikós vállalkozás. Ráadásul lehetőségünk van megvizsgálni a létező összes mintát. Valójában később majd csak egy mintánk lesz és abból az egyetlen mintából kell megállapítanunk a teljes sokaságra vonatkozó mutatókat.
A két elemű visszatevés nélküli minták:
minta
átlag
max
értékösszeg
(1; 2)
1,5
2
3
(1; 3)
2
3
4
(1; 4)
2,5
4
5
(2; 3)
2,5
3
5
(2; 4)
3
4
6
(3; 4)
3,5
4
7
Nézzük meg, a mintaátlag torzítatlan becslést ad-e a sokasági átlagra.
A mintaátlagok várható érétke, vagyis a mintaátlagok átlaga éppen 2,5 ami a sokasági átlag. A becslés tehát torzítatlan.
Nem ez a helyzet a maximum becslésével. A minták maximumai most sem adnak torzítatlan becslést, megint féloldalasan helyezkednek el. A helyzet az, hogy a maximum becslése sosem lesz jó, a minta maximumból nem tudunk következtetni a teljes sokaság maximumára. Ha például felmérést szeretnénk készíteni Magyarország lakosságának életkoráról, minta alapján becsülhető az átlagéletkor és sok minden más, de a legidősebb lakos életkora nem. Gondoljunk például bele, hogy ezt a legidősebb lakost holnap elüti a villamos. Innentől kezdve már nem ő a legidősebb, de a minta – hacsak éppen nem volt ő is benne – ugyanaz marad, nem képes tehát a változást kimutatni. A sokasági maximum nem becsülhető mintavétellel.
Lássuk mi a helyzet az értékösszeggel.
A sokaság értékösszege ezzel szemben 10 tehát az értékösszegre kapott becslés sem torzítatlan. Ha belegondolunk, nem meglepő, hogy nem jó a becslés, hiszen egy minta mindig kevesebb elemből áll, mint a teljes sokaság. A minta elemeit összeadva nem csoda, ha kevesebbet kapunk, mint a teljes sokaság értékösszege. Ahhoz, hogy legyen sansza a minta értékösszegének utolérni a sokaság értékösszegét, valahogyan arányosítanunk kéne, ezzel kompenzálva a minta azon fogyatékosságát, hogy kevesebb elemből áll. Logikusnak tűnik, hogy ha a minta például a teljes sokaságnak mondjuk 10%-a, akkor a minta értékösszege is csak a teljes sokaság 10%-a. Az arányosítás tehát valami ilyesmi lehetne:
Sokasági értékösszeg becslése= minta értékösszege
N=teljes sokaság elemszáma n=minta elemszáma
Esetünkben N=4 és n=2 tehát a második tippünk az értékösszeg becslésére
minta
átlag
max
értékösszeg
1. tipp
2. tipp
(1; 2)
1,5
2
3
6
(1; 3)
2
3
4
8
(1; 4)
2,5
4
5
10
(2; 3)
2,5
3
5
10
(2; 4)
3
4
6
12
(3; 4)
3,5
4
7
14
Lássuk ez vajon torzítatlan-e!
A teljes sokaság értékösszege szintén 10 vagyis a becslés ezúttal torzítatlan.
Érdemes megfigyelni, hogy a becsülni kívánt mennyiséget nem biztos, hogy a mintában is ugyanúgy kell számolni, ahogyan a teljes sokaságban számolnánk. Az átlag becslésénél bevált, hogy ugyanazt csináltuk a mintaelemekkel, amit a teljes sokaságra is csinálnánk, de aztán jött az értékösszeg, ahol a jó becsléshez nem volt elég a minta értékösszege, szükség volt egy korrekciós tényezőre – az arányosításra.
A torzítatlanságon kívül azt is nagyra értékeljük egy becslésnél, ha várható értékéhez viszonyított ingadozása kicsi. Ezt az ingadozást méri a variancia. Ha ugyanarra a mennyiségre két torzítatlan becslésünk is van, akkor a kettő közül azt részesítjük előnyben, aminek a varianciája kisebb. Erről lesz szó a következőkben.
Minimális variancia, MSE
Az előzőekben láttuk, a becsülni kívánt mennyiségeket nem biztos, hogy a mintában is ugyanazzal a módszerrel érdemes számítani, ahogyan a teljes sokaság esetében tennénk. A sokasági átlag becslésére használhatjuk a minta átlagát, mediánját, a legnagyobb és legkisebb mintaelem számtani közepét, és így a becsülni kívánt mennyiségre több különböző becslést is kaphatunk. A kérdés az, hogy ha egy sokasági jellemzőre több becslés jöhet szóba, hogyan válasszunk közülük, vagyis mikor tekintünk egy becslést jónak, kettő közül melyiket tekintjük jobbnak és kijelenthetjük-e valamelyikről, hogy a legjobb?
Két alapvető szempont alapján szoktuk a becsléseket versenyeztetni. Az egyik, a már jól ismert torzítatlanság, vagyis a becslésnek az a tulajdonsága, hogy az összes lehetséges mintán vett becslések átlaga megegyezik a becsülni kívánt sokasági jellemzővel. A másik az úgynevezett minimális variancia kritérium.
A minimális variancia kritérium azt jelenti, hogy ha van két torzítatlan becslésünk, akkor a kettő közül azt tekintjük jobbnak, aminek az összes mintán vett értékeinek varianciája kisebb.
A torzítatlanság és a variancia alapján tehát négyféle csoportba sorolhatjuk a becsléseket.
Vannak olyan becslések, amelyek torzítatlanok, de varianciájuk nagy. Ezek a cél, vagyis a becsülni kívánt sokasági jellemző körül szóródnak, de a szóródás mértéke nagy.
Vannak olyan becslések, amik szintén torzítatlanok, vagyis szintén a cél körül szóródnak de varianciájuk kicsi.
Aztán vannak olyan becslések is, melyek torzítottak, de a varianciájuk kicsi.
Végül vannak, amik torzítottak és a varianciájuk nagy.
Jogosan vetődik föl a kérdés, hogy ha a becslés torzított ugyan, de varianciája kicsi, a becslés viszont torzítatlan, ám varianciája nagy, akkor vajon melyiket tekintjük közülük jobbnak. Az összehasonlításhoz egy mindkét tulajdonságot vizsgáló jellemzőt, az úgynevezett átlagos négyzetes hibát (Mean Square Error = MSE) használjuk.
Az első tag a varianciát, a második tag a várható értéktől való eltérést, vagyis a torzítottságot méri. Ha a becslés torzítatlan, így ez a második tag nulla. Két becslés közül azt részesítjük előnyben, amelyre MSE kisebb.
Az különbségre, vagyis a torzítás mértékére az angol bias szó alapján a jelölés van forgalomban. Használatos tehát az
Képlet is.
Az 1,2,3,10, mint teljes sokaság átlagára szeretnénk becslést adni kételemű visszatevés nélküli mintával. A tényleges átlag 1+2+3+10 osztva 4-gyel, ami egész pontosan 4.
Kétféle becslést fogunk egymással versenyeztetni. Az első becslés a szokásos számtani átlag:
A második becslés pedig egy súlyozott számtani átlag, ahol a minta kisebbik elemét
3-szoros súllyal vesszük:
Lássuk, melyik becslés jobb.
minta
(1; 2)
1,5
1,25
(1; 3)
2
1,5
(1; 10)
5,5
3,25
(2; 3)
2,5
2,25
(2; 10)
6
4
(3; 10)
6,5
4,75
Az első becslés összes mintán vett várható értéke 4, ami megegyezik a teljes sokaság átlagával, ez a becslés így torzítatlan. A második becslés torzított. A torzítatlan becsléseket előnyben részesítjük a torzítottakkal szemben, vagyis ez alapján az első becslés a jobb.
Ha viszont megnézzük, hogy milyen becsléseket ad az egyes mintákban a tényleges sokasági átlagra, ami ugyebár 4, mégsem tűnik olyan rossznak, sőt mintha még jobb is lenne -nél. Ennek oka, hogy varianciája kisebb.
A második becslés tehát torzított ugyan, de varianciája sokkal kisebb. Annyival kisebb, hogy a két becslés közül még a torzítottság ellenére is lesz a jobb.
Az MSE mutató tehát összemérhetővé teszi a torzítást és a varianciát. Két, egymással versenyző becslés közül azt tekintjük jobbnak, amelyre MSE kisebb. Ha mindkét becslés torzítatlan, akkor MSE éppen megegyezik a varianciával, így ebben az esetben továbbra is érvényben marad a minimális variancia kritérium. Ha azonban az egyik becslés, vagy akár mindkettő torzított, akkor a torzítottság mértéke és a variancia együttesen dönti el, hogy melyik becslés a jobb, a minimális variancia helyett a minimális MSE kritériumot alkalmazva.
Mintavételek típusai
A sokaság fontosabb statisztikai mutatóinak, más szóval paramétereinek megállapításához használt becsléseket tehát akkor tekintjük jónak, ha azok egyrészt torzítatlanok, másrészt ha a becsülni kívánt paraméter körüli szórásuk viszonylag kicsi.
Eddigi vizsgálódásaink egyik legfontosabb eredménye a mintaátlagok eloszlásának jellemzése. Ha a teljes sokaság átlaga és szórása pedig , akkor az ebből vett n elemű minták átlagai olyan eloszlással helyezkednek el, aminek átlaga szintén a szórása pedig
Ezt az utóbbit a minta standard hibájának szokás nevezni. A standard hiba tehát azt mondja meg, hogy a mintaátlagok mekkora szórással ingadoznak a tényleges sokasági átlag körül.
Fontos azt is megjegyezni, hogy bármilyen is az alapsokaság eloszlása, kis elemszámú minták esetén a mintaátlagok is ugyanolyan eloszlással helyezkednek el a sokasági átlag körül. Ha viszont a minta elemszáma nagy, akkor bármilyen is az alapsokaság eloszlása, a mintaátlagok eloszlása a normális eloszláshoz közelít. Ezen utóbbi tulajdonság, amit az úgynevezett Centrális határeloszlás tételek alapján tudunk, meghatározó fontosságú lesz a most következőkben, a becsléseknél is és később majd a hipotézisvizsgálat során.
Mielőtt rátérnénk a statisztikai becslések részletes vizsgálatára, érdemes még néhány elméleti jellegű kérdést tisztázni magával a mintavétellel kapcsolatban.
Az első ilyen kérdés a mintavétel során elkövethető hibák kérdése. Ezeket a hibákat alapvetően két osztályba, a mintavételi és az úgynevezett nemmintavételi hibák közé sorolhatjuk.
Nemmintavételi hibának számít például, ha egy felmérés során a válaszoló nem a valóságnak megfelelő válaszokat ad. Szintén nemmintavételi hiba az úgynevezett lefedési hiba, amikor bizonyos típusú elemek kimaradnak a mintavételből. A nemmintavételi hibák tehát a nem becslésből adódó hibák. Hiába kérdezzük meg a teljes lakosságot a TV-nézési szokásáról, ha mindenki letagadja az idióta sorozatokat. Vagy hiába készítünk teljes körű felmérést a
Mintavételi hibának azokat a hibákat nevezzük, amik kimondottan azért fordulnak elő, mert nem tudjuk, vagy nem akarjuk a teljes sokaságot vizsgálni. A mintavételi hiba tehát a sokaság eloszlásán és a mintavételi eljáráson kívül főleg a minta elemszáma határozza meg. Mivel pedig ezeket általában már a mintavételt megelőzően ismerjük, a mintavételi hibának megvan az a kellemes tulajdonsága, hogy legtöbbször előre megállapítható. Vagyis még el sem végeztük a mintavételt, de már tudjuk, hogy mekkora lesz a mintavétel során elkövetett hiba. Ez a kellemes tulajdonság lesz a kiindulópont a becslések és később a hipotézisvizsgálatok elméletének kiépítésében.
Szűkebb értelemben mintavételi hibának számít még az úgynevezett szelekciós torzítás, vagyis amikor a minta nem reprezentatív, a mintaelemek nem elég gondosan lettek kiválogatva és így a minta szerkezete eltér a teljes sokaság szerkezetétől. Ez a hiba nyilvánvalóan magából a mintavételből fakad, így szükségképpen mintavételi hibának kell tekintenünk, ám jellege mégis a nemmintavételi hibára emlékeztet. Egyfelől azért, mert gondosabban megválasztva a mintaelemeket a szelekciós torzítás csökkenthető, másrészt pedig azért, mert a többi nemmintavételi hibához hasonlóan előre nem tervezhető.
A nemmintavételi hibák és a szelekciós torzítás tehát alattomosan felbukkanó jelenségek, amiket a mintavétel alapos előkészítésével jó eséllyel csökkenteni lehet, de valós mértéküket szinte lehetetlen megmondani. Nemhogy előrejelezni nem tudjuk, legtöbbször még utólagos becslésük sem lehetséges.
A következő fontos kérdés magának a mintavételnek a módja.
FAE-minta: Független, azonos eloszlású elemekből álló minta. Minden visszatevéses mintavétel FAE-minta, illetve azok a visszatevés nélküli minták, ahol a sokaság végtelen, vagy véges ugyan, de a minta elemszáma a teljes sokasághoz képest elhanyagolható.
A lényeg itt a függetlenség, hogy minden mintaelem független a többitől. Bármi is az első mintaelem, a második is lehet ugyanaz, sőt a harmadik is, esetleg mindegyik. Ezt garantálja a visszatevéses mintavétel, illetve az, hogy ha a mintavétel nem visszatevéses a sokaság végtelen, tehát minden típusú elemből korlátlan mennyiség áll rendelkezésre. Ez lényegében akkor is teljesül, ha az alapsokaság ugyan véges, de a minta elemszáma hozzá képest elhanyagolható.
EV-minta: Egyszerű véletlen minta. Véges sokaságból visszatevés nélküli minta, ahol bármelyik elem kiválasztásának esélye azonos.
Ebben az esetben a mintaelemek nem függetlenek. Ha egy elemet kiválasztottunk, az elemek száma a sokaságban eggyel csökkent, ami hatással van a következő mintaelem kiválasztására. A véletlen szó itt a sokság bármely elemének azonos eséllyel történő kiválasztására utal.
Rétegzett minta: Az alapsokaságot először valamilyen ismérv alapján viszonylag homogén rétegekbe soroljuk be, majd ezekből a rétegekből veszünk FAE vagy EV mintát.
Ezt megtehetjük úgy is, hogy minden rétegből azonos számú mintaelemet veszünk, vagy úgy, hogy az egyes rétegekből vett minták elemszáma arányos az egyes rétegeknek a teljes sokaságban elfoglalt méretével.
Csoportos minták: A csoportos minták legegyszerűbb esete az úgynevezett egylépcsős minta. Ezt az eljárást homogén véges sokaságoknál alkalmazzuk. Lényege az, hogy a sokaság teljes listája nem áll rendelkezésünkre, vagy nehézkes lenne előállítani, de a sokaság jól meghatározható csoportokba tömörül és maguk a csoportok már könnyebben listázhatók. Az egylépcsős minta során magukat a csoportokat választjuk tehát ki, majd a kiválasztott csoport minden elemét megfigyeljük. Például kiválasztunk öt társasházat, ahol aztán az összes lakót megkérdezzük.
A kétlépcsős minta abban különbözik az egylépcsős mintától, hogy ha kiválasztottuk a csoportokat, utána nem teljes körű felmérést végzünk, hanem a csoportokon belül is mintákat vizsgálunk, legtöbbször EV-mintákat.