Eloszláscsaládokhoz való illeszkedés vizsgálata
Ph. D. értekezés tézisfüzete
Osztényiné Krauczi Éva Témavezet® :
Dr. Csörg® Sándor Konzulensek :
Dr. Pap Gyula és Dr. Sz¶cs Gábor
Matematika- és Számítástudományok Doktori Iskola Szegedi Tudományegyetem, Bolyai Intézet Szeged, 2016
1.
Bevezetés A disszertációban illeszkedésvizsgálattal kapcsolatos eredményeket taglalunk. Legyen
X1 , . . . , Xn minta (független, azonos eloszlású véletlen változók) egy ismeretlen F (x), x ∈ ∈ R, eloszlásfüggvény¶ véletlen változóból. Több különböz® módszerrel, több eloszlás esetén tesztelni szeretnénk azt az egyszer¶ nullhipotézist, hogy
H0 : F = F0 , ahol
F0 (x), x ∈ R, egy rögzített eloszlásfüggvény ; valamint azt az összetett nullhipotézist,
hogy
H0 : F ∈ F , ahol
F
egy eloszláscsaládot jelöl.
A 2. fejezetben a disszertáció szempontjából fontos történeti el®zményeket gy¶jtöttük össze. Felidézzük az els® módszereket, amelyekkel rögzített eloszláshoz való illeszkedést lehet tesztelni, valamint azt is, hogy hogyan találták meg ezen tesztstatisztikák határeloszlásait. Majd a számunkra érdekes els® összetett illeszkedésvizsgálati módszereket és határeloszlásukat elevenítjük fel. Ezen eljárások két nagy osztályát tárgyaljuk részletesen, az egyik a minta eloszlásának és az eloszláscsalád eloszlásainak távolságán alapuló tesztek, a másik a regresszió-, illetve korrelációtesztek. A 3. fejezetben egy eljárást javaslunk egyenletes eloszlás esetén egyszer¶, illetve összetett illeszkedésvizsgálatra. Az ötlet a következ®. Legyenek
U1 , U2 , . . . , Un
független,
[0,1]
intervallumon egyenletes eloszlású véletlen változók, egy minta. Emellett adott egy determinisztikus
dn ∈ (0,1)
távolságszint minden mintamérethez. A
[0,1]
intervallumon húzzuk
végig ezt a távolságszintet, és gyeljük meg, hogy a rendezett minta elemei hány osztályba esnek. Egy klaszterbe azok az elemei tartoznak a rendezett mintának, amelyekre teljesül az, hogy az egymást követ® elemek távolsága nem nagyobb, mint
dn .
Egy adott mintá-
hoz és távolságszinthez tartozó osztályok számát nevezzük klaszterszámnak. Csörg® S. és Wu [6] három különböz® rátával nullához tartó távolságszint sorozat mellett bebizonyították a klaszterek számának aszimptotikus normalitását. Ennek a tételnek bizonyítjuk a többdimenziós változatait különböz® intervallumon egyenletes eloszlások esetében, majd használjuk egyenletesség tesztelésére ismert és ismeretlen intervallumon. Aszimptotikus χ2 -tesztet kapunk egyszer¶, illetve összetett nullhipotézis ellen®rzésére. Elvégeztük az új tesztek szimulációs vizsgálatát. 2 A 4. fejezetben az L -Wasserstein távolságot használó del Barrio, Cuesta-Albertos, Matrán és Rodríguez-Rodríguez [10] által bevezetett normalitás teszt szimulációs vizsgálatát mutatjuk be. Egy eltolás- és skálamentes tesztstatisztikát kaptak a nullhipotézis ellen®rzésére, ahol
N
H0 : F ∈ N
a normális eloszláscsaládot jelöli. Ennek a normalitás-
tesztnek számos alternatívával szembeni er®vizsgálatát végeztük el szimuláció segítségével, valamint összehasonlítottuk más normalitástesztek viselkedésével. Az 5. fejezetben Del Barrio, Cuesta-Albertos, Matrán és Rodríguez-Rodríguez [10], valamint del Barrio, Cuesta-Albertos és Matrán [9] által bevezetett kvantilis korreláció teszt súlyozott változatát vezetjük be logisztikus eloszláscsalád esetében. A súlyfüggvény használatát a tesztstatisztikában egymástól függetlenül de Wet [7, 8] és Csörg® S. [4, 5] különböz® motivációból javasolta. Mi a Csörg®-féle [5] eredményt a de Wet által, eltolás eloszláscsalád esetére javasolt konkrét súlyfüggvénnyel bizonyítjuk logisztikus eltolás-skála
1
eloszláscsalád esetében. Del Barrio, Cuesta-Albertos és Matrán [9] a tesztstatisztika határeloszlását megadták súlyozott Brown-hidak KarhunenLoève-sorfejtéseként. Ugyanezen technikával meghatározzuk az általunk kapott határeloszlás soros alakját. Majd bemutatjuk az új teszttel kapcsolatos szimulációs vizsgálat eredményét. A disszertáció három cikk eredményeit tartalmazza. Az Osztényiné Krauczi [16] tartalmazza az illeszkedésvizsgálat eredményeit egyenletes eloszlás esetében. A szimulációs vizsgálat eredményei a normális eloszláscsalád esetében a Krauczi [14] cikkben találhatók. A Balogh, Krauczi [2] tartalmazza a logisztikus eloszláscsalád esetében kapott súlyozott kvantilis korreláció teszt bevezetését, aszimptotikus és szimulációs vizsgálatát. A tézisben minden konvergencia úgy értend®, amint való konvergenciát, a
→P
n → ∞.
A
→D
az eloszlásban
pedig a sztochasztikus konvergenciát jelöli.
2. Történeti el®zmények Az els® alfejezetben felidézzük az els® teszteket, amelyekkel rögzített eloszláshoz való illeszkedést lehet ellen®rizni valamint, hogy hogyan találták meg ezen tesztstatisztikák 2 határeloszlását. Az els® illeszkedésvizsgálatra használt eljárás a Pearson-féle χ -teszt [17], 2 amely aszimptotikusan χ eloszlású megfelel® szabadsági fokkal a nullhipotézis teljesülése mellett. Majd az empirikus és a hipotetikus eloszlásfüggvény különböz® távolságait használó tesztek, az EDF-tesztek bemutatása következik határeloszlásaik izgalmas megtalálásával. A második alfejezetben a számunkra érdekes els® összetett illeszkedésvizsgálati módszereket és határeloszlásukat elevenítjük fel. Az els® vizsgálatok normális eloszláscsalád esetében történtek. Majd bemutatjuk, hogy az els® alfejezetbeli rögzített eloszláshoz való illeszkedésvizsgálatra használt módszerek alkalmasak parametrikus eloszláscsaládhoz való illeszkedés ellen®rzésére. A paraméterek becslése után egy a becsült paraméter¶ eloszláshoz való illeszkedést kell vizsgálni, illetve a becsléses tesztstatisztikák aszimptotikus viselkedését. Végül a regresszió-, illetve korrelációteszteket idézzük fel. Bemutatjuk Wilk Shapiro [19] normalistástesztjét, ennek további változatait, valamint, hogy hogyan sikerült meghatározni a határeloszlását.
3. Illeszkedésvizsgálat egyenletes eloszlás esetében
Bevezetés és el®zmények Ebben a fejezetben egy eljárást vezetünk be egyenletesség tesztelésére klaszterszámok segítségével. Legyenek
U1 , U2 . . . független, a [0,1] intervallumon egyenletes eloszlású véletn ∈ N esetén legyen U1,n , . . . , Un,n az U1 , . . . , Un mintához
len változók, valamint bármely
tartozó rendezett minta. A minta elemei majdnem biztosan különböznek egymástól, így
dn ∈ (0,1) Gn =G(U1 , . . . , Un ; dn ) véletlen intervallumgráf. A Gn gráf csúcshalmaza az U1 , . . . , Un elemeket reprezentáló {1, . . . , n} halmaz. Két különböz® i és j csúcs között akkor és csak akkor van él, ha |Ui − Uj | < dn , ahol i, j ∈ {1, . . . , n}. A
az
U1,n < · · · < Un,n
reláció majdnem biztosan érvényes. Adott, determinisztikus
távolságszint mellett de niálható egy
mintához tartozó klasztereket úgy de niáljuk, mint ezen mintához tartozó gráf összefügg® komponensei. A
Kn
klaszterszám a gráf összefügg® komponenseinek a számát jelöli.
2
Csörg® S. és Wu [6] három különböz® aszimptotikus viselkedés¶ távolságszint sorozat mellett bizonyították a klaszterek számának aszimptotikus normalitását, és még rátát is adtak az eloszlásfüggvények konvergenciájának sebességére.
1. Tétel (Csörg® és Wu [6]). (i) Ha ndn → 0 és n2 dn → ∞, akkor
∆n
! −ndn K − ne n := sup P p ≤ x − Φ(x) −nd −nd n n x∈R ne (1 − e ) v u ! r √ u log n dn 4 log n 1 . √ log + = O t ndn + n ndn n dn
Ennélfogva
Kn − ne−ndn D √ −→ N (0,1). n dn
(ii) Ha 0 < lim inf n ndn ≤ lim supn ndn < ∞, akkor ! Kn − ne−ndn ≤ x − Φ(x) = O sup P p x∈R ne−2ndn (endn − 1 − n2 d2n )
log3/4 n n1/4
! .
Ebb®l következik, hogy ha ndn → c ∈ (0, ∞), akkor
Kn − ne−ndn D √ −→ N (0, e−2c [ec − 1 − c2 ]). n (iii) Ha ndn → ∞ és ne−ndn → ∞, akkor
∆n = O
(ndn )3/2 p √ + εn ndn log(ne−ndn ) + endn
r
! endn log(ne−ndn ) , n
ahol ∆n ugyanazt a szuprémumot jelöli, mint az (i) esetben, valamint εn = És így Kn − ne−ndn D √ −→ N (0,1). ne−ndn
p (4 log n)/n.
Ennek a tételnek bizonyítjuk a többdimenziós változatait különböz® intervallumon egyenletes eloszlások esetében, majd használjuk egyenletesség tesztelésére ismert és ismeretlen intervallumon.
Elméleti eredmények Megvizsgáltuk a Csörg®Wu-féle, különböz® távolságszintekhez tartozó klaszterszámok együttes aszimptotikus normalitását három esetben : ha a minta a
[a, b]
[0,1], ha az ismert
illetve ha egy ismeretlen intervallumon egyenletes eloszlásból származik.
3
Tekintsünk
Knj (dnj )
J ≥ 1 darab, dn1 ≤ dn2 ≤ . . . ≤ dnJ , n ∈ N, távolságszint sorozatot. A dnj távolságszinthez tartozó klaszterek számát minden n és j esetén.
jelölje a
Tekintsünk a
1 Kn = √ n a véletlen vektorváltozót az
σnj
Kn1 (dn1 ) − mn1 KnJ (dnJ ) − mnJ ,..., σn1 σnJ
mnj = ne−ndnj
> (1)
és
q = e−2ndnj (endnj − 1 − n2 d2nj ),
n ∈ N,
j = 1, . . . , J,
centralizáló és normalizáló sorozattal. A következ® határeloszlástételt kapjuk az (1) vektor viselkedésére.
2. Tétel. Tegyük fel, hogy a dn1 ≤dn2 ≤. . .≤dnJ , n∈N, távolságszint sorozatok mindegyike
kielégíti az alábbi feltételek valamelyikét : (T1) ndnj → 0, n2 dnj → ∞ ; (T2) 0 < lim inf n ndnj ≤ lim supn ndnj < ∞ ; (T3) ndnj → ∞, ne−ndnj → ∞. Továbbá, tegyük fel, hogy
e−ndni −ndnj (endni − 1 − n2 dni dnj ) ∈ R, n→∞ σni σnj
sij := lim
1 ≤ i < j ≤ J,
(2)
és legyen sjj := 1 és sji := sij . Ekkor D
Kn −→ NJ (0, Σ),
(3)
a Σ = (sij )i,j=1,...,J kovarianciamátrixszal. Egy következménye ennek a tételnek, ha a távolságszintek típusai szerint sorbarendezük a klaszterszámokat, valamint ha a különböz® típusokhoz tartozó távolságszintek jól viselkednek, akkor blokkdiagonális kovarianciamátrixú határeloszlását kapjuk a normált klaszterszám vektornak.
2.1. Következmény. Speciálisan tegyük fel, hogy J ≥ 2 és 0 ≤ J1 ≤ J2 ≤ J olyanok, hogy
minden j ≤ J1 esetén a dnj távolságszintek (T1) típusúak, és minden j > J2 esetén pedig (T3) típusúak. Továbbá tegyük fel, hogy teljesülnek p az alábbi feltételek : (i) Minden i < j ≤ J1 esetén sij := limn→∞ dni /dnj ∈ R létezik. (ii) Minden J1 <j ≤J2 esetén cj :=limn→∞ ndnj ∈R szintén létezik. Ekkor J1
blokkdiagonális kovarianciamátrixszal, ahol Σ1 , Σ2 és Σ3 blokkok rendre J1 × J1 , (J2 − − J1 ) × (J2 − J1 ) és (J − J2 ) × (J − J2 ) dimenziósak. A Σ mátrix blokkjaiban található komponensek a fent de niált sij értékek. Csörg® S. és Wu [6] mutat jól viselked® távolságszint sorozatokat mindhárom tí−α pushoz. Egy tipikus (dn )n=1,2,... távolságszint sorozat (T1) esetben a dn = n sorozat −αj tetsz®leges α ∈ (1,2) paraméterrel. J1 darab ilyen dnj = n , j ≤ J1 , sorozatot véve, α1 >
>α2 >· · ·>αJ1
sij =0 adódik minden i<j ≤J1 esetén. (dn )n=1,2,... távolságszint sorozat a (T3) esetben a dn = β(log n)/n sorozat tetsz®leges β ∈ (0,1) paraméterrel. Így a dnj = βj (log n)/n, j > J2 , sorozatok, a βJ2 +1 < βJ2 +2 < · · · < βJ paraméterválasztással szintén a sij = 0 értékeket eredményezik minden J2 < i < j < J esetén. Végül, legyen 0 ≤ J2 − J1 ≤ 2. A J2 − J1 = 0 esetben nincs (T2) típusú távolságszint sorozat, míg a J2 −J1 = 1 esetén egy ilyen típusú sorozat van. A J2 −J1 = 2 esetben pedig a cJ2 = (ecJ1 +1 −1)/cJ1 +1 összefüggés teljesül. Azáltal, hogy a soparaméterrel a kovarianciamátrixban
Hasonlóan egy tipikus
rozatokban lév® paramétereket a fenti módon választjuk, diagonális kovarianciamátrixot kapunk. Így ezekkel a sorozatokkal a 2.1. Következmény a következ® alakot ölti.
2.2. Következmény. Az el®z® bekezdésben szerepl® távolságszint sorozatok esetén D
Kn −→ NJ (0, EJ ), ahol EJ a J dimenziós egységmátrix. Vizsgáltuk továbbá ismert
[a, b]
intervallumon egyenletes eloszlású véletlen változók
esetén adott távolságszintekhez tartozó klaszterszámok együttes viselkedését. Ebben az esetben is meg tudunk adni a 2. Tétel megfelel®jét, mivel
[a, b]
intervallumon egyenletes
[0,1] intervallumon egyenletesé transzformálható. Legyenek V1 , V2 , . . . , Vn független, egy ismert [a, b] intervallumon egyenletes eloszlású a,b a,b véletlen változók, ahol a, b ∈ R, a < b. Jelölje Kn := Kn (dn ) az [a, b] intervallumból származó V1 , V2 , . . . , Vn mintához és a dn távolságszinthez tartozó klaszterszámot, amely 0,1 mennyiséget ugyanúgy de niáljuk, mint a [0,1] intervallumon a Kn (dn ) = Kn (dn ) klaszterszámot. Legyen J ≥ 1 természetes szám, és legyenek dn1 ≤ dn2 ≤ . . . ≤ dnJ távolságszint a,b sorozatok. A Knj (dnj ) jelöli a megfelel® dnj távolságszinthez tartozó klaszterszámot, j = = 1, . . . , J . Legyenek v u 2 ! u ndnj ndnj ndnj ndnj a,b − b−a , σnj = te−2 b−a e b−a − 1 − , ma,b nj = ne b−a eloszlású minta könnyen
valamint
1 Ka,b n = √ n
a,b Kn1 (dn1 ) − ma,b n1 a,b σn1
,...,
a,b KnJ (dnJ ) − ma,b nJ a,b σnJ
!> .
Ekkor a következ® eredményt bizonyítottuk.
3. Tétel. Tegyük fel, hogy a dnj sorozatok mindegyike kielégíti a (T1), a (T2) vagy a
(T3') feltétel valamelyikét, ahol
5
ndnj
(T3') ndnj → ∞, ne− b−a → ∞. Tegyük fel továbbá, hogy létezik sij valós szám, amire ndnj ndni ndni nd ni ndnj a,b a,b − b−a − b−a e b−a − 1 − /σni σnj → sij , e b−a b−a
1 ≤ i < j ≤ J,
(4)
és legyen sii := 1 és sji := sij . Ekkor érvényes a D
Ka,b n −→ NJ (0, Σ)
(5)
konvergencia a Σ = (sij )i,j=1,...,J kovarianciamátrixszal. Végül pedig legyenek eloszlású véletlen változók,
V1 , . . . , Vn független, ismeretlen [a, b] intervallumon egyenletes a, b ∈ R, a < b, valamint legyen V1,n , . . . , Vn,n a hozzá tartozó
rendezett minta. Ebben az esetben is megkaptuk a 2. és a 3. Tételek megfelel®it azáltal,
a ˆn legkisebb és ˆbn legnagyobb mintaelemmel. Hasonlóan az eddigi jelölésekhez, adott J ≥1 természetes szám és adott dn1 <· · ·
valamint
b n = √1 K n
ˆ n1 (dn1 ) − m ˆ nJ (dnJ ) − m K ˆ n1 K ˆ nJ ,..., σ ˆn1 σ ˆnJ
!> .
4. Tétel. Tegyük fel, hogy teljesülnek a 3. Tétel feltételei, és tekintsük az ott de niált Σ
kovarianciamátrixot. Ekkor
D b n −→ K NJ (0, Σ).
(6)
Statisztikai eredmények Adott
X1 , . . . , X n
minta egy ismeretlen
F (x), x ∈ R,
eloszlásfüggvény¶ véletlen vál-
tozóból. Tesztelni szeretnénk azt az egyszer¶ nullhipotézist, hogy
H0 : F = F0,1 , [0,1] intervallumon egyenletes eloszlás eloszlásfüggvényét jelöli. Tetsz®leges J ≥ 1 esetén legyenek a dn1 ≤ . . . ≤ dnJ , n ∈ N, távolságszint sorozatok olyanok, hogy mindegyik sorozat kielégíti a (T1), (T2) vagy (T3) feltételek valamelyikét. Továbbá tegyük fel, hogy a (2) feltétel teljesül, és a 2. Tételbeli Σ kovarianciamátrix nem szinguláris. Legyen Kn az (1)-ben de niált vektor. Ekkor a (3) konvergenciából a
ahol most
F0,1
a
nullhipotézis mellett következik, hogy a tesztstatisztika
D
−1 2 Cn := K> n Σ Kn −→ χJ , 6
ahol a
χ2J
H0
a
J
Jelölje
Cn próbastatisztikával tesztelhetjük klasztertesztnek.
szabadsági fokú khi-négyzet eloszlás. Így a
nullhipotézist. Ezt a tesztet nevezzünk
F
a véges zárt intervallumon vett egyenletes eloszlások családját. Tekintsük
azt az összetett nullhipotézist, hogy a minta valamelyik egyenletes eloszlásból származik, tehát
H0 : F ∈ F = {Fa,b : a, b ∈ R, a < b}, Fa,b az [a, b] intervallumon vett egyenletes eloszlás eloszlásfüggvényét jelöli. Legyenek dn1 ≤ . . . ≤ dnJ , n ∈ N, távolságszint sorozatok olyanok, melyek kielégítik a 4. Tétel
ahol
feltételeit. Ekkor teljesül
D b n −→ b > Σ−1 K bn := K χ2J . C n
(7)
Ez alapján úgy t¶nhet, hogy az összetett nullhipotézist lehet tesztelni az el®z® bekezdéshez
Σ b kovarianciamátrix komponenseit se tudjuk meghatározni, emiatt a Cn statisztika egy adott hasonlóan. A probléma az, hogy mivel nem ismertjük az
a
és
b
pontos értékét, ezért a
minta alapján nem számolható ki. Éppen emiatt az összetett nullhipotézist egy másik módszerrel fogjuk tesztelni. Egy lehetséges megoldás, hogy a tetsz®leges intervallumból származó
V1 , . . . , V n
mintát a
[0,1]
intervallumba transzformáljuk a következ®képpen :
Vn−1,n − V1,n V2,n − V1,n ,..., Vn,n − V1,n Vn,n − V1,n
.
V1,n , . . . , Vn,n a V1 , . . . , Vn mintaelemekhez tartozó rendezett mintát ˜ n−2,j (dnj ) a dnj távolságszinthez tartozó klaszterszámot az átskálázott K esetén, j = 1, . . . , J , és legyen !> ˜ n−2,J (dnJ ) − mn−2,J ˜ n−2,1 (dn1 ) − mn−2,1 K K 1 ˜ n−2 := √ ,..., K σn−2,1 σn−2,J n
(A fenti formulában jelöli.) Jelölje minta
az átskálázott mintához tartozó normalizált klaszterszám vektor. Továbbá jelölje
˜ Σ
a
kovarianciamátrixot az átskálázott minta esetén. Ekkor
D
˜> Σ ˜ n−2 −→ χ2 . ˜ −1 K Cnmod := K n−2 J Az így kapott tesztstatisztika már számolható, és ezáltal összetett nullhipotézis ellen®r-
módosított klasztertesztnek. tesztek erejét különböz® [0,1] intervalumon
zésére alkalmas. Ezt nevezzünk Meghatároztuk ezen
folytonos alternatí-
vákkal szemben szimulációval, valamint összehasonlítottuk az új tesztek erejét Inglot és Ledwina [12] által bevezetett data driven smooth teszttel. Az er®vizsgálat konkluziója, hogy a klaszter tesztek rosszabbul viselkednek, mint más egyenletesség tesztek, kivéve a nagyon oszcilláló alternatívák esetében. A pontos eredmények táblázatok és ábrák formájában találhatók a disszertációban.
4. Illeszkedésvizsgálat normális eloszláscsalád esetén
Bevezetés és el®zmények Az
L2 -Wasserstein távolságot használó del Barrio, Cuesta-Albertos, Matrán és Rodrí-
guez-Rodríguez [10] által bevezetett normalitás teszt szimulációs vizsgálatát mutatjuk be.
7
Egy eltolás- és skálamentes tesztstatisztikát kaptak a sére, ahol
N
H0 : F ∈ N
nullhipotézis ellen®rzé-
a normális eloszláscsaládot jelöli. Ez az eljárás egyrészt úgy tesztel normális
eloszláscsaládhoz való tartozást, hogy a teststatisztika a minta empirikus kvantilisfüggvényének egy funkcionálja ; másrészt aszimptotikusan ekvivalens egy korrelációteszttel. A két különböz® megközelítésb®l származik az elnevezése : kvantilis korrelációteszt.
P2 (R) azon valószín¶ségi mértékek halmaza R-en, melyeknek létezik a máso2 momentumuk. A P1 és P2 ∈ P2 (R) valószín¶ségi mértékek L -Wasserstein távolsága W(P1 , P2 ) := inf [E(X1 − X2 )2 ]1/2 , L(X1 ) = P1 , L(X2 ) = P2 , Legyen
dik
ahol
L(X)
az
X
véletlen változó eloszlását jelöli. Kvantilisfüggvények segítségével ponto-
san számolható ez a távolság :
Z
1/2
1
(F1−1 (t) − F2−1 (t))2 dt
W(P1 , P2 ) =
,
0 ahol
F1−1
illetve
F2−1
a
P1
illetve a
P2
eloszlásokhoz tartozó kvantilisfüggvények.
Egy eloszláscsalád és egy adott eloszlás távolságát úgy de niáljuk, mint az adott
P ∈ P2 (R) tetsz®leges valószín¶ségi mérték, és legyen F az eloszlásfüggvénye, µ0 várható értéke és σ0 a szórása. Ekkor a P eloszlás távolságnégyzete az N normális eloszláscsaládtól 2 Z 1 −1 −1 2 2 µ µ 2 F (t)Φ (t)dt , W (P, N) := inf{W (P, Nσ ), Nσ ∈ N} = σ0 −
eloszlásnak az eloszláscsalád elemeit®l vett távolságainak in mumát. Legyen
0 −1
Φ a standard normális kvantilisfüggvényt jelöli. Ha adott egy F eloszlásfüggvény¶ X1 , . . . , Xn véletlen minta, akkor a H0 : F ∈ N összetett nullhipotézis ellen®rzésére megadható a W(P, N)/σ0 hányados empirikus változata. Ekkor egy eltolás- és skálamentes ahol
statisztikát kapunk :
Tn := ahol
Sn2
W 2 (Fn , N) = 1− Sn2
hR
1 0
i2 Qn (t)Φ (t)dt
hP
−1
= 1−
Sn2
n k=1
Xk,n
R nk k−1 n
i2 Φ (t)dt −1
Sn2
,
az empirikus szórásnégyzet.
Del Barrio, Cuesta-Albertos, Matrán és Rodríguez-Rodríguez [10] megvizsgálták a tesztstatisztika nullhipotézis melletti aszimptotikus viselkedését. Két alakban sikerült el®állítaniuk a határeloszlást. Az els® Brown-híd funkcionáljaként, a második véletlen változók végtelen soraként. Jelölje
ϕ a standard normális eloszlás s¶r¶ségfüggvényét, és legyen Z n 1 n+1 t(1 − t) dt. an = 1 n n+1 [ϕ(Φ−1 (t))]2
5. Tétel (del Barrio, Cuesta-Albertos, Matrán és Rodríguez-Rodríguez[10]).
Ha F ∈ N, akkor
1
B 2 (t) − E(B 2 (t)) n(Tn − an ) −→ dt − ϕ2 (Φ−1 (t)) 0 ∞ 3 X Zj2 − 1 D =− + 2 j=3 j D
Z
Z 0
1
2 Z 1 2 B(t) B(t)Φ−1 (t) dt − dt 2 −1 ϕ2 (Φ−1 (t)) 0 ϕ (Φ (t))
ahol (Zj )∞ j=3 független, standard normális eloszlású véletlen változók sorozata. 8
Szimulációs eredmények A szimulációs vizsgálatban el®ször az 5. Tételben de niált határ véletlen változó eloszlását határoztuk meg numerikusan az ott megadott végtelen soros alak segítségével. Eztán
n = 10-t®l n = 100 000-ig többféle mintaméret mellett Monte Carlo szimuláció n(Tn −an ) tesztstatisztika eloszlásfüggvényét, és meg -
alkalmazásával meghatároztuk az
gyeltük a konvergencia sebességét. A vizsgálat eredményeit a 1. és a 2. ábra tartalmazza.
1. ábra. Az aszimptotikus eloszlásfüggvény (balra) és a s¶r¶ségfüggvény (jobbra)
2. ábra. Az
50
n(Tn − an )
tesztstatisztika eloszlásfüggvénye
n = 10, 20
(pontozott vonal),
mintaméret esetén és az A-val jelölt vastagabb vonal bal oldalon az aszimptotikus
eloszlásfüggvény (balra). Ugyanez
n = 100
és
100 000
mintaméret esetén (jobbra).
Továbbá a szimulációs vizsgálatban kiértékeltük a BCMR-teszt (a szerz®k kezd®bet¶ib®l) számos alternatívával szembeni erejét és öt másik normalitás teszttel összehason-
9
3. ábra. A BCMR,
W,
ISE, BHEP,
D
és
A2
tesztek ereje a
paraméterének függvényében (balra) és ugyanez a
CN (λ, 9)
CN (λ, 4)
alternatíva
λ
alternatívára (jobbra),
jelölések : 1=BCMR-teszt ; 2=W -teszt ; 3=ISE-teszt ; 4=BHEP-teszt ; 5=D -teszt ; 2 6=A -teszt
lítottunk. Ezen tesztek közül az els® ShapiroWilk esetén használtuk az összehasonlításban. Mivel a
W -tesztje [19], amit n = 20 és n = 50 W -teszt együtthatói az n = 100 min-
taméret esetén nagyon nehezen számolhatók, ezért ebben az esetben a ShapiroFrancia 0 [18] W -tesztet használtuk. Az EDF-tesztek közül a KolmogorovSmirnov [13] D -teszt 2 Stephens [20] által javasolt módosított változatát, és az AndersonDarling [1] A -tesztet választottuk. A negyedik teszt, amit bevettünk az összehasonlításba, egy s¶r¶ségbecslésre alapozott teszt, Bowman és Foster [3] integrált négyzetes hiba ISE-tesztje. Az ötödik teszt Epps és Pulley [11] BHEP-tesztje. A jobb összehasonlíthatóság céljából a 3. ábrán felvettük a hat tesztnek a kontaminált normális alternatívákkal szembeni erejét a λ paraméter 2 függvényében. Jelölje CN(λ, σ ), 0 < λ < 1 és σ > 0 paraméterekkel a kontaminált normális eloszlást, amely a következ® eloszlásfüggvénnyel van de niálva
F (x) = (1 − λ)Φ(x) + λΦ(x/σ), A szigni kanciaszint 0,05 ; a mintaméret
n = 20
x ∈ R.
mindkét esetben.
Általános konkluziója ennek a vizsgálatnak, hogy a BCMR-teszt általában jobban teljesít, mint más tesztek, kivéve a WilkShapiro- és ShapiroFrancia-teszteket. Valamint 0 a legtöbb esetben a W W kombinált teszt tulajdonságai és a BCMR kvantilis korrelációteszt tulajdonságai nagyon hasonlítanak egymáshoz.
5. Illeszkedésvizsgálat logisztikus eloszláscsalád esetén Del Barrio, Cuesta-Albertos, Matrán és Rodríguez-Rodríguez [10], valamint del Barrio, Cuesta-Albertos és Matrán [9] által bevezetett kvantilis korreláció teszt súlyozott
10
változatát vezetjük be logisztikus eloszláscsalád esetében. A súlyfüggvény használatát a tesztstatisztikában egymástól függetlenül de Wet [7], [8] és Csörg® S. [4], [5] különböz® motivációból javasolta. Mi a Csörg®-féle [5] eredményt a de Wet által eltolás eloszláscsalád esetére javasolt, konkrét súlyfüggvénnyel bizonyítjuk logisztikus eltolás-skála eloszláscsalád esetében.
G(x), x ∈ R, eloszlásfüggvényre valamint θ ∈ R és σ > 0 eltolás θ legyen Gσ (x) = G((x − θ)/σ), x ∈ R, valamint tekintsük a
Adott méterekre
és skála para-
Gl,s = {Gθσ : θ ∈ R, σ > 0} QG (t) = G−1 (t), 0 < t < R1,
a G kvantilisfüggvényét. Legyen 1 w : (0,1) → [0, ∞) súlyfüggvény olyan, amely a 0 w(t)dt = 1 feltételt kielégíti, és de niáljuk az r -edik súlyozott momentumot Z ∞ Z 1 r (QG (t)) w(t)dt = xr w(G(x))dG(x). µr (G, w) :=
eltolás-skála családot. Jelölje a
−∞
0 A továbbiakban feltesszük, hogy
µ1 (G, w)
és
µ2 (G, w)
véges, és de niáljuk a súlyozott
szórásnégyzetet is :
ν(G, w) := µ2 (G, w) − µ21 (G, w) ≥ 0 . Két eloszlásfüggvény,
F
és
G,
súlyozott
L2 -Wasserstein-távolságát
1
21 (QF (t) − QG (t)) w(t)dt
Z Ww (F, G) :=
de niáljuk a
2
0
Ww (F, Gl,s ) = inf{Ww (F, G) : G ∈ Gl,s } az F eloszlás és a Gl,s eltolás-skála közötti súlyozott L2 -Wasserstein távolságot és a súlyozott variancia hányadosát hR i2 1 Q (t)Q (t)w(t)dt − µ (F, w)µ (G, w) 2 F G 1 1 0 Ww (F, Gl,s ) = 1− ν(F, w) ν(F, w)ν(G, w)
mennyiséggel. A család
Csörg® S. [5] cikkéb®l származtatjuk.
X1 , . . . , Xn véletlen mintát egy ismeretlen F eloszlásfüggvénnyel, és G egy rögzített eloszlásfüggvény. Szeretnénk tesztelni a H0 : F ∈ Gl,s nullhipotézist. Ebb®l a célból de niáljuk a minta empirikus eloszlása és a Gl,s eltolás-skála család súlyozott L2 -Wasserstein-távolságából származtatott hR i2 R1 1 Qn (t)QG (t)w(t)dt − µ1 (G, w) 0 Qn (t)w(t)dt 0 Vn := 1 − R 2 R1 1 ν(G, w) 0 Q2n (t)w(t)dt − 0 Qn (t)w(t)dt Tekintsünk egy
legyen
oi2 Xk,n k−1 QG (t)w(t)dt − µ1 (G, w) k−1 w(t)dt n n = 1− P 2 k k R R Pn n 2 n n ν(G, w) k=1 Xk,n k−1 w(t)dt − k=1 Xk,n k−1 w(t)dt hP
n k=1
nR k n
R nk
n
tesztstatisztikát, ahol következ® eredmény a
n
Qn az empirikus kvantilisfüggvényt jelöli. Csörg®t®l [5] származik a Vn statisztika aszimptotikus viselkedésér®l. 11
6. Tétel (Csörg® [5]). Legyen w egy nemnegatív, a (0,1) intervallumon integrálható
R1 függvény, amelyre 0 w(t)dt = 1. Tegyük fel, hogy G olyan eloszlásfüggvény, amelynek van véges súlyozott második momentuma, és kétszer folytonosan dierenciálható az (aG , bG ) nyitott intervallumon, továbbá g(x) = G0 (x) > 0 minden x ∈ (aG , bG ) esetén. Legyen továbbá B a Brown-híd. Ha a Z 1 t(1 − t) t(1 − t)|g 0 (QG (t))| sup < ∞, w(t)dt < ∞, 2 2 g (QG (t)) 0
0
feltételek teljesülnek, akkor a következ® állítás érvényes : Ha F a G által generált Gl,s eltolás-skála családhoz tartozik, akkor (Z Z 1 2 ) 1 B 2 (t) B(t) 1 D w(t)dt − w(t)dt nVn −→Vg := 2 ν(G, w) 0 g (QG (t)) 0 g(QG (t)) 2 Z 1 Z 1 B(t)QG (t) µ1 (G, w) 1 B(t) − w(t)dt − w(t)dt . ν(G, w) 0 g(QG (t)) ν(G, w) 0 g(QG (t)) Ennek a tételnek a segítségével találtuk meg a tesztstatisztika határeloszlását logisztikus eloszláscsalád esetében.
Eredmények Tekintsünk a
G(x) = 1/(1 + e−x ), x ∈ R,
logisztikus eloszlásfüggvényt, és jelölje
Gl,s
a kapcsolatos eltolás-skála családot. Direkt számolással megmutatható, hogy a de Wet [8]
w(t) = 6t(1 − t), 0 < t < 1 súlyfüggvénnyel a súlyozott µ1 (G, w) = 0 és µ2 (G, w) = π 2 /3 − 2. Ekkor az eltolás-skála
által eltolás család esetére javasol els® és második momentum
mentes tesztstatisztika logisztikus eltolás-skála család esetében
"
n X
#2 ak,n Xk,n
k=1
Vn = 1 −
!2 , X n n X π 2 −2 bk,n Xk,n − bk,n Xk,n 3 k=1 k=1 2
ahol az együtthatók pontosan számolhatóak az alábbi alakban :
Z ak,n =
k n k−1 n
6t(1 − t) ln
t 1−t
dt
k (k − 1)2 (3n − 2k + 2) k −1 k 2 (3n − 2k) ln ln − 3 3 n n−k n n−k +1 n−k 1 − 2k 1 + ln + + , n−k +1 n2 n Z k n 3(2k − 1) 2(−3k 2 + 3k − 1) bk,n = 6t(1 − t)dt = + . k−1 n2 n3 n =
12
Csörg® aszimptotikus eredményének [5] a következményeként kapjuk a
Vn
tesztsta-
tisztika határeloszlását.
7. Tétel. Ha a minta F eloszlásfüggvénye a Gl,s logisztikus eltolás-skála családhoz tarto-
zik, akkor
(Z Z 1 2 ) 1 6B 2 (t) 1 dt − 6B(t) dt nVn −→ V := 2 π /3 − 2 0 t(1 − t) 0 2 Z 1 1 t − 2 dt , 6B(t) ln π /3 − 2 0 1−t D
ahol a határérték 1 valószín¶séggel létezik. Del Barrio, Cuesta-Albertos, Matrán [9] a súly nélküli tesztstatisztika határeloszlását megadták súlyozott Brown-hidak KarhunenLoève-sorfejtéseként. Ugyanezen technikával meghatároztuk a határeloszlás végtelen soros alakját.
8. Tétel. A V határeloszlás felírható ∞
6 1 X D Zk2 − V = π2 k(k + 1) − 2 k=2 3
"
#2 √ ∞ 1 X 3 4l + 1 Z2l π2 l(l + 1)(2l − 1)(2l + 1) − 2 3 l=1
alakban, ahol (Zm )∞ m=1 független standard normális eloszlású véletlen változók végtelen sorozata, és a sor 1 valószín¶séggel konvergál.
Szimulációs eredmények Hasonlóan az el®bbi fejezetekhez egy szimulációs er®vizsgálatot hajtottunk végre, majd összehasonlítottuk az új tesztet az empirikus karakterisztikus függvényre és empirikus momentum generáló függvényre alapozott Meintanis-tesztekkel [15]. A kapott eredményeket az 1. táblázat foglalja össze. Általános konkluziója ennek a szimulációs vizsgálatnak, hogy könnyen számolható tesztstatisztikájú, akár az aszimptotikus kritikus értékeket is használható, közepes er®sség¶ tesztet kaptunk.
Hivatkozások [1] T. W. Anderson and D. A. Darling. Asymptotic theory of certain goodness of t criteria based on stochastic processes.
Annals of Mathematical Statistics, 23 :193212,
1952. [2] F. Balogh and É. Krauczi. Weighted quantile corelation test for the logistic family.
Acta Scientiarum Mathematicarum.(Szeged),
80(1-2) :307326, 2014.
[3] A. Bowman and P. Foster. Adaptive smoothing and density-based tests of multivariate normality.
JASA. Journal of the American Statistical Association,
1993.
13
88 :529537,
[4] S. Csörg®. Weighted correlation tests for scale families.
Test,
11(1) :219248, 2002.
[5] S. Csörg®. Weighted correlation tests for location-scale families.
Computer Modelling,
38(7-9) :753762, 2003.
Mathematical and
Hungarian applied mathematics and
computer applications. [6] S. Csörg® and W. B. Wu. On the clustering of independent uniform random variables.
Random Structures Algorithms,
25(4) :396420, 2004.
[7] T. de Wet. Discussion of "Contributions of empirical and quantile processes to the asymptotictheory of goodness-of- t tests".
Test,
9(1) :7479, 2000.
[8] T. de Wet. Goodness-of- t tests for location and scale families based on a weighted
L2 -Wasserstein
distance measure.
Test,
11(1) :89107, 2002.
[9] E. del Barrio, J. A. Cuesta-Albertos, and C. Matrán. Contributions of empirical and quantile processes to the asymptotic theory of goodness-of- t tests.
Test,
9(1) :196,
2000. With discussion. [10] E. del Barrio, J. A. Cuesta-Albertos, C. Matrán, and J. M. Rodríguez-Rodríguez. Tests of goodness of t based on the
tics,
L2 -Wasserstein
distance.
The Annals of Statis-
27(4) :12301239, 1999.
[11] T. Epps and L. B. Pulley. A test for normality based on the empirical characteristic function.
Biometrika,
nVn n = 20, 50
70 :723726, 1983.
%-ban megadott empirikus ereje néhány alternatívával 100 mintaméret és α szigni kanciaszint mellett (∗ a 100%
1. táblázat. Az
teszt
szemben,
és
empirikus er®t jelöli). Alternatívák
20
50
100
20
50
100
5
6
8
2
2
4
Egyenletes
13
47
93
5
29
82
Cauchy
88
99
*
84
99
*
Laplace
26
39
55
17
29
43
Exp(1)
70
99
*
56
97
*
4
7
13
2
3
6
21
61
97
11
43
91
6
15
40
2
7
24
Weibull(2)
12
25
54
5
15
38
Gamma(2,1)
40
81
99
27
69
98
Lognormal
86
*
*
79
*
*
Student(5) χ21 Negatív Exp
16
19
21
10
12
13
94
*
*
88
*
*
69
99
*
56
97
*
N (0,1)
Triangle(I) Triangle(II) Beta(2 ;2)
α
0,10
14
0,05
[12] T. Inglot and T. Ledwina. Towards data driven selection of a penalty function for data driven Neyman tests.
Linear Algebra and its Applications, 417(1) :124133, 2006.
[13] A. Kolmogorov. Sulla determinazione empirica di una legge di distribuzione.
del Istituto Italiano degli Attuari,
Giornale
4 :8391, 1933.
[14] É. Krauczi. A study of the quantile correlation test of normality.
Test, 18(1) :156165,
2009. [15] S. G. Meintanis. Goodness-of- t tests for the logistic distribution based on empirical transforms.
Sankhy a. The Indian Journal of Statistics,
[16] K. É. Osztényiné.
66(2) :306326, 2004.
Joint cluster counts from uniform distribution.
Mathematical Statistics,
Probability and
33(1) :93106, 2013.
[17] E. S. Pearson. A further development of tests for normality.
Biometrika, 22 :239249,
1930. [18] M. W. Shapiro, S.S. and H. Chen. normality.
An approximate analysis of variance test for
Journal of the American Statistical Association,
63 :134372, 1968.
[19] S. Shapiro and M. Wilk. An analysis of variance test for normality (complete samples).
Biometrika,
52 :591611, 1965.
[20] M. A. Stephens. EDF statistics for goodness of t and some comparisons.
of the American Statistical Association,
69 :730737, 1974.
15
Journal
