5.3 Mintavételi bizonytalanság és intervallum

5.3.1 Cél, előismeret és induló becslés

Az 5.2. Várható érték, variancia és likelihood egységben a Bernoulli-minta likelihoodjából megkaptuk, hogy egy $N$ elemű megfigyelés mellett az ismeretlen $p$ valószínűség maximum-likelihood becslése $\hat p=s/N$, ahol $s$ a sikerek száma. Ez a becslés azonban egyetlen szám. Ha a generátor másik véletlen mintát adott volna, a becsült $\hat p$ is más lenne: a becslés maga is véletlen mennyiség. Jelen egységben ezt az ingadozást formalizáljuk, és azt a kérdést tesszük fel, hogyan tudunk olyan tartományt adni, amely megbízhatóan lefedi az igazi paramétert.

Kezdő becslésként gondoljunk egy $N=10$ méretű Bernoulli-mintára. Ha $s=4$ sikert kapunk, az MLE $\hat p=0{,}4$. Az olvasó becsülje meg: mekkora az az intervallum, amelyet „biztonságosnak” érez a valódi $p$ számára? A fejezet végére ezt az intuitív képet precíz eljárással váltjuk ki.

A szükséges előismeret az 5.2. Várható érték, variancia és likelihood valószínűségi alapfogalma: véletlen változó, várható érték, variancia, likelihood és sűrűségfüggvény. A 4.3. Jacobi-mátrix, láncszabály és VJP dimenzió-ellenőrzési szokása annyiban tér vissza, hogy minden becslésnél megadjuk a tensor alakját, az 1.3. Adatfelosztás és a megfigyelési egység megfigyelési-egység elve pedig a függetlenségi feltétel pontos megfogalmazásakor lesz döntő.

5.3.2 A minta és a becslő definíciója

Legyen

$$X_1,\ldots,X_N \quad \text{azonos eloszlású és független (iid)}$$

Bernoulli-minta, azaz minden $i$-re $X_i\in\{0,1\}$ és $P(X_i=1\mid p)=p$. Az egyes megfigyelések értékeit jelölje $x_i$. A vektorba rendezett megfigyelés $x=(x_1,\ldots,x_N)^\top\in\{0,1\}^N$; Python-tensor alakja (N,), float32 vagy int64, bár a Bernoulli-célhoz az int64 a természetes. Itt az oszlopvektor-konvenció a minta matematikai tárgyalását szolgálja; a kódban a NumPy-tömb hossza adott.

A becslési eljárás és a becsült érték megkülönböztetése kulcskérdés.

Definíció (statisztika). A mintából számolt tetszőleges $T:\{0,1\}^N\to\mathbb R$ függvényt statisztikának nevezzük. Fontos esete a Mintaösszeg-számláló:

$$S(x)=\sum_{i=1}^N x_i,$$

alakja Pythonban egyetlen int64 skalár.

Definíció (becslő). A $p$ paraméter becslője

$$\hat p_N(x)=\frac{S(x)}{N}=\frac{1}{N}\sum_{i=1}^N x_i.$$

A $x\mapsto\hat p_N(x)$ leképezés a minta teréből a $[0,1]$ paramétertartományba képez; ugyanaz a becslő más mintán más értéket ad. Ezért a $\hat p_N$ maga is véletlen változó, amelynek eloszlása van. A $p$ paraméter ezzel szemben ismeretlen konstans. Ez a felfogás a klasszikus, gyakorisági statisztika kerete.

Várható érték. Mivel a $X_i$-k Bernoulli-eloszlásúak $p$-re, a várható érték linearitása miatt

$$\mathbb E[\hat p_N]=\mathbb E\left[\frac1N\sum_{i=1}^N X_i\right] =\frac1N\sum_{i=1}^N\mathbb E[X_i] =\frac1N\sum_{i=1}^N p =p.$$

Ez a torzítatlanság: a becslő eloszlása a valódi paraméter köré központosul.

Variancia. A függetlenség miatt a tagok kovarianciája nulla, ezért

$$\operatorname{Var}(\hat p_N) =\operatorname{Var}\left(\frac1N\sum_{i=1}^N X_i\right) =\frac1{N^2}\sum_{i=1}^N\operatorname{Var}(X_i) =\frac1{N^2}\sum_{i=1}^N p(1-p) =\frac{p(1-p)}N.$$

Itt felhasználtuk, hogy Bernoulli-eloszlásra $\operatorname{Var}(X_i)=p(1-p)$.

A szóródás mértékegységben kifejezett változata a standard hiba.

Definíció (standard hiba). A $\hat p_N$ becslő standard hibája

$$\mathrm{SE}(\hat p_N)=\sqrt{\operatorname{Var}(\hat p_N)} =\sqrt{\frac{p(1-p)}N}.$$

Ez az érték az ismételt mintavételi ingadozás tipikus nagyságrendjét méri, de a valódi $p$-től függ, így önmagában nem ismert. A megfigyelt mintából képezhető standardhiba-becslés

$$\hat{\mathrm{SE}} =\sqrt{\frac{\hat p_N(1-\hat p_N)}N},$$

amely a valódi $p$ helyére az MLE-t írja. Ez már kiszámítható a mintából.

5.3.3 A becslő ingadozása ismételt mintavétellel

A standard hiba elvont, analitikus képlet. A kérdés az, hogyan mutatható meg közvetlenül az ingadozás. Ehhez szimulációs protokollt rögzítünk, amely a valódi paraméter ismeretét többszöri független minta generálására használja.

Protokoll (szimulációs kísérlet).

• Kérdés: Az MLE ingadozása $N=20$ mellett mekkora, és a standardhiba-képlet közelíti-e a tapasztalt szórást?
• Mit csinálunk: rögzítünk egy igazi $p_0$-t, generálunk $R=1000$ független mintát, mindegyiket $N=20$ eleművé, minden mintára kiszámoljuk az MLE-t, és a kapott becslésvektorból tapasztalati szórást és hisztogramot készítünk.
• Fontos: ez a szimuláció a mintavételi eloszlást vizsgálja; a gyakorlatban csak egy minta áll rendelkezésre.

Legyen a kézenfekvő példa: $p_0=0{,}7$, $N=20$, $R=1000$. A lehetséges minták száma $2^{20}=1\,048\,576$, tehát a szimuláció részben bejárja a mintateret. A standard hiba a képletből

$$\mathrm{SE}=\sqrt{\frac{0{,}7\cdot0{,}3}{20}} =\sqrt{\frac{0{,}21}{20}} =\sqrt{0{,}0105} \approx0{,}10247.$$

Ennek ellenőrzése a szimulációval a következő szakasz laborjának célja. A tapasztalati szórás várhatóan közel lesz $0{,}102$-höz, de nem pontosan egyenlő vele, hiszen $1000$ mintából kapott becslés ingadozik.

A becslő minőségének mérésére két további fogalom szolgál.

Definíció (torzítás). A $\hat\theta$ becslő torzítása

$$\mathrm{Bias}(\hat\theta)=\mathbb E[\hat\theta]-\theta.$$

A fenti MLE torzítatlan, így $\mathrm{Bias}(\hat p_N)=0$. Torzítás nélkül is lehet nagy a szórás; a kettőt együtt méri a négyzetes hiba.

Definíció (négyzetes hiba). $\mathrm{MSE}(\hat\theta)=\mathbb E[(\hat\theta-\theta)^2]$.

A várható érték linearitásával, a $\mathbb E[\hat\theta]=\mu$ jelöléssel,

$$\begin{aligned} \mathrm{MSE}(\hat\theta) &=\mathbb E\left[\big((\hat\theta-\mu)+(\mu-\theta)\big)^2\right]\\ &=\mathbb E[(\hat\theta-\mu)^2]+2(\mu-\theta)\mathbb E[\hat\theta-\mu]+(\mu-\theta)^2\\ &=\operatorname{Var}(\hat\theta)+\mathrm{Bias}(\hat\theta)^2. \end{aligned}$$

Az MLE esetében ezért

$$\mathrm{MSE}(\hat p_N)=\frac{p(1-p)}N.$$

Ez a dekompozíció az, amely miatt a torzítást és a szórást külön érdemes mérni: egy torzítatlan, de nagy szórású becslő rosszabb lehet, mint egy enyhén torzított, de kis szórású. A dekompozíció levezetett állítás, feltétele csupán az, hogy mindkét momentum véges legyen.

5.3.4 Konfidenciaintervallum

A konfidenciaintervallum az ismételt mintavétel nyelvén fogalmaz meg garanciát. Nem a paraméterről állít valószínűséget; a véletlen az intervallum készítésében van.

Definíció (konfidenciaintervallum). Az $1-\alpha$ szintű konfidenciaintervallum-eljárás olyan $[L(X),U(X)]$, ahol $L,U$ a minta mérhető függvényei, és minden megengedett $p$ paraméterre

$$P_p\!\left(L(X)\le p\le U(X)\right)\ge 1-\alpha .$$

A $P_p$ jelölés hangsúlyozza: az eljárást ugyanazzal a $p$-vel ismételten mintavéve, hosszú távon legalább $1-\alpha$ arányban fedi le az intervallum a paramétert. Az egyenlőtlenség a konzervatív változat; sok gyakorlati intervallum csak aszimptotikusan éri el a névleges lefedettséget.

Ez a definíció az, ami a gyakori félreértést eloszlatja: a 95%-os szint nem jelenti azt, hogy az aktuálisan kiszámított $[l,u]$ 0,95 valószínűséggel tartalmazza a paramétert. A paraméter vagy benne van, vagy nincs; a valószínűségi állítás az eljárás hosszú távú viselkedéséről szól. Egy adott intervallum utólagos valószínűsége posterior-értelmezést igényelne, amelyhez prior kell.

A Bernoulli-paraméterre a tankönyvben egy egyszerű, konzervatív intervallumot építünk, amely a Hoeffding-korláton alapul. A szükséges koncentrációs állítást pontos feltételekkel mondjuk ki.

Tétel (Hoeffding-korlát Bernoulli-mintára). Legyen $X_1,\ldots,X_N$ iid Bernoulli($p$) minta. Ekkor bármely $\varepsilon>0$ mellett

$$P\!\left(|\hat p_N-p|\ge\varepsilon\right) \le 2\exp(-2N\varepsilon^2).$$

A tétel bizonyítása a pillanatgeneráló függvény Markov-egyenlőtlenségén és a Bernoulli-változó Hoeffding-lemmáján alapul. A teljes bizonyítás megtalálható a [B01] 6. fejezetében, a koncentrációs egyenlőtlenségek tárgyalásánál; a jelen tankönyvben a véges $N$ melletti numerikus ellenőrzést használjuk, és a mértékelméleti keret bizonyítását nem ismételjük. A szimuláció megmutatja, hogy a korlát mennyire konzervatív.

Következmény (Hoeffding-féle intervallum). Válasszunk $\alpha\in(0,1)$ szintet, és legyen

$$\varepsilon_N=\sqrt{\frac{\log(2/\alpha)}{2N}}.$$

Ekkor az intervallum

$$[\hat p_N-\varepsilon_N,\ \hat p_N+\varepsilon_N]$$

legalább $1-\alpha$ lefedettségű konfidenciaintervallum.

Levezetés. A tételben a lefedettség romlását $2\exp(-2N\varepsilon^2)\le\alpha$ akarjuk, ami ekvivalens $\varepsilon^2\ge\frac{\log(2/\alpha)}{2N}$ feltétellel. Az egyenlőséggel választott $\varepsilon_N$ tehát garantálja, hogy a lefedési hiba legfeljebb $\alpha$. Mivel az intervallum szimmetrikus és a tétel a $|\hat p_N-p|$-re vonatkozik, az állítás következik. Ez levezetett eredmény; itt a Bernoulli-paraméterre alkalmazzuk, de a mögötte álló Hoeffding-tétel ennél általánosabb. Feltétele a megfigyelések függetlensége és korlátossága (itt $X_i\in[0,1]$); nem kell sem azonos eloszlás, sem diszkrétség, ezért bármely $[0,1]$-be eső, akár folytonos célváltozóra is érvényes (ekkor $p$ helyett az átlagos várható érték szerepel), $[a,b]$-korlátos változóra pedig $(b-a)^2$-tel skálázva. A korlát akkor nem alkalmazható, ha a megfigyelések függnek egymástól (például ugyanazon jelenet két nézete, 5.4. Függő képek, seedek és resampling), vagy ha a változó nem korlátos. ∎

Számpéldával: legyen $N=12$ és $\alpha=0{,}05$, azaz 95%-os szint. Ekkor

$$\varepsilon_{12}=\sqrt{\frac{\log(40)}{24}} =\sqrt{\frac{3{,}6889}{24}} =\sqrt{0{,}1537} \approx0{,}3921.$$

Ha a mintában $s=5$ sikert figyeltünk meg, akkor $\hat p=5/12\approx0{,}4167$, így az intervallum:

$$[0{,}0246,\ 0{,}8088].$$

Ez nagyon széles. A Hoeffding-korlát erőssége az, hogy minden $p$-re és minden $N$-re érvényes; a hátránya az, hogy a névleges szintnél sokkal konzervatívabb, különösen közepes $N$-re. Ezért nagyobb mintánál pontosabb, normális approximációra épülő intervallumokat használunk.

5.3.5 A Wald-intervallum és lefedettségi vizsgálata

A maximum-likelihood becslés aszimptotikus normalitása alapján a kézenfekvő közelítő intervallum

$$\hat p_N \pm z_{1-\alpha/2}\,\hat{\mathrm{SE}},$$

ahol $z_{1-\alpha/2}$ a standard normális eloszlás kvantilise. Ez a Wald-intervallum. Csak nagy mintára érvényes közelítő eljárás, ezért a definícióban a névleges lefedettség nem garantált. Ennek ellenére a programozói gyakorlatban a lefedettségvizsgálat a leggyorsabb ellenőrzés arra, hogy az eljárás egy konkrét $p,N$ páros mellett mennyire használható.

A Wald-intervallum névleges eljárása:

$$L=\hat p_N-z\sqrt{\frac{\hat p_N(1-\hat p_N)}N}, \quad U=\hat p_N+z\sqrt{\frac{\hat p_N(1-\hat p_N)}N}.$$

Az intervallumot a $[0,1]$ tartományra szokás metsszeni, mivel a paraméter eleve oda esik; a mi laborunk ezt a lépést is elvégzi.

A lefedettségi szimuláció a definíciót operacionalizálja. Rögzítünk egy $p$ rácsot, például $0{,}01,0{,}02,\ldots,0{,}99$, minden $p$-re sok, egymástól független mintát generálunk, minden mintából intervallumot készítünk, és megnézzük, hány intervallum tartalmazza az adott $p$-t. A lefedettségi arány a rács függvényében rajzolva megmutatja a Wald-intervallum híres gyengeségeit.

A gyakori tévedés itt már látható: a szimuláció a $p$ ismeretére épül, tehát tanulási célra alkalmas, de valódi kísérletben a paramétert nem ismerjük. A lefedettségi szimuláció nem bizonyíték a Wald-intervallum általános érvényességére; ez egy empirikus mérés, amelynek határa a szimulált $p$-tartomány és az $N$ választása.

5.3.6 Kézi kis példa

Tekintsünk egy $N=5$ elemű Bernoulli-mintát: $x=(0,1,0,1,1)^\top$. Számoljuk ki a becslést, a standardhiba-becslést és a Hoeffding-intervallumot.

1. A sikerek száma $S=0+1+0+1+1=3$, ezért $\hat p=3/5=0{,}6$.
2. A standardhiba-becslés:

$$\hat{\mathrm{SE}} =\sqrt{\frac{0{,}6\cdot0{,}4}{5}} =\sqrt{\frac{0{,}24}{5}} =\sqrt{0{,}048} \approx0{,}2191.$$

3. A Hoeffding-intervallumhoz $\alpha=0{,}05$ mellett

$$\varepsilon=\sqrt{\frac{\log(40)}{10}} =\sqrt{\frac{3{,}6889}{10}} =\sqrt{0{,}36889} \approx0{,}6074.$$

Így a konzervatív intervallum $[0{,}6-0{,}6074,\ 0{,}6+0{,}6074]$, a $[0,1]$ metszet után $[0,1]$, ami természetesen mindig lefedi a paramétert, de nem informatív.

Ez a példa azt mutatja, hogy a kis minta és a konzervatív korlát kombinációja üres teljesítményhez vezethet. A Wald-intervallum ugyanerre a mintára $z_{0{,}975}\approx1{,}960$ mellett:

$$[0{,}6-1{,}960\sqrt{0{,}048},\ 0{,}6+1{,}960\sqrt{0{,}048}] \approx[0{,}1706,\ 1{,}0294],$$

amelyet a $[0,1]$ intervallumra metszve $[0{,}1706,1]$-t kapunk. A Wald-intervallum itt már szűkebb a Hoeffding-féle $[0,1]$-nél, de kis mintán nem garantálja a névleges lefedettséget.

5.3.7 Labor: lefedettségi diagram sok szintetikus mintából

A labor egyetlen NumPy-munkamenetben elvégzi a szimulációt; a lenti kimenetek a lab-profilban (NumPy 2.3.5, SciPy 1.18.1) mért értékek.

A munkakönyvtár: lab/n019. A kód coverage_binomial.py néven fut.

"""Bernoulli-becslő lefedettségi szimulációja.

A kód a Wald-intervallum és a Hoeffding-intervallum lefedettségét
becsüli ismételt mintavétellel. A kimeneteket a konzolra írja.
"""
from __future__ import annotations

import numpy as np
from scipy.stats import norm

rng = np.random.default_rng(20261020)
N = 20
R = 2000
alpha = 0.05
z = norm.ppf(1 - alpha / 2)
p_grid = np.arange(0.01, 1.0, 0.01)

cover_wald = np.zeros_like(p_grid)
cover_hoeff = np.zeros_like(p_grid)

for idx, p in enumerate(p_grid):
    x = rng.binomial(1, p, size=(R, N))
    se = np.sqrt(np.clip(x.mean(axis=1) * (1 - x.mean(axis=1)), 0.0, 1.0) / N)
    low = x.mean(axis=1) - z * se
    high = x.mean(axis=1) + z * se
    cover_wald[idx] = np.mean((low <= p) & (p <= high))
    eps = np.sqrt(np.log(2 / alpha) / (2 * N))
    cover_hoeff[idx] = np.mean(
        np.abs(x.mean(axis=1) - p) <= eps
    )

print(f"N={N}, R={R}, alpha={alpha}")
print("Legkisebb Wald-lefedettség:", cover_wald.min())
print("Legnagyobb Wald-lefedettség:", cover_wald.max())
print("Legkisebb Hoeffding-lefedettség:", cover_hoeff.min())
print("Legnagyobb Hoeffding-lefedettség:", cover_hoeff.max())
print("Wald-lefedettség p=0.1-nél:", cover_wald[9])
print("Wald-lefedettség p=0.5-nél:", cover_wald[49])

A kódot a python coverage_binomial.py paranccsal futtatjuk. A lab-profilban mért kimenet:

N=20, R=2000, alpha=0.05
Legkisebb Wald-lefedettség: 0.169
Legnagyobb Wald-lefedettség: 0.956
Legkisebb Hoeffding-lefedettség: 0.991
Legnagyobb Hoeffding-lefedettség: 1.0
Wald-lefedettség p=0.1-nél: 0.882
Wald-lefedettség p=0.5-nél: 0.951

Értelmezés:

• A Wald-lefedettség a tartomány szélein drámaian alacsony ($p=0{,}01$ közelében $0{,}2$ alatti), a közepén pedig a névleges $0{,}95$ alatt és körül ingadozik.
• A Hoeffding-lefedettség minden $p$-re legalább $1-\alpha$, és 1 közelében marad, mert a korlát konzervatív, az intervallum széles.
• A szimulált értékek $R=2000$ ismétlés Monte-Carlo-hibáját hordozzák (névleges $0{,}95$ mellett a standard hiba $\approx0{,}005$); a pontos görbe a binomiális eloszlásból egzaktul is kiszámolható.

A futtatás után a következő ellenőrzések ajánlottak:

• A cover_wald.shape == p_grid.shape és a p_grid.size == 99, mert np.arange(0.01, 1.0, 0.01) 99 elemű, alakja (99,).
• A lefedettségi arányok a $[0,1]$ intervallumba esnek.
• A Hoeffding-lefedettség legalább $1-\alpha$, amennyiben a kód helyes.
• A se képletben a clip megelőzi a negatív értékeket, amit a numerikus kerekítés okozhat.

A diagram a Wald-intervallum egzakt lefedettségét ábrázolja $N=20$, $\alpha=0{,}05$ mellett: $C(p)=\sum_{k=0}^{N}\binom Nk p^k(1-p)^{N-k}\,\mathbf 1[p\in W(k)]$, ahol $W(k)$ a $\hat p=k/N$-hez tartozó Wald-intervallum. A számítás véletlenmentes (nincs seed és ismétlésszám), a pontok a $p$ rács kiválasztott értékei.

A görbe nem sima „U” és nem is sima harang: a két szélen meredeken a névleges szint alá zuhan ($p=0{,}01$ és $0{,}99$ mellett $0{,}18205$), a középső tartományban pedig a binomiális eloszlás diszkrétsége miatt fűrészfogszerűen ingadozik, többnyire $0{,}95$ alatt; a teljes 99 pontos rácson a legnagyobb érték $p=0{,}5$-nél $0{,}95861$. A kirajzolt pontok csak mintavételezik ezt a szakadásos függvényt, ezért a két pont közötti egyenes nem a valódi lefutás.

5.3.8 A posterior-értelmezés hiánya

A leggyakoribb tévedés a konfidenciaintervallum és a posterior tartomány összekeverése. A konfidenciaintervallum definíciója az ismételt mintavételre hivatkozik. Egy prior és a Bayes-tétel nélkül az állítás

$$P(p\in[l,u]\mid x)\ge0,95$$

nem értelmes, mert a $p$-nek nincs eloszlása. Ennek ellenpéldája:

• A gyakorisági eljárás azt állítja, hogy a $[l,u]$ eljárás hosszú távon 95%-ban fed.
• Tekintsünk egy olyan kísérletet, ahol a paraméter mindig egy rögzített, ismert $p_0$. Ekkor a lefedettség vagy 0, vagy 1. Az aktuálisan kiszámított egyetlen intervallumra az „utólagos valószínűség” csak akkor 0,95, ha a prior éppen olyan, hogy az intervallum posterior tömege 0,95; ezt a konfidenciaintervallum nem garantálja.

Gyakorlati haszna mégis van a konfidenciaintervallumnak: ha a becslési eljárást ismételten végrehajtanánk a felhasználás során, a lefedettségi arány garantálható. A modellkísérletekben a különböző seedekből származó eredmények szórása 5.4. Függő képek, seedek és resampling témája, és nem azonos a paraméterre vonatkozó konfidenciaintervallummal.

5.3.9 A bizonyítás és a szimuláció elhatárolása

Ebben az egységben három állítástípus szerepel:

1. Levezetett analitikus állítások: a torzítás, variancia és MSE dekompozíció. Feltételük az iid Bernoulli-minta és a véges momentumok. Ezeket a várható érték linearitásából igazoltuk.
2. Átvett tétel: a Hoeffding-korlát. A forrás [B01] szerinti bizonyítását nem ismételjük; a feltételeket pontosan megadjuk.
3. Empirikus szimuláció: a lefedettségi arány. Ez mérés, nem bizonyíték. A szimuláció csak a választott $p$-rácsra és $N$-re érvényes, és a maga statisztikai hibájával terhelt.

Ez az elhatárolás teszi lehetővé, hogy a hallgató ne keverje a korlátot és a becsült lefedettséget. A Hoeffding-korlát garantált, a Wald-lefedettség szimulációja nem.

5.3.10 Gyakori tévedés ellenpéldával

A 95%-os konfidenciaintervallumot gyakran úgy értelmezik, hogy „95% valószínűséggel a paraméter az intervallumban van”. Ez nem állítható a gyakorisági definícióból. Az ellenpélda: ha $N=1$ és $x_1=0$, a Wald-intervallum $[0,0]$ metszet a $[0,1]$-gyel. Ha a valódi paraméter $p=0{,}4$, az intervallum nem tartalmazza $p$-t. Az eljárás lefedettsége $p=0{,}4$-nél ugyanakkor nem 0,95, hanem annál kisebb. A két állítás más objektumról szól.

5.3.11 Önellenőrzés

A hallgató a következő kérdésekkel tesztelheti a fogalmak elsajátítását:

1. Mi a különbség a $\hat p$ becslő és a $\hat p(x)$ becslés között?
2. Miért igaz az MSE dekompozíció torzítatlan becslőre?
3. Mit jelent a $P_p$ alsó index a konfidenciaintervallum definíciójában?
4. Miért nem használható a Hoeffding-korlát folytonos, nem korlátos célra?
5. A laborban miért szükséges a clip a standardhiba-becslés előtt?

Rövid visszahívás 5.2. Várható érték, variancia és likelihood: a várható érték linearitása az, amely a torzítatlansági levezetést lehetővé teszi, a függetlenség pedig a kovarianciás tagok eltűnéséért felelős.

5.3.12 Feladatok

5.3.12.1 F1 – Fogalmi megkülönböztetés

Nehézség: 1. Előfeltétel: 5.3. Mintavételi bizonytalanság és intervallum definícióinak ismerete. Átadandó: saját szavakkal írt magyarázat és egy példa.

Magyarázza el, mi a különbség a becslő és a becslés között, valamint a standard hiba és a becsült standard hiba között. Adjon egy $N=3$ elemű Bernoulli-mintát, amelyre a becslő értéke $\hat p=1/3$, és számolja ki a becsült standard hibát.

5.3.12.2 F2 – Levezetési feladat

Nehézség: 2. Előfeltétel: a variancia és a függetlenség alapjai. Átadandó: teljes levezetés és a végeredmény.

Legyen $Y_1,\ldots,Y_M$ iid Bernoulli($p$) minta, és $\tilde p=\frac{1}{M}\sum_{i=1}^M Y_i$. Vezesse le a $\tilde p$ várható értékét, varianciáját és standard hibáját. Ellenőrizze a képletet az $M=1$ szélső esetben: mi a standard hiba?

5.3.12.3 F3 – Implementációs feladat

Nehézség: 2. Előfeltétel: a labor kódjának megértése. Átadandó: futtatható függvény a kért kimenettel.

Írjon Python-függvényt wald_interval(x, alpha) néven, amely egy (N,) alakú Bernoulli-mintából kiszámolja a Wald-intervallum $[L,U]$ végpontjait. A függvény a scipy.stats.norm.ppf használatával, float64 pontossággal dolgozzon, és a végpontokat a $[0,1]$ tartományra metssze. Az ellenőrzéshez használja az $x=(1,0,0,1)^\top$, $\alpha=0{,}05$ mintát. A várt intervallumot hat tizedesjegyre számolja ki.

5.3.12.4 F4 – Hibakeresési feladat

Nehézség: 2. Előfeltétel: a labor kódjának ismerete. Átadandó: a hiba oka, következménye, javítása és ellenőrzése.

A következő kódrészlet a Hoeffding-lefedettséget méri, de hibás:

eps = np.sqrt(np.log(2 / alpha) / (2 * N))
cover = np.mean(np.abs(x.mean(axis=1) - p) < eps)

Mi a hiba, és miért vezet a lefedettség alulbecsléséhez? Javítsa a kódot, és indokolja a választott összehasonlító operátort a definíció alapján.

5.3.12.5 F5 – Transzfer feladat

Nehézség: 3. Előfeltétel: a lefedettségi szimuláció elve. Átadandó: protokollterv, lehetséges baseline és érvényességi korlát.

Tervezzen szimulációt annak vizsgálatára, hogy a Hoeffding-intervallum lefedettsége hogyan viselkedik, ha a minták nem függetlenek, hanem az 1.3. Adatfelosztás és a megfigyelési egység GlyphLab-struktúrához hasonlóan párokba rendeződnek: minden pair azonos rejtett paraméterű Bernoulli-változók. Milyen protokollal különítené el a függetlenség megsértésének hatását? Milyen korlátot érvényesítene a konklúzióban?

5.3.13 Megoldások és indoklás

5.3.13.1 F1 megoldás

A becslő a minta teréből a paramétertérbe képező függvény, tehát $\hat p_N$ maga is véletlen változó. A becslés e függvény adott realizált mintára vett értéke: $\hat p_N(x)=s/N$. A standard hiba a becslő eloszlásának szórása, mely a valódi $p$-től függ; a becsült standard hiba a paraméter ismeretlen értékét a mintából becsült értékkel helyettesíti.

Példa: $x=(1,0,0)^\top$. Ekkor $s=1$, $\hat p=1/3$, és

$$\hat{\mathrm{SE}} =\sqrt{\frac{(1/3)(2/3)}3} =\sqrt{\frac{2/9}{3}} =\sqrt{\frac{2}{27}} \approx0{,}2722.$$

5.3.13.2 F2 megoldás

A várható érték linearitásával, mivel minden $Y_i$ Bernoulli-eloszlású $p$-re,

$$\mathbb E[\tilde p] =\frac1M\sum_{i=1}^M\mathbb E[Y_i] =\frac1M\sum_{i=1}^M p =p.$$

Így $\tilde p$ torzítatlan. A varianciához a függetlenséget használjuk:

$$\operatorname{Var}(\tilde p) =\operatorname{Var}\!\left(\frac1M\sum_{i=1}^M Y_i\right) =\frac1{M^2}\sum_{i=1}^M\operatorname{Var}(Y_i) =\frac1{M^2}\sum_{i=1}^M p(1-p) =\frac{p(1-p)}M.$$

A standard hiba ennek négyzetgyöke:

$$\mathrm{SE}(\tilde p)=\sqrt{\frac{p(1-p)}M}.$$

Szélső eset: $M=1$. Ekkor $\mathrm{SE}(\tilde p)=\sqrt{p(1-p)}$, ami éppen a Bernoulli-változó szórása. Ez konzisztens: egyetlen megfigyelésből a becslés maga a megfigyelés, így ingadozása megegyezik az eredeti változóéval.

5.3.13.3 F3 megoldás

"""Wald-intervallum Bernoulli-mintára."""
from __future__ import annotations

import numpy as np
from scipy.stats import norm


def wald_interval(x: np.ndarray, alpha: float) -> tuple[float, float]:
    """A Wald-féle konfidenciaintervallum [L, U] végpontjai.

    x: (N,) alakú 0/1 értékű minta, float64.
    alpha: a hiba valószínűsége, pl. 0.05.
    """
    N = x.shape[0]
    p_hat = x.mean()
    se = np.sqrt(p_hat * (1 - p_hat) / N)
    z = norm.ppf(1 - alpha / 2)
    L = max(0.0, p_hat - z * se)
    U = min(1.0, p_hat + z * se)
    return L, U


x = np.array([1, 0, 0, 1], dtype=np.float64)
alpha = 0.05
L, U = wald_interval(x, alpha)
print(f"L={L:.6f}, U={U:.6f}")

Számolás: $\hat p=2/4=0{,}5$, $\hat{\mathrm{SE}}=\sqrt{0{,}25/4}=0{,}25$, $z\approx1{,}959964$. Az intervallum végpontjai:

$$L=0{,}5-1{,}959964\cdot0{,}25=0{,}010009,$$

$$U=0{,}5+1{,}959964\cdot0{,}25=0{,}989991.$$

Az elvárt kimenet L=0.010009, U=0.989991, amit a metszet nem módosít, hiszen mindkét végpont a $[0,1]$ belsejében van.

5.3.13.4 F4 megoldás

A hiba a szigorú < operátor. A lefedettségi definíció megengedő egyenlőtlenséget ír elő: $L\le p\le U$. Ezért a

$$|\hat p-p|\le\varepsilon$$

eseményt kell vizsgálni. A Bernoulli-mintaátlag diszkrét: $\hat p$ csak a $0,1/N,\ldots,1$ értékeket veheti fel. Ezért az egyenlőség eseményének lehet pozitív valószínűsége, amikor $|\hat p-p|=\varepsilon$ teljesül valamely lehetséges mintaátlagra. A szigorú < ilyenkor ténylegesen alulbecsülheti a zárt intervallum lefedettségét; más paraméterértéknél a különbség nulla.

Javított kód:

cover = np.mean(np.abs(x.mean(axis=1) - p) <= eps)

Ellenőrzés: a lefedettségi arány így konzisztens a Hoeffding-korlát állításával, miszerint a hiba valószínűsége legfeljebb $\alpha$. Az elméleti lefedettség a Hoeffding-feltételek mellett legalább $1-\alpha$; a véges $R$ szimulációban mért lefedettség véletlen ingadozása miatt lehet a névleges szint alatt is.

5.3.13.5 F5 megoldás

A transzferfeladat protokollja:

1. Kérdés: csökken-e a Hoeffding-intervallum lefedettsége, ha a függetlenség megsértése páros struktúrát követ?
2. Adatgeneráló modell: minden scene_id-hez húzunk egy közös $p_s$ rejtett értéket; a két nézet $X_{s1},X_{s2}$ feltételesen független Bernoulli($p_s$) változó. A függetlenség megsértését az jelenti, hogy a $p_s$ scene-enként változik, de a nézeteken belül közös.
3. Kontroll (baseline): ugyanakkora $N$ mellett független Bernoulli-minta, ahol minden $X_i$ azonos $p_0$-ból jön.
4. Változó tényező: a $p_s$ szóródása a scene-en belül, például két szint: kis variancia, nagy variancia.
5. Mérés: minden beállításban 1000 ismételt mintából lefedettségi arány.
6. Kiinduló hipotézis: a klaszterezett minta esetén a Hoeffding-lefedettség elmaradhat a névlegestől, mert a hatékony mintaméret kisebb, mint $N$.
7. Érvényességi korlát: a konklúzió csak a szimulált modellre és a választott szórásszintekre vonatkozik; nem általános bizonyíték a klaszterezett adatokra.

A hallgató a feladatmegoldásban a fenti szerkezetet töltse ki a konkrét szimulációs lépésekkel. A megoldásminta a terv szerkezetét és az alternatívák indoklását értékeli, nem egy előre adott numerikus eredményt.

5.3.14 Rövid összefoglaló

A becslő a minta függvénye, így maga is véletlen változó; a becslés a konkrét mintán kapott érték. Az iid Bernoulli-minta MLE-je torzítatlan, varianciája $p(1-p)/N$, a standard hiba ennek négyzetgyöke. A négyzetes hiba varianciára és torzításnégyzetre bomlik. A konfidenciaintervallum lefedettsége ismételt mintavételi gyakoriság: a Hoeffding-intervallum garantáltan legalább $1-\alpha$ szintű, míg a Wald-intervallum csak aszimptotikus közelítés. A labor sok szintetikus mintából méri a lefedettséget; a kapott arány szimulációs bizonyíték, nem analitikus garancia. A 95%-os intervallum nem azonos a paraméter 95%-os posterior valószínűségével, mert utóbbihoz prior szükséges.

5.3.15 Következő alkalmazás

A lefedettségi szimuláció a bizonytalanság egy fajtáját méri. A gyakorlatban a különböző betöltött seedekből származó modellek szóródása is mintavételi bizonytalanság, ám az adatok függhetnek egymástól: ugyanazon jelenet két nézete nem független. Az 5.4. Függő képek, seedek és resampling egység ezt a függő struktúrát és a bootstrap alapjait vezeti be.

5.3.16 Források

• [B01] Deisenroth, A. A. Faisal és C. S. Ong (2020). Mathematics for Machine Learning. Cambridge University Press. https://mml-book.github.io/.
• [S02] NIST/SEMATECH (n.d.). e-Handbook of Statistical Methods: Confidence Limits for the Mean. https://www.itl.nist.gov/div898/handbook/eda/section3/eda352.htm.

A Wald-intervallum kis mintás lefedettségét a fejezet nem külső forrásból veszi át, hanem saját számítással mutatja meg: a chart a binomiális eloszlásból egzaktul számolt értékeket ábrázolja ($N=20$, $\alpha=0{,}05$), a labor szimulációja ($R=2000$, seed 20261020) pedig Monte-Carlo-hibán belül ugyanezt adja. Más $N$ esetén a görbe részletei megváltoznak, a szélek alá-lefedése és a diszkrétség okozta ingadozás nem.