5.2 Várható érték, variancia és likelihood

5.2.1 Cél, előismeret és induló becslés

Ebben az egységben az 5.1. Esemény, feltétel és véletlen változó alfejezetben bevezetett eloszlásokhoz rendelünk összefoglaló számokat, és megfordítjuk a kérdés irányát: nem azt kérdezzük, hogy adott paraméter mellett mi a megfigyelés valószínűsége, hanem hogy adott megfigyeléshez melyik paraméter a legvalószínűbb magyarázat. Ehhez definiáljuk a várható értéket, varianciát, kovarianciát, majd a likelihoodot és a maximum likelihood becslést (MLE). A 4.2. Parciális derivált és gradiens alfejezetből a deriválást használjuk a maximum megtalálásához, az 1.2. Szakmailag megalapozott modellezési állítások alfejezetből pedig az állítástípus-fegyelmet: a momentumok levezetése tétel, a numerikus Riemann-közelítés empirikus ellenőrzés.

Induló becslés. Egy szabályos dobókocka sok dobásának átlaga hosszú távon hová tart? Tippeljen egy számot, mielőtt a várható értéket bevezetjük. (A helyes válasz $3{,}5$; a levezetést lentebb adjuk.)

5.2.2 Adat, modell, paraméter és becslési eljárás

A likelihood tárgyalásához négy fogalmat külön kell választani; a felcserélésük gyakori hibaforrás a modellezési jelentésekben.

Definíció (adat). Az adat a megfigyelt realizációk véges sorozata. Ebben az egységben skalár megfigyelésekkel dolgozunk: $x=(x_1,\ldots,x_N)$, ahol Bernoulli-címke esetén $x_i\in\{0,1\}$, kategorikus címke esetén $x_i\in\{0,\ldots,K-1\}$. A tenzoralak a programban $x\in\mathbb Z^N$ vagy $\mathbb R^N$; az $N$ a minta elemszáma.

Definíció (modell és paraméter). A modell egy eloszláscsalád $$\{p(x;\theta):\theta\in\Theta\},$$ ahol minden rögzített $\theta$ paraméterhez egy-egy eloszlás tartozik, és $\Theta$ a lehetséges paraméterek halmaza. Bernoulli-modellnél $\Theta=[0,1]$ és $p(x;\theta)=\theta^x(1-\theta)^{1-x}$. A paraméter a modell egy pontját választja ki; a valódi adatgeneráló mechanizmus ismeretlen.

Definíció (becslési eljárás és becslés). A becslési eljárás egy $T$ függvény, amely minden lehetséges $x$ mintához egy $\Theta$-beli értéket rendel: $\hat\theta=T(x)$. A konkrét realizációból számolt $\hat\theta$ a becslés. Az eljárás a recept, a becslés az eredmény — ugyanaz a különbség, mint a függvény és a függvényérték között.

A GlyphLab adatban $N=360$ kép címkéje kategorikus modellt követhet; a kép maga nem ebben az egységben modellezett megfigyelés, csak a címke. A modellválasztás külön döntés, a paraméter becslése pedig az adaton végzett számítás.

5.2.3 Várható érték

Definíció (diszkrét várható érték). Legyen $X$ diszkrét valószínűségi változó $p_X(x)=P(X=x)$ súlyfüggvénnyel. Ha $$\sum_x |x|\,p_X(x)<\infty,$$ akkor $X$ várható értéke $$E[X]=\sum_x x\,p_X(x).$$

A feltétel nem díszítés. A $\sum_x |x|p_X(x)<\infty$ abszolút összegezhetőség biztosítja, hogy az összeg sorrendje ne változtassa az eredményt. Példa nélküli divergens eset: legyen $P(X=2^k)=2^{-k}$ minden $k=1,2,\ldots$ egészre; ez valóban eloszlás, mert $\sum_{k=1}^{\infty}2^{-k}=1$, de $\sum_k 2^k\cdot 2^{-k}=\sum_k 1=\infty$, tehát $E[X]$ nem létezik véges értékként.

Definíció (folytonos várható érték). Legyen $X$ folytonos valószínűségi változó $f_X$ sűrűségfüggvénnyel. Ha $\int_{-\infty}^{\infty}|x|f_X(x)\,dx<\infty$, akkor $$E[X]=\int_{-\infty}^{\infty}x\,f_X(x)\,dx.$$ A sűrűség és a határozott integrál kapcsolatát 5.1. Esemény, feltétel és véletlen változó tisztázta: $\int_a^b f_X(x)\,dx=P(a\le X\le b)$, a sűrűség pontbeli értéke nem valószínűség.

Tétel (linearitás). Ha $E[X]$ létezik, akkor tetszőleges $a,b\in\mathbb R$ esetén $$E[aX+b]=aE[X]+b.$$

Bizonyítás (diszkrét eset). A definícióból: $$E[aX+b]=\sum_x(ax+b)\,p_X(x)=a\sum_x x\,p_X(x)+b\sum_x p_X(x)=aE[X]+b,$$ mert $\sum_x p_X(x)=1$. Folytonos esetben az összeget integrálra cserélve ugyanez a lépés. A $g(X)$ típusú kifejezések várható értékére használjuk a helyettesítési szabályt: diszkrét esetben $E[g(X)]=\sum_x g(x)p_X(x)$; folytonos esetben $E[g(X)]=\int g(x)f_X(x)\,dx$. Ez utóbbi a transzformációs tétel következménye, amelynek bizonyítását itt elhagyjuk; a felhasznált konkrét $g$-k mind polinomok, amelyekre az eredményt közvetlen integrállal is ellenőrizzük.

5.2.4 Variancia és kovariancia

Definíció (variancia és szórás). Ha $E[X]$ létezik, akkor $$\mathrm{Var}(X)=E\left[(X-E[X])^2\right],$$ feltéve, hogy ez a várható érték véges. A szórás $\sigma_X=\sqrt{\mathrm{Var}(X)}$, mértékegysége azonos $X$-ével.

Tétel (számítóképlet). $\mathrm{Var}(X)=E[X^2]-(E[X])^2$ és $\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$.

Bizonyítás. Legyen $\mu=E[X]$. A linearitást alkalmazva: $$E[(X-\mu)^2]=E[X^2-2\mu X+\mu^2]=E[X^2]-2\mu E[X]+\mu^2=E[X^2]-\mu^2.$$ A második állításhoz $E[aX+b]=a\mu+b$, így $$\mathrm{Var}(aX+b)=E[(aX+b-a\mu-b)^2]=a^2E[(X-\mu)^2]=a^2\mathrm{Var}(X).$$

Definíció (kovariancia). Két véges varianciájú $X,Y$ valószínűségi változó kovarianciája $$\mathrm{Cov}(X,Y)=E\left[(X-E[X])(Y-E[Y])\right].$$ A korreláció $\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)$, amennyiben mindkét szórás pozitív; ez $[-1,1]$ értékű, és csak lineáris kapcsolatot mér.

Tétel (összeg varianciája). $$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\,\mathrm{Cov}(X,Y).$$

Bizonyítás. Jelölje $\mu_X=E[X]$, $\mu_Y=E[Y]$. A linearitásból $E[X+Y]=\mu_X+\mu_Y$, így $$\begin{aligned} \mathrm{Var}(X+Y)&=E\left[(X+Y-\mu_X-\mu_Y)^2\right]\\ &=E\left[(X-\mu_X)^2\right]+E\left[(Y-\mu_Y)^2\right]+2E\left[(X-\mu_X)(Y-\mu_Y)\right]. \end{aligned}$$

Ha $X$ és $Y$ független, akkor $E[XY]=E[X]E[Y]$, amiből $\mathrm{Cov}(X,Y)=0$, tehát $\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$. A megfordítás nem igaz. Ellenpélda: legyen $X$ egyenletes eloszlású a $\{-1,0,1\}$ halmazon, $Y=X^2$. Ekkor $E[X]=0$, $E[Y]=2/3$, és $E[XY]=E[X^3]=0$, ezért a kovariancia $0$. Mégsem függetlenek, mert $P(X=1,Y=1)=P(X=1)=1/3$, míg $P(X=1)P(Y=1)=(1/3)(2/3)=2/9$.

5.2.5 Newton–Leibniz-tétel és az egyenletes eloszlás momentumai

A folytonos momentumok kiszámításához a Riemann-integrál egyetlen tételét használjuk.

Tétel (Newton–Leibniz-formula, polinomokra kimondva). Ha $f$ folytonos a zárt $[a,b]$ intervallumon, és $F'$=f az $(a,b)$-n, továbbá $F$ folytonos $[a,b]$-n, akkor $$\int_a^b f(x)\,dx=F(b)-F(a).$$ $r\ge0$ egészre a $f(x)=x^r$ polinom primitív függvénye $F(x)=x^{r+1}/(r+1)$.

A tételt itt a szükséges polinom-esetre alkalmazzuk; általános bizonyítását nem végezzük el, mert az integrálelmélet körültekintő felépítése a könyv keretein kívül esik. A folytonosság elegendő feltétel a Riemann-integrálhatósághoz, de a formula a megadott feltételpár mellett lépésről lépésre használható.

Tétel (egyenletes eloszlás momentumai). Legyen $X\sim U(a,b)$, azaz sűrűsége $f_X(x)=1/(b-a)$ az $[a,b]$ intervallumon és $0$ azon kívül, ahol $a<b$ valósak. Ekkor $$E[X]=\frac{a+b}{2},\qquad \mathrm{Var}(X)=\frac{(b-a)^2}{12}.$$

Bizonyítás. Először a várható érték: $$\begin{aligned} E[X]&=\int_a^b x\,\frac{1}{b-a}\,dx =\frac{1}{b-a}\left[\frac{x^2}{2}\right]_a^b\\ &=\frac{1}{b-a}\left(\frac{b^2}{2}-\frac{a^2}{2}\right) =\frac{b^2-a^2}{2(b-a)} =\frac{a+b}{2}. \end{aligned}$$ Itt az utolsó lépés a $b^2-a^2=(b-a)(a+b)$ azonosság, ami a $b>a$ feltétel miatt egyszerűsíthető. A második momentum: $$\begin{aligned} E[X^2]&=\int_a^b x^2\,\frac{1}{b-a}\,dx =\frac{1}{b-a}\left[\frac{x^3}{3}\right]_a^b =\frac{b^3-a^3}{3(b-a)} =\frac{a^2+ab+b^2}{3}. \end{aligned}$$ A számítóképletből: $$\begin{aligned} \mathrm{Var}(X)&=\frac{a^2+ab+b^2}{3}-\frac{(a+b)^2}{4} =\frac{4a^2+4ab+4b^2-3a^2-6ab-3b^2}{12}\\ &=\frac{a^2-2ab+b^2}{12} =\frac{(b-a)^2}{12}. \end{aligned}$$

A $[0,1]$-en egyenletes esetben $E[X]=1/2$, $\mathrm{Var}(X)=1/12$. Ez a momentum közvetlenül kapcsolódik 5.1. Esemény, feltétel és véletlen változó Riemann-összegéhez: az integrál ugyanaz a terület, amelyet ott téglalapokkal közelítettünk.

5.2.6 Likelihood, log-likelihood és a Bernoulli-minta maximuma

Definíció (likelihood). Rögzített $x=(x_1,\ldots,x_N)$ megfigyeléshez a likelihood függvény $$\mathcal L(\theta;x)=\prod_{i=1}^N p(x_i;\theta),$$ diszkrét esetben; folytonos modellnél $p$ helyett $f$ sűrűség áll. A log-likelihood $$\ell(\theta;x)=\log\mathcal L(\theta;x)=\sum_{i=1}^N\log p(x_i;\theta),$$ ahol $\log$ természetes logaritmus. A szorzatból összeg lesz, ami numerikusan stabilabb; a log szigorú monotonitása miatt $\mathcal L$ és $\ell$ maximumhelye azonos.

A likelihood fontos tulajdonsága: rögzített adat mellett a paraméter függvénye. Nem a paraméter valószínűsége, nem normalizált eloszlás, és nem egyenlő a Bayes-féle posteriorral — erre a tipikus tévedés részben adunk ellenpéldát.

Tétel (Bernoulli-minta MLE). Legyen $x_1,\ldots,x_N\in\{0,1\}$ minta, és $s=\sum_{i=1}^N x_i$. A Bernoulli-modell likelihoodja $$\mathcal L(\theta)=\theta^{s}(1-\theta)^{N-s},\qquad \theta\in[0,1],$$ és ha $0<s<N$, akkor az egyetlen belső maximumhely $$\hat\theta_{\mathrm{ML}}=\frac{s}{N}=\bar x.$$ Ha $s=0$, akkor a maximum $\hat\theta=0$; ha $s=N$, akkor $\hat\theta=1$.

Bizonyítás. Minden egyes megfigyelés likelihoodja $\theta^{x_i}(1-\theta)^{1-x_i}$; független minta esetén ezek szorzata adja $\mathcal L(\theta)$-t. A kitevők összeadódnak: az $1$-esek száma $s$, a $0$-ké $N-s$. A log-likelihood $$\ell(\theta)=s\log\theta+(N-s)\log(1-\theta).$$ Feltéve $0<s<N$, az első derivált $$\ell'(\theta)=\frac{s}{\theta}-\frac{N-s}{1-\theta}.$$ A második derivált $$\ell''(\theta)=-\frac{s}{\theta^2}-\frac{N-s}{(1-\theta)^2}<0$$ minden $\theta\in(0,1)$-re, tehát $\ell$ szigorúan konkáv a $(0,1)$ intervallumon; egyetlen stacionárius pontja globális maximum. A $\ell'(\theta)=0$ egyenlet: $$\frac{s}{\theta}=\frac{N-s}{1-\theta} \quad\Longleftrightarrow\quad s(1-\theta)=(N-s)\theta \quad\Longleftrightarrow\quad s=N\theta \quad\Longleftrightarrow\quad \hat\theta=\frac{s}{N}.$$ A szélső esetek: $s=0$ esetén $\ell(\theta)=N\log(1-\theta)$, ami $\theta=0$-ban maximális; $s=N$ esetén $\ell(\theta)=N\log\theta$, ami $\theta=1$-ben maximális. Ilyenkor a derivált zérushelye nincs a belső tartományban, ezért a maximumot a tartomány szélén keressük — a belsőponti feltétel a kulcs.

A likelihood értékét a maximumban a kézi példában számítjuk ki.

5.2.7 Kézi példa a likelihoodra

Legyen $N=5$ pénzérme-feldobás eredménye $x=(1,0,1,1,0)$. Ekkor $s=3$, az MLE $\hat\theta=3/5=0{,}6$. A likelihood a maximumhelyen: $$\mathcal L(0{,}6)=0{,}6^3\cdot0{,}4^2=0{,}216\cdot0{,}16=0{,}03456,$$ a log-likelihood pedig $$\ell(0{,}6)=3\log0{,}6+2\log0{,}4\approx-3{,}365.$$ Ellenőrzés közeli pontban: $\ell(0{,}5)=5\log0{,}5\approx-3{,}466<-3{,}365$, tehát a numerikus kép összhangban van a tétellel.

A következő ábra egy nagyobb minta, $s=7$, $N=10$ log-likelihoodját mutatja; a maximum $\theta=0{,}7$-nél van.

A line chart kerekített; a pontos értékek $\ell(\theta)=7\log\theta+3\log(1-\theta)$ közvetlen behelyettesítéséből adódnak, a maximum ténylegesen $0{,}7$.

5.2.8 Labor: kategorikus minta és folytonos momentum

A labor két célt ellenőriz egyszerre: (1) szimulált kategorikus mintából MLE-t illesztünk, beleértve a nullszámosságú osztály szélső esetét; (2) a folytonos egyenletes momentumot kézi integrállal és midpoint Riemann-összeggel is kiszámítjuk. A kód a lab/n018_likelihood.py munkakönyvtárban készül, az inputot maga generálja, tehát nincs külső adatletöltés. A seed 20261020, a lebegőpontos típus float64.

# lab/n018_likelihood.py
# Futtatás: python lab/n018_likelihood.py
import numpy as np

rng = np.random.default_rng(20261020)

# --- 1. Kategorikus minta és MLE ---
p_true = np.array([0.5, 0.3, 0.2, 0.0], dtype=np.float64)
K = p_true.size
N = 200
y = rng.choice(K, size=N, p=p_true)          # int64 osztályindexek
counts = np.bincount(y, minlength=K)
p_hat = counts / N                           # MLE kategorikus modellre

print("counts     :", counts)
print("p_hat      :", p_hat)
print("sum        :", p_hat.sum())
print("nemnegativ :", np.all(p_hat >= 0.0))

# A generáló p negyedik komponense 0, ezért a minta sem tartalmazhatja.
assert counts[3] == 0
assert p_hat[3] == 0.0
assert np.isclose(p_hat.sum(), 1.0, atol=1e-12)

# --- 2. Stabil Bernoulli log-likelihood a szélekkel ---
def bernoulli_loglik(theta, s, n):
    if theta == 0.0:
        return 0.0 if s == 0 else -np.inf
    if theta == 1.0:
        return 0.0 if s == n else -np.inf
    return s * np.log(theta) + (n - s) * np.log(1.0 - theta)

# Szélső konvenciók ellenőrzése
assert bernoulli_loglik(0.0, 0, 10) == 0.0
assert bernoulli_loglik(1.0, 10, 10) == 0.0
assert bernoulli_loglik(0.0, 1, 10) == -np.inf

# --- 3. Egyenletes [0,1] momentumok: kézi integrál és midpoint Riemann ---
a_val, b_val = 0.0, 1.0
n_bins = 1000
h = (b_val - a_val) / n_bins
mid = a_val + (np.arange(n_bins, dtype=np.float64) + 0.5) * h
density = 1.0 / (b_val - a_val)

Ex_num = np.sum(mid * density * h)
Ex2_num = np.sum(mid**2 * density * h)
Ex_analytic = (a_val + b_val) / 2.0
Ex2_analytic = (a_val**2 + a_val * b_val + b_val**2) / 3.0
var_analytic = (b_val - a_val)**2 / 12.0

print("Ex numerikus  :", Ex_num)
print("Ex analitikus :", Ex_analytic)
print("Ex2 numerikus :", Ex2_num)
print("Ex2 analitikus:", Ex2_analytic)
print("abs hiba Ex   :", abs(Ex_num - Ex_analytic))
print("Var numerikus :", Ex2_num - Ex_num**2)
print("Var analitikus:", var_analytic)

Az utolsó rész pontos egyezése: a $U(0,1)$ várható érték analitikus értéke $0{,}5$; a midpoint szabály lineáris függvényekre pontos a szimmetria miatt, tehát az Ex_num $0{,}5$-öt ad, és abs hiba Ex $0$. A varianciánál a numerikus $E[X^2]-(E[X])^2$ körülbelül $1/12$; a tolerancia a midpoint hiba nagyságrendje, körülbelül $10^{-7}$ alatt. A kód kimenetében a counts konkrét értékei a seedelt realizációtól függenek; ezek itt előre nem rögzített mérési eredmények, ezért nem is közlünk kitalált kimenetet. A három assert a 4-es osztályra viszont determinisztikusan teljesül, mert a generáló $p_3=0$.

5.2.9 Feladatok

F1 — fogalmi, nehézség 1. Definiálja a diszkrét várható értéket, és mutassa meg, hogy a $P(X=2^k)=2^{-k}$, $k=1,2,\ldots$ eloszlás teljesíti a normalizálást, de nincs véges várható értéke. Adja meg, melyik feltétel sérül.

F2 — levezetési, nehézség 2. Vezesse le a Bernoulli-eloszlás varianciáját $E[X]=p$ és $E[X^2]=p$ felhasználásával, majd $N$ független Bernoulli-változó $S=\sum_i X_i$ összegének varianciáját a kovarianciás összegképletből. Mondja ki, hol használja a függetlenséget.

F3 — implementációs, nehézség 2. Írjon categorical_mle(y, K) függvényt, amely az y int64 tömb és a $K$ osztályszám alapján visszaadja a $\hat p_k=n_k/N$ becsléseket. Kezelje a nullszámosságot $\hat p_k=0$ értékkel, a kimenet nemnegatív és 1 összegű legyen. Tesztelje y = np.array([0,0,2]), K=3 bemeneten.

F4 — hibakeresési, nehézség 2. Az alábbi kód a Bernoulli MLE-t akarja kiszámítani.

def bad_mle(s, N):
    if s == 0:
        return 0.0
    if s == N:
        return 1.0
    return s / (N - s)   # HIBA

Lokalizálja a hibát, adja meg az okát, a következményét $s=3,N=5$ esetén, és a javított képletet. Ellenőrizze a javítást úgy, hogy a log-likelihood deriváltja a kapott pontban nulla legyen.

F5 — kísérleti/transzfer, nehézség 3. Tervezzen kísérletet: a kategorikus MLE becslési hibája hogyan változik a minta elemszámával? A generáló eloszlás legyen $p=(0{,}5,0{,}3,0{,}2)$, $N\in\{50,200,1000\}$, legalább 3 seed. Metrika: $L_1(\hat p,p)=\sum_k|\hat p_k-p_k|$. Adjon protokollt, baseline-t, megfigyelési egységet és következtetési korlátot. Előre megadott győztest nem kérünk.

5.2.10 Megoldások és indoklás

F1. A diszkrét várható érték definíciója: $E[X]=\sum_x x\,p_X(x)$, ha $\sum_x|x|p_X(x)<\infty$. A megadott eloszlás normalizált: $\sum_{k=1}^{\infty}2^{-k}=1$. A momentumhoz tartozó sor $\sum_{k=1}^{\infty}2^k\cdot2^{-k}=\sum_{k=1}^{\infty}1$, ami divergál, tehát az abszolút összegezhetőség feltétele sérül; $E[X]$ nem létezik véges értékként. Ez mutatja, hogy a normalizálás önmagában nem garantál momentumot.

F2. Bernoulli esetén $E[X]=1\cdot p+0\cdot(1-p)=p$, és mivel $X^2=X$, ezért $E[X^2]=p$. A számítóképletből $\mathrm{Var}(X)=E[X^2]-(E[X])^2=p-p^2=p(1-p)$. Az összeg varianciájához a kovarianciás képletet iterálva: $$\mathrm{Var}(S)=\sum_i\mathrm{Var}(X_i)+\sum_{i\ne j}\mathrm{Cov}(X_i,X_j).$$ Független $X_i,X_j$ esetén a kovariancia $0$; itt használjuk a függetlenséget. Így $\mathrm{Var}(S)=\sum_i p(1-p)=Np(1-p)$. Alakellenőrzés: $S\in\{0,\ldots,N\}$, a variancia nemnegatív, és $p=0$ vagy $p=1$ esetén $0$, ahogy a konstans változótól várjuk.

F3. A függvény:

import numpy as np

def categorical_mle(y, K):
    counts = np.bincount(y, minlength=K).astype(np.float64)
    return counts / counts.sum()

y = np.array([0, 0, 2], dtype=np.int64)
p = categorical_mle(y, 3)
assert p.shape == (3,)
assert np.all(p >= 0.0)
assert np.isclose(p.sum(), 1.0, atol=1e-12)
assert p[1] == 0.0 and np.isclose(p[0], 2.0/3.0)

A minlength=K biztosítja, hogy a nem látott osztály is szerepeljen $0$ számmal; a counts.sum() mindig $N$, ezért nincs nullával osztás.

F4. A hiba a derivált egyenletének hibás megoldása. A $\ell'(\theta)=0$ feltételből $\theta/(1-\theta)=s/(N-s)$ adódik, nem $\theta=s/(N-s)$. A hibás képlet $s=3,N=5$ esetén $3/2=1{,}5$-öt ad, ami kívül esik a $[0,1]$ paramétertartományon, tehát nem valószínűség. Következmény: a „becslés” értelmetlen, és a likelihood nem is értelmezett ott. Javítás: $\hat\theta=s/N=0{,}6$. Ellenőrzés: $\ell'(0{,}6)=3/0{,}6-2/0{,}4=5-5=0$, továbbá $\ell''(0{,}6)<0$, tehát maximum.

F5. Egy lehetséges terv: a megfigyelési egység egy adott $N$ méretű, adott seeddel generált kategorikus minta; a generáló $p$ rögzített, tehát a becsült $\hat p$ eltérése az ismert igazságtól mérhető. Minden $(N,\text{seed})$ cellában kiszámítjuk $L_1(\hat p,p)$-t, és az azonos $N$-hez tartozó értékeket átlagoljuk. Baseline: mindig az egyenletes $1/K$ becslés $L_1$ hibája, hogy a tanult becslés ennél jobb-e. A protokoll rögzíti a seedeket ($20261020,1,2$), a NumPy-verziót és a default_rng generátort. Várt trend: nagyobb $N$ mellett az átlagos $L_1$ csökken, mert a számláló becslés konzisztens; ezt nem garantáljuk előre az adott 3 seedre. Következtetési korlát: három seed kis minta a becslési eljárás szórására, nem bizonyítja a konvergenciát; az eredmény a generáló eloszlásra érvényes, más eloszlásra nem.

5.2.11 Tipikus tévedés ellenpéldával

A leggyakoribb értelmezési hiba: „a likelihood a paraméter valószínűsége, tehát normalizálással eloszlást kapunk prior nélkül.” Ez nem igaz, és a normalizálás önkényes eredményre vezet. Tekintsük az $s=7$, $N=10$ Bernoulli-mintát. A likelihood értékei $\theta=0{,}5$ és $\theta=0{,}7$ esetén $e^{-6{,}931}\approx0{,}000977$ és $e^{-6{,}109}\approx0{,}002226$. Ha a $\Theta=\{0{,}5,0{,}7\}$ rácson normalizálunk, a $0{,}7$-hez tartozó súly $0{,}002226/(0{,}002226+0{,}000977)\approx0{,}70$. Ha viszont a rács $\{0{,}3,0{,}7\}$, a $0{,}7$-hez tartozó súly $0{,}002226/(0{,}002226+0{,}000075)\approx0{,}97$. Ugyanannak a mintának és paraméterpontnak „valószínűsége” meredeken függ attól, milyen más pontokat vettünk fel a rácson — egy valódi eloszlás ezt nem teheti. A likelihood csak hányadosokban hordoz összehasonlító erőt: $\mathcal L(0{,}7)/\mathcal L(0{,}5)\approx2{,}28$ rácsfüggetlen. Ezzel szemben a posterior az 5.1. Esemény, feltétel és véletlen változó Bayes-tételéből származik, és prior nélkül nem definiált.

5.2.12 Önellenőrzés és visszahívás

• Ellenőrizze, hogy minden momentum-integrálnál megadta az abszolút integrálhatóságot, és a varianciaszámításnál a $b>a$ feltételt.
• A likelihood levezetésnél a szélső eseteket külön kezelte-e, nemcsak a belső derivált zérushelyét?
• A numerikus összevetésnél megadta-e a seedet, dtype-ot, toleranciát és azt, hogy a kimenet szemléltetés vagy tényleges mérés?

Visszahívás: 5.1. Esemény, feltétel és véletlen változó alfejezetben a sűrűséget területként értelmeztük — ezt használtuk az egyenletes momentum integráljában. 4.2. Parciális derivált és gradiens alfejezetben a gradiens alak-egyeztetését tanultuk — a likelihood maximumának keresése egyváltozós deriválás, de ugyanaz a stacionáriuspont-logika.

5.2.13 Rövid összefoglaló

A várható érték az eloszlás középpontját, a variancia a szóródását méri; mindkettőhöz véges momentum szükséges. A kovariancia két változó együttes ingadozását összegzi, de a nulla kovariancia nem jelent függetlenséget. Egyenletes eloszlásra az első két momentum a Newton–Leibniz-formulával, polinom-primitív függvényekkel vezethető le. A likelihood rögzített adat mellett a paraméter függvénye, szorzatalakját a logaritmus összeggé alakítja. Bernoulli-minta esetén a log-likelihood konkáv, a belső maximum $s/N$, a $0$ és $N$ szélső eseteket külön kell kezelni. A likelihood nem normalizálható a paraméter eloszlásává prior nélkül.

5.2.14 Következő alkalmazás

Az 5.3. Mintavételi bizonytalanság és intervallum a becslés bizonytalanságát vizsgálja: az MLE egyetlen szám, de más minta más becslést adna. Ott a konfidenciaintervallum és a bootstrap segítségével különítjük el a paraméter igazságát a mintavételi ingadozástól.

5.2.15 Források

• [B01] Deisenroth, Faisal és Ong (2020). Mathematics for Machine Learning. Cambridge University Press. https://mml-book.github.io/.
• [B02] Goodfellow, Bengio és Courville (2016). Deep Learning. MIT Press. https://www.deeplearningbook.org/.