14.3 Függetlenség, kovariancia és függő adat

14.3.1 Cél és konkrét helyzet

A Northstar orders.csv minden sora egy rendelés, de ugyanahhoz a customer_id-hoz több sor is tartozhat. Ha egy elemzésben a 2400 rendeléssort úgy kezeljük, mintha 2400 független ügyfélmegfigyelés lenne, alábecsülhetjük a becsléseink bizonytalanságát. Ebben az alfejezetben két dolgot választunk szét: mit jelent két számszerű változó kovarianciája és korrelációja, és mit jelent az, hogy a sorok nem függetlenek, mert ismételt mérések vannak ugyanazon az ügyfélen.

Bemenetnek tekintjük a rendelésenkénti quantity_sum és egy másik numerikus jellemző, például basket_minor vektorát. Megfigyelési egység a sor: egy rendelés. A következtetés szempontjából viszont a független mintavételi egység gyakran az ügyfél, nem a rendelési sor. Előzetes becslés: a rendelésszintű korreláció lehet részben ügyfélen belüli hasonlóságból származó, ezért a korreláció értékét is feltételesen kell értelmeznünk. A cél az, hogy egy későbbi bootstraphez vagy teszthez helyesen jelöljük meg, mit szabad újramintavételezni.

14.3.2 Fogalmi magyarázat

14.3.2.1 Kovariancia mint centrált skalárszorzat

Legyen $\mathbf x=(x_1,\ldots,x_n)$ és $\mathbf y=(y_1,\ldots,y_n)$ két azonos hosszúságú megfigyelésvektor, mindkettő alakja $(n,)$. Jelölje $\bar x$ és $\bar y$ a két átlagot. A kovariancia (covariance) a centrált vektorok skalárszorzatának átskálázott alakja:

$$s_{xy}=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y) =\frac{1}{n-1}\,\mathbf x_c\cdot \mathbf y_c,$$

ahol $\mathbf x_c=\mathbf x-\bar x$ az átlaggal centrált vektor, $\mathbf y_c=\mathbf y-\bar y$ hasonlóan. A mértékegység az $x$ és $y$ mértékegységének szorzata: például darab $\times$ EUR-cent. A pandas Series.cov alapértelmezése $n-1$ osztóval számol, a NumPy np.cov alapértelmezése $n$ osztóval; mindig ellenőrizni kell a ddof paramétert, mert a két érték nem ugyanaz.

A skalárszorzatos alak mutatja, miért beszélünk lineáris együttmozgásról: ha az $x$ és $y$ centrált vektorok „ugyanabba az irányba mutatnak”, a kovariancia pozitív nagy; ha merőlegesek, nulla. Ez a legkisebb négyzetek fejezetéből ismert merőlegességfogalom közvetlen felhasználása.

Kis kézi kontroll: ha $\mathbf x=(-1,0,1)$ és $\mathbf y=\mathbf x^2=(1,0,1)$ a három lehetséges érték, akkor $\bar x=0$ és $\bar y=\tfrac23$. A centrált szorzatok:

$$(-1)\cdot(1-\tfrac23)+0\cdot(0-\tfrac23)+1\cdot(1-\tfrac23)=-\tfrac13+0+\tfrac13=0.$$

Tehát a kovariancia nulla, pedig $y$ teljesen determinisztikusan függ $x$-től.

14.3.2.2 Korreláció

A kovariancia skálafüggő, ezért önmagában nem alkalmas kapcsolatok összehasonlítására. A Pearson-féle korreláció (correlation) a centrált vektorok koszinusz hasonlósága:

$$r_{xy}=\frac{s_{xy}}{s_x s_y}, \qquad s_x=\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar x)^2}$$

hasonlóan $s_y$-nal. A mértékegység dimenziómentes, mert a számláló és a nevező azonos mértékegységű. A Cauchy–Schwarz-egyenlőtlenség miatt $r_{xy}\in[-1,1]$. A $+1$ tökéletes pozitív lineáris kapcsolatot, a $-1$ tökéletes negatív lineáris kapcsolatot jelent, a $0$ pedig azt, hogy a legjobb lineáris irányú együttmozgás sincs jelen.

14.3.2.3 Függetlenség és korrelálatlanság

Két véletlen változó független (independent), ha az egyik értékének ismerete nem ad információt a másik eloszlásáról. Diszkrét esetben és közelítő értelemben: tetszőleges $A$ és $B$ értéktartományra

$$P(X\in A \text{ és } Y\in B)=P(X\in A)\,P(Y\in B).$$

A függetlenségből következik $E[XY]=E[X]E[Y]$, ezért $\mathrm{Cov}(X,Y)=0$ és $r=0$. A megfordítás nem igaz: az $\mathbf x=(-1,0,1)$, $\mathbf y=\mathbf x^2$ példa korrelálatlan, de függő. Más szóval a korrelálatlanság csak a lineáris kapcsolat hiányát jelenti, nem a kapcsolat hiányát.

A gyakorlatban ezért egy kis $r$ mellé nem írhatjuk azt, hogy „a változók függetlenek”. A kódban a scipy.stats.pearsonr által adott p-érték is csak a lineáris korreláció nullmodelljére vonatkozik, nem az általános függetlenségre.

14.3.2.4 Feltételes függés

A kapcsolat mindig egy adott csoportra vagy feltételre vonatkozik. Két változó lehet korrelálatlan a teljes táblán, de régióra bontva erősen korrelált, és fordítva: lehet régiókon belül korrelálatlan, de a teljes táblán erős korrelációt mutat, ha a régió mindkét változó átlagát eltolja. Ez utóbbi a Simpson-jelenség közeli rokona.

Példaként tételezzük fel, hogy az A régióban $X$ és $Y$ egymástól független standard normális, a B régióban szintén függetlenek, de mindkettő átlaga $10$-zel nagyobb. A teljes táblán a régiók közötti átlagkülönbség erős pozitív kovarianciát hoz létre, miközben régióra bontva a korreláció nulla körül marad. Ezt feltételes függés (conditional dependence) akkor mondjuk, ha a csoportváltozó rögzítése után is megmarad a kapcsolat; a fenti példában éppen a feltételes függetlenség és a marginális függés esete áll fenn.

14.3.2.5 Ismételt megfigyelések és csoportok

Ha ugyanazt az ügyfelet többször mérjük, a hozzá tartozó sorok egy csoportot (group/cluster) alkotnak. A csoporton belüli sorok nem cserélhetők fel más ügyfelek soraival, mert egy közös, ügyfélszintű hatást hordozhatnak. Egyszerű modellben:

$$y_{ik}=z_i+\varepsilon_{ik},$$

ahol $z_i$ az $i$-edik ügyfél közös hatása, $\varepsilon_{ik}$ a rendelés szintű zaj. Az azonos ügyfélhez tartozó két sor kovarianciája $\mathrm{Cov}(y_{ik},y_{il})=\mathrm{Var}(z_i)$, ha a zajok függetlenek. Az intra-class correlation (ICC) ezt a hasonlóságot méri:

$$\rho_{\mathrm{ICC}}=\frac{\sigma_z^2}{\sigma_z^2+\sigma_\varepsilon^2},$$

ahol $\sigma_z^2$ az ügyfélszintű variancia, $\sigma_\varepsilon^2$ a rendelésszintű zaj varianciája, mindkettő $y^2$ mértékegységben. Ha $\rho_{\mathrm{ICC}}=0$, a csoportok nem adnak redundáns információt; ha $\rho_{\mathrm{ICC}}=0{,}5$, az ismételt sorok fele-fele arányban tudhatók be közös ügyfélhatásnak és egyedi zajnak.

A független mintavételi egység ezért ilyenkor a customer_id, nem az order-sor. Ha minden sort függetlennek tekintünk, az effektív mintanagyságot felülbecsüljük, és a standard hibát alulbecsüljük. Egyenlő csoportméret esetén a tervezési effektus:

$$\mathrm{DEFF}=1+(m-1)\rho_{\mathrm{ICC}},$$

ahol $m$ az ügyfelenkénti rendelések száma, $\rho_{\mathrm{ICC}}$ pedig az intra-class correlation. Ha például $m=5$ és $\rho_{\mathrm{ICC}}=0{,}5$, akkor $\mathrm{DEFF}=3$, vagyis a független soros standard hibát $\sqrt{3}\approx1{,}73$-mal kell megszorozni ahhoz, hogy a csoportszerkezetet figyelembe vegyük.

14.3.3 Teljes minimális munkapélda

Az alábbi kód a NumPy Generator segítségével állítja elő a két tanulságos adatsort. A kimenet szemléltető jellegű: a szövegben levezetett várható értékek a megadott generáló modellből következnek, a tényleges futás seedtől függően kissé eltérhet.

import numpy as np
import pandas as pd
from scipy.stats import pearsonr

rng = np.random.default_rng(20261020)

# 1) Korrelálatlan, de függő pár: y determinisztikus függvénye x-nek
n = 20000
x = rng.normal(size=n)      # alak: (n,)
y = x**2 - 1
r_nonlinear, _ = pearsonr(x, y)

# Pontos kis kézi kontroll, ahol a kovariancia elméletileg nulla
x_small = np.array([-1.0, 0.0, 1.0])
y_small = x_small**2        # [1, 0, 1]
cov_pop = np.mean((x_small - x_small.mean()) * (y_small - y_small.mean()))

# 2) Ügyfélenként ismételt rendelések szimulációja
n_customers = 100
orders_per = 5
z = rng.normal(0, 1, size=n_customers)              # ügyfeleffektus, (100,)
eps = rng.normal(0, 1, size=(n_customers, orders_per))
y_group = z[:, None] + eps                          # broadcasting: (100,1)+(100,5)
df = pd.DataFrame({
    "customer_id": np.repeat(np.arange(n_customers), orders_per),
    "y": y_group.ravel()
})

# Naiv soronkénti standard error és ügyfélszintű standard error
naive_se = df["y"].std(ddof=1) / np.sqrt(len(df))
customer_means = df.groupby("customer_id")["y"].mean()
cluster_se = customer_means.std(ddof=1) / np.sqrt(n_customers)

# A resampling egység: customer_id, nem a rendeléssor
groups = [g["y"].to_numpy() for _, g in df.groupby("customer_id", sort=True)]
n_groups = len(groups)

def cluster_bootstrap_mean(n_boot=1000, seed=42):
    rng_boot = np.random.default_rng(seed)
    estimates = np.empty(n_boot)
    for b in range(n_boot):
        chosen = rng_boot.integers(0, n_groups, size=n_groups)
        sample = np.concatenate([groups[i] for i in chosen])
        estimates[b] = sample.mean()
    return estimates

boot = cluster_bootstrap_mean()
boot_cluster_se = boot.std(ddof=1)

print("r(x, x**2-1):", r_nonlinear)
print("pontos kis kovariancia:", cov_pop)
print("naive SE:", naive_se)
print("ügyfélszintű SE:", cluster_se)
print("ügyfélszintű bootstrap SE:", boot_cluster_se)

14.3.4 Eredmény értelmezése

Az első részben az $r(x,x^2-1)$ várhatóan nulla közelében van, mert a standard normális eloszlás harmadik momentuma $E[X^3]=0$, és a centrált szorzat átlaga éppen ezt becsli. A pontfelhő eközben tökéletes parabolát rajzol ki, tehát a kapcsolat determinisztikus. A korreláció csak a lineáris kapcsolat hiányát mutatja, a függetlenség hiányát nem.

A második részben a generáló paraméterek $\sigma_z=1$, $\sigma_\varepsilon=1$, ezért $\rho_{\mathrm{ICC}}=\tfrac12$. A naiv standard error várhatóan

$$\frac{\sqrt{2}}{\sqrt{500}}\approx 0{,}063,$$

míg az ügyfélenkénti átlagok standard hibája

$$\frac{\sqrt{1+\tfrac15}}{\sqrt{100}}\approx 0{,}110.$$

A két érték hányadosa $\sqrt{1+4\cdot 0{,}5}=\sqrt{3}$. Az ügyfélszintű bootstrap ugyanezt a csoportszerkezetet veszi figyelembe, ezért annak standard hibája is a nagyobb érték körül ingadozik. Ha valaki a rendeléssorokat tekintené mintavételi egységnek, a naive_se a helyes ügyfélszintű bizonytalanság mintegy $1/\sqrt{3}$-szerese lenne.

A korrelálatlanság nem általában jelent függetlenséget. Az intraklaszter-korrelációra írt $1+(m-1)\rho$ tervezési hatás az egyforma klaszterméretet és az egyszerű cserélhető korrelációs modellt feltételezi.

14.3.5 Feladatok

14.3.5.1 1. feladat — Értelmezés: mi a mintavételi egység a Northstar adatban?

A orders.csv 2400 rendeléssort és 300 egyedi ügyfelet tartalmaz. Magyarázd el, miért nem érvényes az az állítás, hogy „2400 független megfigyelésünk van”, ha egy ügyfél több rendelést is leadott. Mi a resampling egység, és miért?

14.3.5.2 2. feladat — Implementálás: kézi kovariancia és korreláció

Számítsd ki kézzel a minta kovarianciáját $n-1$ osztóval és a Pearson-korrelációt az alábbi párokra:

$$\mathbf x=(-2,-1,0,1,2),\qquad \mathbf y=\mathbf x^2-2=(2,-1,-2,-1,2).$$

Ellenőrizd NumPy-val is (np.cov ddof=1 választással és np.corrcoef). Mit mond az eredmény a függetlenségről?

14.3.5.3 3. feladat — Hibakeresés: soronkénti bootstrap ismételt mérésnél

Egy elemző a fenti df adaton a y oszlop átlagának standard hibáját az alábbi módon becsli:

rng_boot = np.random.default_rng(42)
row_boot = rng_boot.choice(df["y"].to_numpy(), size=(1000, len(df)), replace=True)
se_wrong = row_boot.mean(axis=1).std(ddof=1)

Az eredmény körülbelül 0.063, míg az ügyfélenkénti bootstrap körülbelül 0.110. Melyik becslés hitelesebb ebben a szimulációban, és milyen feltevést sért a soronkénti bootstrap? Fogalmazd meg a javítást a mintavételi egység szintjén.

14.3.5.4 4. feladat — Megváltozott feltétel: feltételes függés régiókkal

Generálj adatot az alábbi módon:

rng = np.random.default_rng(8)
n = 500
x = np.concatenate([rng.normal(0, 1, n), rng.normal(10, 1, n)])
y = np.concatenate([rng.normal(0, 1, n), rng.normal(10, 1, n)])
region = np.array(["A"] * n + ["B"] * n)

Számítsd ki a teljes Pearson-korrelációt, valamint külön az A és B régióra. Miért tér el a teljes korreláció a régiókon belülitől? Nevezd meg, milyen kapcsolat van a csoportosító változó és a két elemzett változó között.

14.3.6 Megoldások és indoklás

14.3.6.1 1. feladat megoldása

Az orders.csv sorai rendelések, de ugyanazon ügyfélhez tartozó rendelések nem függetlenek: közös ügyféléletciklus, szokás vagy viselkedés hat rájuk. A 2400 sor legfeljebb 300, de a csoporton belüli korreláció miatt jellemzően ennél is kevesebb független információs egységet jelent. A resampling egység a customer_id: ha új mintát húzunk, az egész ügyfelet húzzuk a hozzá tartozó összes rendeléssel együtt.

14.3.6.2 2. feladat megoldása

$\bar x=0$, $\bar y=0$; a centrált vektor $\mathbf x_c=\mathbf x$, $\mathbf y_c=\mathbf y$. A szorzatösszeg:

$$(-2)(2)+(-1)(-1)+0+1(-1)+2(2)=-4+1+0-1+4=0.$$

Ezért $s_{xy}=0/(5-1)=0$ és $r=0$. Ugyanakkor $y=x^2-2$ determinisztikus, tehát a két változó erősen függő lehet, csak nem lineárisan. A NumPy np.cov(x,y,ddof=1)[0,1] és np.corrcoef(x,y)[0,1] ugyanezt adja nullának; tolerancia itt csak numerikus kerekítés, a közelítő érték 1e-16 nagyságrendben nulla.

14.3.6.3 3. feladat megoldása

A soronkénti bootstrap azt feltételezi, hogy az 500 rendeléssor egymástól függetlenül cserélhető. Valójában egy ügyfélen belül a sorok közös $z_i$ hatást hordoznak, ezért a soronkénti újrahúzás mesterségesen sok független egységet imitál, és alábecsüli az átlag bizonytalanságát. A helyes eljárás az ügyfélazonosítók újrahúzása, és a kiválasztott ügyfelek összes sorának beemelése, ahogy a cluster_bootstrap_mean teszi. Az ügyfélenkénti eljárás 0.110 körüli standard hibája figyelembe veszi a csoporthatást.

14.3.6.4 4. feladat megoldása

A teljes adaton a korreláció elméletileg $\tfrac{25}{26}\approx 0{,}96$ körüli lesz, mert a régiók közötti $10$ egységnyi átlageltolódás mindkét változót egyszerre növeli. A régiókon belül $X$ és $Y$ független generálású, ezért a két régióra számított korrelációk 0 körüli, seedtől függően véletlenszerűen ingadozó értékek. A region csoportosító változó mindkét változó közös oka: régióra bontva eltűnik a kapcsolat, a teljes táblán viszont megjelenik. Ez feltételes függetlenség, nem okozati kapcsolat.

14.3.7 Gyakori tévedés ellenpéldával

Sok rendelés egy ügyféltől nem ugyanannyi független ügyfélmegfigyelés. Tegyük fel, hogy három ügyfelünk van, és az egyik, mondjuk egy nagykereskedő, 200 szinte azonos rendelést adott le, míg a másik kettő 5-5 rendelést. A táblán 210 sor lenne, de az ügyfélszintű bizonyíték továbbra is 3 egység. Ha valaki a 210 sorra számol standard hibát, az ügyfél szintű bizonytalanságot drámaian alábecsülheti, noha a sorok redundáns ismétlések.

Hasonlóan, ha egy régió mind a kosárértéket, mind a szállítási távolságot eltolja, a teljes táblán látszó korreláció nem jelenti azt, hogy az egyik rendelési jellemző közvetlenül növeli a másikat. Ellenőrző kérdések: használtam-e ddof-ban következetes osztót? Régióra vagy ügyfélre bontva is hasonló a kapcsolat? A mintavételi egység a sor vagy a csoport? Ha a rétegzett és a teljes korreláció eltér, nem szabad a teljes értéket automatikusan általános érvényű állításként közölni.

14.3.8 Rövid összefoglaló

A kovariancia a centrált vektorok skalárszorzatának átskálázott alakja, a korreláció pedig a koszinusz hasonlóság, ezért csak lineáris kapcsolatot mér. A függetlenségből következik a korrelálatlanság, de a korrelálatlanságból nem következik a függetlenség; az $X$ és $X^2-1$ pár erre a legvilágosabb ellenpélda. Ismételt méréseknél a sorok nem függetlenek, mert az ügyfél közös hatást visz be. A helyes mintavételi egység ilyenkor a customer_id, nem az order-sor; az ICC és a tervezési effektus mutatja, hányszorosára nőhet a standard hiba. A következő bootstrap alfejezetben ugyanezt a csoportszerkezetet kell majd tiszteletben tartani.