Tartalomjegyzék

1 A data scientist munkája: kérdésből ellenőrizhető kísérlet

• 1.1 Kérdés, célváltozó és döntési helyzet
• 1.2 Adatéletciklus és a predikció pillanata
• 1.3 Reprodukálhatóság és tudományos munkanapló
• 1.4 Diagnózis és első teljes munkamenet

2 Operációs rendszer, terminál és verziókezelés a napi munkában

• 2.1 Fájlok, útvonalak és projektgyökér
• 2.2 Folyamat, memória és hibakimenet
• 2.3 Git adat- és modellprojektekben
• 2.4 Másik gép, azonos projekt

3 Python-verzió, csomagok és izolált környezet

• 3.1 Interpreter és virtuális környezet
• 3.2 uv projekt és ténylegesen rögzített függőségek
• 3.3 Bináris csomag, BLAS és conda-döntés
• 3.4 Kernelregisztráció és tiszta újrafuttatás

4 Jupyter, VS Code és az interaktív kutatói munkafolyamat

• 4.1 Notebook mint végrehajtási gráf
• 4.2 IDE, típusinformáció és hibakeresés
• 4.3 Notebookból script és jelentés
• 4.4 I. ellenőrző pont: megismételhető kutatói munkaasztal

5 Numerikus Python programozóknak: tömbök és számábrázolás

• 5.1 ndarray, shape, axis és dtype
• 5.2 Broadcasting, indexelés és másolás
• 5.3 Lebegőpont, hiányzó érték és stabil számítás
• 5.4 Vektorizálás és mért teljesítmény

6 pandas: típusbiztos adatbetöltés és tisztítás

• 6.1 Séma, dtypes és hiányzó értékek
• 6.2 Kiválasztás és módosítás Copy-on-Write mellett
• 6.3 Duplikáció, kulcs és adatminőségi szerződés
• 6.4 Dátumok, időzónák és kategóriák

7 SQL a feature- és kutatási adatok előállításához

• 7.1 Reláció, NULL és elemzési szemcsézettség
• 7.2 Join-kardinalitás és duplázódó célváltozó
• 7.3 CTE, window és előzményből számolt feature
• 7.4 Paraméterezett lekérdezés és lekérdezési terv

8 Fájlformátumok, Arrow, DuckDB és Polars

• 8.1 CSV-től Parquet-ig: séma és partíció
• 8.2 DuckDB: helyi analitikus SQL szerver nélkül
• 8.3 Polars lazy terv és streaming korlát
• 8.4 II. ellenőrző pont: adatból ellenőrzött feature-tábla

9 Matematikai nyelv: függvények, logaritmusok és numerikus közelítés

• 9.1 Jelölésből végrehajtható számítás
• 9.2 Exponenciális és logaritmikus skála
• 9.3 Határérték mint közelítési folyamat
• 9.4 Stabil numerika és érzékenység

10 Lineáris algebra a modell és az adatmátrix mögött

• 10.1 Vektor, skalárszorzat, norma és távolság
• 10.2 Mátrixszorzás és lineáris transzformáció
• 10.3 Vetítés és legkisebb négyzetek
• 10.4 Sajátérték, SVD és dimenziócsökkentés előképe

11 Derivált, gradiens és optimalizálás kezdő kalkulusból

• 11.1 Meredekség és numerikus derivált
• 11.2 Parciális derivált és gradiens
• 11.3 Láncszabály és számítási gráf
• 11.4 Optimalizáló választás és konvergenciaellenőrzés

12 Integrál, sűrűség és Monte Carlo: területből valószínűség

• 12.1 Terület, összeg és numerikus integrál
• 12.2 Sűrűség és eloszlásfüggvény
• 12.3 Várható érték és Monte Carlo közelítés
• 12.4 III. ellenőrző pont: egy veszteségfüggvény teljes értelmezése

13 Leíró statisztika és feltáró elemzés torzításokkal együtt

• 13.1 Sokaság, minta és adatfelvételi folyamat
• 13.2 Közép, szóródás és robusztus összegzés
• 13.3 Eloszlás, kapcsolat és csoportkülönbség
• 13.4 Hiány és anomália mint vizsgálati kérdés

14 Valószínűség számítással és szimulációval

• 14.1 Esemény, feltételes valószínűség és Bayes
• 14.2 Véletlen változó és gyakori eloszlásmodellek
• 14.3 Függetlenség, kovariancia és függő adat
• 14.4 Nagy számok és centrális határeloszlás

15 Becslés, likelihood és bizonytalanság

• 15.1 Paraméter, becslő és likelihood
• 15.2 Standard error és konfidenciaintervallum
• 15.3 Bootstrap a megfelelő mintavételi egységgel
• 15.4 Predikciós, paraméter- és Monte Carlo intervallum

16 Hipotézisvizsgálat, hatásméret és kísérleti erő

• 16.1 Nullmodell és p-érték
• 16.2 Tesztválasztás és hatásméret
• 16.3 Power, mintanagyság és többszörös próbák
• 16.4 IV. ellenőrző pont: korrekt statisztikai állítás

17 Statisztikai modellezés statsmodels eszközökkel

• 17.1 OLS a lineáris algebra és statisztika találkozásánál
• 17.2 Formula, interakció és kategorikus változó
• 17.3 Diagnosztika és robusztus standard error
• 17.4 GLM: bináris és számlálási cél

18 Kísérlettervezés és oksági kérdések

• 18.1 Oksági cél és megfigyelési torzítás
• 18.2 Randomizálás és kísérleti protokoll
• 18.3 Megfigyeléses becslés és érzékenység
• 18.4 Kísérlet eredményének tudományos közlése

19 Bayesi szemlélet és valószínűségi programozás

• 19.1 Bayesi frissítés rácson
• 19.2 Credible interval és posterior predictive check
• 19.3 PyMC modell és MCMC diagnosztika
• 19.4 Hierarchia és részleges pooling

20 Idősorok és időbeli validáció

• 20.1 Időtengely, resampling és állomásossági kérdés
• 20.2 Időhelyes feature és gördülő visszateszt
• 20.3 Egyszerű előrejelző modellek és baseline
• 20.4 V. ellenőrző pont: modell és következtetés

21 Prediktív gépi tanulás: adatszétválasztás és pipeline

• 21.1 Tanítás, validáció és érintetlen teszt
• 21.2 Preprocessing tanulás kizárólag a training részen
• 21.3 Baseline és egyetlen teljes kísérlet
• 21.4 Predikciós szerződés és hibateszt

22 Felügyelt modellek és a megfelelő induktív feltevés

• 22.1 Lineáris és logisztikus prediktív modellek
• 22.2 Fák, random forest és gradiensboosting
• 22.3 Távolság, kernel és méretkorlát
• 22.4 Modellcsalád választása tudományos jegyzőkönyvvel

23 Értékelés, keresztvalidáció és hiperparaméter-keresés

• 23.1 Hibamértékből döntési cél
• 23.2 Keresztvalidáció a függőségi szerkezethez
• 23.3 Hiperparaméter és nested értékelés
• 23.4 Küszöb, kalibráció és ritka esemény

24 Nem felügyelt tanulás és reprezentáció

• 24.1 PCA: skála, vetítés és megőrzött variancia
• 24.2 Klaszterezés és stabilitás
• 24.3 Anomália és ritka esemény felügyelet nélkül
• 24.4 VI. ellenőrző pont: szivárgásmentes modellkísérlet

25 Feature engineering és tudatos adatreprezentáció

• 25.1 Időhelyes aggregátum és targetfüggetlen feature
• 25.2 Kategória, hiány és ferde változó
• 25.3 Feature-szelekció és magas dimenzió
• 25.4 Feature store és adatkontraktus szükségessége

26 Modellmagyarázat, megbízhatóság és szeletelt értékelés

• 26.1 Globális és lokális magyarázat
• 26.2 Kalibrált valószínűség és predikciós bizonytalanság
• 26.3 Hibaszeletek és felelős értékelés
• 26.4 Robusztusság és korlátokkal írt modellkártya

27 Szöveg, embedding és LLM-kimenetek értékelése

• 27.1 Szöveges baseline és ritka mátrix
• 27.2 Embedding és hasonlósági keresés
• 27.3 LLM mint sztochasztikus komponens
• 27.4 Adatkezelés és reprodukálhatóság külső modellnél

28 PyTorch, autodiff és a CPU/GPU végrehajtás

• 28.1 Tensor, device és autograd
• 28.2 Tanítási ciklus és adatbetöltés
• 28.3 Generalizáció és gyorsító választás
• 28.4 VII. ellenőrző pont: szakosodási döntés kontrollal

29 Kutatási kódból tesztelhető Python-projekt

• 29.1 Modulhatár és tiszta függvény
• 29.2 Konfiguráció és futási napló
• 29.3 Adatteszt és numerikus teszt
• 29.4 Kódminőség és együttműködő review

30 Adatfolyam, minőség és újrafuttatható pipeline

• 30.1 Feldolgozási gráf és idempotencia
• 30.2 Adatminőségi kapu és hibás sorok kezelése
• 30.3 Cache, backfill és orchestrator
• 30.4 SQL-transzformáció és dbt helye

31 Kísérletkövetés, adat- és modellverziózás

• 31.1 Futásazonosító és kísérleti táblázat
• 31.2 Adatverzió és splitmanifest
• 31.3 Modellartefaktum és betöltési határ
• 31.4 Modelljelölt, jóváhagyás és registry

32 Konténerek, távoli környezetek és automatizált futtatás

• 32.1 Konténer és virtuális környezet külön szerepe
• 32.2 Távoli interpreter és notebook biztonságos elérése
• 32.3 CI: kódellenőrzés és kis számítás új környezetben
• 32.4 VIII. ellenőrző pont: átadható modellprojekt

33 Profilozás és egygépes párhuzamos futtatás

• 33.1 Szűk keresztmetszet és mérési terv
• 33.2 Thread, process és könyvtári szálak
• 33.3 Párhuzamos modellkeresés erőforráskerettel
• 33.4 Optimálás változatlan jelentéssel

34 Nagyobb adat: Dask, Spark és elosztott végrehajtás

• 34.1 Nagyobb mint RAM: előbb adatfolyam
• 34.2 Dask task graph és partíció
• 34.3 Spark DataFrame és végrehajtási terv
• 34.4 Elosztott kísérlet és adatelhelyezés

35 Batch predikció, kis szolgáltatás és kutatói demó

• 35.1 Batch inference és idempotens output
• 35.2 FastAPI végpont és ellenőrzött bemenet
• 35.3 Streamlit mint ellenőrizhető bemutató
• 35.4 Kiadás, visszaállítás és terhelési próba

36 Monitorozás, adatvédelem és modelléletciklus

• 36.1 Adat- és predikciómonitoring címke nélkül
• 36.2 Késő címke, teljesítmény és újratanítás
• 36.3 Hozzáférés, titkok és adatminimalizálás
• 36.4 IX. ellenőrző pont: működő rendszer és bizonyítékai

37 R és a többnyelvű data science ökoszisztéma

• 37.1 R-környezet és statisztikai munkafolyamat
• 37.2 Tábla és formula R-ben
• 37.3 Jelentés és nyelvek közötti adatcsere
• 37.4 Mikor érdemes másik ökoszisztémát választani?

38 Munkahelyi eszköz- és futtatókörnyezet-választás

• 38.1 Helyi gép, távoli CPU és managed notebook
• 38.2 CPU, GPU és elosztott rendszer közötti döntés
• 38.3 Eszközbevezetés, licenc és verziófrissítés
• 38.4 Saját data science munkaasztal specifikációja

39 Záróprojekt I: időhelyes prediktív modell a rendelés pillanatában

• 39.1 Probléma és adatszerződés befagyasztása
• 39.2 Feature-pipeline, baseline és tanulás
• 39.3 Független értékelés és hibaelemzés
• 39.4 Átadás és új környezetes ismétlés

40 Záróprojekt II: kísérleti következtetés és szakmai önállóság

• 40.1 Kísérleti kérdés és előzetes elemzési terv
• 40.2 Becslés, intervallum és érzékenység
• 40.3 Tudományos jelentés és reprodukálható bemutató
• 40.4 X. ellenőrző pont: önálló data scientist munkamenet