4.1 Függvény, határérték és derivált

4.1.1 Cél, előismeret és induló kérdés

Ez az egység a valós függvények differenciálszámításának azt a minimális részét építi fel, amelyre a neurális hálózatok tanításának matematikája épül. A 3.1. Vektor, norma és skalárszorzat alfejezetben bevezetett távolságfogalmat használjuk: a differenciahányados nevezője két pont távolsága, a számláló pedig a hozzájuk tartozó függvényértékek különbsége. A 3.4. Sajátérték, SVD és spektrális határ alfejezetből most csak annyit használunk fel, hogy a lineáris leképezés a későbbi többdimenziós derivált központi gondolata; ebben az alfejezetben minden objektum skalár–skalár függvény.

Induló becslés: egy képfeldolgozó eljárás a $0{,}31$ bemenetre $0{,}252$ értéket ad, a $0{,}32$ bemenetre pedig $0{,}261$ értéket. Körülbelül mennyit változik a kimenet, ha a bemenetet $0{,}31$-ről $0{,}313$-ra állítjuk? A válaszhoz a változás és a bemenetváltozás hányadosát kell értelmeznünk.

4.1.2 A differenciahányados és a derivált definíciója

Legyen $f:D\subseteq\mathbb R\to\mathbb R$ valós függvény, és legyen $a\in D$ a $D$ tartomány belső pontja, azaz valamely $\delta>0$ esetén az $(a-\delta,a+\delta)$ intervallum is $D$-ben van. Minden olyan $h\neq 0$ lépésközre, amelyre $a+h\in D$, definiáljuk a differenciahányadost (difference quotient):

$$D_h f(a)=\frac{f(a+h)-f(a)}{h}.$$

A kifejezés az $(a,f(a))$ és $(a+h,f(a+h))$ pontokon átmenő szelő meredeksége. A $h$ lehet negatív is; ekkor a szelő a bal oldali pont felé mutat.

A derivált (derivative) az $a$ pontban a differenciahányados határértéke, ha ez a véges határérték létezik:

$$f'(a)=\lim_{h\to 0}D_h f(a) =\lim_{h\to 0}\frac{f(a+h)-f(a)}{h}.$$

Pontosabban: $f'(a)=L\in\mathbb R$, ha minden $\varepsilon>0$ számhoz van olyan $\delta>0$, hogy minden $0<|h|<\delta$, $a+h\in D$ esetén $|D_h f(a)-L|<\varepsilon$. A $0<|h|$ feltétel fontos: a differenciahányados $h=0$-ban nincs értelmezve, a határérték mégis közelíthető mindkét oldalról. Ha a határérték nem létezik vagy nem véges, akkor $f$ az $a$ pontban nem differenciálható.

Az induló kérdésben a két adat közötti differenciahányados

$$\frac{0{,}261-0{,}252}{0{,}32-0{,}31} =\frac{0{,}009}{0{,}01}=0{,}9.$$

Ha feltesszük, hogy a kimenet közelítőleg ezzel a lokális sebességgel változik, akkor a $0{,}313$ bemenethez tartozó becsült kimenet

$$0{,}252+0{,}9\cdot(0{,}313-0{,}31) =0{,}252+0{,}0027=0{,}2547.$$

Ez a gondolatmenet pontosan a derivált elsőrendű közelítését használja; a hibáját a későbbi Taylor-részben vizsgáljuk.

4.1.3 Folytonosság és differenciálhatóság viszonya

Az $f$ folytonos az $a$ pontban, ha $\lim_{x\to a}f(x)=f(a)$. Szavakkal: elég kis bemenetváltozásra a kimenet is tetszőlegesen kis változást mutat. A folytonosság gyengébb feltétel, mint a differenciálhatóság.

Tétel (differenciálhatóságból következik a folytonosság). Ha $f$ differenciálható az $a$ pontban, akkor $f$ folytonos is $a$-ban.

Bizonyítás. A különbséget szorzattá alakítjuk. Minden $x\neq a$ esetén, amelyre a hányados értelmes,

$$f(x)-f(a)=\frac{f(x)-f(a)}{x-a}\cdot(x-a).$$

Ha $x\to a$, akkor az első tényező a definíció szerint $f'(a)$-hoz tart, a második pedig $0$-hoz. A szorzat határértéke a két véges határérték szorzata, tehát

$$\lim_{x\to a}\bigl(f(x)-f(a)\bigr)=f'(a)\cdot 0=0.$$

Ebből $\lim_{x\to a}f(x)=f(a)$, vagyis $f$ folytonos $a$-ban. A $x=a$ eset triviálisan teljesíti az egyenlőséget. Az állítást beláttuk.

A megfordítás nem igaz. Az $f(x)=|x|$ függvény folytonos $0$-ban, de nem differenciálható ott. Valóban, $h>0$ esetén

$$D_h f(0)=\frac{|h|-|0|}{h}=\frac{h}{h}=1,$$

míg $h<0$ esetén

$$D_h f(0)=\frac{|h|}{h}=\frac{-h}{h}=-1.$$

A jobb és bal oldali hányados különböző, így a kétoldali határérték nem létezik.

4.1.4 Levezetés: a négyzetfüggvény deriváltja

A kötelező levezetést a $q:\mathbb R\to\mathbb R$, $q(x)=x^2$ függvényre végezzük el, közvetlenül a definícióból. Rögzített $a\in\mathbb R$ és $h\neq 0$ esetén

$$\begin{aligned} D_h q(a) &=\frac{(a+h)^2-a^2}{h} \\ &=\frac{a^2+2ah+h^2-a^2}{h} \\ &=\frac{2ah+h^2}{h} \\ &=2a+h. \end{aligned}$$

Az utolsó lépésben $h\neq 0$ miatt egyszerűsíthetünk. A $2a+h$ kifejezés $h\to 0$ esetén a $2a$ értékhez tart, mert a konstans $2a$-hoz egy nullához tartó tagot adunk. Ezért

$$q'(a)=\lim_{h\to 0}(2a+h)=2a.$$

Mivel az $a$ tetszőleges volt, a deriváltfüggvény $q'(x)=2x$ minden $x\in\mathbb R$ pontban. A levezetés feltétele pusztán $h\neq 0$; a négyzetfüggvény mindenütt differenciálható.

Ellenőrzésként az $a=3$ pontban a valódi derivált $q'(3)=6$. A $h=0{,}1$ differenciahányados:

$$\frac{3{,}1^2-3^2}{0{,}1} =\frac{9{,}61-9}{0{,}1}=6{,}1.$$

A $h=0{,}01$ hányados $6{,}01$; a $2a+h$ képlet éppen ezt adja. A hiba a fenti levezetésből pontosan $h$.

4.1.5 Taylor első rendű közelítése

A derivált definíciójának átrendezésével kapjuk a lokális lineáris közelítést.

Lemma (elsőrendű Taylor-maradék). Ha $f$ differenciálható $a$-ban, akkor megadható olyan $\varepsilon(h)$ függvény, amelyre $\varepsilon(h)\to 0$, ha $h\to 0$, és minden elég kis $|h|$ esetén

$$f(a+h)=f(a)+f'(a)h+h\varepsilon(h).$$

Bizonyítás. $h\neq 0$-ra legyen

$$\varepsilon(h)=D_h f(a)-f'(a) =\frac{f(a+h)-f(a)}{h}-f'(a).$$

A derivált definíciója szerint $\varepsilon(h)\to 0$. Ezt átrendezve:

$$\frac{f(a+h)-f(a)}{h}=f'(a)+\varepsilon(h),$$

majd $h$-val szorozva és $f(a)$-t mindkét oldalhoz adva a kívánt alakot kapjuk. A $h\varepsilon(h)$ maradéktag tehát $o(h)$ rendű: nullához tart akkor is, ha elosztjuk $h$-val.

Az elsőrendű Taylor-közelítés ennek a maradéktag elhagyásával kapott lineáris függvénye:

$$T_1(x)=f(a)+f'(a)(x-a).$$

A négyzetfüggvénynél $a=3$ esetén $T_1(x)=9+6(x-3)$. Például $x=3{,}1$-re $T_1(3{,}1)=9+6\cdot 0{,}1=9{,}6$, míg a pontos érték $3{,}1^2=9{,}61$. A hiba $0{,}01=h^2$, és ez a négyzetfüggvényre minden $h$-ra pontosan így alakul, mert

$$(3+h)^2=9+6h+h^2.$$

Általános sima függvényre a maradék $h^2$ nagyságrendű, ha a második derivált korlátos; ennek formális, Lagrange-féle alakját itt nem bizonyítjuk, mert a következő numerikus hibaelemzéshez elegendő a fenti konkrét eset.

4.1.6 Numerikus lépésköz és a kerekítési határ

A számítógépes gyakorlatban a deriváltat gyakran véges differenciákkal közelítjük. Az előre mutató (forward) differencia a már ismert $D_h f(a)$. A középső (central) differencia:

$$\delta_h f(a)=\frac{f(a+h)-f(a-h)}{2h}.$$

A $q(x)=x^2$ függvényre a középső differencia valós aritmetikában minden $h\neq 0$-ra pontosan $2a$, mert

$$\frac{(a+h)^2-(a-h)^2}{2h} =\frac{4ah}{2h}=2a.$$

A forward differencia hibája ezzel szemben $h$, amint fent láttuk. Ez az algebrai, más néven csonkolási hiba.

A lebegőpontos számítás azonban egy második hibaforrást is bevezet. Jelölje $u\approx 2{,}22\cdot 10^{-16}$ a float64 gépi pontosságot. Ha $f(a)\approx 9$ nagyságrendű, akkor $f(a+h)$ és $f(a-h)$ kiértékelése egyenként körülbelül $u|f(a)|$ abszolút hibát hordozhat. A kivonás után a két hiba legfeljebb összeadódik, így a számláló abszolút hibája nagyjából $4u|f(a)|$. Ezt a $2h$ nevezővel osztva a kerekítési eredetű deriválthiba

$$E_{\text{kerek}}(h)\approx \frac{4u|f(a)|}{2h} =\frac{2u|f(a)|}{h}.$$

Ez $h$ csökkenésével nő. A forward differencia teljes hibája a $q=x^2$ esetben közelítőleg

$$E_{\text{forward}}(h)\approx |h|+\frac{2u|f(a)|}{h}.$$

Két ellentétes tag összege: a csonkolási hiba $h$-val csökken, a kerekítési hiba $1/h$-val nő. A minimum nagyságrendileg ott van, ahol a két tag egyenlő:

$$h\approx \sqrt{2u|f(a)|}.$$

$a=3$ esetén ez körülbelül $\sqrt{2\cdot 2{,}22\cdot 10^{-16}\cdot 9}\approx 6\cdot 10^{-8}$. Általános sima függvényre a középső differencia csonkolási hibája $h^2$ rendű, ezért ott az optimális lépésköz nagyságrendje $u^{1/3}\approx 6\cdot 10^{-6}$. Ezek heurisztikus nagyságrendbecslések, nem univerzális képletek: a konstans függ az $f$ nagyságától, a deriváltak méretétől és a hardveres kerekítési módtól.

A szélsőséges eset jól mutatja a korlátot. Ha $a=3$ és $h=10^{-16}$, akkor float64-ben a $3+10^{-16}$ összeg a $3$ legközelebbi lebegőpontos számára kerekedik, mert a $3$ körüli két ábrázolható szám távolsága körülbelül $4{,}44\cdot 10^{-16}$. Ekkor $f(a+h)-f(a)=9-9=0$, így mind a forward, mind a középső differencia $0$-t ad a valódi $6$ helyett. A tetszőlegesen kis lépésköz tehát nem garantál egyre pontosabb deriváltat.

4.1.7 Kézi példa

Tekintsük a $q(x)=x^2$ függvényt az $a=3$ pontban. A valódi derivált $6$. Kézi számítással:

• $h=1$: forward: $(16-9)/1=7$, hiba $1$; középső: $(16-4)/2=6$, hiba $0$.
• $h=0{,}1$: forward: $(9{,}61-9)/0{,}1=6{,}1$, hiba $0{,}1$; középső: $(9{,}61-8{,}41)/0{,}2=6$, hiba $0$.
• $h=0{,}01$: forward: $6{,}01$, hiba $0{,}01$; középső: $6$, hiba $0$.

Valós aritmetikában a középső differencia a négyzetfüggvényre mindig $6$-ot ad. A forward differencia hibája éppen $h$. A float64-ben a nagyon kis $h$-nál a fenti kerekítési határ érvényesül: $h=10^{-16}$ esetén a függvényértékek numerikusan egybeesnek, és a deriváltbecslés $0$ lesz.

4.1.8 Labor: hibagörbe és ellenőrző kód

A következő önálló, CPU-s Python munkamenet a lab/n013_numerical_derivative.py fájlba menthető. A feladat determinisztikus, ezért seedre és GPU-ra nincs szükség. A Python float típusa alapértelmezés szerint float64, ezt a kommentben rögzítjük. Futtatás: python n013_numerical_derivative.py.

"""n013 labor: forward es central difference hibagorbéje q(x)=x^2-re.

Futtatas: python n013_numerical_derivative.py
Kornyezet: CPU, Python 3, float64; nincs veletlen es nincs GPU.
"""
import numpy as np

def q(x):
    """A vizsgalt negyzetfuggveny."""
    return x * x

def forward_diff(f, x, h):
    """Elore mutato differenciahanyados, h > 0."""
    return (f(x + h) - f(x)) / h

def central_diff(f, x, h):
    """Kozepso differencia, h > 0."""
    return (f(x + h) - f(x - h)) / (2.0 * h)

def main():
    x0 = 3.0
    exact = 2.0 * x0
    steps = [1.0, 1e-1, 1e-2, 1e-3, 1e-4, 1e-5,
             1e-6, 1e-8, 1e-10, 1e-12, 1e-16]
    print(f"{'h':>9} {'forward':>14} {'central':>14} "
          f"{'err_forward':>14} {'err_central':>14}")
    for h in steps:
        fwd = forward_diff(q, x0, h)
        cen = central_diff(q, x0, h)
        print(f"{h:9.1e} {fwd:14.10e} {cen:14.10e} "
              f"{abs(fwd-exact):14.6e} {abs(cen-exact):14.6e}")

if __name__ == "__main__":
    main()

A kód által kiírt táblázat valós aritmetikai (csonkolási) részét az alábbi, képletből számított szemléltető táblázat mutatja. A $10^{-16}$-os sor a float64 kerekítés következményét jelöli; ez nem elvégzett futtatás, hanem a fenti kerekítési elemzésből származó várt jelenség.

A hibagörbe szerkezete a forward differenciára:

Az értelmezés: valós aritmetikában a forward hiba egyenesen arányos $h$-val, ezért a pontok a grafikon bal alsó tartománya felé haladnak. A float64 tartományban egy ponton túl a kerekítési hiba dominál, és a becslés összeomlik: a $10^{-16}$ lépésnél a kimenet $0$, a hiba pedig a teljes derivált értéke.

4.1.9 Feladatok

F1 (fogalmi, nehézség 1). Definiálja a differenciahányadost és a deriváltat. Magyarázza el, miért következik a differenciálhatóságból a folytonosság, és adjon olyan függvényt, amely folytonos, de nem differenciálható. A példán számítsa ki a jobb és bal oldali differenciahányadosokat.

F2 (levezetési, nehézség 2). Vezesse le a $c(x)=x^3$ függvény deriváltját a definícióból. Adja meg a deriváltat az $x=2$ pontban, majd az elsőrendű Taylor-közelítést $h=0{,}1$ esetén. Számítsa ki a pontos függvényértéket, a közelítést és a különbséget.

F3 (implementációs, nehézség 1). Írjon Python-függvényt, amely az $f$ függvényhez, az $x$ ponthoz és a $h$ lépésközhöz visszaadja a forward és a középső differenciát. Tesztelje a $q(x)=x^2$, $x=3$, $h=10^{-2}$ bemenettel. Ellenőrizze, hogy a forward érték $6{,}01$-hez, a középső érték $6$-hoz van $10^{-12}$ abszolút tűrésen belül.

F4 (hibakeresési, nehézség 2). Egy hallgató a deriváltat a lehető legkisebb $h$-val akarja pontosabbá tenni, ezért $h=10^{-30}$-at ír a kódba. A $q(x)=x^2$, $x=3$ esetben a függvény $0{,}0$ deriváltat ad vissza. Lokalizálja a hiba okát, mondja meg a következményt, javítsa a lépésközt, és ellenőrizze $h=10^{-5}$ esetén a javított eredményt.

F5 (kísérlettervezési, nehézség 3). Tervezzen kísérletet egy általánosabb, de zárt alakban deriválható függvény, például $f(x)=\sin x$, $x=1$ esetén annak meghatározására, hogy a középső differencia mely $h$ értéknél adja a legkisebb abszolút hibát a $\cos 1$ referenciaértékhez képest. Adja meg a $h$-rácsot, a metrikát, a döntési szabályt, az ismétlés szükségességét és az érvényességi korlátokat. Nem egyetlen előre megadott „helyes” $h$-t várunk, hanem korrekt protokollt.

4.1.10 Megoldások és indoklás

F1. A definíciókat a fenti szakasz tartalmazza. A differenciálhatóságból a folytonosság a szorzat határértékén keresztül következik; a bizonyítás a tételnél olvasható. Ellenpélda: $f(x)=|x|$, folytonos $0$-ban, mert $\lim_{x\to 0}|x|=0=|0|$. A jobb oldali differenciahányados $h>0$-ra $1$, a bal oldali $h<0$-ra $-1$. A két oldali határérték különbözik, ezért a derivált nem létezik.

F2. Rögzített $a$-ra és $h\neq 0$-ra:

$$\begin{aligned} D_h c(a) &=\frac{(a+h)^3-a^3}{h} \\ &=\frac{a^3+3a^2h+3ah^2+h^3-a^3}{h} \\ &=\frac{3a^2h+3ah^2+h^3}{h} \\ &=3a^2+3ah+h^2. \end{aligned}$$

$h\to 0$ esetén a $3ah$ és $h^2$ tagok nullához tartanak, tehát $c'(a)=3a^2$. Az $a=2$ pontban $c'(2)=12$. Az elsőrendű Taylor-közelítés:

$$T_1(2+h)=c(2)+c'(2)h=8+12h.$$

$h=0{,}1$-re $T_1(2{,}1)=8+1{,}2=9{,}2$. A pontos érték $2{,}1^3=9{,}261$, a hiba $0{,}061$. A hiba összetevői az elhagyott $3ah^2+h^3=6\cdot 0{,}01+0{,}001=0{,}061$ tagok.

F3. Az előírt függvény:

import numpy as np

def q(x):
    return x * x

def numdiff(f, x, h):
    forward = (f(x + h) - f(x)) / h
    central = (f(x + h) - f(x - h)) / (2.0 * h)
    return forward, central

fwd, cen = numdiff(q, 3.0, 1e-2)
print(fwd, cen)  # varhatoan 6.01 es 6.0 kornyeken
assert abs(fwd - 6.01) < 1e-12
assert abs(cen - 6.0) < 1e-12

A h pozitív, az x float64 skalár. A középső differencia a $q$-ra valós aritmetikában pontosan $2x$, a $10^{-12}$ tűrés a kerekítési zajt is elnyeli; a forward érték analitikusan $2x+h=6{,}01$.

F4. A hiba oka: $h=10^{-30}$ esetén float64-ben $3+h$ a legközelebbi ábrázolható számra, gyakorlatilag $3{,}0$-ra kerekedik, mert a $3$ körüli gépi felbontás nagyjából $4{,}44\cdot 10^{-16}$. Ezért $q(3+h)-q(3)=0$, és a hányados $0$. A következmény: a derivált becslése a valódi $6$ helyett $0$, vagyis a hiba $100\%$-os. Javítás: válasszunk mérsékelt lépésközt, például $h=10^{-5}$-öt. Ekkor $q(3{,}00001)-q(3)$ kiszámítható, és a forward differencia körülbelül $6{,}00001$; a középső differencia $6$-hoz közeli. A visszaellenőrzés: a fenti F3 kódban $h=10^{-5}$-re a forward hiba $10^{-5}$ körüli, a középső hiba $10^{-12}$ alatti tűréssel elfogadható.

F5. Egy lehetséges protokoll. Cél: $h$ hatásának feltérképezése a középső differencia hibájára. Megfigyelési egység: egyetlen skalár kiértékelés; nincs mintavételi zaj, ezért ismétlés nem szükséges, legfeljebb több $x$ ponton való robusztusságvizsgálat. Rács: geometriai sorozat, például $h\in\{10^{-1},10^{-2},\ldots,10^{-16}\}$, esetleg az $u^{1/3}\approx 6\cdot 10^{-6}$ környékén sűrítve. Metrika: $|\delta_h f(1)-\cos 1|$, a referencia a zárt alakú derivált. Döntés: azt a $h$-t jelentjük, amely a rácson a legkisebb hibát adja, és mellette megadjuk a hibát a szomszédos $h$ értékeken is, ne csak egyetlen minimumot. Érvényességi korlát: az optimum függ az $f$ skálájától, a hardveres kerekítéstől és a float64-től; más függvényre vagy más $x$ pontra nem vihető át automatikusan. A mérést determinisztikus, seed nélküli CPU-kóddal lehet elvégezni, és a nyers hibasorozatot kell rögzíteni.

4.1.11 Tipikus tévedés és ellenpélda

A leggyakoribb tévedés: „minél kisebb a numerikus lépésköz, annál pontosabb a derivált”. A fenti $q(x)=x^2$, $x=3$ példa cáfolja: $h=10^{-16}$ esetén float64-ben $x+h=x$, ezért a számláló nulla, és a becsült derivált $0$ a valódi $6$ helyett. A hiba oka a kivonási jegyvesztés (catastrophic cancellation), amit a $2u|f(a)|/h$ nagyságrendű kerekítési tag ír le. A helyes szemlélet: a lépésközt a csonkolási és kerekítési hiba együttes optimuma körül kell választani, és az optimum függ a feladattól.

4.1.12 Önellenőrzés és visszahívás

Ellenőrizze, hogy ki tudja mondani a derivált $\varepsilon$–$\delta$ definícióját, le tudja vezetni $x^2$ deriváltját, és el tudja magyarázni, miért folytonos minden differenciálható függvény. Korábbi fogalom visszahívása: a 3.1. Vektor, norma és skalárszorzat alfejezetben a két pont távolságát a különbségvektor euklideszi normájaként definiáltuk; a differenciahányados nevezője éppen ilyen távolság a valós egyenesen, a számláló pedig a függvényértékek különbsége.

4.1.13 Rövid összefoglaló

A differenciahányados két függvényérték különbségét osztja a bemenetek különbségével, és a szelő meredekségét adja. A derivált ennek határértéke, ha a lépésköz nullához tart; a négyzetfüggvényre a definícióból $2x$ adódik. A differenciálhatóságból következik a folytonosság, fordítva nem, amit az abszolútérték-függvény mutat. Az elsőrendű Taylor-közelítés a lokális lineáris helyettesítést adja, $o(h)$ maradékkal. Numerikusan a túl kicsi lépésköz kivonási jegyvesztést okoz: a csonkolási hiba csökken, a kerekítési hiba nő, ezért van optimális $h$.

4.1.14 Következő alkalmazás

A 4.2. Parciális derivált és gradiens a többváltozós függvények parciális deriváltját és gradiensét vezeti be. A 4.3. Jacobi-mátrix, láncszabály és VJP pedig a Jacobi-mátrixszal és a vektor–Jacobi-szorzattal a backpropagation pontos algebrai nyelvét építi fel; ekkor a skalár lépésköz helyett már az iránymenti deriváltakat vizsgáljuk.

4.1.15 Források

• [B01] Deisenroth, Faisal és Ong (2020). Mathematics for Machine Learning. Cambridge University Press. https://mml-book.github.io/.