Bodové odhady

Předpokládáme, že známe typ rozdělení náhodné veličiny, ale neznáme jeho některé parametry. Např. víme, že rozdělení je normální $N(\mu,\sigma^2)$, ale neznáme $\mu$ a $\sigma$. Nebo např. víme, že rozdělení (doby životnosti výrobku) má distribuční funkci $F(x) = 1 - \exp \left[ -(x/\delta)^c \right]$, ale neznáme parametry $\delta$ a $c$. Zajímá nás nějaká charakteristika $\tau$ rozdělení, tedy $\tau = \tau(\delta,c)$, např. $\tau = c \ln\delta$. Chceme nalézt vhodnou statistiku výběru z náhodného rozdělení $T(X_1,X_2,\dots,X_n)$, která dobře aproximuje $\tau$.

Definujeme

$\vec{X}$	náhodný výběr z rozdělení $F(x,\vec{\theta})$
$\vec{\theta}$	vektor z k-rozměrného prostoru neznámých parametrů $\Omega$
$\tau(\vec{\theta})$	charakteristika rozdělení - funkce $\Omega \rightarrow R$
$T(X_1,X_2,\dots,X_n)$	bodový odhad

Nestranný (nevychýlený) odhad

$$\forall \vec{\theta} \in \Omega \ \ \ \ \ \ \ \ \ \ \ \ E\left[ T(\vec{X}) \right] = \tau (\vec{\theta})$$

Vychýlení odhadu

$$B(\vec{\theta}) = E\left[ T(\vec{X})\right] - \tau (\vec{\theta})$$

Nejlepší nestranný odhad $T(\vec{X})$

$$\forall T^*(\vec{X}) \ {\rm nestranné} \ \ \ \ \ \ \ \ \ \ \ \ D\left[ T^*(\vec{X}) \right] \ge D\left[ T(\vec{X}) \right]$$

Pozn. Není zaručena $\exists$ nejlepšího nestranného odhadu. Není vždy třeba trvat na nestrannosti odhadu.

Střední kvadratická chyba odhadu

$$E \left[ \left( T(\vec{X}) - \tau (\vec{\theta}) \right)^2 \right] = D\left[ T(\vec{X}) \right] + B^2(\vec{\theta})$$

Pozn. To ovšem neznamená, že vychýlený odhad vždy musí mít větší střední kvadratickou chybu než odhad nevychýlený. Např. $S^2$ je nevychýlený odhad rozptylu $\sigma^2$ a $M_2$ je vychýlený odhad s vychýlením $B(\sigma^2) = - \sigma^2/n$. Střední kvadratická chyba odhadu $S^2$ je pro výběry z normálního rozdělení větší než u odhadu $M_2$

$$E \left[ (S^2 - \sigma^2)^2 \right] = \frac{2 \sigma^4}{n-1} > E \left[ (M_2 - \sigma^2)^2 \right] = \frac{2n-1}{n^2}\sigma^4$$

Asymptotické vlastnosti odhadů

Asymptoticky nestranný odhad

$$\forall \vec{\theta} \in \Omega \ \ \ \ \ \ \ \ \ \ \ \ \lim_{n \rightarrow \infty} E[T_n(\vec{X})] = \tau (\vec{\theta})$$

kde $n$ je rozsah výběru.

Konzistentní odhad - Pokud pro odhad platí, že

$$\forall \varepsilon > 0 \ \ \ \ \ \ \ \ \ \lim_{n \rightarrow... ...) - \tau (\vec{\theta}) \right\vert \ge \varepsilon \right) = 0$$

odhad nazýváme konzistentním ($n$ je rozsah výběru).

Věta Nechť je odhad $T(\vec{X})$ asymptotický nestranný a nechť jeho rozptyl jde k 0
( $\lim_{n \rightarrow \infty} D[T_n(\vec{X})] = 0$), pak je odhad konzistentní.

Důkaz Z předpokladů vyplývá, že $\forall \varepsilon > 0$ existuje $n_\varepsilon$ takové, že

$$\forall n > n_\varepsilon \ \ \ \ \ \ \ \ \ \vert B_n (\theta... ...{2} \ \ \ \ \ \wedge \ \ \ \ \ D(T_n) < \frac{\varepsilon^3}{4}$$

Použijeme Čebyševovy nerovnosti ( $P\left(\vert X - EX \vert \ge \varepsilon\right) \le DX/\varepsilon^2\$) takto

$$P \left( -\varepsilon < T_n(\vec{X}) -\tau (\vec{\theta}) < \vareps... ...c{\theta}) < T_n(\vec{X}) - E(T_n) < \varepsilon -B_n(\vec{\theta}) \right) \ge$$

$$\ge P\left( -\varepsilon/2 < T_n(\vec{X}) - E(T_n) < \varepsilon/2 \right) \ge 1 - \frac{4 D(T_n)}{\varepsilon^2} \ge 1 - \varepsilon$$