Konstrukce bodových odhadů

Často se odhady konstruují ad hoc. Ukážeme si však 2 obecné metody konstrukce odhadů.

A) Momentová metoda
Nechť $\vec{X}$ je prostý náhodný výběr z rozdělení $F(x;\vec{\theta})$, kde $\vec{\theta} = (\theta_1, \theta_2, \dots, \theta_r) \in \Omega$ je vektor neznámých parametrů rozdělení. Nechť $\forall \theta \in \Omega$ existuje konečný obecný moment $\mu'_k (x) = E(x^k)$ pro $k = 1,2,\dots,r$. Všechny momenty lze vyjádřit jako funkce parametrů $\vec{\theta}$ následovně

$$\mu'_k (x) = \tau_k (\theta_1,\theta_2,\dots,\theta_r)$$

Pak odhady $\tilde{\theta_1},\tilde{\theta_2},\dots,\tilde{\theta_r}$ parametrů $\vec{\theta}$ lze získat řešením soustavy rovnic

$$\tau_k (\tilde{\theta_1},\tilde{\theta_2},\dots,\tilde{\theta_r}) = M'_k (\vec{X})\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ k=1,2,\dots,r$$

kde $M'_k (\vec{X})$ je k-tý obecný výběrový moment.

Věta Odhady, provedené momentovou metodou, jsou konzistentní.

Příklad Nechť rozdělení má distribuční funkci

$$F(x;\vec{\alpha}) = \left\{ \begin{array}{ll}0 & x \le \alpha... ...[-\alpha_2 (x - \alpha_1) ] & x > \alpha_1 \end{array} \right.$$

Odhadněte parametry $\alpha_1,\; \alpha_2$ momentovou metodou.

Řešení

$$\mu'_1 = \alpha_1 + \frac{1}{\alpha_2} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \mu'_2 = \left( \alpha_1 + \frac{1}{\alpha_2} \right)^2 + \frac{1}{\alpha_2^2}$$

$$\Rightarrow \tilde{\alpha_2}= \frac{1}{\sqrt{M^{'2}_2 - M^{'2}_1}} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \tilde{\alpha_1}= M'_1 - \sqrt{M^{'2}_2 - M^{'2}_1}$$

B) Metoda maximální věrohodnosti

Pro prostý výběr $\vec{X}$ ze spojitého rozdělení vypočteme hustotu pravděpodobnosti $f(\vec{X};\vec{\theta})$ výběru $\vec{X}$ pro danou hodnotu $\vec{\theta}$ (pro výběr z diskrétního rozdělení vypočteme pravděpodobnostní funkci $p(\vec{X};\vec{\theta})$). Pak jako odhad parametrů vybereme taková $\vec{\theta}$, při nichž nastává $\max_{\vec{\theta}} f(\vec{X};\vec{\theta})$ (respektive $\max_{\vec{\theta}} p(\vec{X};\vec{\theta})$).

Vysvětlení Parametry rozdělení vybereme z množiny možných parametrů tak, aby při nich bylo dané pozorovaní nejpravděpodobnější.

Pozn. Nemusíme hledat přímo extrém $f$ či $p$, ale lze hledat extrém jejich monotonní funkce. Pro prostý náhodný výběr jsou $X_i$ vzájemně nezávislé a tedy

$$f(\vec{X};\vec{\theta}) = \prod_{i=1}^n f_1 (X_i,\vec{\theta}... ...p(\vec{X};\vec{\theta}) = \prod_{i=1}^n p_1 (X_i,\vec{\theta})$$

Označme věrohodnostní funkci $L(\vec{X};\vec{\theta})$ ( $L(\vec{X};\vec{\theta}) = f(\vec{X};\vec{\theta})$ nebo $L(\vec{X};\vec{\theta}) = p(\vec{X};\vec{\theta})$). Je výhodné se vyhnout součinům hledáním maxima $\ln L$. Extrém lze hledat např. řešením rovnic

$$\frac{\partial}{\partial \theta_k} \ln L(\vec{X};\vec{\theta}) \ \ \ \ \ \ \ \ k = 1,2,\dots,r$$

kde $r$ je počet neznámých parametrů.

Příklad Pomocí metody maximální věrohodnosti z výběru $\vec{X}$ odhadněte parametry $\mu,\;\sigma_2$ normálního rozdělení $N(\mu,\sigma^2)$.

Řešení

$$L(\vec{X};\mu,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi} \sigma} \exp \left[ \frac{(X_i... ...a} \right)^n \exp \left[ - \sum_{i=1}^n \frac{(X_i -\mu)^2}{2 \sigma^2} \right]$$

$$\ln L = - \frac{n}{2} \ln (2\pi \sigma^2) - \sum_{i=1}^n \frac{(X_i -\mu)^2}{2 \sigma^2}$$

Odhady získáme řešením systému rovnic

$$\frac{\partial}{\partial \mu} \ln L = \sum_{i=1}^n \frac{X_i -\mu}{\sigma^2} = 0$$

$$\frac{\partial}{\partial \sigma^2} \ln L = -\frac{n}{2 \sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (X_i -\mu)^2 = 0$$

Řešení je

$$\tilde{\mu} = \overline{X} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ ... ...de{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \overline{X})^2$$