確率と統計 8.点推定

\( P(\vec{X} = \vec{x} ) = f(\vec{x}, \theta) = L(\theta; \vec{x}) \)

\(\vec{x}\)は標本値。その値の時の同時確率密度関数値つまり尤度が最 大だったため，\(\vec{x}\)が観測されたのだ，と考える。

\( \hat{\theta} = \hat{\theta}(\vec{x}) = \rm{argmax}_{\theta}f(\vec{x}, \theta) = \rm{argmax}_{\theta}L(\theta; \vec{x})\)

• f の 最大値を与える，\( \theta \) 探すということ
• arg max - Wikipedia

対数尤度

\( L(\theta;\vec{x}) \) の対数

\( l(\theta; \vec{x}) = \log L(\theta; \vec{x}) = \log f(\theta; \vec{x}) \)

• log を取っても関数の増減傾向は同じ，
• 積を和の形にし，微分し易くする
• 対数尤度関数の \(\theta\) に関する最大値を探す
  • 尤度方程式 \( \rm{d} l(\theta; \vec{x})/ \rm{d}\theta = 0\) で 極値を探す
• 無作為標本 \( X_{i=1:n} \) であれば，
  • \( f(\vec{x}, \theta) = \Pi_{i=1}^{n} f_i(x_i; \theta) \) で あるので，
  • \( \hat{\theta } = \rm{argmax}_{\theta} \Sigma_{i=1}^{n} l(\theta; x_i) \) となり，微分し易くなる

• 対数尤度関数を，\( \mu \) と \( \sigma^2 \) の二つのパラメーターに かんする最大値を求める
  • \( \mu \) に関しては，\( \overline{x} = \mu \) で，最大がわか る

  • \( \sigma^2 \) に関しては，\( -\frac{n}{2} \log \sigma^2 -\frac{1}{2\sigma^2}\Sigma(x_i-\overline{x})^2 \) を \( \sigma^2 \) で微分し，

    \( \frac{-1}{\sigma^2}\left(n - \frac{1}{\sigma^2}\Sigma(x_i-\overline{x}) \right) = 0 \) ，

    \(\sigma^2 = \frac{1}{n}\Sigma(x_i-\overline{x})^2 \)となる。

    標本不偏分散ではなく，標本分散となる。

• \( X \) : 1が満足，0が不満
• \( Y \) : 1が1と2の出目，0がそれ以外
• \( Z \) : 1が満足と答える， 0 が不満と答える
• 満足度のパラメータ \( \theta = P (X=1) \)
• \( P(Y=1) = 1/3 = \alpha \)
• \( X \)と \( Y \) は，独立
• \( Z_{i=1:n} \)，\( \overline{Z_{(n)}} \) は \( \theta \) の妥当 な推定量ではない

\( \eta = P(Z=1) \) = \( P(X=1, Y=1) + P(X=0, Y=0) \)

\( = P(X=1) P(Y=1) + P(X=0) P(Y=0) \)

\( = \theta \alpha + (1-\theta)(1-\alpha) \)

\( = (2\alpha -1)\theta + (1-\alpha) \)

\( \overline{Z_{(n)}} \) は \( \eta \) の妥当な推定量。

なので，\(\hat{\eta} = \overline{Z_{(n)}} = (2\alpha -1)\theta + (1-\alpha) \)

\( \hat{\theta} = \frac{\overline{Z_{(n)}}}{2\alpha-1}\)

##
## 教科書 8.5.1 アンケート
##
est_theta <- function (enq, alpha) {
  (mean(enq)-(1-alpha))/(2*alpha-1)
}

size <- 1000
honest_p <- 1/3
satisfied_p <- 6/10

honest <- rep(0,size)
honest [(runif(size,0,1))>(1-honest_p)] <- 1
table(honest)

satisfied <- rep(0,size)
satisfied [(runif(size,0,1))>(1-satisfied_p)] <- 1

table(satisfied)
enq <- rep(0,size)
for (i in 1:size) {
    res <- 0
    if (honest[i]==satisfied[i]) { res <- 1 }
    enq[i] <- res
}

mean(honest)
mean(satisfied)
mean(enq)
est_theta(enq, honest_p)

    honest
      0   1 
    690 310
    satisfied
      0   1 
    429 571
    [1] 0.31
    [1] 0.571
    [1] 0.485
    [1] 0.545

\( \mu_{x, y} \)

縦と横の長さ

\( S = \mu_x \mu_y \)

面積の計算

\( (X_i, Y_i)_{i=1:n} \)

計測

A案

\( S_A = \Sigma_{1}^{n} X_i Y_i / n \)

B案

\( S_B = \overline{X} \times \overline{Y} \)

• 縦横の長さの母集団 \( (X, Y) \)
• \( X \sim (\mu_x, \sigma_x^2) \), \( Y \sim (\mu_y, \sigma_y^2) \)
• \( (X_i, Y_i)_{i=1:n} \) は無作為標本
• \( S_A \), \( S_B \) を平均二乗誤差で測る

\( S_B = Z^* \) となる

\( E[(S_A - S)^2] - E[(S_B - S)^2] = \frac{n-1}{n} \sigma_x^2 \sigma_y^2 \geq 0 \)