비모수 복습 - CLT in KDE

 

 

서론

KDE(Kernel  Density Estimator)에서는 CLT가 성립합니다.

 

한 점 $x$를 고정시켰을 때 KDE의 값이 CLT를 따른 다는 뜻입니다.

확실한 건 pointwisely CLT를 따릅니다.

 

한 번 증명해보죠. 어렵지 않습니다.

 

본 포스팅은 서울대학교 박병욱 교수님의 비모수함수추정론 강의노트를 참고하여 기록되었습니다.

 

본론

Asymptotic normality

Assume (A5), (A6).

1. $f$ is continuous at $x$

2. $|t|K^2(t) \to 0 \space \space \text{as} \space \space |t| \to \infty, \quad \int K^2 < \infty$

 

and $h \to 0$ and $nh \to \infty$ as $n \to \infty$

 

Then, the following holds.

 

$\frac{\hat{f}(x;h) - E[\hat{f}(x;h)]}{\sqrt{\text{var}(\hat{f}(x;h))}} \xrightarrow{d} N(0,1)$

 

---

$f$가 continuous고 $K^2$가 $o(\frac{1}{|t|})$이고 integrable이라는 조건입니다.

 

그러면 pointwisely, point $x$에서 KDE로부터 CLT가 성립합니다.

 

현재 상황에서 $n \to \infty$일 때 $h \to 0$입니다. 이 조건 때문에 우리는 i.i.d.임에도 평범한 CLT를 사용할 수 없습니다. 그러므로 Lindberg CLT를 고려합시다.

 

다음의 Lindberg condition을 만족하면 우리가 생각하는 CLT가 성립합니다.

Lindeberg condition

1. $\{Y_{ni}\}_{i=1}^{k_n}$ row-wise independent

2. $\displaystyle EY_{ni} = 0, \space \text{var}(Y_{ni}) < \infty, \space \sigma_{n}^2 = \sum_{i=1}^{k_n} \text{var}(Y_{ni})$

3. $\displaystyle \frac{1}{\sigma_n^2} \sum_{i=1}^{k_n} EY_{ni}^2I(|Y_{ni}| > \epsilon \sigma_n) \to 0 \space \space \text{as} \space \space n \to \infty \quad \forall \epsilon >0$

 

$\displaystyle \Rightarrow \frac{1}{\sigma_n} \sum_{i=1}^{k_n} Y_{ni} \xrightarrow{d} N(0,1)$

 

1,2번 조건은 쉽습니다.

확률변수를 shifting해서 평균만 0으로 만들고, 하나씩 triangle sequence로 써봅시다. 한 row에는 $k_n$개의 확률변수가 존재합니다.

아래 그림에서는, $k_n= n$ 정도로 생각하면 됩니다.

 

$$
\begin{matrix}
Y_{1,1} \\
Y_{2,1} & Y_{2,2} \\
Y_{3,1} & Y_{3,2} & Y_{3,3} \\
\vdots  & \vdots  & \vdots  & \ddots \\
Y_{n,1} & Y_{n,2} & \cdots  & \cdots  & Y_{n,k_n}
\end{matrix}
$$

 

각, 확률변수의 분산이 finite하고 그 합을 $\sigma_n^2$이라고 정의합시다.

이때, 세번째 조건은 $\sigma_n$에서 꼬리 쪽이 분산에 기여하는 바가 0에 수렴하는 지를 확인해야 한다는 뜻입니다.

 

증명

먼저 $X_{ni}$에서 평균을 shift한 $Y_{ni}$를 정의합시다.

$Y_{ni} = K_h(x-X_i) - K_h * f(x)$ : row-wise i.i.d.

 

$\displaystyle \sigma^2_n = \sum_{i=1}^n \text{var}(Y_{ni}) = \text{var} \sum_{i=1}^n K_h(x-X_i) = n^2\text{var}(\hat{f}(x;h)) = \Theta(\frac{n}{h})$.

 

i.i.d와 variance의 성질에 의해 두 번째 등호는 당연하게 성립합니다.

세 번째 등호는 $n \times \frac{1}{n}$을 곱해줌으로 성립합니다.

 

마지막 등호는, (A5),(A6)이 성립할 때,

$$\text{var}(\hat{f}(x)) = \mu_0(K^2)f(x)n^{-1}h^{-1} + o(n^{-1}h^{-1})$$

임으로부터 성립합니다.

$f(x)>0$일 때, $\frac{C+o(1)}{nh} \space \space \text{where } C = \mu_0(K^2)f(x)$로 쓸 수 있고,

Eventually $o(1) \to 0$이므로 $\frac{C}{2nh} \le \text{var}(\hat{f}(x)) \le \frac{3C}{2nh}$ 이 성립하기 때문입니다.

 

이제 세번째 condition의 성립을 증명해봅시다.

다음의 간단한 변환을 합시다.

$$
\frac{1}{\sigma_n^2}\sum_{i=1}^n \mathbb{E}\!\left[Y_{ni}^2 I\!\left(\lvert Y_{ni}\rvert > \varepsilon \sigma_n\right)\right]
=
\frac{n}{\sigma_n^2}\mathbb{E}\!\left[Y_{n1}^2 I\!\left(\lvert Y_{n1}\rvert > \varepsilon \sigma_n\right)\right]
$$

 

이제 전개해줄 건데,

$W_i = K_h(x-X_i), \space \mu_n = K_h * f(x)$라고 하면 $Y_{ni} = W_i - \mu_n$ 으로 간단하게 치환합시다.

 

$\begin{aligned}\frac{n}{\sigma_n^2} \mathbb{E}[(W_i-\mu_n)^2 I(|W_i-\mu_n| > \epsilon \sigma_n)] &\le \frac{n}{\sigma_n^2} \mathbb{E}[2(W_i^2 + \mu_n^2) I(|W_i|+|\mu_n| > \epsilon \sigma_n)] \quad \because (W_i-\mu_n)^2 \le 2(W_i^2+\mu_n^2) \\&\le C_1h \mathbb{E}[W_i^2 I(|W_i| > \epsilon \sigma_n - |\mu_n|) ] + C_2h\end{aligned}$

 

두 번째 부등호는 적절한 부등식들로 처리했습니다. $(a+b)^2 + (a-b)^2 \ge (a-b)^2$으로 유도할 수 있습니다.

 

세 번째 부등호는 $\sigma_n^2 = \Theta(\frac{n}{h})$임을 이용해야 합니다. 어떤 상수 $C$가 존재해서 $\frac{1}{C} \times \frac{n}{h} \le \sigma_n^2$이므로 $\frac{n}{\sigma_n^2} \le Ch$로 처리할 수 있습니다. 그 후 triangle inequality를 사용합니다.

 

이로부터 생기는 두 번째 항은 자명하게 상수로 처리할 수 있습니다.

 

첫 번째항은 indicator만 처리하면 자명합니다. $\sigma_n = \Theta(\sqrt{\frac{n}{h}})$이므로 $h \to 0, n \to \infty$일 때, 발산합니다. 그러므로 적당한 $n$에 대해 $|\mu_n| < \frac{\epsilon \sigma_n}{2} $으로 쓸 수 있습니다.

 

즉, 일부를 가져오면 $\mathbb{E}[W_i^2 I(|W_i| > \frac{\epsilon \sigma_n}{2})]$로 쓸 수 있고,

앞서 한 방식대로 적당히 잘 치환해주면,

$$C_1 \int K^2(u) I(|K(u)| > \frac{\epsilon}{2}h\sigma_n) f(x-hu) du + C_2h \to 0$$

를 얻을 수 있습니다.

 

0으로 수렴하는 이유는 LDCT를 사용해서 $f(x-hu)$를 바깥으로 꺼냈기 때문입니다.

먼저 $h\sigma_n = \Theta(\sqrt{nh})$이고 가정에 의해 $nh \to \infty$이기 때문에, $h\sigma_n \to \infty$라는 사실을 기억합시다.

그러면 $I(|K(u)| > \frac{\epsilon}{2}h\sigma_n) \to 0$이 성립합니다.

 

증명은 $|hu| \le \delta$ 와 $|hu| \ge \delta$ 범위로 나누어 하면 됩니다.

$1) \space |hu| \le \delta$

continuous니까 $[x- \delta, x+ \delta]$ 영역에서는 locally bounded 이므로 LDCT써주면 됩니다.

 

$2) \space |hu| > \delta$

꼬리 쪽은 $\int_{|hu| > \delta} K^2(u) f(x-hu) du$로 bound하고 치환 적분을 $y=x-hu$로 적용합시다.

그러면 $$\int_{|y-x| > \delta} \frac{1}{h} K^2\left(\frac{x-y}{h}\right) f(y) dy$$이 됩니다.

(원래 꼴로 바꾼 거에요.)

 

$\frac{|x-y|}{|x-y|}$를 곱해주고 범위에 맞게 조정하면 

$$\le \frac{1}{\delta} \int_{|y-x| > \delta} \frac{|x-y|}{h} K^2\left(\frac{x-y}{h}\right) f(y) dy$$

 

$t = \frac{x-y}{h}$라고 해봅시다. 그러면 적분구간은 $|t| > \frac{\delta}{h}$가 됩니다.

$|t|K^2(t) \to 0 \space \text{as} \space t \to \infty$ 이라고 하였으므로 $h \to 0$임에 따라, $\sup_{t > \frac{\delta}{h}} |t|K^2(t)  \to 0$.

즉, $h \to 0$인 상황에서 $\sup_{t > \frac{\delta}{h}} |t|K^2(t)$는 어떤 양수 $M$에 대해 bound됩니다.

 

이걸 고려하면 충분히 작은 h에 대해 $M$으로 bound 되고, $\int f = 1$이므로 다음이 성립합니다. $$\le \frac{M}{\delta} \int_{|y-x| > \delta}  f(y) dy < \infty$$

 

즉,  Dominating function을 $\frac{M}{\delta} f(y)$로 하여 LDCT가 성립합니다.

그러므로, $\lim_{n \to \infty}$를 씌워주면 trivially 0으로 수렴하여 Lindeberg's condtion을 만족합니다.

 

결론

KDE의 asymptotic normality를 구했습니다.

Lindeberg's condition을 만족하도록 구했습니다.

 

triangle inequality와 $2(a^2+b^2) \ge (a-b)^2$부등식을 전개에 사용했습니다.

$\sigma_n^2 = O(n/h)$임도 사용했습니다.

 

끗!