확률론 기말 범위 정리 정리 2 Characteristic Function
서론
확률론 기말고사 범위 중 Characteristic Function의 부분을 다루려고 합니다.
기말이 얼마 안 남았는데 큰일 났습니다.
바로 시작하죠.
본론
Characteristic Function(특성함수)는 m.g.f와 다르게 모든 $t$에 대해 성립한다는 장점이 있습니다.
1. Definition of Characteristic Function
Let $\mu$ be a (sub)borel measure.
Then, the ch.f $\varphi$ is defined by $\varphi (t) = \int e^{itx} du(x) \space \space t \in \mathbb{R}$
- $\varphi_\mu = \varphi_\nu$ if and only if $\mu = \nu$
- $\int e^{itx} d\mu(x)= \int cos(tx) d\mu(x) + i \int sin(tx) d\mu(x)$
Characteristic Function은 Complex number의 영역에서 정의됩니다. 그러나 제가 복소함수를 잘 알지는 못하므로 적당히 넘어가는 부분도 필요하겠습니다.
증명 없이 사용할 부분은 두 특성함수가 같을 때 두 measure가 같다는 것입니다. 그 반대도 성립합니다.(identifiable)
$e^{ix} = cos(x) + isin(x)$라는 공식을 자주 활용하겠습니다.
2. Properties of Characteristic Function 1
1) $\varphi(0)$ = 1
2) $\varphi(-t) = \overline{\varphi(t)}$
3) $|\varphi(t)| = |Ee^{itX}| \leq E|e^{itX}| = 1$
4) $|\varphi(t+h) - \varphi(t)| \leq E|e^{ihX}-1|,$ so $\varphi$ is uniformly continuous on $\mathbb{R}$
5) $Ee^{it(aX+b)} = e^{itb}\varphi(at)$
여기서 중요한 건 2),3),4) 정도가 되겠네요. 나머지는 obvious합니다.
여기서 절댓값 같은 건 modulus라고 해서 복소수의 크기를 나타내는 함수입니다. 허수부와 실수부를 각각 제곱해서 루트 씌우면 됩니다. unclidian distance 같은 겁니다.
2)은 켤레복소수입니다. $sin,cos$이 각각 기함수, 우함수라는 점을 활용하여 전개하면 간단히 증명할 수 있겠습니다.
중요한 건 $-t$를 넣으면 켤레가 되는구나를 아는 것입니다.
3) 은 jensen inequality를 활용하는 것입니다. Expectation 안으로 modulus를 넣는 것이 허용됩니다. 그러면 $|e^{itX} = 1|$이므로 (c)가 성립합니다.
4)는 간단한 논증을 해볼 생각입니다. 처음 봤을 때 헷갈렸어서요.
먼저 uniformly continuous를 생각해 봅시다. $D$는 domain입니다.
Uniformly continuous이려면 일단 임의의 $\epsilon$에 대해 어떤 $\delta$가 존재해서 모든 $x \in D$ 마다 x의 $\delta$-ball에 속하는 $y$들은 $|f(x)-f(y)| < \epsilon$을 만족해야 합니다. 여기서 $\delta$는 ball의 반지름입니다.
우리는 $y$를 $x+h$로 생각해봅시다.
그러면 $|\varphi(t+h) - \varphi(t)| = |e^{itx}||e^{ihx}-1| =1* |e^{ihx}-1| \leq 2$가 성립합니다.
그러면 bounded 되어있으므로 DCT에 의해 $E|e^{ihx}-1| \xrightarrow{h \to \infty} 0$입니다.
즉 어떤 $\epsilon$을 제시해도 $\epsilon$보다 $E|e^{ihx}-1|$을 그보다 작게 하는 $h$의 구간이 존재합니다. $E|e^{ihx}-1|$보다 함숫값의 차가 작으므로 앞선 $h$구간은 함숫값의 차이가 작도록 하는 구간이 됩니다.
즉, $h$는 $\delta$의 역할을 하는 것이고, 구간 내의 $y = x+h$들은 $x$와 그 함숫값의 차가 작다는게 결론입니다. $x$에 대한 조건은 아무것도 달지 않았습니다. 임의의 $x$에 대해서 성립하는 것이죠. $\Rightarrow$ $\varphi$ is Uniformly Continuous.
DCT에 대해 어물쩡 넘어갔는데 다음 Point들은 그에 대해 생각해볼 점들입니다.
1) 복소수에서 DCT를 적용할 수 있다. ($sin,cos$으로 쪼개어서 각각 DCT를 적용해 주면 됩니다.)
2) DCT에서 $x_n$은 무한대로 가지 않아도 된다.
3) DCT는 자연수뿐 아니라 실수에서도 성립한다. $\int f_x \xrightarrow{x \to \infty} \int f$
3. Properties of Characteristic Function 2
6) If $\varphi_n$ are ch.f.'s and $\lambda_n \geq 0$ are real numbers, $\displaystyle \sum_{n=1}^{\infty} \lambda_n = 1, \sum_{n=1}^{\infty} \lambda_n \phi_n$ is ch.f.
7) If $\varphi_1, ..., \varphi_n$ are ch f's, $\displaystyle \prod_{j=1}^n \phi_j(t)$ is a ch.f
8) If $\varphi$ is a ch.f., so are $\overline{\varphi} \space \& \space |\varphi|^2$
9) If $\int |x|^2 d\mu(x) < \infty, \space k ,\geq 1, \varphi^{(k)}$ exists and $\varphi^{(k)}(t) = \int (ix)^k e^{itx}d\mu(x)$.
10) If $\varphi^{(2k)}$ exists at $t=0$, $\int |x|^{2k} d\mu(x) < \infty$
일단 7),8) 은 어렵지 않습니다. $\varphi$가 존재할 때, 저런 형태가 characteristic function이 될 것인가? 라는 논의가 되겠습니다.
이 논의에 대한 답은 Definition에 적은 것처럼 적절한 measure의 존재성을 따지면 됩니다.
적분형태로 고친 뒤에 식을 변형해 주면 됩니다. 아니면 적당한 r.v.로부터 거꾸로 와도 됩니다.
9)은 ch.f.의 kth derivative의 존재성을 의미하는 것입니다. kth moment가 존재하면 kth derivative도 존재합니다.
+ $\varphi^{(k)}$는 uniformly continuous 입니다.
$\varphi (t+h) - \varphi(t)$ 정리하면 나옵니다. 정리하면 $\leq \int |(ix)^k||e^{ihx}-1| = E[|X^k||e^{ihx}-1|]$ 이거고 $|X^k|$에 bound되고, $\int |X|^k < \infty$이므로 DCT에 의해 $E[|X^k||e^{ihx}-1|] \xrightarrow{h \to \infty} 0$. 즉, 위에 설명한 것처럼 uniformly continuous가 됩니다.
10)은 그냥 식의 형태로부터 그러려니 할 수 있겠네요.
좀 까다로운 게 6)입니다.
간단히 살펴보죠. 증명은 더보기에 쓰겠습니다.
① $\mu_n \xrightarrow{w} \mu$ 라는 prob borel measure를 생각합시다.
이 measure는 weakly converge하죠? 정의에 따라 모든 closed and bdd function들에 대한 그 적분이 $\mu$에 대한 적분으로 수렴합니다.
② $\displaystyle \tilde{\mu}_n = \frac{\sum_{j=1}^n \lambda_j \mu_j}{\sum_{j=1}^n \lambda_j}$
라고 합시다. 새로운 measure인데 weighted mean 같은 형태네요. 전체를 $\lambda$라는 크기로 나누었으니 $\mathbb{R}$을 measure하면 1인 prob. measure가 됩니다.
③ 다음은 $\tilde{\mu}_n$이 $\tilde{\mu}$로 수렴함을 보여야 합니다.. 그냥 보면 잘 안보이는데 $\tilde{\mu}_n$에 대응하는 cdf $\tilde{F}_n$를 생각하면 보일 수 있습니다.
이때, Series의 수렴을 판정할 수 있는 Weierstrass-M test를 사용합시다.
일단 $\tilde{\mu}_n$ 자체가 $S_n$의 꼴이기 때문에 $C_n = \tilde{\mu}_n-\tilde{\mu}_{n-1}$로 구해주고($\tilde{\mu}_{0} = 0$), 부등식을 세웁시다.
- Upper bound
$$\displaystyle C_n = \frac{\sum_{j=1}^n \lambda_j \mu_j - (1+ \frac{\lambda_n}{\sum_{j=1}^{n-1} \lambda_j})(\sum_{j=1}^{n-1} \lambda_j \mu_j)}{\sum_{j=1}^n \lambda_j} \leq \frac{\sum_{j=1}^n \lambda_j \mu_j - (\sum_{j=1}^{n-1} \lambda_j \mu_j)}{\sum_{j=1}^n \lambda_j} = \frac{\lambda_n \mu_n}{\sum_{j=1}^n \lambda_j} \leq \frac{\lambda_n}{\sum_{j=1}^n \lambda_j}$$
- Lower bound
$$\displaystyle C_n \geq \frac{\sum_{j=1}^n \lambda_j \mu_j - (1+ \frac{\lambda_n}{\sum_{j=1}^{n-1} \lambda_j})(\sum_{j=1}^{n-1} \lambda_j \mu_j + \lambda_n \mu_n)}{\sum_{j=1}^n \lambda_j} \geq \frac{-\frac{\lambda_n}{\sum_{j=1}^{n-1} \lambda_j}(\sum_{j=1}^{n} \lambda_j \mu_j)}{\sum_{j=1}^n \lambda_j} \geq -\frac{\lambda_n}{\sum_{j=1}^{n-1} \lambda_j}$$
$C_n$ 이 positive이므로 $C_n(X \leq x) = |C_n(X \leq x)| = |f_n(x)|$이라고 합시다.
그러면 $F_n$은 $\displaystyle \sum_{j=1}^{n} f_n$이 됩니다.
결국 , $\displaystyle \sum_{n=1}^{\infty} |f_n(x)| \leq \sum_{n=1}^{\infty} \frac{\lambda_n}{\sum_{j=1}^{n-1} \lambda_j}$이고, 적당한 $N_0$에 대해 $\sum_{j=1}^{n-1} \lambda_j$가 1/2보다 커지므로,
$$\displaystyle \sum_{n=N_0}^{\infty} |f_n(x)| \leq \sum_{n=N_0}^{\infty} \frac{\lambda_n}{\sum_{j=1}^{n-1} \lambda_j} \leq \sum_{n=N_0}^{\infty} 2\lambda_n < 2 < \infty$$
Weierstrass-M test에 의해 $\tilde{F}_n$이 $\tilde{F}$로 Uniformly converge합니다.
④ 이제 $\tilde{\mu}_n$가 $\tilde{\mu}$로 weakly converge함을 알 수 있습니다.
$\frac{\sum_{j=1}^n \lambda_j \varphi_j}{\sum_{j=1}^n \lambda_j}$의 ch.f.의 극한은 $\displaystyle \sum_{n=1}^{\infty} \lambda_i \varphi_i$가 된다는 걸 쉽게 알 수 있습니다.
$e^{itx}$는 bdd and continuous하기 때문에 Portmanteau theorem에 의해 $\int e^{ith} d\tilde{\mu}_n \xrightarrow{n \to \infty} \int e^{ith} d\tilde{\mu}$입니다.
즉, $\displaystyle \sum_{n=1}^{\infty} \lambda_i \varphi_i = \int e^{ith} d\tilde{\mu}$입니다.
4. Taylor Series expansion of ch.f.
If $\displaystyle \int |X|^k d\mu < \infty, \space \varphi(t) = \sum_{j=0}^{k-1} \frac{i^j m^{(i)}t^j}{j!}+\frac{t^k \varphi^{(k)}(\theta t)}{k!}$, where $m^{(i)} = \int x^i d\mu(x)$
($|t^k \varphi^{(k)}(\theta t| \leq |t^k| \int |x|^k d\mu(x) = |t|^k \mu^{(k)}$)
$\displaystyle \int |X|^k d\mu < \infty, \space \varphi(t) = \sum_{j=0}^{k-1} \frac{i^j m^{(i)}t^j}{j!}+\frac{\theta_k \mu^{(k)}|t|^k}{k!}, \space \theta_k \in C, |\theta_k| \leq 1$
Moreover, $\varphi(t) = \sum_{j=0}^{k} \frac{i^j m^{(i)}t^j}{j!} + \frac{t^k(\varphi^{(k)}(\theta t)-\varphi^{(k)}(t))}{k!} = \sum_{j=0}^{k-1} \frac{i^j m^{(i)}t^j}{j!}+ o(|t|^k)$ when $t \to 0$.
m.g.f에서와 비슷한 논리를 전개할 수 있다는 뜻입니다.
일단 첫 번째 식은 우리가 알고 있는 Taylor Series의 형태입니다. $t=0$에서 전개한 것 같고, 미분해서 0 대입하면 moment 비스무리하게 나올 것 같습니다. 4의 배수면 moment와 같고 뭐 그럴 것 같은데, 좀 더 생각해 보겠습니다.
원래 알던 대로 $\theta t$와 같이 $\varphi^{(k)}$에 들어가 있으므로 0과 t사이의 어떤 값이 됩니다.
두 번째 식은 뒷부분을 절댓값 moment에 대해 고쳐준 겁니다.
$|t^k \varphi^{(k)}(\theta t| \leq |t^k| \int |x|^k d\mu(x) = |t|^k \mu^{(k)}$ 부등식을 적용하여 고쳐주고 $\theta_k$로 scaling을 해주어 등호를 맞추었습니다.
마지막 식은 일단 $\sum$이 달라졌습니다. kth 항을 더하고 빼준 겁니다. 그리고 $t$가 0으로 갈 때를 생각하면 $(\varphi^{(k)}(\theta t)-\varphi^{(k)}(t)) \rightarrow 0$이기 때문에 뒷항은 $o(|t|^k)$라고 할 수 있겠습니다.
k=2 일 때,
$\phi(t) = 1+ i\mu t - \frac{1}{2} m^{(2)}t^2 + o(t^2)$로 표현할 수 있습니다.
$\mu = 0$, $\sigma^2 = m^{(2)}$라고 가정하면 WLLN을 보일 수 있다고 합니다.(잘 모름 ㅋ)
5. Inversion Formular
Let $F$ be a distribution function, $\varphi(t) = \int e^{itx} dF(x)$
Then, $\displaystyle \forall x_1 < x_2$
$\displaystyle \mu(x1,x2) + \frac{\mu(\{x_1,x_2\})}{2} = \frac{F(x_2)+F(x_2-)}{2} - \frac{F(x_1)+F(x_1-)}{2} = \lim_{T \to \infty} \frac{1}{2\pi} \int_{-T}^T \frac{e^{-itx_1}-e^{-itx_2}}{it} \varphi(t) dt$
Inversion formular는 $\varphi$로부터 $F$를 이끌어내는 방법입니다.
만약 $x_1,x_2 \in C(F)$라면 이 공식으로부터 $(x_1,x_2] = F(x_2)-F(x_1)$을 구할 수 있게 됩니다.
또한 $\varphi(t)$가 integrable하면 continuous density가 다음과 같이 존재합니다.
$$f(y) = \frac{1}{2\pi} \int e^{-ity} \varphi(t) dt$$
여기서 $\varphi(t)$가 integrable조건이 매우 중요합니다. 증명 중에 이 조건으로 point mass가 없다는 걸 보이기 때문입니다.
증명 흐름은 다음과 같습니다.
① $\displaystyle |\frac{-e^{-ita}-e^{-itb}}{it}| = |\int_a^b e^{-ity} dy| \leq |(\int_a^b |e^{-ity}|\space dy)| = |b-a|$
조금 tricky한데, 꼭 a<b가 아니어도 되게 하기 위함입니다.
②$\displaystyle \mu(a,b) + \mu(\frac{\{a,b\}}{2}) = \frac{1}{2\pi}\int_{-\infty}^\infty \frac{-e^{-ita}-e^{-itb}}{it} \varphi(t) dt \leq \frac{|b-a|}{2\pi}\int_{-\infty}^\infty |\varphi(t)| dt \leq C \frac{b-a}{2\pi}$ , where $C = \int |\varphi(t)| dt$
③ 그렇다면 point mass가 존재할 수 없습니다. b를 a로 극한 보내보면 당연합니다.
Let $a = x, b = x+h$.
Then, $\mu(x,x+h) = \frac{1}{2\pi} \int_{-\infty}^\infty \int_x^{x+h} e^{-ity} dy \space \varphi(t) dt$
$= \int_x^{x+h} (\frac{1}{2\pi} \int_{-\infty}^\infty e^{-ity} \varphi(t) \space dt) dy$ By Funini's thm.
($\because \int_{-\infty}^\infty \int_x^{x+h} |e^{-ity} \varphi(t)| dt = \int_{-\infty}^\infty |\varphi(t)| dt < \infty \Rightarrow$ the integral absolutely converges. so, we can apply Fubini's thm.)
양변을 h로 나누고 $\lim_{h \to 0+}$씌우면 우극한이 나오고, 비슷하게 좌극한도 구하면 두 극한은 $f(t) = \frac{1}{2\pi} \int_{-\infty}^\infty e^{-ity} \varphi(t) \space dt$로 같게 됩니다.
연속성은 $y = x+h$로 잡고 $h \rightarrow 0$을 적용하면 됩니다. $f(y)$가 $|\varphi(t)| < \infty$조건에 의해 bound되기 때문에 DCT를 적용할 수 있고 적분과 미분을 교환할 수 있습니다. 그러면 적분 안의 $e^{-it(x+h)}\varphi(t)$는 $e^{-itx}\varphi(t)$가 되어 $f(x+h)-f(x) \rightarrow 0$, 즉, Continuity를 만족합니다.
6. Theorem 1
If $\varphi(t)$ is the ch.f. of $\mu$, $\displaystyle \lim_{T \to \infty} \frac{1}{2T} \int_{-T}^T e^{-itx_0}\varphi(t) \space dt = \mu(\{x_0\})$ for each $x_0$.
$x_0$의 point measure를 알고 싶을 때 사용할 수 있는 방법입니다.
continuous density에 대해서는 한 점의 point mass가 0으로 나올 겁니다.
$\varphi$가 integrable할 때, $\frac{2\pi}{2\pi}$를 곱해주면 한 항은 $\frac{2\pi}{T}$, 나머지 항은 density로 수렴하므로 point mass는 0입니다.
그런데 예를 들어 binomial 같은 경우에는 ch.f.가 integrable하지 않아 density 식으로 바꾸어도 pointmass가 0이 아닙니다.
7. Theorem 2
$\displaystyle \lim_{T \to \infty} \frac{\int_{-T}^T |\varphi(t)|^2}{2T} = \sum_{x \in \mathbb{R}} (\mu\{x\})^2$
Point mass는 연속인 부분에 대해 0의 값을 갖습니다.
그러므로 RHS는 jumping point, 즉, point mass가 0이 아닌 값들의 합의 제곱을 나타냅니다.
uncountable sum이지만 continuous 하지 않은 point는 countable이므로 결국 countable sum으로 표현됩니다.
8. Theorem 3
Assume $F' = f$. Then $\varphi(t) \rightarrow 0$ as $|t| \to \infty$.
만약 density가 존재한다고 하면 그 ch.f.은 꼬리가 0으로 수렴합니다.
9. Theorem 4 $\star \star \star$
Let $\{ \mu_n, n \geq 1 \}$ be a seq of prob. measure and $\varphi_n (t) = \int e^{itx} d\mu_n(x).$
If $\varphi_n(t) \rightarrow \varphi(t) \space \forall t, \space n \to \infty$ and $\varphi$ is cont. at t=0,
$\varphi$ is a ch.f. and $\exists$ prob. mea $\mu$ s.t. $\mu_n \xrightarrow{w} \mu$ and $\varphi(t) = \int e^{itx} d\mu$
상당히 중요한 정리입니다. ch.f.가 수렴하고 그 수렴한 ch.f.가 t=0에서 연속이라면, measure도 수렴한다는 의미입니다.
여기서 t=0에서 연속인 게 중요합니다.
t=0과 같이 한 점에서만 연속이어도 미적분학의 기본정리를 적용하여 증명을 전개해 나갈 수 있습니다.
정리하면 아래와 같은 관계가 성립합니다.
$$X_n \xrightarrow{d} X \Longleftrightarrow \mu_n \xrightarrow{w} \mu$$
먼저 X_n이 in distribution 수렴하면 그에 따른 measure도 수렴합니다. 그 역도 성립합니다.
$$\mu_n \xrightarrow{w} \mu \Longleftrightarrow \varphi_{X_n}(t) \to \varphi_X(t)$$
또 measure가 수렴하면 continuous and bounded function의 적분이 수렴하기 때문에 ch.f. 의 수열도 수렴합니다.
$$[\varphi_{X_n}(t) \to \psi(t)\text{ and }\psi\text{ is cont. at }0] \Longrightarrow \psi = \varphi_X,\;X_n \xrightarrow{d} X$$
마지막으로 ch.f.의 열이 t=0에서 연속인 함수로 수렴하면 그 함수는 ch.f.가 되고 그 measure도 수렴합니다. measure가 수렴하면 대응하는 확률변수 X_n 들도 수렴합니다.
결론
Characteristic Function의 정의부터 성질들까지 알아보았습니다.
가장 중요하게 볼 점은 Inversion Formular와 ch.f.의 수렴이 measure의 수렴과 관련이 있다는 내용입니다.
증명이 긴 정리들은 나중에 따로 정리를 올려야겠습니다.
끗!