Moment Generating Function(m.g.f,적률생성함수)의 존재범위는?

서론

적률생성함수 즉, Moment Generating Function을 완벽히 이해하기 위한 첫 번째 글입니다.

 

적률생성함수의 정의는 다음과 같습니다.

$$M(t) = E(e^{tX}) , -h<t<h$$ $$(\exists h>0)$$

 

여기서 $$-h<t<h$$라는 조건이 달린 이유가 무엇일까요? 이 포스팅에서는 이에 대한 이유를 다룹니다.

 

본 포스팅은 Principles of Mathematical Analysis.3rd(Rudin)을 참고하고 있으며 서적에서 다루는 증명을 해설합니다.

 

본론

문제가 무엇인가.

편의를 위해 확률변수 X는 continuous random variable(연속형 확률 변수)로 가정하겠습니다. discrete random variable(이산형 확률 변수)일 때도 비슷합니다.

 

$$E(e^{tX})$$는 기본적으로 m.g.f의 정의입니다. 이 때, $-h<t<h$라는 범위가 붙는 이유는 직관적으로 바로 보이지 않습니다.

이 h는 $(\exists h>0)$로 주어지는 것으로 보아 확률변수 X마다 h가 정해지는 방식이 있는 것 같습니다.

일단 m.g.f를 우리가 잘 아는 형태로 변환함으로 그 이유를 찾아봅시다.

 

Expectation의 전개로 Power Series를 만들어보자.

위에 적은대로 Expectation(기댓값)의 식을 아래와 같이 조작해 봅시다.

$$E(e^{tX}) = \int_{-\infty }^{\infty }e^{tx}f(x)dx$$

$$\int_{-\infty }^{\infty }e^{tx}f(x)dx = \int_{-\infty }^{\infty }(1+tx+\frac{(tx)^2}{2!}+\frac{(tx)^3}{3!}+...+\frac{(tx)^n}{n!}+...)f(x)dx$$

$$\because \sum_{n=0}^{\infty}\frac{x^n}{n!}$$

 

위의 전개는 1. 기댓값의 정의 2. $e^x$을 Maclaurin expansion 후 tx를 대입하여 전개되었습니다...!

Maclaurin expansion은 Taylor expansion을 $a = 0$에서 진행한 것입니다.

 

이제 $f(x)$를 괄호 안으로 넣어봅시다.

$\int_{-\infty }^{\infty }(1+tx+\frac{(tx)^2}{2!}+\frac{(tx)^3}{3!}+...+\frac{(tx)^n}{n!}+...)f(x)dx$

 

$= \int_{-\infty }^{\infty }f(x)t^0+xf(x)t^1+\frac{x^2}{2!}f(x)t^2+\frac{x^3}{3!}f(x)t^3+...+\frac{(x)^n}{n!}f(x)t^n+...)dx$

 

$=\int_{-\infty }^{\infty }f(x)dx*t^0+\int_{-\infty }^{\infty }xf(x)dx*t^1+\int_{-\infty }^{\infty }\frac{x^2}{2!}f(x)dx*t^2+\int_{-\infty }^{\infty }\frac{x^3}{3!}f(x)dx*t^3+...+\int_{-\infty }^{\infty }\frac{x^n}{n!}f(x)dx*t^n+...)$

 

$\displaystyle=\sum_{n=0}^{\infty }(\int_{-\infty }^{\infty }\frac{x^n}{n!}f(x )dx)*t^n$

 

$c_n$을 $\int_{-\infty }^{\infty }\frac{x^n}{n!}f(x)dx$라고 정의하겠습니다.(당연히 아시겠지만, x로 적분하면 x 변수는 없어지고 n만 남습니다.)

 

그러면? $\displaystyle \sum_{n=0}^{\infty }(\int_{-\infty }^{\infty }\frac{x^n}{n!}f(x )dx)*t^n=\sum_{n=0}^{\infty }c_nt^n$ 이라고 할 수 있습니다.

 

어? 우리가 잘 아는 친구가 나왔습니다. 바로 Power Series입니다. 만약 이 Power Series의 $c_n$이 잘 정의되고 수렴한다면 우리는 이를 m.g.f로 정의할 수 있을 것 같습니다.

수리통계 포스팅에서 소개했듯 m.g.f는 좋은 성질이 있으므로 위와 같은 power series는 좋은 연구대상이겠네요.

 

먼저 두 가지 사실을 알고 갑시다.

1. m.g.f가 존재하면 모든 적률이 존재한다. 그러나! 모든 적률이 존재한다고 m.g.f가 존재하는 것은 아니다.

n차 적률의 정의는 $\int_{-\infty }^{\infty }{x^n}f(x)dx$인데요. 즉, $c_n$이 다 존재한다고 위의 Power Series가 잘 존재하는 건 아닙니다. 쉽게 설명해... 자연수 1,2,3,4,... 가 잘 정의되었다고 해서 모든 자연수의 합이 존재하는 건 아니라는 것과 같습니다.(사실 모든 자연수의 합은 $-\frac{1}{12}$)

그 경우가 어떻게 있게 되는지는 아래의 글을 읽어보시면 느낌이 오실 겁니다. (실제 반례는 log-normal distribution입니다.)

 

2. Power Series에는 수렴반경이 존재한다!

수렴반경 R이란 Power Series가 expansion 시킨 점을 기준으로 동일한 거리 R이내의 모든 점에서 수렴한다는 의미를 가지고 있습니다.

무슨 뜻이냐면 우리는 t=0에서 expansion 시켰으니까 $(t-R,t+R) = (-R,+R)$의 범위 내에서 Power Series가 수렴한다는 의미입니다.

아래에서 어째서 수렴범위가 반경으로 나오는지, R은 어떻게 구할 수 있는 것인지 알아보겠습니다.

 

Power Series의 수렴반경 - Rudin p.69 thm 3.39

 

Given the power series $\sum_{}^{}c_nz^n$, put $\displaystyle\alpha = \limsup_{n\to \infty } \sqrt[n]{|c_n|}, R = \frac{1}{\alpha}$.
Then, 
$\sum_{}^{}c_nz^n$ converges if $|z|<R$, and diverges if $|z| > R$.

 

다음은 증명입니다.

---

우리의 목표는 수렴하는 z의 범위를 찾는 것입니다.

이때 $a_n$을 $c_nz^n$으로 놓고 root test를 해봅시다.(뒤를 보면 그 이유가 보입니다.)

이 때 z는 임의의 실수입니다.

$\sqrt[n]{|a_n|} = \sqrt[n]{|c_nz^n|} = \sqrt[n]{|c_n|}\sqrt[n]{|z|^n} = \sqrt[n]{|c_n|}|z|$

 

위의 식 정리에 따라 다음이 성립합니다.

$\displaystyle\limsup_{n\to \infty } \sqrt[n]{|a_n|} = |z|*\limsup_{n\to \infty } \sqrt[n]{|c_n|}$

 

만약 $\displaystyle\alpha = \limsup_{n\to \infty } \sqrt[n]{|c_n|}, R = \frac{1}{\alpha}$라고 정의한다면 

$\displaystyle\limsup_{n\to \infty } \sqrt[n]{|a_n|} = |z|*\limsup_{n\to \infty } \sqrt[n]{|c_n|} = \frac{|z|}{R}$

임을 알 수 있겠습니다.

 

root test에 따라

$\frac{|z|}{R}<1$ 이면 수렴,

$\frac{|z|}{R}=1$ 이면 수렴할 수도 있고 발산할 수도 있으며

$\frac{|z|}{R}>1$ 이면 발산합니다.

 

즉, $|z|<R$에서 급수가 수렴한다고 할 수 있습니다.

가끔 $|z|=R$일 때도 수렴할 수도 있겠죠? 그래서 수렴반경 R이라는 것을 정의하고 그 경곗값에 대해서는 때에 맞게 처리를 해주는 것입니다.

---

정리의 결과로써 mgf?

결과를 정리해 보자면 z라는 값은 그 절댓값이 R보다 작으면 수렴하다가 R보다 커지면! 바로 발산합니다! 아하 그러면 우리는 |z|=R인 경우를 제외하고 모든 실수에서 수렴하는 z에 대해 알게 된 것입니다.

야무지죠? ㅋㅋ

 

이제 우리가 알고 있던 m.g.f로 돌아갑시다. m.g.f에는 $-h<t<h, \exists h>0$라는 조건이 달려있었죠? 이 h는 결국 $c_n = \int_{-\infty }^{\infty }\frac{x^n}{n!}f(x)dx$의 $\limsup$의 역수임을 알 수 있겠습니다! 수렴반경인 것이죠!

한마디로 $\displaystyle h = R = \frac{1}{\limsup_{n\to \infty \sqrt[n]{|c_n|}}}$이라고 할 수 있겠습니다.

 

잠깐 생각해 볼 부분은 $\displaystyle\limsup_{n\to \infty }c_n = \infty$일 때, h=R=0일 수 있는데 이 경우는 m.g.f로 정의되지 않습니다. 사실 R=0이어도 z=0 즉, mgf에서 t=0일 때 수렴은 하는데 미분, 적분이 불가능합니다. 이유가 정확하지는 않지만 미분, 적분이 불가능하므로 우리가 원하는 moment를 generating 할 수 없어, moment generating으로 정의하지 않는 것이 타당해 보입니다.

 

결론

mgf에서 t의 범위는 power series가 수렴하는 범위를 나타낸 것이다!

이는 root test로부터 구해지며 $\sqrt[n]{|c_n|}$의 limit supremum을 구함으로 알 수 있다!