Moment Generating Function(m.g.f,적률생성함수)의 미분가능성? 1(feat. Uniform Convergence)

서론

이 글은 Moment Generating Function 즉, m.g.f 를 완벽히 이해하기 위한 두 번째 글입니다. 이 글에서는 m.g.f의 미분가능성에 대해 다룹니다.

 

우리는 m.g.f를 크게 고민하지 않고 미분하기를 반복하곤 합니다. 그러나 이전 글에서 알아보았듯 m.g.f는 power series이고 우리는 Calculus에서 이것의 미분이 가능성은 배웠는데 왜 그러한지는 정확히 모릅니다.

그래서 오늘 이번 시리즈에서는 power series가 왜 미분가능한지 다루어보고자 합니다.

이 글은 시리즈의 첫번째 글입니다.

 

본 포스팅은 Principles of Mathematical Analysis.3rd(Rudin)을 참고하고 있으며 서적에서 다루는 증명을 해설합니다.

 

본론

m.g.f는 power series

https://juhongyee.tistory.com/21

Moment Generating Function(m.g.f,적률생성함수)의 존재범위는?

위의 포스팅과 같이 우리는 지난 시간 m.g.f  $$E(e^{tX}) = \int_{-\infty }^{\infty }e^{tx}f(x)dx -h<t<h$$ $$\exists h>0$$ 를 $$ \sum_{n=0}^{\infty}(\int_{-\infty }^{\infty }\frac{x^n}{n!}f(x )dx)*t^n=\sum_{n=0}^{\infty }c_nt^n$$ 와 같이 변형할 수 있음을 보였습니다.

 

이는 우리가 잘 알고 있는 power series의 형태입니다. 이 때 이 mgf를 t에 대해 n번 미분하고 0을 대입함으로 우리는 n차 적률을 얻어내곤 합니다. 이 때 우리는 어째서 쉽게 미분을 할 수 있을까요?

이를 알기 위해 우리는 power series에 대해 알 필요가 있습니다.

 

Rudin thm 8.1

---

$\sum_{n=0}^{\infty} c_nx^n$ converges for $|x|<R$, and define $f(x) = \sum_{n=0}^{\infty} c_nx^n (|x|<R)$.
Then, $\sum_{n=0}^{\infty} c_nx^n$ converges uniformly on for $[-R+\epsilon,R-\epsilon]$ $\forall\epsilon>0$

The function $f$ is continuous and differentiable in $(-R,R)$. and $f'(x) = \sum_{n=1}^{\infty} nc_nx^{n-1}$.

---

위의 정리는 대충 읽어봤을 때 power series의 연속성과 미분가능성을 증명하고 있는 정리입니다. power series는 앞선 포스팅에서 처럼 수렴하는 구간이 있는데 그 구간에서 연속이며 미분가능한가 봅니다.

 

위의 Statement를 자세히 해석해보면

1. $|x|<R$에서 수렴하는 power series $\sum_{n=0}^{\infty} c_nx^n$ 를 둡시다.

2. 그리고 이를 f(x)라고 정의합시다.

3. 그러면 $\sum_{n=0}^{\infty} c_nx^n$는어떤 $\epsilon>0$을 실수에서 잡아도 $[-R+\epsilon,R-\epsilon]$ 범위에서 uniformly converge 하다.

4. 또 그 함수 $f$는 $(-R,R)$에서 continuous and differentiable하다.

입니다.

 

Statement를 읽어보니 우리는 Unform Convergence에 대해 알 필요가 있겠네요. 이를 활용해서 증명하는 과정 중 differentiable도 알 수 있는 것 같습니다.

 

Uniform Convergence

사실 Uniform Convergence에 대해서는 설명해야 할 부분이 매우 매우 많습니다.

Pointwise Convergence부터 시작해서 Uniform Convergence Thm 등 되게 많은데요. 앞으로 쓸 일이 많을 테니 따로 포스팅을 해두겠습니다.

 

오늘은 개요와 정의 정도만 소개하겠습니다.

Rudin 7.7 def Uniform Convergence

---

We say that a sequence of functions ${f_n}, n = 1,2,3,...$ converges uniformly on E to a function f if for every $\epsilon >0$ there is an integer N such that $n\geq m$ implies $|f_n(x)-f(x)| \geq \epsilon$   $\forall x \in E$

---

정의는 위와 같은데 이것이 어떤 의미를 가지는지 알아야 합니다.

사실 이 정의는 sequence of functions 즉, 함수열에서 적용되는 정의입니다. 함수가 n에 따라서 점점 수렴해 나간다는 뜻입니다. 그런데 이 수렴에 특이한 점이 있으니, 각 pointwisely(점별) 수렴하는 것과 위의 Uniformly 수렴하는 것으로 나뉜다는 것입니다.

 

Pointwisely 수렴은 예를 들어 $f_n(x) = \frac{x}{n}$ 라는 함수열에 대해 x=1 한 점을 찍고 $f_n(1) = \frac{1}{n}$라는 수열의 수렴성을 보는 겁니다. 이는 0으로 수렴하겠죠. 이 과정을 모든 점에 대해 하는 겁니다. 그런데,

Uniformly 수렴은 어떤 범위 $\epsilon$을 잡고 그 n을 키워서 $\epsilon$ 내에 수렴하는 함수와 함수열의 차이가 좁혀질 수 있는지를 의미합니다. 그러니까 각 $\epsilon$ 에 대해 어떤 N이 존재해서 N보다 큰 n들에 관한 함수열들이 수렴하는 함수열과 차이를 epsilon 내로 좁힐 수 있는지를 의미합니다.

wikipedia,uniform convergence

위의 그림은 uniform convergence에 대한 그림입니다. 수렴하게 되는 f를 기준으로 $\epsilon$ 반경을 잡고 그 반경 내에 적절히 잡은 N보다 큰 n들에 대해 $f_n$들이 들어올 수 있게 하면 됩니다.

 

Pointwise convergence와의 차이가 애매하게 느껴지실 수도 있는데 Pointwisely convergent이지만 uniformly convergent가 아닌 예시는 $f_n = x^n$입니다. 자세한 설명은 따로 포스팅을 두겠습니다.

 

우리가 궁금한 것은 PowerSeries의 Uniform Convergence

우리가 증명하고 싶은 Thm 8.1을 증명하기 위해선 위의 Power Series가 Uniformly Convergent라는 걸 알아야 합니다. 그런데 Series는 그냥 sequence에서의 합인데 수렴한다는 것이 어떤 의미일까요?

이는 우리가 고등학교에서 배운 개념과 유사합니다.

$$\sum_{n=0}^{\infty} f_n = \lim_{n\rightarrow{\infty}}\sum_{k=0}^{n}f_k$$

 

위의 수식에서 $s_n$을 다음과 같이 정의해 보면 $$s_n = \sum_{k=0}^{n}f_k$$, 우리는 $$ \sum_{n=0}^{\infty} f_n = \lim_{n\rightarrow{\infty}}s_n$$ 과 같이 Series가 Sum으로 정의된 function의 sequence의 극한이라는 사실을 알 수 있습니다.

 

이를 확장해 보죠. function의 sequence라면 우리는 Cauchy Sequence를 정의할 수 있습니다. 만약 function sequence가 Cauchy Sequence라면 실제 극한을 알지 못해도 uniformly convergent인지 여부를 알 수 있습니다. 지금부터 Cauchy인지 여부를 판별하므로 수렴성을 판별하는 것을 Cauchy Criterion이라고 하겠습니다.

 

 다음은 Cauchy Criterion와 Uniform Convergence가 if and only if 관계임을 보이는 정리입니다. 이 정리를 보이고 정말 우리가 원하는 걸 증명해 봅시다.

 

Rudin 7.8 Cauchy Criterion

---

 The sequence of functions ${f_n}$, defined on E, converges uniformly on E if and only if for every $\epsilon >0$ there exists an integer N such that $m,n \geq N, x \in E$ implies $$|f_n(x)-f_m(x)| \geq \epsilon$$

---

원래 극한에서의 정의와 다르게 $\epsilon$에 대해 적절한 $N$을 잡고 그보다 큰 $n,m$들에 대해 그 차이가 $\epsilon$보다 작으면 됩니다. 어떤 $N$이상의 $n,m$ 들은 모두 비슷한 상태라는 거죠.

 

다음은 그 증명입니다.

증명

($\Rightarrow$)

function sequence ${f_n}$가 $x\in E$에서 uniformly converge한다고 해봅시다. 그리고 그 ${f_n}$의 수렴하는 함수를 $f$라고 합시다. $\epsilon>0$ 이 주어졌다고 해봅시다. 그러면 uniform convergence의 정의에 따라 모든 $\frac{\epsilon}{2}$에 대해서도 적절한 N이 존재하여 $|f_n(x)-f(x)| \leq \frac{\epsilon}{2}$를 만족하게 할 수 있습니다.

즉, $\frac{\epsilon}{2}$ 범위 안으로 ${f_n}$과 $f(x)$가 가깝게 할 수 있습니다. 모든 x에 대해서요! 그것이 uniformly convergent의 정의입니다.

 

이를 통해 Cauchy Criterion이 성립하는지 확인해 봅시다.

보이고자 하는 것은 $$|f_n(x) - f_m(x)| \leq \epsilon$$ $n,m \geq N$입니다.

 

위에서 미리 $N$을 정해두었는데요, n과 m이 N보다 크다고 해봅시다. 그러면

$|f_n(x)-f(x)| \leq \frac{\epsilon}{2}$ 과 $|f_m(x)-f(x)| \leq \frac{\epsilon}{2}$ 이 만족되는 상태입니다.

 

이때, $|f_n(x) - f_m(x)|$를 정리해 보죠.

 

$|f_n(x) - f_m(x)| = |f_n(x) -f(x) + f(x) - f_m(x)| \leq |f_n(x) -f(x)| + |f(x) - f_m(x)| =  |f_n(x) -f(x)| + |f_m(x) - f(x)|$

 

위의 식은 f(x)를 빼고 더한 후에 삼각부등식을 사용해 준 후 절댓값의 성질을 적용한 것입니다.

그런데 자세히 보니 우리가 위에서 uniform convergence를 사용한 형태와 매우 비슷합니다.

즉, 아래와 같이 정리할 수 있습니다.

 

$|f_n(x) -f(x)| + |f_m(x) - f(x)|  \leq \frac{\epsilon}{2} + \frac{\epsilon}{2}  = \epsilon$

 

위의 수식을 통합하면

$|f_n(x) - f_m(x)| \leq \epsilon$라는 결론을 얻을 수 있겠네요.

 

($\Leftarrow$)

자 이번엔 어떤 $\epsilon$에 대해서든 적절한 $N$이 존재해서 $n,m \geq N$이라면 $|f_n(x) - f_m(x)| \leq \epsilon$이 참이라고 해봅시다.

 

이때 위에서 설명했던 것처럼 x 하나를 정했다면 ${f_n(x)}$는 그냥 우리가 알고 있는 수열과 같습니다. 수열에서는 위에 적은 Cauchy condition이 성립한다면 반드시 수렴하게 됩니다. 각 $x$마다 수렴값을 $f(x)$라고 하면 ${f_n(x)}$는 $f(x)$로 pointwisely converge한다고 할 수 있겠네요.(그리고 사실 pointwise convergence를 우리는 converge한다고 부릅니다 ㅎㅎ 얘가 기본이에요.)

그런데 이는 모든 x에 대해서 다 성립하긴 하는데 Uniformly converge하는지는 더 알아봐야겠습니다.

 

자 어떤 $\epsilon$이 주어졌다고 해봅시다. 이때 우리는 $N$을 잡아서 $|f_n(x) - f_m(x)| \leq \epsilon$을 성립하게 할 수 있겠죠? 여기서 n과 m은 독립적인 변수들입니다.

어떤 N을 잡았을 때 그 이상의 숫자들의 함수열에서는 차이가 $\epsilon$보다 작은 상황에서 $m$만 limit로 보낸다면 어떨까요? 각 $f_m$은 $f$로 수렴한다고 말씀드렸습니다.

이때 $|f_n(x) - f_m(x)| \leq \epsilon$식에서 m을 무한대로 보내봅시다. 즉,\lim_{m\rightarrow \infty}을 씌워봅시다. 그냥 부등식에는 $lim$을 씌워도 유지되죠?

이때, 한 x에 대해 pointwise converge한다고 했으니 $|f_n(x) - f(x)| \leq \epsilon$ 라는 식이 완성됩니다. 각 x에 대해서 $f(x)$로 수렴하니까요. 그런데 우리의 가정에 따라 $|f_n(x) - f(x)| \leq \epsilon$ 라는 식이 모든 x에서 성립합니다. $\therefore$ 즉, uniformly convergent합니다.

---

 

저는 처음에 $lim$를 씌울 수 있는 것이 잘 이해가 안 됐던 기억이 있습니다. $lim$를 씌우는 것은 그냥 극한값으로 대체하는 함수이고 부등식을 유지(거의?) 하니 의심 없이 쓰셔도 되겠습니다. 조금 더 우리의 직관과 가깝게 하려면 $|f_n(x) - f(x) + f(x) - f_m(x)|$로 식을 변형하고 $\frac{\epsilon}{2}$ 2개 잡아서 $lim$씌우면 됩니다. 쉽죠?

결론

오늘은 Uniform Convergence의 정의와 최종적으로 우리가 증명할 정리, 그리고 Cauchy criterion에 대해 알아 보았습니다.

위의 정리를 증명한 이유는 Power Series의 Uniform Convergence를 증명하기 위함입니다. 이번 글에서는 Sequence of functions의 Uniform Convergence를 증명했고 다음 글에서 Power Series의 Uniform Convergence와 Sequence of functions의 미분가능성에 대해 증명하겠습니다.

 

관심있으신 분들은 다음 글에서 봅시다ㅏㅏ