3 적분과 기댓값의 코시 슈바르츠 부등식 (feat. 나의 증명 + 직관)

서론

통계학에서 증명들을 마주하다보면 Cauchy-Schwartz를 많이 쓰게 됩니다.

Vector에서의 Cauchy-Schwartz도 많이 쓰지만 기댓값에서의 Cauchy-Schwartz도 증명시 많이 사용합니다.

 

오늘은 간단하게 기댓값에서의 Cauchy-Schwartz inequality를 알아보죠.

 

본론

우리는 Continuous Random Variable에 대해서만 증명을 하겠습니다.

여기서 기댓값은 적분으로 정의된다는 사실을 우리는 알고 있습니다. 그래서 먼저 증명할 것은 적분의 Cauchy-Schwartz inequality입니다.

 

정리 1 Cauchy-Schwartz in integration

---

If function $f,g : [a,b] \rightarrow \mathbb{R}$ are continuous, following holds.

 

$(\int_{a}^{b} fg\space dx)^2 \leq (\int_{a}^{b} f^2 dx)(\int_{a}^{b} g^2 dx)$

---

정리가 너무 예쁘죠? 코시-슈바르츠의 형태가 적분에서도 아름답게 나타납니다.

대체 이유가 뭘까요? 전 이게 참 궁금했습니다.

 

저는 열심히 생각해서 답을 얻었는데요 ㅎㅎ

그래서 여러분들께 세 가지를 소개해드리려고 합니다.

 

1. 인터넷에서 찾은 증명의 간단한 해설

 

2. 제가 스스로 증명한 방법 - 위의 질문에 대한 답!

 

3. Geometrical 방법(기하학적 방법) - 해결 못 함

 

1번부터 바로 시작합시다.

 

Proof 1

이 증명은 식의 조작을 통한 증명입니다. 이차식을 만들겠다는 생각으로 식을 조작해서 판별식으로 증명하는 형식입니다.

 

먼저 $\int_{a}^{b} (f-tg)^2\space dx$라는 식을 생각합시다. 이 식은 t에 대한 함수가 되겠죠? t 값을 바꿔가면 식의 값이 바뀌는 함수입니다. 그렇다면 당연하게도 0보다 같거나 큽니다. 함수의 제곱을 적분했기 때문입니다. $(0 \leq x^2)$

 

다음으로는 $\int_{a}^{b} (f-tg)^2\space dx$을 전개하면

$0 \leq (\int_{a}^{b} f^2\space dx) - 2t(\int_{a}^{b} fg\space dx)+t^2 (\int_{a}^{b} g^2\space dx)$

이 될겁니다.

(t는 적분과 관련없으므로 적분 밖으로 꺼낼 수 있습니다.)

 

그러면 자, 적분은 결국 지금 상수나 마찬가지입니다. 그러면 위의 식은 t에 대한 이차함수죠. 이차함수가 0보다 항상 크려면? 판별식이 0보다 작거나 같아야합니다.

 

여기서 짝수 판별식으로 딱 들어가겠습니다. ($b^2 \leq ac)$ 그러면 코시-슈바르츠의 꼴 완성

$\therefore \space (\int_{a}^{b} fg\space dx)^2 \leq (\int_{a}^{b} f^2\space dx)(\int_{a}^{b} g^2\space dx)$

 

자 위의 증명은 idea가 되게 좋은 것 같지만 직관적이지는 않은 것 같습니다.

다음의 증명은 제가 생각해본 증명인데 직관적으로 왜 코시-슈바르츠의 꼴이 나오는지 알 수 있습니다~.

 

proof 2

사실 우리는 적분의 존재성을 위해 continuous condition을 암묵적으로 사용하고 있습니다.

continuous condition 덕분에 우리는 $(\int_{a}^{b} fg\space dx)$의 값이 존재함을 알고 있습니다.

 

자 적분이 잘 존재하니, 고등학교 때 배운 equal partition을 통한 정적분의 정의를 활용합시다.

$\int_{a}^{b} fg\space dx = \displaystyle\lim_{n \to \infty} \sum_{k=1}^n f(a+\frac{b-a}{n}k)g(a+\frac{b-a}{n}k)\space \frac{b-a}{n}$

 

여기서 $\displaystyle\sum_{k=1}^n f(a+\frac{b-a}{n}k)g(a+\frac{b-a}{n}k)\space \frac{b-a}{n}$ 만 떼어 와볼까요?

 

$\frac{b-a}{n}$을 앞으로 꺼낸다면 왠지 우리가 잘 알고 있는 꼴이 나오는 것 같습니다.

$\displaystyle\frac{b-a}{n}\sum_{k=1}^n f(a+\frac{b-a}{n}k)g(a+\frac{b-a}{n}k)$

 

잘 안보이신다구요? $c_k= a+\frac{b-a}{n}k$로 치환해보겠습니다. 그리고 $\frac{b-a}{n}$는 안중요하니 날릴게요 ㅎ

$\displaystyle\sum_{k=1}^n f(c_k)g(c_k)$ 이러면 보이시나요?

 

아하! 이 식은 두 vector의 inner product 즉, 내적의 형태인 것 같습니다.

 

그 vector는 $\vec{f}^T =  [f(c_1),f(c_2),...,f(c_n)]$ 과  $\vec{g}^T =  [g(c_1),g(c_2),...,g(c_n)$ 이겠네요!

 

$\vec{f} \cdot \vec{g} = \displaystyle\sum_{k=1}^n f(c_k)g(c_k)$입니다!

여기서 우리가 잘 알고 있는 Cauchy-Schwartz inequality를 사용할 수 있겠죠?? 절댓값을 씌워줍시다.

vectorform의 Cauchy-Schwartz가 헷갈린다면 나에게로...

 

즉, $|\vec{f} \cdot \vec{g}| \leq ||f||*||g||$ 이 성립합니다! 이제 양변에 $\lim$를 씌워봅시다.

 

norm($||x||$)의 정의에서 $\sqrt{x}$는 continuous function이므로 $\lim$을 안쪽으로 집어넣어줄 수 있겠죠? 절댓값함수도 물론입니다.

$c_t$도 복구하고 $\frac{b-a}{n}$도 복구해줍시다. 

 

그러면

$\displaystyle|\lim_{n \to \infty} \sum_{k=1}^n f(a+\frac{b-a}{n}k)g(a+\frac{b-a}{n}k)\space \frac{b-a}{n}| \leq \sqrt{\lim_{n \to \infty} \sum_{k=1}^n f^2(a+\frac{b-a}{n}k)\space \frac{b-a}{n}} \sqrt{\lim_{n \to \infty} \sum_{k=1}^n g^2(a+\frac{b-a}{n}k)\space \frac{b-a}{n}}$

과 같이 되고 적분의 형태로 고쳐주면!

 

$(|\int_{a}^{b} fg\space dx|) \leq \sqrt{(\int_{a}^{b} f^2 dx})\sqrt{(\int_{a}^{b} g^2 dx})$

$\Longleftrightarrow$

$\therefore(\int_{a}^{b} fg\space dx)^2 \leq (\int_{a}^{b} f^2 dx)(\int_{a}^{b} g^2 dx)$

 

자, 이 증명을 보니 어째서 적분의 Cauchy-Schwartz가 나왔는지 알겠네요.

정적분을 정의에 따라 $\Sigma$로 바꿔주면 나오는 cross product term들이 Cauchy-Schwartz의 꼴입니다! 그래서 적분의 형태에서도 Cauchy-Schwartz가 나오게 되는 것이쥬.

확실하쥬?

 

3 Graphical Approach

3번은 제가 원래 해보려고 했던 기하학적인 접근입니다. 근데 실패했어요 ㅠㅠㅠ 좋은 insight를 얻어 잘 될 것 같았는데 저는 실패했습니다.

간단한 insight만 공유해보겠습니다! 가볍게 읽어주세용.

 

저는 먼저 [0,1]로 범위를 제한하고 $(\int_{a}^{b} fg\space dx)$를 적분으로 해석해보려고 했습니다.

두 함수의 곱을 적분한다는건 어떤 범위를 적분하는 걸까요? 생각보다 어렵지 않았습니다.

아래는 수능 문제입니다 비슷한 형식의 insight라서 가져와봤습니다.

사각형에 집중해주세요.

이 그림은 f(x) = g(x)인 상황에서 fg를 적분한 부피를 구하는 문제와 같습니다. f(x) = g(x)인 이유는 정사각형이기 때문입니다.

xy평면에 f(x)을, xz 평면에 g(x)를 그리고 그 함숫값을 각각 밑변과 높이로 간주하면 직사각형들이 나옵니다. 그 직사각형들을 싹 다 적분으로 더한 값이 fg를 적분한 값입니다.

요약하자면, f의 함숫값과 g의 함숫값을 각각 한 변으로 하는 직사각형들이 모인 도형의 부피입니다.

 

이해를 돕기 위해 글을 쓰기 전 저도 그림을 그려봤는데요 ㅋㅋㅋ 위의 그림이 더 낫긴 한 것 같습니다.

 

내가 미술을 포기한 이유.jpg

y=x,z=x 그래프를 그렸을 때, 저 사각뿔의 부피가 fg의 적분입니다.

여러 Cases를 그려보려다가 그냥 안그리는게 나을 것 같았습니다...

 

곱의 적분에 관한 해석을 했기 때문에 제곱의 적분은 바로 따라옵니다.

$(\int_{a}^{b} f^2\space dx)$의 적분은 xy와 xz에 동일한 f를 그려 나온 도형의 부피가 되겠죠!!

 

아쉽게도 이러한 해석으로 Cauchy-Schwartz의 성립을 Intuitive하게 보이지는 못했습니다.(하지만 재밌었죠)

 

정리 2 Cauchy-Schwartz in Expectation

---

For continuous r.v $X,Y$, following holds.

$$|E(XY)| \leq \sqrt{E(X^2)}\sqrt{E(Y^2)}$$

---

Expectation(기댓값)의 Cauchy-Schwartz도 우리가 아는 그 꼴을 잘 만족시키면 되는 것 같습니다.

사실 이 꼴은 Hölder's Inequality의 특수한 경우이기도 합니다. 궁금하신 분들은 검색해보시길 바랍니다.

 

기댓값이 적분으로 정의되었음을 이용하여 간단하게 증명해봅시다.

 

Proof

X와 Y의 joint pdf를 f(x,y)라고 합시다!

 

$|E(XY)| = (|\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} xyf(x,y)\space dxdy|)$ $\because X,Y$ is continuous.

적분의 형태로 그냥 바꾸어 주었습니다.

 

$(|\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} xyf(x,y)\space dxdy|) = (|\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (x\sqrt{f(x,y)})(y\sqrt{f(x,y)})\space dxdy|)$

 

위에서 증명한 적분의 Cauchy-Schwartz에 의해(지금보니 여기는 이변수네요;; 그래도 이변수에도 잘 성립합니다...!)

 

$(|\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (x\sqrt{f(x,y)})(y\sqrt{f(x,y)})\space dxdy|) \leq (\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x^2 f(x,y)\space dxdy)(\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} y^2 f(x,y)\space dxdy)$

 

다시 기댓값의 형태로 바꾸어주면

 

$$\therefore|E(XY)| \leq \sqrt{E(X^2)}\sqrt{E(Y^2)}$$

 

적분의 Cauchy-Schwarz를 알고 있으니 쉽게 되었죠? ㅎㅎ

 

사실 $|E(XY)| \leq E|(XY)| \leq\sqrt{E(X^2)}\sqrt{E(Y^2)}$ 도 증명이 되어있습니다. 위와 똑같은 방식으로 하면 쉽게 증명 되니 요건 연습문제로 남길게요~!

 

결론

오늘은 Cauchy-Schwartz 부수기를 해보았습니다. 적분에 대해서는 이차함수를 사용한 증명, 정적분의 정의를 사용한 증명, 실패한 Graphical Insight를 보여드렸습니다.

적분의 Cauchy-Schwartz를 알면 평균의 Cauchy-Schwartz 증명은 일도 아닙니다.

 

이 글을 쓴 이유는 서울대 통계대학원을 준비하며 은근 많이 사용한 inequalitys이기 때문에 저 스스로도 증명을 기억하고 남기고 싶었고 직관을 가지고 싶었기 때문입니다.

통계 혹은 수학을 하시는 여러분들께도 이 게시글이 도움이 되기를 진심으로 바라겠습니다...!

감사합니다