8 O_p(1)

 

 

서론

적어야지 적어야지 하다가 이제 적게 되네요.

통계학에서 너무나도 중요한 $O_p$ notation입니다.

$o_p$는 이번 포스팅에서는 안 다룰 거구요. $O_p$의 간단한 성질과 직관이 어떤지 알아봅시다.

 

본론

https://en.wikipedia.org/wiki/Big_O_in_probability_notation

 

위의 링크는 위키피디아 링크인데 저기서 사용하는 $O_p$ 정의를 사용하도록 하죠.

 

First Def of $O_p(1)$

Random variable $Z_n = O_p(1)$ if for all $\epsilon$, If there exitsts $M,N$ such that

 

$$\forall n \ge N \quad \mathbb{P}(|Z_n| > M) < \epsilon$$

 

---

진짜 처음볼 때는 뭔 소리인가 싶었습니다.

 

그런데 이거 하나를 기억하면 조금 쉬워집니다. $O_p(1)$의 개념은 $O(1)$의 개념을 확률로 끌고 오다보니 만들어진 개념이라는 것입니다.

 

$O(1)$은 쉽죠. 어떤 수열 $a_n$이 $O(1)$이라는 것은 어떤 $M$이 존재해서 결국은 그 $[M,-M]$ 범위 안에 $|a_n|$이 모두 있게 되는 겁니다.

 

그럼 $O_p(1)$은 뭐냐, $[M,-M]$ 범위 안에 높은 확률로 존재한다라는 개념이 되는 겁니다.

지금 정의는 바깥쪽에 있을 확률이 낮은 확률 $\epsilon$으로 존재한다고 되어 있는 것이구요. 이를 반전시킨 $1-\epsilon$이라는 높은 확률로 $[M,-M]$범위 안에 있다는 게 정의의 의미입니다.

 

그런데 진짜 작은 $\epsilon$을 제가 정해도 확률 대부분을 밀어넣을 수 있는 범위 $[M,-M]$을 우리는 찾을 수 있다는 뜻입니다. 물론 적당히 큰 $N$이후의 모든 n에 대해서요.

 

다르게 생각하면 $n$이 무한대 정도로 커졌다면 $\epsilon,M$에 대해 $N$을 크게 고려할 필요는 없을 것 같습니다.

이걸 생각하면 두 번째 정의를 생각해볼 수 있는데, 첫 번째 정리를 가볍게 정리하고 넘어가겠습니다.

 

$\epsilon$ : 작은 확률

내가 아무리 작은 $\epsilon$을 잡아도 어떤 bound $[M,-M]$이 있어서 그 범위를 넘어가는 확률을 $\epsilon$보다 작게 할 수 있다~

물론 N도 적당히 커야 한다!

 

저 그림 못 그려요

 

n에 따라 확률분포가 달라지는 그림을 그리고 싶었습니다... 파란색으로 $\delta$라고 써놨는데 $M$으로 이해해 주세요!

 

n축을 따라 점점 뾰족해지죠? 꼬리 확률이 점점 작아지고 있습니다. 그러면 $n=0$일 때 $\delta=M$ 바깥의 꼬리 확률을 $\epsilon$으로 잡았다면 그 뒤로는 항상 꼬리 확률이 $\epsilon$보다 작겠네요.

즉, 위의 $\epsilon, \delta = M$에 대해서는 $N=0$으로 선택해도 별 문제없겠습니다.

 

 

사실 우리는 위의 $\epsilon - \delta$정의로 기억하지 않아도 됩니다. 애초에 $N$과 $M$이 엄청나게 클 때 확률 자체가 0으로 수렴한다면 어떤 $\epsilon$을 가져와도 적절하게 $N,M$을 골라줄 수 있지 않을까요?

 

그래서 다음의 정의가 원래 정의와 equivalent합니다.

Second Def of $O_p(1)$

$$\displaystyle Z_n = O_p(1) \Leftrightarrow \lim_{M \to \infty} \limsup_{n \to \infty} P(|Z_n| > M) = 0$$

---

 

비모수를 하다 보면 이런 형식으로 많이 씁니다.

 

$\lim$ 순서 중요합니다!

 

0으로 수렴하니까 0자리에 어떤 $\epsilon>0$ 넣어도 다 성립하겠죠.

유도해 보면 쉽게 First definition과 Second Definition이 같음을 보일 수 있습니다.

 

의미를 조금 더 자세히 보죠.

$\displaystyle \limsup_{n \to \infty}$ 와 $\lim_{M \to \infty}$의 순서에 대해 먼저 논해보죠.

만약 두 개가 순서가 바뀌면 어떨까요? 일반적으로 uniformly continuous면 교환해도 같습니다. 그런데 이 경우는 아닙니다.

 

만약 순서가 바뀐다면 $M \to \infty$인 상황에 $(|Z_n| > M)$ 공집합이 되어버려서 모두 자명하게 0이 되겠죠.

이걸 가지고 순서를 외우면 편합니다.

 

 그러면 $\displaystyle \limsup_{n \to \infty}$의 순서는 당연한데, 왜 $\limsup$일까요?

 

$\epsilon - \delta$ 논법의 형식으로 변환해서 생각해봅시다.

그렇다면 $N$ 보다 큰 n에서 확률의 $\sup$이 $\epsilon$보다 작아야 합니다.

따라서 모든 $n>N$에서 확률은 $\epsilon$보다 작게 됩니다.

이건 정확히 $O_P(1)$의 정의와 일치합니다.

 

그리고 실제로 $\lim$가 존재하지 않을 수 있습니다. 짝수 홀수에서 번갈아가며 분포가 바뀌게 할 수 있거든요. 그래도 $\limsup$은 항상 존재합니다.

 

그러면 $\displaystyle \lim_{M \to \infty}$는 왜 $\lim$이 존재하는가? 그건 바로 measure의 continuity 때문입니다. 아래의 포스팅을 참고하세요.

https://juhongyee.tistory.com/41

푹 찍어먹는 확률론 1 Probability Space and Measure

우리가 보는 집합이 계속 포함관계로 작아지고 있습니다. $M_1<M_2 \Rightarrow (|Z_n| > M_2) \subset (|Z_n| > M_1)$와 같은 식입니다.

 

(4) continuity from above. If $A_i \downarrow A$(i.e. $A_1 \supset A_2 \supset ...$ and $\bigcap_i A_i = A$, with $\mu(A_1) < \infty$ then $\displaystyle \lim_{n\rightarrow \infty} \mu(A_i) = \mu(A)$

 

그럼 위의 성질에 따라 measure의 $\lim$이 존재합니다.

결론

정리합시다!

 

첫 번째 정의는 $O(1)$의 정의를 확률적으로 옮겨오고 싶다는 생각에서 만들어진 정의였습니다. 아무리 큰 n에 대해서도 $[M,-M]$범위에 들어오는 것이었죠.

그런데 $O_p(1)$은 N이 커지면 어떤 작은 확률을 가져와도 확률분포의 바깥쪽 확률이 그 확률보다 작게 할 수 있었습니다. 적절히 범위를 정해서. 다르게 표현하면 그 범위 안쪽에 높은 확률로 들어오게 되는 거죠. $O(1)$과 비슷하죠?

 

두 번째 정의는 $N$과 $M$이 엄청 커졌을 때 점점 0에 가까워지면 어떤 $\epsilon$이 들어와도 적절한 $M,N$으로 대응할 수 있다는 것이었습니다.

이때 극한의 순서가 $\displaystyle \lim_{M \to \infty} \limsup_{n \to \infty} $임에 유의해야 합니다!

이게 순서가 이런 이유가 $\forall \space \epsilon \space \space \exists \space N,M \space \space \forall \space  n >N$ 순서라서 정의상 자연스럽습니다.

 

다음에는 진짜 가볍게 $O_p$, $o_p$의 연산에 대해 알아보죠.

(시간 나면 첫 번째 정의와 두 번째 정의가 equivalent 하다는 증명도 추가하겠습니다. 예전에 해봤는데 그냥 슥 되었습니다.)

 

끗!