Moments & MGF

확률변수 X가 평균 μ와 분산 σ^2를 가질 때, 양수인 n에 대해서 X의 n번째 모멘트는

 

n번째 central moment는

 

n번째 standardized moment는

 

각 모멘트는 존재하지 않을 수도 있다.

이미 익숙한 평균과 분산은 각각 first moment, second cetral moment이다.

이 moment라는 말은 물리에서 가져왔다는데 생략한다.

 

Moment generating functions

Generating function은 조합론, 확률 분야에서 아주 강력한 도구인데, 확률에서 이산분포와 연속분포에 모두 쓸모가 있다. 수열에서 연속함수를 만들어냄으로써 미분을 활용하여 수열을 해석할 수 있도록 해주는 것. 이름처럼 어떤 분포의 moment들로 바꾸어준다.

한 확률변수 X의 MGF M(t) = E(e^tX) 는 t로 표현되는 함수인데 여기서 t는 어떤 큰 의미로 해석되는 것이 아니고 그냥 미분을 도와주는 장치 정도로 생각하면 된다. MGF는 0을 포함하는 어떤 열린구간 (-a,a)에서 유한한 값으로 존재하며 그렇지 않으면 X의 MGF는 존재하지 않는다.

유효한 MGF는 M(0) = 1 이며, 이는 계산한 MGF가 정확한지 빠르게 체크할 때 사용 가능하다.

한편 e^tX 는 매클로린 전개를 통해 1 + tX/1! + (tX)^2/2! + (tX)^3/3! + ... 와 같이 풀어진다.

여기에 기댓값을 씌우면 M(t) = E(e^tX) = E(1) + tE(X) + (t^2/2!)E(X^2) + (t^3/3!)E(X^3) + ... 이 된다.

M(t)에 t=0을 대입하면, M(0) = 1 이다.

자, 다음엔 M(t)를 t에 대해 미분 하고 t=0을 대입하면, M'(0) = E(X).

두 번 미분하고 t=0을 대입하면, M''(0) = E(X^2)

세 번 미분하면, M'''(0) = E(X^3).

보이는가? 원하는 차수의 모멘트를 끄집어낼 수 있다!(복잡한 LOTUS를 사용하지 않고 미분만으로!) 깔끔한 수식을 정리하자면 다음과 같다.

 

 

 

 

Properties of MGF

1. MGF determines the distribution : 만약 두 확률변수가 같은 MGF를 갖는다면, 그 두 확률변수는 반드시 같은 분포를 가진다. 증명 생략.

 

2. 서로 독립인 확률변수 X, Y가 있을 때, X+Y의 MGF는 각 MGF의 곱이다.

 

 

3. location-scale transformation

확률변수 X가 MGF M(t)를 갖는다면, a+bX의 MGF는 다음과 같다.