Covariance & Correlation

공분산은 두 확률변수의 joint distribution을 한 숫자로 요약한 것이라고 볼 수 있다. 간단하게 요약하면, 공분산은 두 확률변수가 같이 증가하고 감소하는 경향을 측정한 것이다. 확률변수 X와 Y의 공분산이 양수라면 X가 증가할 때, Y 역시 증가하는 경향을 보인다는 것이고, 반대로 음수인 경우는 X가 증가할 때, Y는 감소하는 경향을 보인다는 것.

공분산의 정의는 다음과 같다.

 

 

직관적으로 생각해보자면, X와 Y가 같은 방향으로 움직이는 경향을 보일 때, X-EX와 Y-EY 역시 둘 다 양수이거나 음수일 것이다. 따라서 둘의 곱은 양수일 것이며 양수의 공분산을 도출할 것이다.

만약 X와 Y가 독립이라면, 공분산은 0이고 공분산을 0으로 가지는 확률변수를 uncorrelate하다고 한다.

연속확률변수 X,Y가 독립이라면 joint PDF는 각 marginal PDF의 곱으로 나타낼 수 있다. 2D LOTUS를 사용해보자. (이산확률인 경우도 마찬가지)

 

 

 

 

하지만 X,Y가 uncorrelate하다고해서 독립은 아니다. 공분산은 linear한 상관관계를 측정하므로 non-linear한 방식으로 독립이 아닌 경우가 충분히 있을 수 있다. 예를 들어 X ~ N(0,1)이고 Y=X^2 인 경우에, 공분산은 0으로 uncorrelate 하지만 확실히 X와 Y는 독립이 아니다. 

 

 

 

 

 

 

 

 

 

 

 

 

또한 공분산은 다음과 같은 특성을 갖는다.