상세 컨텐츠

본문 제목

[확률과 통계] 2.7 Independence

전공/확률과 통계

by blacksmith16 2020. 10. 24. 23:48

본문

Random Variable 간의 독립인 경우에 대해 다루며, 이 때 PMF, Expectation, Variance가 어떤 특성을 지니는지도 함께 살펴볼 것이다.

Independence of Random Variables

두 랜덤 변수 $X,Y$가 독립이려면 PMF가 다음을 만족해야 한다.

$$p_{X,Y}(x,y) = p_X(x)p_Y(y)\ for\ all\ x,y$$

마치 $P(A\cap B) = P(A)P(B)$이면 두 Event가 독립인 것과 같은 이치이다. $X,Y$가 서로의 확률에 영향을 미치지 않기 때문에 ${X=x }$와 ${Y=y }$가 동시에 일어나는 경우의 확률은 각각의 확률을 곱한 것과 같다.

Expectation of Independent Variables

기대값을 계산할 때 1. ($E[XY] = \displaystyle \sum_x \sum_y xyp_{X,Y}(x,y)$ 라는 사실)에 2.(위에 나온 식)과 3.(기대값의 선형성)을 적용하면 다음과 같은 식이 탄생한다.

$$ E[XY] = E[X]E[Y] $$

위에서 1, 2, 3으로 적용 순서까지 적어놓았으니 직접 전개해서 이 식을 증명해보도록 하자.

Variance of Independent Variables

독립인 두 랜덤 변수 $X,Y$의 합 $Z=X+Y$에 대해 다음 식이 성립한다.

$$ var(Z) = var(X) + var(Y) $$

이것은 직관적이지 않으므로 증명을 한 번 해보자.

Proof

$$var(Z) \\ = E[(X + Y - E[X + Y])^2] \\= E[(X + Y - E[X] - E[Y])^2] \\= E[((X - E[X]) + (Y - E[Y]))^2] \\= E[(X - E[X])^2] + E[(Y - E[Y])^2] +2E[(X-E[X])(Y-E[Y])] \\= E[(X - E[X])^2] + E[(Y - E[Y])^2] \\= var(X) + var(Y)$$

다섯 번째 줄에서 여섯 번째 줄로 넘어갈 때 $2E[(X-E[X])(Y-E[Y])]$가 사라졌는데, 이 값이 0이기 때문이다. 아래의 식을 보자. 참고로 $X,Y$가 독립이므로 $(X-E[X])$와 $(Y-E[Y])$도 독립이다.

$$ E[(X-E[X])(Y-E[Y])]\\=E[X-E[X]]E[Y-E[Y]]\\=(E[X]-E[E[X]])(E[Y]-E[E[Y]])\\=(E[X]-E[X])(E[Y]-E[Y])\\=0 $$

여기까지, 2장이 전부 끝났다. 다음 포스팅부터는 3장에 들어갈 예정이다.

관련글 더보기

댓글 영역