[확률과 통계] 2.6 Conditioning

이 부분의 내용은 Random Variable에 조건부 확률 개념을 더하는 것이라고 생각하면 된다. 그에 따른 PMF, Expectation의 변화를 알아보자.

Conditioning on Random Variable on an Event

어떤 Event $A$가 발생했을 때, Random Variable $X$에 관한 PMF는 아래와 같다.

$$p_{X\vert A}(x) = P(X=x \vert A) = \frac{P({X=x} \cap A)}{P(A)}$$

사실 기존 조건부 확률과 크게 다를 것은 없다. 단지 Event를 표현하는 방식에 ${X=x}$가 추가되었을 뿐이다.

Conditioning on Random Variable on Another

이번에는 Event $A$ 대신 다른 Random Variable $Y$에 대하여 ${Y = y}$일 때, Random Variable $X$에 관한 PMF는 아래와 같다.

$$p_{X\vert Y}(x\vert y) = P(X=x \vert Y=y) = \frac{p_{X,Y}(x, y)}{p_Y(y)}$$

$A = {Y=y}$라고 생각하고 전개하면 된다. 둘 다 Random Variable이라서 마지막 수식은 Joint PMF와 PMF로 표현하였다.

Some Useful Rules

여기서 소개하는 것은 Conditional PMF의 정의를 이용한 응용식이다.

Calculating the Joint PMF from the conditional PMF

Conditional PMF로부터 Joint PMF를 구하는 식이다. 아마 이 식을 보면 조건부 확률에서 교집합의 확률을 구하는 식이 떠오를 것이다.

$$p_{X,Y}(x,y) = p_Y(y)p_{X\vert Y}(x\vert y)$$

이 식은 마치 조건부 확률에서의 $P(A\cap B) = P(A)P(B\vert A)$와 유사하다.

Calculating the marginal PMF from the conditional PMF

이번에는 Joint PMF가 아니라 Marginal PMF를 구하는 식이다.

$$p_X(x) = \displaystyle \sum_y p_Y(y)p_{X\vert Y}(x\vert y)$$

이것은 Total Probability Theorem과 유사하다.

Conditional Expectation

조건이 들어간 상태에서 기대값이 어떻게 변하는지를 알아보자. 전제조건은 $P(A) > 0$이다.

$$E[X\vert A] = \displaystyle \sum_x xp_{X\vert A}(x\vert A)$$

이고 $A$ 대신 ${Y=y}$라면

$$ E[X\vert Y=y] = \displaystyle \sum_x xp_{X\vert Y}(x\vert y) $$

로 기대값을 구할 수 있다.

Total Expectation Theorem

Total Probability Theorem의 기대값 버전이라고 생각하면 된다. 기본적인 개념은 모든 $Y$ 값과 알고자하는 $X$ 값에 대한 조건부 기대값들을 다시 평균 내는 것이다.

$$E[X] = \displaystyle \sum_y p_Y(y)E[X\vert Y=y]$$