[확률과 통계] 2.3 Functions of Random Variables & 2.4 Expectation, Mean, and Variance

Functions of Random Variables

여기서는 Random Variable이 값이 아닌 함수로 정의되는 경우에 대해 이야기한다.

Random Variable $X$와 $f : \mathbb{R} \rightarrow \mathbb{R}$인 함수 $f$가 있다고 하자. 그리고 새로운 Random Variable $Y$를 다음과 같이 정의할 수 있다.

$$ Y = f(X) $$

이런 $Y$의 PMF는 아래와 같다.

$$P(Y=k) = P(f(X) = k) = \sum_{o\in \Omega\ such\ that\ f(X(o))=k}P(o)$$

풀어서 설명하면 $Y=k$의 확률은 $f(X)=k$가 되게하는 outcome $o$들의 확률을 더한 것이다.

Expectation, Mean, and Variance

Expected Value

Expected Value, 기대값은 Random Variable $X$에 대해 다음과 같이 정의된다.

$$ E[X] = \displaystyle \sum_{x\in \mathbb{R}} xP(X=x) $$

이 값은 $X$ 값에 대한 확률을 고려한 평균이라고 할 수 있다. $E[X]$는 Expectation 또는 Mean이라고도 불린다.

Linearity of Expectation

Expectation은 선형성이라는 특성을 가지고 있다. 고등학교 때 들어본 경험이 있을 수도 있는데 아래 식과 같은 특성을 가진 것을 선형성이 있다고 한다.

$$ E[X + Y] = E[X] + E[Y] $$

$$ E[aX] = aE[X] $$

Variance

우리가 분산이라고 부르는 Variance는 평균으로부터 얼마나 떨어져 있는지를 계산한 값이다. 이는 모든 $X$에 대해 $(X-E[X])^2$를 구한 다음 평균을 내서 구한다. 아래에 식으로 정리되어 있다.

$$ var(X) = E[(X-E[X])^2] = \sum(k-E[X])^2 P(X=k) $$

Variance를 정리하면 아래 식과도 같다.

$$ var(X) = E[X^2] - E[X]^2 $$

고등학교 때 '제평평제' 등으로 외웠던 식이다.

그리고 분산으로부터 표준편차도 구할 수 있는데, 분산에 루트를 씌우면 된다.

$$ \sigma_x = std(X) = \sqrt{var(X)} $$

Expected Value Rule for Functions of Random Variable

앞서 Random Variable이 함수로 정의될 수도 있다고 했다. 여기서는 Random Variable 함수의 Expectation을 구하는 식을 소개한다. $g(X)$는 Random Variable을 실수로 매핑하는 함수이다. 이 함수의 기대값은 아래와 같다.

$$E[g(X)] = \displaystyle \sum_x g(x)p_X(x)$$

Mean and Variance of a Linear Function of a Random Variable

Random Variable이 선형 함수 형태일 때, Expectation과 Variance는 어떻게 변할까? 선형 함수를 일반화한 Random Variable $Y=aX+b$를 기준으로 다음과 같다.

$$ E[Y] = aE[X]+b $$

$$ var(Y) = a^2var(X) $$

Expectation은 앞에서 말한 선형성 때문임을 알 수 있고, Variance는 전개를 직접해서 왜 그런지 증명해보자. 그러면 다음부턴 당연하게 여겨질 것이다.