[확률과 통계] 3.1 Continuous Random Variables and PDFs

지금까지 우리는 이산적인 값에 대한 확률을 다루었다. 여기서는 연속적인 값에 대한 새로운 Random Variable과 Probability Density Function(PDF)를 소개하겠다.

Continuous Random Variable은 연속적인 값을 다루기 위한 것이며 다음과 같은 특징이 있다.

• 무한한 범위에서 정의되어있다.

• 어떤 값 $X=x$에 대하여, $P(X=x) = 0$이다.

  이 변수의 값이 될 수 있는 경우는 버스가 도착하는 시간, 무작위로 선택된 사람의 키 등이 있다.

Probability Density Function(PDF)

Continuous Random Variable은 항상 $P(X=x) = 0$이기 때문에 PMF를 만드는 것은 실질적인 의미가 없다. PMF 대신 우리는 연속적이고 0 이상의 값을 가지는 Probability Density Function을 사용할 것이다. X에 대한 PDF는 $f_X(x)$이라고 표기한다.

Intuition

아래는 PDF에 대한 이해를 돕기 위한 내용들이다.

• $f_X(a)$는 $P(X=a)$가 아니다.
• $P(X=a) = \int^a_a f_x(x) dx = 0$
  => $P(X \le a) = P(X\lt a)+P(X=a) = P(X\lt A)$
• 유효한 Probability Law는 $P(\Omega) = 1$과 $P(A) \gt 0$을 만족해야 한다고 했다. 이것은 PDF에도 비슷하게 적용된다.
  • Normalization, PDF 그래프의 총 밑넓이는 1이어야 한다.
    $\int^{\infty}_{-\infty}f_X(x) = P(-\infty < X < \infty) = 1$
  • $f_X$의 값들은 0 이상이어야 한다.
    $P(x\in B) = \int_{x\in B}f_X(x)dx \ge 0$, for all $B$

Properties of the PDF

아래는 PDF의 특성을 정리한 것이다. 여기서 $X$는 Continuous Random Variable이다.

• $f_X(x) \ge 0,\ for\ all\ x$
• $\int^{\infty}_{-\infty}f_X(x)dx = 1$
• $\delta$가 매우 작으면, $P([x, x+\delta]) \approx f_X(x)\cdot \delta$
• 실수 전체의 부분집합 $B$에 대해
  $P(X\in B) = \int_B f_X(x)dx$

Expectation of A Continuous Random Variable

Continuous Random Variable의 기대값은 어떻게 구할까? 기존에 알고 있던 Random Variable들은 PMF를 사용해서 아래와 같이 Expectation을 구했다.

$$E[X] = \displaystyle \sum_{x} xp_X(x)$$

그렇지만 Continuous Random Variable은 PDF로 된 확률을 이용하고, 연속적인 값이기 때문에 $\sum$ 대신 $\int$를 이용하여 합친다.

$$E[X] = \int^{\infty}_{-\infty} xf_X(x)dx$$

Variance of A Continuous Random Variable

Continuous Random Variable이라고 해도 분산의 정의가 바뀌는 것은 아니기 때문에 앞에서 본 기대값을 적용만 하면 된다.

$$var(X) = E[(X - E[X])^2] = \int^{\infty}_{-\infty} (x-E[X])^2f_X(x)dx$$

Exponential Random Variable

연속적인 값을 다루는 Random Variable인데 PDF의 형태가 지수함수이다.

$$f_X(x) = \begin{cases} \lambda e^{-\lambda x} &\text{if } x\ge 0 \\ 0 &\text{otherwise} \end{cases}$$

기대값과 분산은 각각 아래와 같다.

$$ E[X] = \frac{1}{\lambda} $$
$$ var(X) = \frac{1}{\lambda^2} $$

그리고 $X$가 어떤 값 이상일 때의 확률은 지수 형태로 나온다.

$$P(X\ge a) = \int^{\infty}_{a} \lambda e^{-\lambda x} = -e^{-\lambda x} \bigg\rvert^{\infty}_a = e^{-\lambda a}$$