대표 분포와 기댓값 — 균등, 가우시안, 지수, 포아송, 분산

1. 분포 전체와 요약하는 숫자

앞 글에서 PMF, PDF, CDF 가운데 하나를 알면 확률변수에 대한 확률을 모두 계산할 수 있다고 했습니다. 이것을 완전한 통계적 기술이라고 불렀습니다. 이 글의 앞부분은 공학에서 자주 나오는 대표 분포들을 차례로 소개합니다. 분포마다 밀도의 모양과 그 모양을 정하는 숫자, 곧 모수(parameter)가 있습니다.

실제 문제에서는 분포 전체를 모르는 경우가 많습니다. 그때는 확률변수를 특징짓는 숫자 몇 개로 대신합니다. 대표가 기댓값과 분산입니다. 평균이 10이라는 사실만으로는 그 분포가 균등인지 가우시안인지 알 수 없으므로, 이 숫자들은 유용하지만 불완전한 요약입니다. 글의 뒷부분에서 이 숫자들을 정의하고 계산합니다.

2. 균등분포

균등 밀도(uniform density)는 구간 [a, b]에서 일정하고 그 밖에서 0입니다. 넓이가 1이어야 하므로 높이는 1 / (b − a)입니다.

CDF는 −∞부터 x까지의 넓이입니다. a 전에는 넓이가 없어 0이고, b 뒤에는 넓이를 모두 담아 1이며, 그 사이에서는 직사각형 넓이가 x에 비례해 직선으로 늘어납니다. [2, 8]에서 균등하면 높이는 1/6이고, 3과 5 사이에 들어갈 확률은 (5 − 3) / 6 = 1/3입니다.

3. 가우시안(정규)분포

가우시안 밀도(Gaussian density)는 정규 밀도(normal density)라고도 부르며 다음과 같습니다.

f_X(x) = (1 / (σ √(2π))) e^{−(x − m)2 / (2σ2)}

모수는 둘입니다. m은 평균이고 종 모양 곡선의 중심입니다. σ²은 분산이고, σ가 클수록 곡선이 넓고 낮아집니다. 이 분포를 X ∼ N(m, σ²)로 쓰고, N(0, 1)을 표준정규분포(standard normal)라고 합니다. 측정 잡음처럼 작은 원인이 많이 더해져 생기는 양이 이 모양을 따르는 경우가 많아 널리 쓰입니다.

가우시안 밀도의 적분은 초등함수로 쓸 수 없습니다. 그래서 표준정규의 CDF에 이름을 붙이고 값은 수치 계산이나 표로 구합니다.

G(x) = ∫_−∞^x (1 / √(2π)) e^−t2/2 dt, Q(x) = 1 − G(x)

G(x)는 x 왼쪽의 넓이, Q(x)는 x 오른쪽 꼬리(tail)의 넓이입니다. 통신 이론에서는 오류 확률이 꼬리 넓이로 나오므로 Q를 더 자주 씁니다. 곡선이 세로축에 대칭이라는 사실에서 다음 성질이 나옵니다.

표준화

X ∼ N(m, σ²)이면 (X − m) / σ는 표준정규를 따릅니다. 중심을 m만큼 옮기고 폭을 σ로 나눠 맞춘 것입니다. 그래서 어떤 가우시안의 CDF도 G로 쓸 수 있습니다.

F_X(x) = P[X ≤ x] = P[(X − m) / σ ≤ (x − m) / σ] = G((x − m) / σ)

예로 X ∼ N(5, 9)이면 σ = 3입니다. P[2 < X < 11]은 표준화하면 −1과 2 사이의 넓이입니다.

P[2 < X < 11] = G((11 − 5) / 3) − G((2 − 5) / 3) = G(2) − G(−1) = G(2) + G(1) − 1 ≈ 0.9772 + 0.8413 − 1 = 0.8186

같은 방법으로 평균에서 표준편차의 k배 안에 들어갈 확률은 G(k) − G(−k) = 2G(k) − 1 = 1 − 2Q(k)입니다. m과 σ가 무엇이든 k만 같으면 값이 같습니다.

문제 1

어떤 부품의 길이가 N(10, 4)를 따릅니다(단위 mm). 길이가 13 mm를 넘는 부품의 비율을 Q 함수로 쓰고 값을 구하십시오.

분산이 4이므로 σ = 2입니다. P[X > 13] = 1 − F_X(13) = 1 − G((13 − 10) / 2) = 1 − G(1.5) = Q(1.5)입니다. 값은 약 0.0668로, 100개 가운데 7개 정도입니다. 평균에서 표준편차의 1.5배 넘게 떨어진 오른쪽 꼬리입니다.

4. 지수분포와 레일리분포

지수 밀도(exponential density)는 λ > 0을 모수로 가지며 x ≥ 0에서만 값이 있습니다.

f_X(x) = λ e^−λx (x ≥ 0), F_X(x) = ∫₀^x λ e^−λt dt = 1 − e^−λx (x ≥ 0)

음수에서는 둘 다 0입니다. 밀도는 x = 0에서 높이 λ로 시작해 지수적으로 줄어듭니다. λ가 1보다 크면 밀도의 시작 높이도 1보다 큽니다. 그래도 CDF는 0에서 뛰지 않습니다. F_X(0) = 1 − e⁰ = 0이고, 0 근처의 아주 좁은 구간에서 쌓인 넓이는 0에 가깝기 때문입니다. 밀도의 높이와 CDF의 값은 서로 다른 양입니다. 지수분포는 부품의 수명, 다음 손님이 오기까지의 시간처럼 기다리는 시간을 모델링할 때 자주 씁니다.

예로 고객 문의가 오기까지의 시간 X(단위 시간)가 λ = 0.5인 지수분포라면, 3시간 넘게 문의가 없을 확률은 P[X > 3] = 1 − F_X(3) = e^−1.5 ≈ 0.223입니다.

레일리 밀도(Rayleigh density)도 양수에서만 값을 가집니다.

f_X(x) = (x / σ²) e^{−x2 / (2σ2)} (x ≥ 0)

지수 부분이 가우시안과 닮았지만 앞에 x가 곱해져 있어 x = 0에서 0으로 시작하고, 가우시안과 다른 분포입니다. 무선 통신에서 신호가 여러 경로로 반사되어 세기가 흔들리는 다중경로 페이딩(multipath fading) 채널을 모델링할 때 씁니다.

5. 포아송 확률변수

길이 T인 구간 안에 점 n개를 하나씩, 서로 독립으로, 균등하게 던진다고 합시다. 이 구간 안에 길이 τ인 작은 구간을 잡고, 작은 구간에 들어간 점의 개수를 X라 합니다. 이것을 무작위 점 실험(random point experiment)이라고 부릅니다.

점 하나가 작은 구간에 들어갈 확률은 길이의 비 p = τ / T입니다. 점마다 독립이므로 X는 앞 글의 이항 확률변수입니다.

P_X(k) = C(n, k) (τ/T)^k (1 − τ/T)^{n − k}

이제 T와 n을 함께 무한히 키우되 단위 길이당 점의 수 n / T를 λ로 유지합니다. 그러면 기대되는 점의 수 np = nτ / T는 λτ로 고정되고, 이항 PMF는 다음 꼴로 다가갑니다.

P_X(k) = e^−λτ (λτ)^k / k!, k = 0, 1, 2, …

이 PMF를 가진 X를 포아송 확률변수(Poisson random variable)라고 합니다. λ는 단위 길이(또는 단위 시간)에 들어오는 점의 평균 개수로 읽습니다. 점을 사건이 일어난 시각으로 보면, 한 시간에 들어오는 전화 수나 1초에 도착하는 패킷 수 같은 양을 모델링합니다.

예로 1분에 평균 3건의 요청이 들어오는 서버라면 λτ = 3입니다. 어떤 1분 동안 요청이 정확히 2건일 확률은 e⁻³ · 3² / 2! = 4.5 e⁻³ ≈ 0.224입니다. 1건 이하일 확률은 e⁻³ (1 + 3) = 4 e⁻³ ≈ 0.199입니다.

포아송 PMF의 합이 1인지도 확인할 수 있습니다. ∑_k (λτ)^k / k!는 e^λτ의 테일러 급수이므로 e^−λτ와 곱하면 1입니다. 이항분포에서 기대되는 점의 수가 np였던 것처럼, 포아송 확률변수의 평균도 λτ입니다.

6. 포아송 점 사이의 간격은 지수분포

점들이 포아송을 따를 때, 이웃한 두 점 사이의 거리 Y는 어떤 분포일까요. CDF를 바로 구하지 않고 여사건 P[Y > y] = 1 − F_Y(y)부터 봅니다. 한 점에서 다음 점까지의 거리가 y보다 크다는 것은 그 점 다음의 길이 y 구간에 점이 하나도 없다는 뜻입니다. 포아송 식에 τ = y, k = 0을 넣습니다.

P[Y > y] = e^−λy, F_Y(y) = 1 − e^−λy, f_Y(y) = λ e^−λy (y ≥ 0)

4절의 지수분포와 같은 꼴입니다. 한 구간 안의 개수가 포아송이면, 이웃한 점 사이의 간격은 같은 λ의 지수분포를 따릅니다.

큐잉 이론에서 도착을 포아송, 도착 간격을 지수분포로 두는 모델이 자주 쓰이는 이유가 이 관계입니다.

7. 기댓값

기댓값(expectation)은 평균(mean), 기대값(expected value)이라고도 부릅니다. 값에 그 값의 확률을 곱해 더한 것입니다.

이산형: E[X] = ∑_x x P_X(x), 연속형: E[X] = ∫_−∞^∞ x f_X(x) dx

연속형은 값 x에 x 근처의 확률 f_X(x) dx를 곱해 연속으로 더한 것입니다. 예로 X가 1, 2, 5를 각각 0.5, 0.3, 0.2의 확률로 가지면 E[X] = 1 · 0.5 + 2 · 0.3 + 5 · 0.2 = 2.1입니다.

기댓값은 PMF나 PDF의 무게중심(center of gravity)입니다. 수직선 위 1, 2, 5 자리에 무게 0.5, 0.3, 0.2를 올려놓으면 2.1 지점에서 균형이 맞습니다. 균등분포 [a, b]라면 무게가 고르게 퍼져 있으니 무게중심은 한가운데 (a + b) / 2입니다. 가우시안 N(m, σ²)도 m을 중심으로 대칭이므로 평균이 m입니다.

지수분포의 기댓값

부분적분으로 계산합니다.

E[X] = ∫₀^∞ x λ e^−λx dx = [−x e^−λx]₀^∞ + ∫₀^∞ e^−λx dx = 0 + 1/λ = 1/λ

평균은 λ에 반비례합니다. λ가 크면 밀도가 0에서 높게 시작해 빠르게 줄어 무게중심이 0 쪽에 있습니다. 4절의 문의 예에서 λ = 0.5이면 평균 대기 시간은 2시간입니다. 포아송으로 보면 시간당 평균 0.5건이 오므로 건과 건 사이는 평균 2시간이라는 해석과 맞습니다.

8. 확률변수의 함수와 그 기댓값

Y = g(X)도 확률변수입니다. Y = 2X, Y = X² 같은 것입니다. Y의 기댓값을 구할 때 Y의 분포를 먼저 구할 필요가 없습니다. X의 분포로 바로 계산합니다.

E[g(X)] = ∑_x g(x) P_X(x), E[g(X)] = ∫_−∞^∞ g(x) f_X(x) dx

예로 X가 −1, 0, 1을 각각 1/3의 확률로 가지고 Y = X²라 합시다. Y 쪽에서 계산하면 Y = 0은 X = 0일 때, Y = 1은 X = −1 또는 1일 때이므로 P_Y(0) = 1/3, P_Y(1) = 2/3이고 E[Y] = 2/3입니다. X 쪽에서 계산하면 (−1)² · 1/3 + 0² · 1/3 + 1² · 1/3 = 2/3입니다. P_Y(1) = 2/3을 1/3 + 1/3으로 쪼개 놓으면 Y에 대한 합이 X에 대한 합과 같아집니다.

기댓값은 선형 연산자

기댓값의 정의는 곱해서 더하기(또는 적분)이므로 선형입니다.

E[aX + b] = a E[X] + b

상수의 기댓값은 그 상수입니다. g가 선형이 아니면 일반적으로 E[g(X)] ≠ g(E[X])입니다. 위 예에서 E[X] = 0이라 (E[X])² = 0인데 E[X²] = 2/3입니다. 제곱의 평균과 평균의 제곱은 다릅니다.

9. 분산

평균만으로는 값이 평균 근처에 모여 있는지 넓게 퍼져 있는지 알 수 없습니다. 분산(variance)은 평균에서 벗어난 거리의 제곱을 평균한 값입니다. m_X = E[X]로 둡니다.

Var[X] = σ_X² = E[(X − m_X)²], σ_X = √Var[X]

σ_X를 표준편차(standard deviation)라 하며 X와 단위가 같습니다. 분산이 크면 평균에서 먼 값이 잘 나오고 밀도 곡선이 넓습니다. 계산할 때는 제곱을 풀어 선형성을 쓴 꼴이 편합니다. m_X는 이미 정해진 상수이므로 기댓값 밖으로 나옵니다.

E[(X − m_X)²] = E[X²] − 2 m_X E[X] + m_X² = E[X²] − (E[X])²

7절의 예(1, 2, 5에 0.5, 0.3, 0.2)에서 E[X²] = 1 · 0.5 + 4 · 0.3 + 25 · 0.2 = 6.7이므로 Var[X] = 6.7 − 2.1² = 6.7 − 4.41 = 2.29입니다.

분산은 선형이 아니다

Y = aX + b이면 m_Y = a m_X + b이므로 Y − m_Y = a (X − m_X)가 되어 b가 사라집니다.

Var[aX + b] = a² Var[X]

상수를 더하면 곡선이 옆으로 옮겨 갈 뿐 퍼진 정도는 그대로입니다. 배율 a는 제곱으로 들어갑니다. 2X의 분산은 X 분산의 4배입니다.

문제 2

위의 X(E[X] = 2.1, Var[X] = 2.29)에 대해 Y = 3X − 4의 평균, 분산, 표준편차를 구하십시오.

평균은 선형성으로 E[Y] = 3 · 2.1 − 4 = 2.3입니다. 분산은 Var[Y] = 3² · 2.29 = 20.61이고 −4는 영향을 주지 않습니다. 표준편차는 √20.61 ≈ 4.54로, X의 표준편차 √2.29 ≈ 1.51의 정확히 3배입니다.

10. 적률

기댓값과 분산은 적률(moment)이라는 더 넓은 묶음에 속합니다.

n차 적률: E[Xⁿ], n차 중심적률: E[(X − m_X)ⁿ]

평균은 1차 적률이고, 분산은 2차 중심적률입니다. 중심적률(central moment)은 평균을 빼서 중심을 0으로 옮긴 뒤 거듭제곱한 값입니다. 3차 중심적률은 분포가 한쪽으로 치우친 정도인 왜도(skewness)와 이어지는 등 고차 적률도 정보를 담지만, 가장 많이 쓰는 것은 평균과 분산입니다.

균등분포 [2, 8]의 분산을 구해 봅니다. 평균은 가운데인 5입니다. E[X²]를 먼저 구합니다.

E[X²] = ∫₂⁸ x² · (1/6) dx = (8³ − 2³) / 18 = 504 / 18 = 28

Var[X] = 28 − 5² = 3

일반적으로 [a, b] 균등분포의 분산은 (b − a)² / 12이고, 여기서도 6² / 12 = 3입니다. 분산은 구간의 폭에만 달려 있고 구간의 위치와는 무관합니다. [102, 108]로 옮겨도 분산은 3입니다.

난수를 많이 만들어 표본 평균과 표본 분산을 계산하면 이 값에 가까워집니다. 파이썬의 numpy로 확인하면 다음과 같습니다.

import numpy as np
rng = np.random.default_rng(0)
x = rng.uniform(2, 8, size=100_000)
print(x.mean(), x.var())    # 약 4.997, 2.995
y = rng.exponential(scale=2.0, size=100_000)   # λ = 0.5, scale = 1/λ
print(y.mean(), y.var())    # 약 1.998, 4.001

균등분포 [2, 8]은 평균 5, 분산 3에 가깝게 나오고, λ = 0.5인 지수분포는 평균 2에 가깝습니다. 지수분포의 분산이 4 근처로 나오는 이유는 아래 문제에서 계산합니다. 표본 수를 늘릴수록 이론값에 더 가까워집니다.

문제 3

모수 λ인 지수분포의 분산을 구하십시오.

E[X²]를 부분적분으로 구합니다. u = x², dv = λ e^−λx dx로 두면 경계항은 0이 되고 다음이 남습니다.

E[X²] = ∫₀^∞ x² λ e^−λx dx = ∫₀^∞ 2x e^−λx dx = (2/λ) ∫₀^∞ x λ e^−λx dx = (2/λ) · (1/λ) = 2/λ²

마지막 적분은 7절의 기댓값 1/λ를 그대로 쓴 것입니다. 따라서 Var[X] = 2/λ² − (1/λ)² = 1/λ²이고, 표준편차는 1/λ로 평균과 같습니다.

정리

균등분포는 구간에서 일정한 밀도, 가우시안은 평균과 분산 두 모수로 정해지는 종 모양이고 확률은 G와 Q 함수로 구합니다. 지수분포는 기다리는 시간, 포아송은 일정 구간에 들어오는 개수를 모델링하며, 포아송 점 사이의 간격이 지수분포를 따릅니다. 기댓값은 분포의 무게중심이고 선형 연산자입니다. 분산은 평균에서 퍼진 정도이며, 상수를 더해도 그대로이고 배율은 제곱으로 들어갑니다. 다음 글에서는 사건을 조건으로 건 분포와 기댓값을 다루고, 기하분포와 지수분포가 과거를 기억하지 않는다는 성질을 확인합니다.