조건부 분포와 무기억성 — 전기댓값과 연속형 베이즈 정리

1. 조건부 확률질량함수

첫 글에서 사건 B를 조건으로 걸면 B가 새 전체집합이 된다고 했습니다. 같은 생각을 확률변수에 씁니다. 사건 A가 일어났다고 가정할 때 X = x일 확률을 조건부 확률질량함수(conditional PMF)라고 합니다.

P_X|A(x | A) = P[X = x | A] = P[{X = x} ∩ A] / P(A)

조건부 PMF도 PMF입니다. 값이 모두 0 이상이고, 모든 x에 대해 더하면 1입니다.

예로 X가 1, 2, 3, 4를 각각 0.1, 0.2, 0.3, 0.4의 확률로 가진다고 합시다. A = {X ≥ 3}이면 P(A) = 0.3 + 0.4 = 0.7입니다. x가 3이나 4이면 {X = x} ∩ A는 {X = x} 자신이고, x가 1이나 2이면 공집합입니다.

계산은 두 걸음입니다. 조건 밖의 값 1과 2를 지웁니다. 남은 3과 4 사이의 비율 3 : 4는 그대로 두고, 합이 1이 되도록 남은 합 0.7로 나눕니다. 이렇게 합이 1이 되게 나누는 일을 정규화(normalization)라고 합니다.

2. 조건부 기댓값

조건부 기댓값(conditional expectation) E[X | A]는 A가 일어났다고 가정했을 때 X의 평균입니다. 원래 PMF 자리에 조건부 PMF를 넣습니다.

E[X | A] = ∑_x x P_X|A(x | A)

앞 절의 예에서 E[X | A] = 3 · (3/7) + 4 · (4/7) = 25/7 ≈ 3.57입니다. 조건이 없을 때의 평균은 1 · 0.1 + 2 · 0.2 + 3 · 0.3 + 4 · 0.4 = 3.0이었습니다. 작은 값이 지워졌으니 평균이 올라갑니다.

공정한 주사위의 눈 X로도 해 봅니다. 짝수라는 조건 아래 조건부 PMF는 2, 4, 6에서 각각 1/3이므로 E[X | 짝수] = (2 + 4 + 6) / 3 = 4입니다. 홀수 조건 아래에서는 E[X | 홀수] = (1 + 3 + 5) / 3 = 3입니다. 두 값은 4절에서 다시 씁니다.

3. 조건부 CDF와 조건부 PDF

연속형 확률변수도 같은 방식으로 정의합니다. 분포함수의 정의에 조건 A만 붙입니다.

F_X|A(x | A) = P[X ≤ x | A], f_X|A(x | A) = dF_X|A(x | A) / dx

E[X | A] = ∫_−∞^∞ x f_X|A(x | A) dx

조건부 CDF도 CDF이고, 조건부 PDF도 PDF입니다. 0 ≤ F_X|A ≤ 1이고, 조건부 밀도를 적분하면 1입니다. 조건부 기댓값도 선형 연산자입니다.

A가 X의 값에 대한 사건이면 모양을 바로 알 수 있습니다. 조건 밖의 값은 불가능해지므로 밀도가 0이 되고, 조건 안에서는 원래 밀도의 모양을 유지한 채 넓이가 1이 되도록 P(A)로 나눕니다. 예로 X가 [0, 10]에서 균등하고 A = {X > 4}이면, 조건부 밀도는 (4, 10]에서 높이 1/6인 균등 밀도입니다. 원래 높이 1/10을 P(A) = 0.6으로 나눈 값입니다. 조건부 CDF를 정의에서 직접 구해도 같습니다. 4 < x ≤ 10이면 {X ≤ x} ∩ {X > 4} = {4 < X ≤ x}이므로

F_X|A(x | A) = P[4 < X ≤ x] / P(A) = ((x − 4) / 10) / 0.6 = (x − 4) / 6

이고, 이것을 미분하면 1/6입니다. x ≤ 4에서는 0, x > 10에서는 1입니다. 조건부 평균은 새 구간의 가운데인 E[X | A] = 7입니다.

절단 가우시안

X ∼ N(0, 1)이고 A = {−1 ≤ X ≤ 1}이라고 합시다. 앞 글의 표에서 P(A) = 2G(1) − 1 ≈ 0.6827입니다.

원래 종 모양 곡선에서 양쪽 꼬리를 잘라 내고 가운데 부분을 약 1.465배로 키운 모양입니다. x = 0에서 높이가 원래 1/√(2π) ≈ 0.399에서 약 0.584로 올라갑니다. 이런 밀도를 절단 가우시안(truncated Gaussian)이라고 부릅니다. 대칭이 유지되므로 E[X | A] = 0입니다.

4. 전기댓값 정리

첫 글의 전확률정리에서 출발합니다. A₁, …, A_n이 표본공간의 분할이면 어떤 사건 B에 대해 P(B) = ∑_i P(B | A_i) P(A_i)였습니다. B 자리에 사건 {X = x}를 넣으면 PMF에 대한 전확률정리가 됩니다.

P_X(x) = ∑_i P_X|Ai(x | A_i) P(A_i)

양변에 x를 곱해 모든 x에 대해 더하고, 합의 순서를 바꿉니다. 안쪽 합은 조건부 기댓값의 정의 그대로입니다.

E[X] = ∑_x x P_X(x) = ∑_i (∑_x x P_X|Ai(x | A_i)) P(A_i) = ∑_i E[X | A_i] P(A_i)

이것이 전기댓값 정리(total expectation theorem)입니다. 연속형도 같습니다. 밀도에 대해 f_X(x) = ∑_i f_X|Ai(x | A_i) P(A_i)가 성립하므로 양변에 x를 곱해 적분하면 같은 식이 나옵니다.

E[X]는 정해진 상수이지만 E[X | A_i]는 어떤 조건을 가정하느냐에 따라 달라지는 값입니다. 정리는 이 달라지는 값에 그 조건의 확률을 곱해 더한 값이 전체 평균이라고 말합니다. 전체 평균은 조건부 기댓값들의 평균입니다. 주사위에서 확인하면 E[X] = E[X | 짝수] · 1/2 + E[X | 홀수] · 1/2 = 4 · 1/2 + 3 · 1/2 = 3.5로 알고 있는 평균과 같습니다.

문제 1

어느 직장인의 통근 시간은 비 오는 날 평균 50분, 그 밖의 날 평균 35분입니다. 비 오는 날의 비율이 30%일 때 통근 시간의 평균을 구하십시오.

비 오는 날과 그렇지 않은 날이 분할입니다. 전기댓값 정리로 E[통근 시간] = 50 · 0.3 + 35 · 0.7 = 15 + 24.5 = 39.5분입니다. 각 경우의 분포가 어떤 모양인지 몰라도 조건부 평균과 조건의 확률만으로 전체 평균이 나옵니다.

5. 기하 확률변수의 무기억성

앞면 확률이 p인 동전을 첫 앞면이 나올 때까지 던진 횟수 X는 기하 확률변수이고 P_X(x) = (1 − p)^{x − 1} p (x = 1, 2, …)였습니다. 처음 세 번이 모두 뒷면이었다는 조건 A = {X > 3}을 걸어 봅니다. 처음 세 번이 모두 뒷면일 확률이므로 P(A) = (1 − p)³입니다. x ≥ 4에서 조건부 PMF는 다음과 같습니다.

P_X|A(x | A) = (1 − p)^{x − 1} p / (1 − p)³ = (1 − p)^{x − 4} p, x = 4, 5, 6, …

지수만 x − 1에서 x − 4로 바뀌었습니다. 원래 PMF를 오른쪽으로 3만큼 옮긴 모양 그대로입니다. x = 4에서 다시 p로 시작해 매번 1 − p배씩 줄어듭니다.

네 번째 던지기부터 다시 세어 첫 앞면까지의 횟수를 Y = X − 3이라 하면, 조건 아래에서 Y의 PMF는 (1 − p)^{y − 1} p (y = 1, 2, …)입니다. Y는 X와 같은 기하분포를 따릅니다. 앞의 세 번이 뒷면이었다는 과거가 앞으로의 분포에 아무 영향을 주지 않습니다. 이 성질을 무기억성(memorylessness)이라고 합니다.

p = 1/4이라면 처음 세 번이 모두 뒷면일 확률은 27/64 ≈ 0.42로 드물지 않습니다. 그런 일이 있은 뒤 "이제 앞면이 나올 때가 되었다"고 생각하기 쉽지만, 다음 던지기에서 앞면이 나올 확률은 여전히 1/4입니다. 동전의 각 던지기가 독립이기 때문입니다. 연속해서 뒷면이 100번 나왔어도 같습니다.

6. 지수 확률변수의 무기억성

연속형에서 같은 성질을 가진 것이 지수 확률변수입니다. f_X(x) = λ e^−λx (x ≥ 0)이고 s > 0에 대해 A = {X > s}를 가정합니다. P(A) = e^−λs이므로 x > s에서

f_X|A(x | A) = λ e^−λx / e^−λs = λ e^{−λ(x − s)}, x > s

x = s에서 높이가 다시 λ이고, 원래 곡선을 오른쪽으로 s만큼 옮긴 모양입니다. 그래서 s부터 잰 나머지 시간 Y = X − s는 원래와 같은 지수 밀도 λ e^−λy (y > 0)를 따릅니다. 꼬리 확률로 쓰면 더 짧습니다.

P[X > s + t | X > s] = e^{−λ(s + t)} / e^−λs = e^−λt = P[X > t]

예로 전구의 수명이 평균 1000시간인 지수분포라면 λ = 0.001입니다. 이미 500시간을 켜 둔 전구가 앞으로 1000시간 넘게(총 1500시간 넘게) 버틸 확률은 e^−1.5 / e^−0.5 = e⁻¹ ≈ 0.368입니다. 새 전구가 1000시간 넘게 버틸 확률 e⁻¹과 같습니다. 이 모델에서는 이미 쓴 시간이 남은 수명에 영향을 주지 않습니다. 실제 전구는 낡을수록 잘 고장 나므로, 지수분포는 갑작스러운 고장처럼 나이와 무관하게 일어나는 사건에 잘 맞습니다. 앞 글에서 본 포아송 도착의 간격이 지수분포였으므로, 다음 손님이 오기까지 남은 시간도 지금까지 얼마나 기다렸는지와 무관합니다.

모든 분포가 이렇지는 않습니다. 3절의 균등분포 [0, 10]에서 X > 4라는 조건을 걸면 남은 시간 X − 4는 (0, 6]에서 균등하고, 원래 분포 [0, 10]과 다릅니다. 이미 4만큼 지났다는 사실이 남은 시간의 범위를 줄였으므로 과거를 기억하는 분포입니다. 값이 양의 정수인 분포 가운데서는 기하분포가, 값이 양의 실수인 연속 분포 가운데서는 지수분포가 무기억성을 가지는 유일한 분포로 알려져 있습니다.

문제 2

전기댓값 정리와 무기억성을 써서 기하 확률변수의 평균 E[X]를 구하고, p = 0.2일 때 값을 구하십시오.

첫 던지기 결과로 분할합니다. 첫 번째가 앞면(확률 p)이면 X = 1이므로 E[X | 첫 앞면] = 1입니다. 첫 번째가 뒷면(확률 1 − p)이면 한 번을 이미 썼고, 무기억성에 따라 남은 횟수 X − 1은 처음과 같은 기하분포를 따릅니다. 그래서 E[X | 첫 뒷면] = 1 + E[X]입니다.

E[X] = 1 · p + (1 + E[X]) (1 − p)

정리하면 E[X] = p + (1 − p) + (1 − p) E[X]이고, p E[X] = 1이므로 E[X] = 1/p입니다. p = 0.2이면 평균 5번 던져야 첫 앞면이 나옵니다. 무한급수 ∑ x (1 − p)^{x − 1} p를 직접 계산하지 않고 답을 얻었습니다.

7. 연속 확률변수로 경우를 나누는 전확률정리

지금까지의 전확률정리는 분할 조각이 유한개였습니다. 이제 연속 확률변수 X의 값으로 경우를 나눕니다. 사건 {X = x}들은 x가 실수 전체를 지나며 서로 겹치지 않고, 합치면 표본공간 전체가 됩니다. 조각이 무수히 많으므로 합 대신 적분을 씁니다.

엄밀한 증명은 길어서 직관적으로 유도합니다. 사건 A와 {X = x}에 곱셈 꼴을 두 방향으로 씁니다.

P(A | X = x) P[X = x] = P[X = x | A] P(A)

연속형에서 P[X = x]는 0이므로 x 근처 폭 δ의 확률 f_X(x) δ로 바꾸고, 조건부 쪽도 f_X|A(x | A) δ로 바꿉니다. 양변의 δ가 지워집니다.

P(A | X = x) f_X(x) = f_X|A(x | A) P(A)

양변을 x에 대해 적분합니다. 오른쪽에서 P(A)는 상수이고 조건부 밀도의 적분은 1입니다.

P(A) = ∫_−∞^∞ P(A | X = x) f_X(x) dx

두 번째 읽는 법도 있습니다. g(x) = P(A | X = x)로 두면 오른쪽은 ∫ g(x) f_X(x) dx = E[g(X)]입니다. x에 따라 달라지는 조건부확률을 X의 분포로 평균한 값이 P(A)입니다. 4절에서 조건부 기댓값을 평균해 전체 평균을 얻은 것과 같은 구조입니다.

8. 연속형 베이즈 정리

앞 절의 식 P(A | X = x) f_X(x) = f_X|A(x | A) P(A)를 조건부 밀도에 대해 풀고, 분모에 연속형 전확률정리를 넣으면 연속형 베이즈 정리가 됩니다.

f_X|A(x | A) = P(A | X = x) f_X(x) / ∫_−∞^∞ P(A | X = t) f_X(t) dt

사건 A를 관찰한 뒤 X에 대한 믿음이 어떻게 바뀌는지를 밀도로 나타냅니다. 관찰 전의 밀도 f_X에 "그 값일 때 A가 일어날 확률"을 곱하고, 넓이가 1이 되도록 나눕니다.

앞면 확률을 모르는 동전

공정한지 알 수 없는 동전이 있습니다. 앞면 확률 자체를 확률변수 P로 두고, 값의 범위 [0, 1]에서 밀도 f_P(x)를 줍니다. 앞면 확률이 x로 정해졌다면 앞면이 나올 확률은 x이므로 P(앞면 | P = x) = x입니다. 연속형 전확률정리로 다음을 얻습니다.

P(앞면) = ∫₀¹ x f_P(x) dx = E[P]

P가 [0, 1]에서 균등하면 f_P(x) = 1이므로 P(앞면) = ∫₀¹ x dx = 1/2입니다. 한 번 던져 앞면이 나왔다면 베이즈 정리로 P의 밀도가 바뀝니다.

f_P|앞면(x) = x · 1 / (1/2) = 2x, 0 ≤ x ≤ 1

관찰 전에는 모든 앞면 확률이 똑같이 그럴듯했지만, 앞면을 한 번 본 뒤에는 앞면 확률이 큰 쪽의 밀도가 높아졌습니다.

문제 3

앞면 확률 P의 밀도가 f_P(x) = 2x (0 ≤ x ≤ 1)인 동전을 던집니다. (가) 앞면이 나올 확률, (나) 첫 번째에 앞면이 나왔을 때 P의 조건부 밀도, (다) 첫 번째에 앞면이 나왔을 때 두 번째도 앞면일 확률을 구하십시오. 앞면 확률이 정해지면 던지기끼리는 독립이라고 둡니다.

(가) P(앞면) = ∫₀¹ x · 2x dx = 2/3입니다.

(나) 연속형 베이즈 정리로 f_P|앞면(x) = x · 2x / (2/3) = 3x² (0 ≤ x ≤ 1)입니다. ∫₀¹ 3x² dx = 1이므로 밀도의 조건을 만족합니다.

(다) 첫 앞면을 본 뒤의 밀도 3x²를 새 분포로 삼아 연속형 전확률정리를 다시 씁니다.

P(두 번째 앞면 | 첫 번째 앞면) = ∫₀¹ x · 3x² dx = 3/4

(가)의 2/3보다 큽니다. 첫 앞면이 "이 동전은 앞면이 잘 나온다"는 쪽의 근거가 되었기 때문입니다. 두 번의 던지기는 P를 알 때는 조건부 독립이지만, P를 모를 때는 독립이 아닙니다. 두 번째 글에서 동전 두 개로 본 상황을 연속 확률변수로 옮긴 것입니다.

정리

조건부 PMF와 조건부 PDF는 조건 밖의 값을 지우고 남은 부분을 조건의 확률로 나눠 만듭니다. 조건부 기댓값을 조건의 확률로 평균하면 전체 평균이 되는 것이 전기댓값 정리입니다. 기하분포와 지수분포는 "지금까지 일어나지 않았다"는 조건을 걸어도 남은 부분이 원래와 같은 분포를 따르는 무기억성을 가집니다. 연속 확률변수의 값으로 경우를 나누면 전확률정리의 합이 적분이 되고, 같은 식을 뒤집으면 관찰 뒤의 밀도를 구하는 연속형 베이즈 정리가 됩니다.