독립과 세기 — 확률 0의 의미에서 순열까지

1. 확률이 0인 사건은 일어나지 않는가

앞 글에서 조건부확률을 P(A | B) = P(AB) / P(B)로 정의하고 P(B) ≠ 0이라는 조건을 붙였습니다. 식으로는 분모가 0이면 나눌 수 없습니다. 그러면 확률이 0인 사건을 조건으로 거는 것은 개념으로도 말이 안 되는 일일까요. 이 질문에 답하려면 먼저 확률 0이 무엇을 뜻하는지 봐야 합니다.

구간 (0, 1)에서 어느 위치든 같은 가능성으로 점 하나를 찍는다고 합시다. 이렇게 어디나 같은 가능성인 경우를 균등(uniform)하다고 합니다. 균등하면 점이 어떤 구간에 떨어질 확률은 그 구간의 길이와 같습니다.

어떤 수를 고르든 y가 정확히 그 값일 확률은 0입니다. 그런데 점은 반드시 0과 1 사이 어딘가에 떨어집니다. 떨어진 그 위치도 확률이 0인 결과였습니다. 그래서 확률 0은 "일어날 수 없다"와 같은 말이 아닙니다. 점 하나는 길이가 없지만 점을 무수히 모은 선분은 길이를 가지는 것과 같은 상황입니다.

이제 두 번째 점 z를 같은 방식으로 따로 찍습니다. 첫 점이 정확히 x에 떨어졌다는 조건 아래 z가 x보다 클 확률을 묻습니다. 조건 사건 "첫 점 = x"의 확률은 0입니다. 그래도 답은 분명합니다. z가 x보다 크려면 길이 1 − x인 구간 (x, 1)에 떨어져야 하므로 확률은 1 − x입니다. x = 0.8이면 0.2입니다. 조건부확률이라는 개념은 조건의 확률이 0인지에 묶여 있지 않습니다. 확률 0인 조건을 다루는 정확한 방법은 연속 확률변수를 배운 뒤 밀도함수로 다시 정리합니다.

2. 독립의 정의

두 사건 A와 B가 독립(independent)이라는 것은 B가 일어났다는 사실을 알아도 A의 확률이 바뀌지 않는다는 뜻입니다. 다음 세 식은 서로 필요충분조건이고, 어느 하나를 독립의 정의로 써도 됩니다.

P(A | B) = P(A) ⟺ P(B | A) = P(B) ⟺ P(AB) = P(A) P(B)

앞의 두 식이 뜻을 그대로 말해 주고, 조건부확률의 정의를 넣으면 셋째 식이 나옵니다. 셋째 식은 확률이 0인 사건에도 쓸 수 있고 A와 B의 자리가 대칭이라서 계산에서 가장 자주 씁니다. A가 B와 독립이면 B도 A와 독립이고, A와 B^c, A^c와 B^c도 모두 독립입니다. 예를 들어 P(AB^c) = P(A) − P(AB) = P(A) − P(A) P(B) = P(A) (1 − P(B)) = P(A) P(B^c)입니다. 독립을 A ⊥ B로 쓰기도 합니다. 벡터의 직교 기호와 모양이 같을 뿐 뜻은 관계가 없습니다.

예를 들어 주사위 두 개를 던집니다. 결과는 36가지이고 모두 확률 1/36입니다. A를 "첫 주사위가 짝수", B를 "두 눈의 합이 7"로 둡니다. P(A) = 1/2이고, 합이 7인 경우는 (1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)의 여섯 가지라 P(B) = 6/36 = 1/6입니다. AB는 첫 주사위가 짝수이면서 합이 7인 (2, 5), (4, 3), (6, 1)의 세 가지입니다.

P(AB) = 3/36 = 1/12 = (1/2) · (1/6) = P(A) P(B)

따라서 A와 B는 독립입니다. 첫 주사위가 무엇이든 합을 7로 만드는 둘째 눈이 정확히 하나씩 있기 때문입니다. B를 "합이 8"로 바꾸면 결과가 달라집니다. 합이 8인 경우는 (2, 6), (3, 5), (4, 4), (5, 3), (6, 2)의 다섯 가지이고 그중 첫 주사위가 짝수인 것은 세 가지입니다. P(AB) = 3/36 = 1/12인데 P(A) P(B) = (1/2) · (5/36) = 5/72이므로 독립이 아닙니다. 독립인지는 사건의 이름을 보고 짐작하지 말고 식으로 확인해야 합니다.

3. 배반과 독립은 다른 개념이다

두 사건이 겹치지 않으면 서로 아무 관계가 없다고 생각하기 쉽습니다. 실제로는 반대입니다. P(A) ≠ 0, P(B) ≠ 0인 두 사건이 배반이면 독립일 수 없습니다.

P(AB) = P(∅) = 0, P(A) P(B) > 0

0이 아닌 두 수의 곱은 0이 될 수 없으므로 독립의 식이 깨집니다. 뜻으로 보아도 같습니다. A가 일어났다는 것을 아는 순간 B는 일어날 수 없게 되고, B의 확률이 P(B)에서 0으로 떨어집니다. 한 사건의 발생이 다른 사건의 확률을 이보다 크게 바꿀 수는 없습니다. 배반인 두 사건은 매우 강하게 종속(dependent)입니다.

주사위 하나에서 "1이 나온다"와 "6이 나온다"는 배반입니다. 1이 나왔다는 말을 들으면 6이 나왔을 확률은 1/6에서 0이 됩니다. 반면 앞 절의 "첫 주사위 짝수"와 "합이 7"은 (2, 5) 같은 공통 결과가 있어서 배반이 아니지만 독립입니다. 배반은 집합이 겹치는지에 대한 성질이고, 독립은 확률이 곱으로 갈라지는지에 대한 성질입니다.

4. 조건부 독립

사건 C가 일어났다고 가정한 상태에서 A와 B가 독립이면 C 아래에서 조건부 독립(conditional independence)이라고 합니다.

P(AB | C) = P(A | C) P(B | C)

C가 새 전체집합이 된다는 앞 글의 관점으로 보면, 새 전체집합 C 안에서 독립의 식이 성립하는 경우입니다. 독립과 조건부 독립은 어느 쪽도 다른 쪽을 보장하지 않습니다. A와 B가 독립이어도 C를 A와 B에 각각 걸치지만 AB와는 겹치지 않게 잡으면, C 안에서 AC와 BC는 배반이 되어 조건부 독립이 깨집니다. 공정한 동전 두 번 던지기로 확인해 봅니다. A는 첫 번째가 앞면, B는 두 번째가 앞면이고 둘은 독립입니다. C를 "앞면이 정확히 한 번"인 {HT, TH}로 잡으면 P(A | C) = 1/2, P(B | C) = 1/2인데 AB = {HH}는 C와 겹치지 않아 P(AB | C) = 0입니다. 0 ≠ 1/4이므로 C 아래에서는 조건부 독립이 아닙니다. 앞면이 한 번뿐이라는 것을 알면, 첫 번째가 앞면이라는 정보만으로 두 번째가 뒷면으로 정해집니다.

반대로 C = U로 잡으면 P(AB | U) = P(AB)이므로 조건부 독립은 보통의 독립과 같은 식이 됩니다. 반드시 일어나는 사건으로 조건을 거는 것은 아무것도 바꾸지 않습니다.

문제 1

동전 두 개가 있습니다. 동전 1은 앞면 확률이 0.8, 동전 2는 0.3입니다. 둘 중 하나를 같은 확률로 고른 뒤 그 동전을 두 번 던집니다. H₁은 첫 번째가 앞면, H₂는 두 번째가 앞면인 사건입니다. 어느 동전인지 알 때 H₁과 H₂는 조건부 독립입니까? 어느 동전인지 모를 때는 독립입니까?

동전 1을 골랐다면 두 번의 던지기는 서로 영향을 주지 않으므로 P(H₁H₂ | 동전 1) = 0.8 · 0.8 = 0.64 = P(H₁ | 동전 1) P(H₂ | 동전 1)입니다. 동전 2도 같습니다. 그래서 어느 동전인지 주어지면 조건부 독립입니다.

동전을 모를 때는 전확률정리로 계산합니다.

P(H₁) = P(H₂) = 0.8 · 0.5 + 0.3 · 0.5 = 0.55

P(H₁H₂) = 0.64 · 0.5 + 0.09 · 0.5 = 0.365

P(H₁) P(H₂) = 0.55² = 0.3025로 0.365와 다르므로 독립이 아닙니다. 첫 번째에 앞면이 나오면 앞면이 잘 나오는 동전 1을 골랐을 가능성이 커지고, 그래서 두 번째도 앞면일 확률이 올라갑니다. 실제로 P(H₂ | H₁) = 0.365 / 0.55 ≈ 0.664로 0.55보다 큽니다.

5. 여러 사건의 독립과 쌍별 독립

사건이 셋일 때는 P(ABC) = P(A) P(B) P(C) 하나로 독립을 정의하지 않습니다. 다음 네 식이 모두 성립해야 A, B, C가 독립입니다.

P(AB) = P(A) P(B), P(BC) = P(B) P(C), P(CA) = P(C) P(A), P(ABC) = P(A) P(B) P(C)

일반적으로 사건 A₁, …, A_n이 독립이라는 것은 첨자 집합 {1, …, n}의 모든 부분집합 I(원소가 둘 이상)에 대해, I에 속한 사건들의 교집합 확률이 각 확률의 곱과 같다는 것입니다. 두 개씩만 확인한 조건, 곧 모든 i ≠ j에 대해 P(A_iA_j) = P(A_i) P(A_j)인 경우는 쌍별 독립(pairwise independence)이라고 부릅니다. 독립이면 쌍별 독립이지만, 쌍별 독립이라고 독립인 것은 아닙니다.

배반과 비교해 보면 차이가 보입니다. 여러 사건의 배반은 두 개씩의 교집합이 비어 있으면 충분합니다. 세 개 이상의 교집합은 저절로 비기 때문입니다. 독립은 그렇지 않아서 모든 묶음을 따로 확인해야 합니다.

문제 2

면이 넷인 공정한 주사위를 던집니다. 표본공간은 {1, 2, 3, 4}이고 각 눈의 확률은 1/4입니다. A = {1, 2}, B = {1, 3}, C = {1, 4}로 둘 때 세 사건은 쌍별 독립입니까? 독립입니까?

세 사건 모두 확률이 1/2입니다. 두 개씩의 교집합은 모두 {1}이므로 P(AB) = P(BC) = P(CA) = 1/4 = (1/2) · (1/2)입니다. 그래서 쌍별 독립입니다. 그런데 세 사건의 교집합도 {1}이어서 P(ABC) = 1/4이고, P(A) P(B) P(C) = 1/8과 다릅니다. 따라서 독립이 아닙니다. A와 B가 함께 일어났다는 것을 알면 눈은 1로 정해지고, 그러면 C는 반드시 일어납니다.

6. 넓이로 구하는 확률

균등한 두 양이 함께 나오면 길이 대신 넓이로 확률을 셉니다. 친구 둘이 오후 1시와 2시 사이에 약속 장소에 각자 무작위로, 서로 독립으로 도착한다고 합시다. 1시부터 지난 시간을 분 단위로 재서 첫째 친구의 도착 시각을 x, 둘째 친구를 y라 합니다. 가능한 모든 경우는 한 변이 60인 정사각형 안의 점 (x, y) 하나이고, 확률은 넓이를 전체 넓이 3600으로 나눈 값입니다.

첫째 친구가 처음 20분 안에 오는 사건은 0 < x < 20인 세로 띠이고 넓이가 1200이라 확률은 1/3입니다. 둘째 친구가 마지막 15분에 오는 사건은 45 < y < 60인 가로 띠로 확률이 1/4입니다. 두 띠가 겹치는 직사각형의 넓이는 20 · 15 = 300이고 300 / 3600 = 1/12 = (1/3) · (1/4)입니다. 넓이가 곱으로 갈라지는 것이 두 도착 시각의 독립과 맞습니다.

문제 3

위의 두 친구 가운데 첫째는 도착해서 10분, 둘째는 15분까지 기다리고 떠납니다. (가) 두 사람이 만날 확률은 얼마입니까? (나) 만났다면 첫째가 먼저 와 있었을 확률은 얼마입니까?

(가) 첫째가 먼저 오면 10분 기다리므로 x < y < x + 10이어야 만납니다. 둘째가 먼저 오면 15분 기다리므로 y < x < y + 15이고, 이것을 고쳐 쓰면 x − 15 < y < x입니다. 만나는 사건 D는 둘을 합친 대각선 주위의 띠 x − 15 < y < x + 10입니다. 정사각형에서 띠 바깥의 두 직각삼각형을 빼면 됩니다. 왼쪽 위 삼각형은 두 변이 60 − 10 = 50, 오른쪽 아래 삼각형은 두 변이 60 − 15 = 45입니다.

넓이(D) = 3600 − (1/2) · 50² − (1/2) · 45² = 3600 − 1250 − 1012.5 = 1337.5

P(D) = 1337.5 / 3600 = 107/288 ≈ 0.372

(나) 만났다는 조건이 붙었으므로 D가 새 전체집합입니다. 그 안에서 첫째가 먼저 온 부분 x < y < x + 10의 넓이는 대각선 위쪽 삼각형 1800에서 50짜리 삼각형 1250을 뺀 550입니다.

P(첫째가 먼저 | D) = 550 / 1337.5 = 44/107 ≈ 0.411

첫째가 덜 기다리므로, 만난 경우 가운데서는 첫째가 먼저 와 있던 쪽이 절반보다 적습니다.

7. 세어서 확률 구하기

주사위 두 개를 던져 합이 8이 될 확률은 앞에서 센 다섯 가지 결과의 확률 1/36을 더해 5/36입니다. 이것은 36가지 중 5가지를 센 것과 같습니다. 개수만 세도 되는 이유는 모든 결과가 같은 확률로 일어나기(equally likely) 때문입니다.

P(A) = (A에 속한 결과의 수) / (전체 결과의 수), 모든 결과의 확률이 같을 때만

결과의 확률이 서로 다르면 이 방법은 쓸 수 없습니다. 예를 들어 표본공간을 두 눈의 합 {2, 3, …, 12}로 잡으면 결과가 11개이지만 합 2는 1/36, 합 7은 6/36으로 확률이 다릅니다. 이때 "합이 짝수일 확률"을 6/11로 세면 틀립니다. 결과마다 확률을 구해 더해야 합니다. 세는 방법을 쓰기 전에 결과가 같은 확률인지 먼저 확인합니다.

8. 계수 원리

세는 일의 기본은 계수 원리(counting principle)입니다. 실험이 r단계로 이루어지고 단계 i에서 고를 수 있는 것이 n_i가지라면 전체 경우의 수는 곱입니다.

n₁ · n₂ · ⋯ · n_r

나무 그림으로 보면 첫 단계 가지가 n₁개, 각 가지에서 다시 n₂개씩 갈라지므로 잎의 개수가 곱이 됩니다.

부분집합의 수에는 아무것도 고르지 않은 공집합과 전부 고른 집합 자신도 들어갑니다. 원소가 3개인 {a, b, c}라면 2³ = 8개입니다.

계수 원리는 여사건과 함께 쓰면 편합니다. 주사위를 네 번 던져 6이 한 번이라도 나올 확률을 구해 봅니다. 결과는 6⁴ = 1296가지이고 모두 같은 확률입니다. "한 번이라도 나온다"를 직접 세면 경우가 여럿으로 갈립니다. 대신 여사건 "한 번도 안 나온다"를 셉니다. 매번 6이 아닌 다섯 눈 가운데 하나이므로 5⁴ = 625가지입니다.

P(6이 적어도 한 번) = 1 − 625/1296 = 671/1296 ≈ 0.518

네 번 던지면 6이 나올 가능성이 절반을 조금 넘습니다. 각 던지기가 독립이므로 1 − (5/6)⁴로 곱해서 구해도 같은 값입니다.

9. 순열

서로 다른 n개를 한 줄로 늘어놓는 방법의 수를 순열(permutation)이라 합니다. 첫 자리에 n가지, 둘째 자리에 남은 n − 1가지를 놓는 식으로 계수 원리를 쓰면 n!이 됩니다. n!은 n 계승(factorial)이라 읽습니다.

n! = n · (n − 1) · ⋯ · 2 · 1

n개 가운데 k개만 골라 순서대로 늘어놓는 방법의 수는 k-순열(k-permutation)입니다. 자리를 k개만 채우고 멈추므로 n!에서 뒤쪽 (n − k)!을 나눠 낸 꼴이 됩니다.

_nP_k = n · (n − 1) · ⋯ · (n − k + 1) = n! / (n − k)!

달리기 선수 8명이 금, 은, 동메달을 나눠 받는 방법은 ₈P₃ = 8 · 7 · 6 = 336가지입니다. 순서가 중요한 경우를 셀 때 씁니다.

같은 것을 다시 고를 수 있는지에 따라 개수가 달라집니다. 글자 5개(A, B, C, D, E)로 세 자리 문자열을 만든다고 합시다.

엘리베이터에서 내리는 층

7층 건물 1층에서 4명이 엘리베이터를 탔고, 각자 2층부터 7층까지 여섯 층 가운데 하나를 같은 확률로, 서로 독립으로 고른다고 합시다. 네 사람이 모두 다른 층에서 내릴 확률을 k-순열로 구할 수 있습니다.

네 사람의 선택을 순서대로 적은 결과는 6⁴ = 1296가지이고, 모두 같은 확률입니다. 모두 다른 층인 경우는 여섯 층 가운데 넷을 골라 사람 순서대로 배정하는 k-순열이므로 ₆P₄ = 6 · 5 · 4 · 3 = 360가지입니다.

P(모두 다른 층) = 360 / 1296 = 5/18 ≈ 0.278

사람이 넷뿐인데도 적어도 두 사람이 같은 층에서 내릴 확률이 70%를 넘습니다. 생일이 같은 사람이 있을 확률도 같은 방식으로 셉니다.

정리

확률 0인 사건도 일어날 수 있고, 그런 사건을 조건으로 거는 것도 개념으로는 가능합니다. 독립은 조건을 알아도 확률이 그대로라는 뜻이고 P(AB) = P(A) P(B)로 확인합니다. 확률이 0이 아닌 배반 사건은 독립일 수 없고, 서로 가장 강하게 영향을 줍니다. 조건부 독립과 독립은 서로를 보장하지 않으며, 세 개 이상의 사건은 모든 묶음에서 곱 조건이 성립해야 독립입니다. 결과가 같은 확률이면 세어서 확률을 구하고, 그 도구가 계수 원리와 순열입니다. 다음 글에서는 순서를 따지지 않는 조합과 분할로 세기를 마무리하고, 확률변수를 정의합니다.