결합 분포와 이중적분 — 곡면 아래 부피로 확률 구하기

1. 전기댓값 정리를 쓰는 방법

앞 글에서 전기댓값 정리를 유도했습니다. A₁, …, A_n이 표본공간의 분할이면 다음이 성립합니다.

E[X] = ∑_i E[X | A_i] P(A_i)

E[X | A_i]는 어떤 조건을 가정하느냐에 따라 값이 바뀝니다. 그 값들에 조건의 확률을 곱해 더하면 평균이 됩니다. 전확률정리 P(B) = ∑_i P(B | A_i) P(A_i)도 같은 구조로, 조건부 확률들의 평균이 P(B)입니다.

분할은 계산이 쉬워지도록 고릅니다. 조건을 걸면 전체집합이 그 조건 사건으로 바뀌고, 조건부 분포가 단순해지도록 나누면 각 조각의 계산이 쉬워집니다. 예로 X의 PDF가 계단 모양이라고 합시다.

넓이의 합이 0.4 + 0.6 = 1이므로 PDF의 조건을 만족합니다. A = {0 ≤ X < 2}, B = {2 ≤ X ≤ 6}으로 나눕니다. A를 가정하면 [0, 2)가 새 전체집합이고, 높이 0.2를 P(A) = 0.4로 나눈 높이 0.5의 균등 밀도가 됩니다. B를 가정하면 [2, 6]에서 높이 0.15 / 0.6 = 0.25인 균등 밀도입니다. 균등 밀도의 평균은 구간의 가운데이므로 E[X | A] = 1, E[X | B] = 4입니다.

E[X] = 1 · 0.4 + 4 · 0.6 = 2.8

직접 적분해서 확인합니다. ∫₀² 0.2x dx = 0.4이고 ∫₂⁶ 0.15x dx = 0.15 · (36 − 4) / 2 = 2.4이므로 합이 2.8로 같습니다.

제곱의 평균도 같은 방법으로 구합니다. 구간 [a, b]에서 균등한 확률변수의 제곱 평균은 (a² + ab + b²) / 3입니다. E[X² | A] = (0 + 0 + 4) / 3 = 4/3, E[X² | B] = (4 + 12 + 36) / 3 = 52/3입니다.

E[X²] = (4/3) · 0.4 + (52/3) · 0.6 = 1.6/3 + 31.2/3 = 164/15

Var[X] = E[X²] − (E[X])² = 164/15 − 196/25 = (820 − 588) / 75 = 232/75 ≈ 3.09

직접 적분으로도 0.2 · 8/3 + 0.15 · (216 − 8) / 3 = 1.6/3 + 31.2/3이 나와 E[X²]가 같습니다. 계단 하나하나를 적분하는 대신, 조각마다 균등분포의 평균 공식을 쓰고 마지막에 확률로 평균했습니다.

2. 조건부 분산과 전분산 법칙

기댓값에서 통한 방법이 분산에도 통할지 시험해 봅니다. 조건부 분산(conditional variance) Var[X | A]는 조건부 분포로 계산한 분산이고, Var[X | A] = E[X² | A] − (E[X | A])²입니다. 폭이 w인 균등분포의 분산은 w² / 12이므로 앞 절의 예에서 Var[X | A] = 4/12 = 1/3, Var[X | B] = 16/12 = 4/3입니다. 확률로 평균합니다.

Var[X | A] P(A) + Var[X | B] P(B) = (1/3) · 0.4 + (4/3) · 0.6 = 2.8/3 = 14/15 ≈ 0.93

앞 절에서 구한 Var[X] ≈ 3.09보다 훨씬 작습니다. 조건부 분산은 각 조각 안에서 조각의 평균을 기준으로 잰 흩어짐입니다. 조각의 평균 1과 4가 서로 떨어져 있다는 사실은 이 값에 들어가지 않습니다.

빠진 부분을 따로 계산합니다. 조건부 평균은 확률 0.4로 1, 확률 0.6으로 4라는 값을 가집니다. 이 두 값의 평균은 전기댓값 정리에서 본 2.8이고, 분산은 다음과 같습니다.

(1 − 2.8)² · 0.4 + (4 − 2.8)² · 0.6 = 1.296 + 0.864 = 2.16 = 54/25

두 값을 더하면 14/15 + 54/25 = (70 + 162) / 75 = 232/75로 Var[X]와 정확히 같습니다. 이 관계를 전분산 법칙(law of total variance)이라고 합니다.

Var[X] = ∑_i Var[X | A_i] P(A_i) + ∑_i (E[X | A_i] − E[X])² P(A_i)

첫 항은 조각 안의 흩어짐을 평균한 값이고, 둘째 항은 조각의 평균들이 전체 평균 둘레에 흩어진 정도입니다. 기댓값은 선형이라 조건부 기댓값을 평균하면 끝나지만, 분산은 제곱이 들어 있어서 둘째 항이 따로 남습니다.

문제 1

공장에서 부품의 60%는 기계 1이, 40%는 기계 2가 만듭니다. 기계 1이 만든 부품의 길이는 평균 10mm, 분산 4mm²이고, 기계 2가 만든 부품은 평균 15mm, 분산 9mm²입니다. 무작위로 고른 부품 길이의 평균과 분산을 구하십시오.

평균은 전기댓값 정리로 10 · 0.6 + 15 · 0.4 = 12mm입니다. 분산의 첫 항은 조건부 분산의 평균 4 · 0.6 + 9 · 0.4 = 6입니다. 둘째 항은 조건부 평균이 12 둘레에 흩어진 정도로 (10 − 12)² · 0.6 + (15 − 12)² · 0.4 = 2.4 + 3.6 = 6입니다. 합하면 12mm²입니다.

제곱의 평균으로 확인합니다. 기계 1에서 E[X²] = 4 + 10² = 104, 기계 2에서 9 + 15² = 234이므로 E[X²] = 104 · 0.6 + 234 · 0.4 = 156입니다. Var[X] = 156 − 12² = 12로 같습니다. 조건부 분산만 평균했다면 6이 나와 실제 분산의 절반만 잡혔을 것입니다.

3. 다변수 함수와 3차원 그래프

지금까지 확률변수는 하나씩 다뤘습니다. 키와 몸무게, 두 부품의 수명처럼 두 확률변수를 함께 다루려면 x와 y 두 값을 받는 밀도가 필요하고, 그 확률은 이중적분으로 구합니다. 이 절부터 그 계산 도구를 준비합니다.

다변수 함수(multivariable function)는 입력이 여러 개인 함수입니다. f(x) = x²처럼 수 하나를 받아 수 하나를 내놓는 함수는 일변수 함수(single variable function)입니다. f(x, y) = 4 − x² − y²는 수 두 개를 받아 수 하나를 내놓습니다. 입력 (x, y)는 xy 평면 위의 점 하나에 대응하므로, 정의역을 평면의 영역으로 그릴 수 있습니다. 수 세 개의 묶음 (x, y, z)는 공간의 점입니다. x 방향으로 x만큼, y 방향으로 y만큼, 두 축에 모두 수직인 z 방향으로 z만큼 간 자리입니다.

표기 관례가 있습니다. 괄호 안에 가로로 쓴 (1, 2, 5)는 공간의 한 위치인 점(point)으로 읽습니다. 성분을 세로로 세워 쓴 열벡터(column vector)는 화살표로 나타내는 움직임으로 읽습니다. 벡터는 어디서 시작해도 성분이 같으면 같은 벡터입니다.

입력이 2차원이고 출력이 수 하나인 함수는 3차원 그래프로 그립니다. 입력 점 (x, y)마다 높이 f(x, y)인 점 (x, y, f(x, y))를 찍으면 곡면(surface)이 됩니다. f(x, y) = 4 − x² − y²에서 f(1, 1) = 2이므로 점 (1, 1, 2)가 곡면 위에 있습니다. 이 곡면은 원점 위 높이 4에서 가장 높고 바깥으로 갈수록 내려가는 그릇을 엎은 모양입니다. 함수에 상수 1/2을 곱하면 모든 점의 높이가 절반이 되어, 꼭대기가 높이 2로 내려옵니다.

모든 다변수 함수를 그래프로 그릴 수는 없습니다. 입력 차원과 출력 차원을 더한 수가 그래프에 필요한 차원이라, 입력 3개와 출력 2개인 함수는 5차원이 필요합니다. 다른 방법들이 있습니다.

f(x, y) = 4 − x² − y²의 등고선은 출력이 c인 점들 x² + y² = 4 − c이므로 원점을 중심으로 한 원입니다. 결합 밀도는 입력 2차원, 출력이 수 하나이므로 이 글에서는 3차원 그래프로 생각합니다.

4. 단면으로 곡면 읽기

변수 하나를 상수로 고정하면 3차원 그래프가 보통의 2차원 그래프로 바뀝니다. 고정한 값의 평면으로 곡면을 자른 단면(slice)을 보는 것입니다. f(x, y) = x² + xy로 해 봅니다.

y를 고정한 단면은 모두 x에 대한 포물선이고, y 값에 따라 꼭짓점 위치가 바뀝니다. x를 고정한 단면은 모두 y에 대한 직선이고, x 값에 따라 기울기가 바뀝니다. 이렇게 한 변수를 고정하고 다른 변수에 대해서만 미분하는 것이 편미분(partial derivative)이고, 한 변수를 고정하고 다른 변수로만 적분하는 것이 다음 절의 이중적분 계산입니다.

5. 넓이에서 부피로 — 이중적분

정적분 ∫_a^b f(x) dx는 폭 dx, 높이 f(x)인 가는 직사각형들의 넓이를 더한 곡선 아래 넓이였습니다. 이중적분은 이 생각을 한 차원 올려 곡면 z = f(x, y) 아래의 부피를 구합니다. 정적분에 범위 [a, b]가 필요했듯이 바닥에 범위가 필요합니다. 우선 a ≤ x ≤ b, c ≤ y ≤ d인 직사각형을 바닥으로 씁니다.

y를 하나 고정하면 곡면은 x에 대한 곡선이 되고, 그 아래 넓이는 고정한 y에 따라 달라집니다. 이 단면 넓이를 A(y)라고 씁니다.

A(y) = ∫_a^b f(x, y) dx

단면 넓이에 아주 작은 두께 dy를 곱하면 얇은 판의 부피 A(y) dy입니다. 판을 y = c부터 y = d까지 모두 더하면 입체의 부피입니다.

V = ∫_c^d A(y) dy = ∫_c^d ( ∫_a^b f(x, y) dx ) dy

안쪽 적분을 하는 동안 y는 상수이고, 결과는 y만의 식입니다. 바깥 적분은 그 식을 y로 적분하는 보통의 정적분입니다. 이렇게 일변수 적분을 두 번 하는 꼴을 반복 적분(iterated integral)이라고 합니다.

같은 부피를 다른 그림으로 볼 수도 있습니다. 바닥을 가로 dx, 세로 dy인 작은 사각형으로 잘게 나누고, 그 넓이를 dA = dx dy라고 씁니다. 사각형마다 높이 f(x, y)인 기둥을 세우면 기둥 하나의 부피는 f(x, y) dA이고, 기둥을 모두 더하면 부피입니다. 기둥을 x 방향으로 먼저 더하면 앞의 판이 되고, y 방향으로 먼저 더해도 됩니다. 어느 방향으로 먼저 더하느냐가 적분 순서(order of integration)입니다. 바닥 영역을 D라고 할 때 순서를 정하지 않고 쓰는 표기가 있습니다.

∬_D f(x, y) dA

D 위의 기둥을 모두 더한다는 뜻입니다. 실제로 계산할 때는 반복 적분 하나로 바꿔 씁니다. 안쪽 적분의 범위에 x = a, x = b처럼 변수 이름을 붙여 두면 어느 변수의 범위인지 헷갈리지 않습니다.

6. 직사각형 영역에서 계산하기

곡면 z = x²y 아래, 바닥 0 ≤ x ≤ 3, 0 ≤ y ≤ 2 위의 부피를 구합니다. 먼저 x로 적분합니다. y는 상수로 둡니다.

∫_x=0^x=3 x²y dx = [x³y / 3]_x=0^x=3 = 9y

9y는 y를 고정했을 때 단면의 넓이입니다. y = 1에서 단면은 곡선 z = x²이고, 그 아래 넓이가 9입니다. 이제 y로 적분합니다.

∫₀² 9y dy = [9y² / 2]₀² = 18

순서를 바꿔 y로 먼저 적분합니다. 이번에는 x가 상수입니다.

∫_y=0^y=2 x²y dy = [x²y² / 2]_y=0^y=2 = 2x², ∫₀³ 2x² dx = [2x³ / 3]₀³ = 18

단면 넓이는 9y와 2x²로 다르지만 같은 입체를 재므로 부피는 18로 같습니다. 직사각형 바닥에서는 순서를 바꿔도 네 범위 0, 3, 0, 2가 그대로입니다. 안쪽 적분에서 상수로 둔 변수는 바깥 적분에서 적분 변수가 됩니다.

7. 곡선 경계 — 적분 범위 잡는 법

바닥이 곡선으로 막혀 있으면 안쪽 적분의 범위가 상수에서 다른 변수의 식으로 바뀝니다. 적분 범위(bounds of integration)는 곡면의 높이와 관계없이 바닥 영역의 모양만으로 정해지고, 범위가 정해진 뒤의 계산은 6절과 같은 일변수 적분 두 번입니다.

예로 직선 y = x와 포물선 y = x² 사이의 영역 D를 씁니다. 두 곡선은 (0, 0)과 (1, 1)에서 만나고, 0 < x < 1에서는 x² < x이므로 포물선이 아래, 직선이 위입니다. 이 영역 위에서 곡면 z = x 아래의 부피를 구합니다.

y 먼저 — 세로 띠

x를 하나 고정하고 작은 dA를 위아래로 더합니다. 아래로 가면 포물선 y = x²에 부딪히고, 위로 가면 직선 y = x에 부딪힙니다. 그래서 안쪽 범위가 x의 식입니다. 이 세로 띠를 x = 0부터 x = 1까지 쌓습니다.

∫x=0x=1 ∫y=x2y=x x dy dx = ∫01 x (x − x2) dx = 1/3 − 1/4 = 1/12

x 먼저 — 가로 띠

y를 하나 고정하고 dA를 좌우로 더합니다. 두 곡선을 x에 대해 풀면 직선은 x = y, 포물선은 x = √y입니다. 0 < y < 1에서 y < √y이므로 왼쪽 끝이 직선, 오른쪽 끝이 포물선입니다. 이 가로 띠를 y = 0부터 y = 1까지 쌓습니다.

∫_y=0^y=1 ∫_x=y^x=√y x dx dy = ∫₀¹ (y / 2 − y² / 2) dy = 1/4 − 1/6 = 1/12

두 순서 모두 1/12입니다. f(x, y) = 1을 적분하면 바닥 넓이가 나오고, 여기서는 ∫₀¹ (x − x²) dx = 1/6입니다.

범위를 세우는 순서를 정리합니다.

1. xy 평면에 영역을 그리고 경계 곡선이 만나는 점을 구합니다.
2. 먼저 적분할 변수를 정하고, 나머지 변수를 고정한 띠를 하나 그립니다.
3. 띠를 따라 양쪽으로 가면서 어느 경계에 부딪히는지 봅니다. 그 경계를 먼저 적분할 변수에 대해 푼 식이 안쪽 범위입니다.
4. 띠가 영역 전체를 훑도록 고정한 변수가 움직이는 범위가 바깥 범위입니다.
5. 바깥 범위는 상수여야 합니다. 바깥 범위에 변수가 들어 있으면 이중적분의 결과가 수로 나오지 않으므로 앞 단계를 다시 봅니다.

문제 2

∫₀² ∫_y/2¹ e^x2 dx dy를 구하십시오.

e^x2의 역도함수는 기본 함수로 쓸 수 없어서 적힌 순서로는 안쪽 적분을 할 수 없습니다. 영역을 그려 순서를 바꿉니다. 안쪽 범위 y/2 ≤ x ≤ 1과 바깥 범위 0 ≤ y ≤ 2로 정해진 영역은 직선 x = y/2, 곧 y = 2x와 x = 1, y = 0으로 둘러싸인 삼각형입니다. 꼭짓점은 (0, 0), (1, 0), (1, 2)입니다. x를 고정하면 세로 띠는 y = 0부터 y = 2x까지이고, x는 0부터 1까지 움직입니다.

∫₀¹ ∫₀^2x e^x2 dy dx = ∫₀¹ 2x e^x2 dx = [e^x2]₀¹ = e − 1 ≈ 1.718

안쪽 적분이 곱해 준 2x 덕분에 u = x²으로 치환할 수 있는 꼴이 되었습니다. 같은 영역이라도 적분 순서에 따라 계산이 가능하기도 하고 불가능하기도 합니다.

8. 결합 분포 — 곡면 아래 부피가 확률

두 확률변수 X, Y를 함께 다룰 때는 두 값을 동시에 다루는 분포가 필요합니다. 이것이 결합 분포(joint distribution)입니다. 한 변수의 CDF를 그대로 넓혀 결합 CDF를 정의합니다.

F_X,Y(x, y) = P[X ≤ x, Y ≤ y]

쉼표는 두 사건이 함께 일어난다는 뜻, 곧 교집합입니다. 연속형이면 결합 밀도(joint density) f_X,Y(x, y)가 있어서, 점 (X, Y)가 바닥의 영역 D에 들어갈 확률이 D 위 곡면 아래의 부피입니다. 한 변수에서 밀도 곡선 아래 넓이가 확률이던 것을 한 차원 올린 꼴입니다.

P[(X, Y) ∈ D] = ∬_D f_X,Y(x, y) dA

결합 밀도는 어디서나 0 이상이고, 평면 전체에서 적분하면 1입니다. 결합 CDF는 영역 D가 (x, y)의 왼쪽 아래 전체인 경우이므로 F_X,Y(x, y) = ∫_−∞^y ∫_−∞^x f_X,Y(s, t) ds dt입니다. 거꾸로 결합 CDF를 x와 y로 한 번씩 편미분하면 결합 밀도가 나옵니다.

예: f(x, y) = x + y

0 ≤ x ≤ 1, 0 ≤ y ≤ 1에서 f_X,Y(x, y) = x + y이고 그 밖에서 0이라고 합시다. 전체 부피를 확인합니다. 안쪽을 y로 적분하면 ∫₀¹ (x + y) dy = x + 1/2이고, 이것을 x로 적분하면 1/2 + 1/2 = 1입니다. 결합 밀도의 조건을 만족합니다.

결합 CDF는 0 ≤ x, y ≤ 1에서 다음과 같습니다.

F_X,Y(x, y) = ∫₀^x ∫₀^y (s + t) dt ds = (x²y + xy²) / 2

F(1, 1) = 1이고, x로 미분하면 xy + y²/2, 다시 y로 미분하면 x + y로 결합 밀도가 돌아옵니다. F(1/2, 1/2) = 1/8이므로 두 값이 모두 1/2 이하일 확률은 0.125입니다.

X + Y ≤ 1일 확률은 직선 y = 1 − x 아래 삼각형 위의 부피입니다. x를 고정하면 y는 0부터 1 − x까지입니다.

∫₀¹ ∫₀^1−x (x + y) dy dx = ∫₀¹ (x(1 − x) + (1 − x)² / 2) dx = ∫₀¹ (1 − x²) / 2 dx = 1/3

다른 방법으로 확인합니다. 삼각형 안에서 s ≤ x + y ≤ s + ds인 가는 띠의 넓이는 s ds이고, 그 위의 밀도 높이는 s입니다. 띠 위의 부피는 s · s ds이므로 ∫₀¹ s² ds = 1/3으로 같습니다.

주변 밀도

앞의 계산에서 y로만 적분한 결과 x + 1/2가 나왔습니다. 이것은 Y가 무엇이든 상관없이 X만 본 밀도입니다. 한 변수를 적분해 없앤 밀도를 주변 밀도(marginal density)라고 합니다.

f_X(x) = ∫_−∞^∞ f_X,Y(x, y) dy

이 예에서 f_X(x) = x + 1/2 (0 ≤ x ≤ 1)이고, 적분하면 1이므로 한 변수의 PDF입니다. 단면 그림으로 보면 x를 고정한 단면의 넓이가 그 x에서의 주변 밀도입니다.

문제 3

삼각형 0 ≤ y ≤ x ≤ 1 위에서 f_X,Y(x, y) = c x이고 그 밖에서 0입니다. (가) 상수 c, (나) 주변 밀도 f_X와 f_Y, (다) P[X + Y ≤ 1]을 구하십시오.

(가) x를 고정하면 y는 0부터 x까지이므로 ∫₀¹ ∫₀^x x dy dx = ∫₀¹ x² dx = 1/3입니다. 반대 순서로는 y를 고정하면 x가 y부터 1까지이고 ∫₀¹ (1 − y²) / 2 dy = 1/3로 같습니다. 전체 부피가 1이어야 하므로 c = 3입니다.

(나) f_X(x) = ∫₀^x 3x dy = 3x² (0 ≤ x ≤ 1), f_Y(y) = ∫_y¹ 3x dx = 3(1 − y²) / 2 (0 ≤ y ≤ 1)입니다. 각각 적분하면 1과 (3/2)(2/3) = 1입니다. 적분 범위가 삼각형에서 오므로 f_X의 범위 끝에는 x가, f_Y의 범위 끝에는 y가 들어갑니다.

(다) 영역은 y ≤ x와 x + y ≤ 1을 함께 만족하는 삼각형이고, 꼭짓점은 (0, 0), (1, 0), (1/2, 1/2)입니다. y를 고정하면 x는 y부터 1 − y까지이고, y는 0부터 1/2까지입니다.

∫₀^1/2 ∫_y^1−y 3x dx dy = ∫₀^1/2 (3/2)(1 − 2y) dy = (3/2)(1/2 − 1/4) = 3/8

x를 먼저 고정하면 위쪽 경계가 x = 1/2에서 바뀝니다. x ≤ 1/2에서는 y가 0부터 x까지, x > 1/2에서는 0부터 1 − x까지입니다. 적분을 둘로 나눠야 합니다.

∫₀^1/2 3x · x dx + ∫_1/2¹ 3x(1 − x) dx = 1/8 + 1/4 = 3/8

값은 같습니다. 띠를 따라가다 부딪히는 경계가 도중에 바뀌면 그 지점에서 적분을 나눕니다. 경계가 한 번도 바뀌지 않는 순서를 고르면 적분 하나로 끝납니다.

정리

전기댓값 정리는 조건부 분포가 단순해지도록 분할을 고를 때 계산을 줄여 줍니다. 분산에서는 조건부 분산의 평균에 조건부 평균들의 흩어짐을 더해야 전체 분산이 됩니다. 두 변수 함수는 바닥의 점마다 높이를 준 곡면으로 보고, 한 변수를 고정한 단면으로 읽습니다. 이중적분은 단면 넓이를 구한 뒤 쌓아 곡면 아래 부피를 구하고, 적분 순서는 바꿔도 값이 같습니다. 곡선 경계에서는 xy 평면에 영역을 그리고 띠가 부딪히는 경계로 안쪽 범위를 정합니다. 두 확률변수의 결합 밀도 아래 부피가 확률이고, 한 변수를 적분해 없애면 주변 밀도가 됩니다.