이것은, 통계학(statistics) 및 확률론적 과정(stochastic processes)의 이론에서 처럼, 확률 이론(probability theory)에서 기본 개념입니다.
두 사건(event)은, 만약 하나의 발생이 다른 것의 발생의 확률에 영향을 미치지 않으면 (동등하게, 오즈(odds)에 영향을 미치지 않으면), 독립(independent), 통계적 독립(statistically independent) 또는 확률적으로 독립(stochastically independent)입니다. 비슷하게, 두 확률 변수(random variable)는, 만약 하나의 실현이 다른 것의 확률 분포(probability distribution)에 영향을 미치지 않으면, 독립입니다.
두 사건보다 많은 사건의 모음을 다룰 때, 독립의 약한 및 강한 개념이 구별될 필요가 있습니다. 사건은 만약 모음에서 임의의 두 사건이 서로 독립이면, 쌍별 독립(pairwise independent)이라고 불리며, 반면에 사건이 서로 독립(mutually independent) (또는 집합적으로 독립(collectively independent))이라고 말하는 것은 각 사건이 모음에서 다른 사건의 임의의 조합과 독립임을 직관적으로 의미합니다. 비슷한 개념은 확률 변수의 모음에 대해 존재합니다.
이름 "서로 독립" ("집합적 독립"과 같음)은 교육학적 선택의 결과로 보이며, 단지 "쌍별 독립"으로부터 더 강한 개념을 구별하기 위한 것이며, 이것은 더 약한 개념입니다. 확률 이론, 통계 및 확률 과정의 고급 문헌에서, 더 강한 개념은 단순히 수정-문구없이 독립으로 이름-짓습니다. 독립이 쌍별 독립을 의미하기 때문에 더 강한 것이지만, 다른 방법은 아닙니다.
Definition
For events
Two events
두 사건 \(A\)와 \(B\)는 독립인 것 (종종 \(A \perp B\) 또는 \(A \perp\!\!\!\perp B\)으로 쓰임)과 그들의 결합 확률(joint probability)이 그들 확률의 곱과 같은 것은 필요충분 조건입니다:
\(\quad \mathrm{P}(A \cap B) = \mathrm{P}(A)\mathrm{P}(B)\cdots\bf{(1)}\)
이것이 독립을 정의하는 이유는 조건부 확률(conditional probabilities)로 다시 작성함으로써 명확해집니다:
\(\quad \mathrm{P}(A \cap B) = \mathrm{P}(A)\mathrm{P}(B) \iff \mathrm{P}(A) = \frac{\mathrm{P}(A \cap B)}{\mathrm{P}(B)} = \mathrm{P}(A\mid B)\).
및 비슷하게
\(\quad \mathrm{P}(A \cap B) = \mathrm{P}(A)\mathrm{P}(B) \iff \mathrm{P}(B) = \mathrm{P}(B\mid A)\).
따라서, \(B\)의 발생은 \(A\)의 확률에 영향을 미치지 않고, 그 반대도 마찬가지입니다. 비록 유도된 표현이 더 직관적으로 보일지라도, 그들은 선호되는 정의가 아닌데, 왜냐하면 조건부 확률은 만약 \(\mathrm{P}(A)\) 또는 \(\mathrm{P}(B)\)가 0이면 정의되지 않을 수 있기 때문입니다. 게다가, 선호되는 정의는 \(A\)가 \(B\)와 독립일 때 \(B\)가 \(A\)와 역시 독립임을 대칭에 의해 분명히 합니다.
Log probability and information content
로그 확률(log probability)의 관점에서 말하면, 두 사건이 독립인 것과 결합 사건의 로그 확률이 개별 사건의 로그 확률의 합인 것은 필요충분 조건입니다:
\(\quad \log \mathrm{P}(A \cap B) = \log \mathrm{P}(A) + \log \mathrm{P}(B)\)
정보 이론(information theory)에서, 음의 로그 확률은 정보 컨텐츠(information content)로 해석되고, 따라서 두 사건이 독립인 것과 결합된 사건의 정보 컨텐츠가 개별 사건의 정보 컨텐츠의 합과 같은 것은 필요충분 조건입니다:
\(\quad \mathrm{I}(A \cap B) = \mathrm{I}(A) + \mathrm{I}(B)\)
자세한 것에 대해 Information content § Additivity of independent events를 참조하십시오.
Odds
오즈(odds)의 관점에서 말하자면, 두 사건이 독립인 것과 \(A\)와 \(B\)의 오즈 비율(odds ratio)이 단위 (1)인 것은 필요충분 조건입니다. 확률과 유사하게, 이것은 조건부 오즈가 무-조건부 오즈와 같음과 동등합니다:
\(\quad O(A \mid B) = O(A) \text{ and } O(B \mid A) = O(B),\)
또는 하나의 사건의 오즈에 대해, 나머지 하나의 사건이 주어지면, 사건의 오즈와 같은 것, 발생하지 않는 나머지 하나의 사건이 주어지면:
\(\quad O(A \mid B) = O(A \mid \neg B) \text{ and } O(B \mid A) = O(B \mid \neg A).\)
오즈 비율은 다음으로 정의될 수 있습니다:
\(\quad O(A \mid B) : O(A \mid \neg B),\)
또는 대칭적으로 주어진 \(A\)에 대한 \(B\)의 오즈에 대해, 따라서 그것이 1인 것과 사건이 독립인 것은 필요충분 조건입니다.
More than two events
사건 \( \{ A_i \} _{i=1}^{n}\)의 유한 집합은, 만약 사건의 모든 각 쌍이 독립이면, 쌍별 독립(pairwise independent)입니다-즉, 인덱스 \(m,k\)의 모든 구별되는 쌍에 대해 다음인 필요충분 조건입니다:
\(\quad \mathrm{P}(A_m \cap A_k) = \mathrm{P}(A_m)\mathrm{P}(A_k)\cdots\bf{(2)}\)
사건의 유한 집합은, 만약 모든 각 사건이 다른 사건의 임의의 교집합과 독립이면, 서로 독립(mutually independent)입니다-즉, 모든 각 \(k \leq n\)에 대해 및 \( \{ A_i \} _{i=1}^{n}\)의 사건 \( \{ B_i \} _{i=1}^{k}\)의 모든 각 \(k\)-원소 부분집합에 대해 다음인 필요충분 조건입니다:
\(\quad \mathrm{P}\left(\bigcap_{i=1}^k B_i\right)=\prod_{i=1}^k \mathrm{P}(B_i)\cdots\bf{(3)}\)
이것은 독립 사건에 대해 곱셈 규칙(multiplication rule)으로 불립니다. 모든 단일 사건의 모든 확률의 곱을 오직 포함하는 단일 조건이 아님에 주목하십시오 (반대-예제에 대해 아래를 참조하십시오); 그것은 사건의 모든 부분집합에 대해 반드시 참을 유지합니다.
두 개보다 많은 사건에 대해, 사건의 서로 독립 집합은 (정의에 의해) 쌍별 독립입니다; 그러나 그 역은 반드시 참일 필요는 없습니다 (반례에 대해 아래를 참조하십시오).
For real valued random variables
Two random variables
두 확률 변수 \(X\)와 \(Y\)가 독립(independent)인 것과 그들에 의해 생성된 π-시스템(π-system)의 원소가 독립인 것은 필요충분 조건(if and only if)입니다; 즉 말하자면, 모든 각 \(x\)와 \(y\)에 대해, 사건 \(\{ X \le x\}\)와 \(\{ Y \le y\}\)는 (위의 Eq.1에서 정의된 것처럼) 독립 사건입니다. 즉, 누적 분포 함수(cumulative distribution function) \(F_X(x)\)와 \(F_Y(y)\)를 갖는 \(X\)와 \(Y\)가 독립인 것과 결합된 확률 변수 \((X,Y)\)는 다음의 결합(joint) 누적 분포 함수를 가지는 것은 필요충분 조건(iff)입니다:
\(\quad F_{X,Y}(x,y) = F_X(x) F_Y(y) \quad \text{for all } x,y\cdots\bf{(4)}\)
또는 동등하게, 만약 확률 밀도(probability densities) \(f_X(x)\)와 \(f_Y(y)\) 및 결합 확률 밀도 \(f_{X,Y}(x,y)\)가 존재하면,
\(\quad f_{X,Y}(x,y) = f_X(x) f_Y(y) \quad \text{for all } x,y\).
More than two random variables
\(n\) 확률 변수 \(\{X_1,\ldots,X_n\}\)의 유한 집합은 쌍별 독립(pairwise independent)인 것과 확률 변수의 모든 각 쌍이 독립인 것은 필요충분 조건입니다. 심지어 확률 변수의 집합이 쌍별 독립일지라도, 다음에 정의된 것처럼 서로 독립일 필요는 없습니다.
\(n\) 확률 변수 \(\{X_1,\ldots,X_n\}\)의 유한 집합이 서로 독립(mutually independent)인 것과 숫자 \(\{x_1, \ldots, x_n\}\)의 임의의 수열에 대해, 사건 \(\{X_1 \le x_1\}, \ldots, \{X_n \le x_n \}\)이 서로 독립 사건인 것은 (위의 Eq.3에서 정의한 것처럼) 필요충분 조건입니다. 이것은 결합 누적 분포 함수 \(F_{X_1,\ldots,X_n}(x_1,\ldots,x_n)\)에 대한 다음 조건과 동등합니다. \(n\) 확률 변수 \(\{X_1,\ldots,X_n\}\)의 유한 집합이 서로 독립인 것과 다음은 필요충분 조건입니다:
\(\quad F_{X_1,\ldots,X_n}(x_1,\ldots,x_n) = F_{X_1}(x_1) \cdot \ldots \cdot F_{X_n}(x_n) \quad \text{for all } x_1,\ldots,x_n\cdots\bf{(5)}\)
확률 분포가 \(n\) 사건에 대해 경우에서 처럼 모든 가능한 \(k-\)원소 부분집합에 대해 인수화됨을 요구하는 것이 여기서 필요하지 않음에 주의하십시오. 이것은 요구되지 않는데, 왜냐하면, 예를 들어, \(F_{X_1,X_2,X_3}(x_1,x_2,x_3) = F_{X_1}(x_1) \cdot F_{X_2}(x_2) \cdot F_{X_3}(x_3)\)은 \(F_{X_1,X_3}(x_1,x_3) = F_{X_1}(x_1) \cdot F_{X_3}(x_3)\)를 의미하기 때문입니다.
측정-이론적으로 기울어짐은 위의 정의에서 사건 \(\{ X \leq x \}\)에 대해 사건 \(\{ X \in A \}\)로 대체하는 것을 선호할 수 있으며, 여기서 \(A\)는 임의의 보렐 집합(Borel set)입니다. 해당 정의는 확률 변수의 값이 실수(real numbers)일 때 하나 위의 정의와 정확히 동등합니다. 그것은 (적절한 σ-대수에 의해 부여된 토폴로지적 공간(topological space)을 포함하는) 임의의 측정-가능 공간(measurable space)에서 값을 취하는 복소수-값의 확률 변수 또는 확률 변수에 대해 역시 작동할 수 있는 장점을 가집니다.
For real valued random vectors
두 확률 벡터 \(\mathbf{X}=(X_1,...,X_m)^T\) 및 \(\mathbf{Y}=(Y_1,...,Y_n)^T\)가 만약 다음이면 독립으로 불립니다:
\(F_{\mathbf{X,Y}}(\mathbf{x,y}) = F_{\mathbf{X}}(\mathbf{x}) \cdot F_{\mathbf{Y}}(\mathbf{y}) \quad \text{for all } \mathbf{x},\mathbf{y}\cdots\bf{(6)}\)
여기서 \(F_{\mathbf{X}}(\mathbf{x})\)와 \(F_{\mathbf{Y}}(\mathbf{y})\)는 \(\mathbf{X}\)와 \(\mathbf{Y}\)의 누적 분포 함수를 표시하고 \(F_{\mathbf{X,Y}}(\mathbf{x,y})\)는 그들의 결합 누적 분포 함수를 표시합니다. \(\mathbf{X}\)와 \(\mathbf{Y}\)의 독립은 \(\mathbf{X} \perp\!\!\!\perp \mathbf{Y}\)에 의해 종종 표시됩니다. 성분-별로 쓰인, \(\mathbf{X}\)와 \(\mathbf{Y}\)는 만약 다음이면 독립이라고 불립니다:
\(F_{X_1,\ldots,X_m,Y_1,\ldots,Y_n}(x_1,\ldots,x_m,y_1,\ldots,y_n) = F_{X_1,\ldots,X_m}(x_1,\ldots,x_m) \cdot F_{Y_1,\ldots,Y_n}(y_1,\ldots,y_n) \quad \text{for all } x_1,\ldots,x_m,y_1,\ldots,y_n\).
For stochastic processes
For one stochastic process
독립의 정의는 확률 벡터에서 확률론적 과정(stochastic process)으로 확장될 수 있습니다. 그것에 의하여 임의의 \(n\) 번에서 과정을 표본화에 의해 얻어진 확률 변수 \(t_1,\ldots,t_n\)가 임의의 \(n\)에 대해 독립 확률 변수라는 독립 확률 과정에 대해 요구됩니다.
공식적으로, 확률론적 과정 \(\left\{ X_t \right\}_{t\in\mathcal{T}}\)는 독립으로 불리는 것과 모든 \(n\in \mathbb{N}\)에 대해 및 모든 \(t_1,\ldots,t_n\in\mathcal{T}\)에 대해 다음인 것은 필요충분 조건입니다:
\(F_{X_{t_1},\ldots,X_{t_n}}(x_1,\ldots,x_n) = F_{X_{t_1}}(x_1) \cdot \ldots \cdot F_{X_{t_n}}(x_n) \quad \text{for all } x_1,\ldots,x_n\cdots\bf{(7)}\)
여기서 \(F_{X_{t_1},\ldots,X_{t_n}}(x_1,\ldots,x_n) = \mathrm{P}(X(t_1) \leq x_1,\ldots,X(t_n) \leq x_n)\)입니다. 확률론적 과정의 독립은 확률론적 과정 ''내부의'' 속성이며, 두 확률론적 과정 사이의 속성이 아닙니다.
For two stochastic processes
두 확률론적 과정의 독립은 같은 확률 공간 \((\Omega,\mathcal{F},P)\) 위에 정의된 두 확률론적 과정 \(\left\{ X_t \right\}_{t\in\mathcal{T}}\) 및 \(\left\{ Y_t \right\}_{t\in\mathcal{T}}\) 사이의 속성입니다. 공식적으로, 두 확률론적 과정 \(\left\{ X_t \right\}_{t\in\mathcal{T}}\) 및 \(\left\{ Y_t \right\}_{t\in\mathcal{T}}\)는, 만약 모든 \(n\in \mathbb{N}\)에 대해 및 모든 \(t_1,\ldots,t_n\in\mathcal{T}\)에 대해, 확률 벡터 \((X(t_1),\ldots,X(t_n))\)와 \((Y(t_1),\ldots,Y(t_n))\)가 독립, 즉 만약
\(F_{X_{t_1},\ldots,X_{t_n},Y_{t_1},\ldots,Y_{t_n}}(x_1,\ldots,x_n,y_1,\ldots,y_n) = F_{X_{t_1},\ldots,X_{t_n}}(x_1,\ldots,x_n) \cdot F_{Y_{t_1},\ldots,Y_{t_n}}(y_1,\ldots,y_n) \quad \text{for all } x_1,\ldots,x_n\cdots\bf{(8)}\)
이면 독립이라고 말합니다.
Independent σ-algebras
위의 (Eq.1 및 Eq.2) 정의는 σ-대수(σ-algebras)에 대해 독립의 다음 정의에 의해 둘 다 일반화될 수 있습니다. \((\Omega, \Sigma, \mathrm{P})\)를 확률 공간으로 놓고 \(\mathcal{A}\)와 \(\mathcal{B}\)를 \(\Sigma\)의 두 개의 부분-σ-대수로 놓습니다. \(\mathcal{A}\)와 \(\mathcal{B}\)는, 만약 \(A \in \mathcal{A}\)와 \(B \in \mathcal{B}\)일 때마다,
\(\mathrm{P}(A \cap B) = \mathrm{P}(A) \mathrm{P}(B)\)
이면 독립이라고 말합니다.
마찬가지로, \(I\)가 인덱스 집합(index set)인 σ-대수 \((\tau_i)_{i\in I}\)의 유한 가족이 독립이라고 말해지는 것과
\(\forall \left(A_i\right)_{i\in I} \in \prod\nolimits_{i\in I}\tau_i \ : \ \mathrm{P}\left(\bigcap\nolimits_{i\in I}A_i\right) = \prod\nolimits_{i\in I}\mathrm{P}\left(A_i\right)\)
이고 σ-대수의 유한한 가족이, 만약 모든 그의 유한 부분-가족이 독립이면, 독립이라고 말해지는 것은 필요충분 조건입니다.
새로운 정의는 이전 정의와 매우 직접적으로 관련됩니다:
- (이전 의미에서) 두 사건이 독립인 것과 (새로운 의미에서) 그들이 생성하는 σ-대수가 독립인 것은 필요충분 조건(if and only if)입니다. 사건 \(E \in \Sigma\)에 의해 생성된 σ-대수는, 정의에 의해,
- \(\sigma(\{E\}) = \{ \emptyset, E, \Omega \setminus E, \Omega \}.\)
- (이전 의미에서) \(\Omega\)에 걸쳐 정의된 두 확률 변수 \(X\)와 \(Y\)가 독립인 것과 (새로운 의미에서) 그들이 생성하는 σ-대수가 독립인 것은 필요충분 조건입니다. 어떤 측정-가능 공간(measurable space)에서 값을 취하는 확률 변수 \(X\)에 의해 생성된 σ-대수는, 정의에 의해, 형식 \(X^{-1}(U)\)의 \(\Omega\)의 모든 부분-집합을 구성하며, 여기서 \(U\)는 \(S\)의 임의의 측정-가능 부분-집합입니다.
이 정의를 사용하여, 만약 \(X\)와 \(Y\)가 확률 변수이고 \(Y\)가 상수이면, \(X\)와 \(Y\)가 독립이라는 것을 보이는 것은 쉬운 일인데, 왜냐하면 상수 확률 변수에 의해 생성된 σ-대수는 자명한 σ-대수 \(\{ \varnothing, \Omega \}\)이기 때문입니다. 확률 영 사건은 절대 독립성에 영향을 미치지 않으므로 독립성은 만약 \(Y\)가 단지 확률-거의 확실하게 상수이면 역시 유지됩니다.
Properties
Self-independence
하나의 사건이 그 자체로 독립인 것과
\(\quad \mathrm{P}(A) = \mathrm{P}(A \cap A) = \mathrm{P}(A) \cdot \mathrm{P}(A) \Leftrightarrow \mathrm{P}(A) = 0 \text{ or } \mathrm{P}(A) = 1\)
이 필요충분 조건임에 주목하십시오.
따라서 사건이 그 자체로 독립인 것과 그것이 거의 확실하게(almost surely) 발생하는 것 또는 그의 여사건(complement)이 거의 확실하게 발생하는 것은 필요충분 조건입니다; 이 사실은 영–일 법칙(zero–one law)을 입증할 때 유용합니다.
Expectation and covariance
만약 \(X\)와 \(Y\)가 독립 확률 변수이면, 기댓값 연산자(expectation operator) \(\operatorname{E}\)는 다음 속성을 가지고
\(\quad \operatorname{E}[X Y] = \operatorname{E}[X] \operatorname{E}[Y],\)
공분산(covariance) \(\operatorname{cov}[X,Y]\)은 영인데, 왜냐하면 우리는 다음을 가지기 때문입니다:
\(\quad \operatorname{cov}[X,Y] = \operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y]\).
(이들의 역, 즉, 만약 두 확률 변수가 0의 공분산을 가지면 그들은 반드시 독립이라는 명제는 참이 아닙니다. 비상관화(uncorrelated)를 참조하십시오.)
비슷하게 두 확률론적 과정 \(\left\{ X_t \right\}_{t\in\mathcal{T}}\) 및 \(\left\{ Y_t \right\}_{t\in\mathcal{T}}\)에 대해: 만약 그들이 독립이면, 그들은 비상관된 것입니다.
Characteristic function
두 확률 변수 \(X\)와 \(Y\)가 독립인 것과 확률 벡터 \((X,Y)\)의 특성 함수(characteristic function)가 다음을 만족시키는 것은 필요충분 조건입니다:
\(\quad \varphi_{(X,Y)}(t,s) = \varphi_{X}(t)\cdot \varphi_{Y}(s)\).
특히 그들의 합의 특성 함수는, 비록 역은 참이 아닐지라도, 그들의 주변 특성 함수의 곱입니다:
\(\quad \varphi_{X+Y}(t) = \varphi_X(t)\cdot\varphi_Y(t),\)
후자의 조건을 만족시키는 무작위 변수는 부분-독립(subindependent)으로 불립니다.
Examples
Rolling dice
첫 번째 주사위를 굴려 6을 얻는 사건과 두 번째 6을 얻는 사건은 독립(independent)입니다. 대조적으로, 첫 번째 주사위를 굴려 6을 얻는 사건과 첫 번째와 두 번째 시행에서 보이는 숫자의 합이 8인 사건은 독립이 아닙니다.
Drawing cards
만약 두 장의 카드가 카드의 덱으로부터 복원으로 뽑히면, 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 독립입니다. 대조적으로, 만약 두 장의 카드가 카드의 덱으로부터 비복원으로 뽑혀지면, 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 독립이 아닙니다. 왜냐하면 제거된 빨간색 카드를 가지는 덱은 비례적으로 더 적은 빨간색 카드를 가집니다.
Pairwise and mutual independence
보이는 두 확률 공간을 생각해 보십시오. 둘 다의 경우에서, \(\mathrm{P}(A) = \mathrm{P}(B) = 1/2\)이고 \(\mathrm{P}(C) = 1/4\)입니다. 첫 번째 공간에서 확률 변수는 쌍별 독립인데 왜냐하면 \(\mathrm{P}(A|B) = \mathrm{P}(A|C)=1/2=\mathrm{P}(A)\), \(\mathrm{P}(B|A) = \mathrm{P}(B|C)=1/2=\mathrm{P}(B)\), 및 \(\mathrm{P}(C|A) = \mathrm{P}(C|B)=1/4=\mathrm{P}(C)\)이기 때문입니다; 그러나 세 확률 변수는 서로 독립이 아닙니다. 두 번째 공간에서 확률 변수는 둘 다 쌍별 독립이고 서로 독립입니다. 차이를 설명하기 위해, 두 사건에 대한 조건을 고려하십시오. 쌍별 독립 경우에서, 비록 임의의 하나의 사건이 다른 두 사건의 각각과 개별적으로 독립일지라도, 다른 두 사건의 교집합과 독립이 아닙니다:
\(\quad\displaystyle \mathrm{P}(A|BC) = \frac{\frac{4}{40}}{\frac{4}{40} + \frac{1}{40}} = \tfrac{4}{5} \ne \mathrm{P}(A)\)
\(\quad\displaystyle \mathrm{P}(B|AC) = \frac{\frac{4}{40}}{\frac{4}{40} + \frac{1}{40}} = \tfrac{4}{5} \ne \mathrm{P}(B)\)
\(\quad\displaystyle \mathrm{P}(C|AB) = \frac{\frac{4}{40}}{\frac{4}{40} + \frac{6}{40}} = \tfrac{2}{5} \ne \mathrm{P}(C)\)
서로 독립 경우에서, 어쨌든,
\(\quad\displaystyle \mathrm{P}(A|BC) = \frac{\frac{1}{16}}{\frac{1}{16} + \frac{1}{16}} = \tfrac{1}{2} = \mathrm{P}(A)\)
\(\quad\displaystyle \mathrm{P}(B|AC) = \frac{\frac{1}{16}}{\frac{1}{16} + \frac{1}{16}} = \tfrac{1}{2} = \mathrm{P}(B)\)
\(\quad\displaystyle \mathrm{P}(C|AB) = \frac{\frac{1}{16}}{\frac{1}{16} + \frac{3}{16}} = \tfrac{1}{4} = \mathrm{P}(C)\)
Mutual independence
다음인 것에서
\(\quad \mathrm{P}(A \cap B \cap C) = \mathrm{P}(A)\mathrm{P}(B)\mathrm{P}(C),\)
세-사건 예제를 만드는 것이 가능하고, 여전히 세 사건 중 두 사건이 쌍별 독립이 아닙니다 (그리도 따라서 사건의 집합은 서로 독립이 아닙니다). 이 예제는 서로 독립성이 이 예제에서 처럼 단지 단일 사건이 아니라, 사건의 모든 조합의 확률의 곱에 대한 요구사항을 포함한다는 것을 보여줍니다. 또 다른 예제에 대해, \(A \)는 빈 것으로 취하고, \(B \)와 \(C \)는 비-영 확률을 갖는 같은 사건을 취합니다. 그런-다음, \(B \)와 \(C \)는 같은 사건이므로, 그들은 독립이 아니지만, 사건의 교집합의 확률은 영, 확률의 곱입니다.
Conditional independence
For events
사건 \(A\)와 \(B\)는 주어진 사건 \(C\)에 대해 다음일 때 조건부 독립입니다:
\(\quad \mathrm{P}(A \cap B \mid C) = \mathrm{P}(A \mid C) \cdot \mathrm{P}(B \mid C)\).
For random variables
직관적으로, 두 확률 변수 \(X\)와 \(Y\)는, 만약, 일단 \(Z\)가 알려져 있으며, \(Y\)의 값이 \(X\)에 대한 임의의 추가적인 정보를 더하지 않으면, 주어진 \(Z\)에 대해 조건부 독립입니다. 예를 들어, 같은 놓여-있는 양 \(Z\)의 두 측정 \(X\)와 \(Y\)는 독립이 아니지만, (만약 두 측정에서 오류가 어떻게든 연결되지 않는다면) 그들은 주어진 \(Z\)에 대해 조건부 독립입니다.
조건부 독립의 공식적인 정의는 조건부 분포(conditional distribution)의 아이디어에 근거를 둡니다. 만약 \(X\), \(Y\), 및 \(Z\)가 이산 확률 변수(discrete random variable)이면, 우리는 \(X\)와 \(Y\)는, \(\mathrm{P}(Z=z)>0\)를 만족하는 모든 \(x\), \(y\) 및 \(z\)에 대해, 만약
\(\quad \mathrm{P}(X \le x, Y \le y\;|\;Z = z) = \mathrm{P}(X \le x\;|\;Z = z) \cdot \mathrm{P}(Y \le y\;|\;Z = z)\)
이면 주어진 \(Z\)에 대해 조건부 독립이라고 정의합니다. 다른 한편으로, 만약 확률 변수가 연속(continuous)이고 결합 확률 분포 함수(probability density function) \(f_{XYZ}(x,y,z)\)를 가지면, \(X\)와 \(Y\)는, \(f_Z(z)>0\)를 만족하는 모든 실수 \(x\), \(y\) 및 \(z\)에 대해, 만약
\(\quad f_{XY|Z}(x, y | z) = f_{X|Z}(x | z) \cdot f_{Y|Z}(y | z)\)
이면 주어진 \(Z\)에 대해 조건적으로 독립(conditionally independent)입니다.
만약 이산 \(X\)와 \(Y\)가 주어진 \(Z\)에 대해 조건적으로 독립이면, \(\mathrm{P}(Z=z)>0\)를 갖는 임의의 \(x\), \(y\) 및 \(z\)에 대해, 다음입니다:
\(\quad \mathrm{P}(X = x | Y = y , Z = z) = \mathrm{P}(X = x | Z = z)\).
즉, 주어진 \(Y\)와 \(Z\)에서 \(X\)에 대해 조건부 분포는 단독으로 해당 주어진 \(Z\)와 같습니다. 비슷한 방정식이 연속 경우에서 조건부 확률 밀도 함수에 대해 유지됩니다.
독립은 조건부 독립의 특수한 종류로 보일 수 있는데, 왜냐하면 확률은 주어진 사건이 없는 조건부 확률의 종류로 보일 수 있기 때문입니다.
See also
- Independent and identically distributed random variables
- Mutually exclusive events
- Conditional independence