확률 이론과 통계학에서, 베르누이 분포(Bernoulli distribution)는, 스위스 수학자 야콥 베르누이(Jacob Bernoulli)의 이름을 따서 지어졌으며, 확률 \(p\)를 갖는 값 1과 확률 \(q=1-p\)를 갖는 값 0을 취하는 확률 변수(random variable)의 이산 확률 분포(discrete probability distribution)입니다. 덜 형식적으로, 그것은 예-아니오 질문(yes–no question)을 하는 임의의 단일 실험(experiment)의 가능한 결과의 집합에 대해 모델로 생각될 수 있습니다. 그러한 질문은 부울(boolean)-값: 그의 값은 확률 p를 갖는 성공/예/참/일과 확률 q를 가진 실패/아니오/거짓/영인 단일 비트(bit)인 결과(outcome)로 이어집니다. 그것은 1과 0이 각각 "머리"와 "꼬리"를 나타내는 동전 던지기 (편향된 것도 가능)를 나타내기 위해 사용될 수 있습니다 (또는 그 반대로 1은 꼬리를 나타내고 p는 꼬리의 확률입니다). 특히, 불공정 동전은 \(p\neq \tfrac12\)를 가질 수 있습니다.
베르누이 분포는 단일 시행이 수행되는 이항 분포(binomial distribution)의 특별한 경우입니다 (따라서 n은 그러한 이항 분포에 대해 1이 됩니다.) 그것은 역시 가능한 결과가 0과 1일 필요는 없는, 이-점 분포(two-point distribution)의 특수한 경우입니다.
Properties
만약 \(X\)가 이 분포를 갖는 확률 변수이면,
\(\quad\displaystyle \Pr(X=1) = p = 1 - \Pr(X=0) = 1 - q.\)
가능한 결과 \(k\)에 걸쳐, 이 분포의 확률 질량 함수(probability mass function) \(f\)는
\(\quad\displaystyle f(k;p) = \begin{cases}
p & \text{if }k=1, \\
q = 1-p & \text {if } k = 0.
\end{cases}\)
이것은 역시 다음처럼 표현될 수 있습니다:
\(\quad\displaystyle f(k;p) = p^k (1-p)^{1-k} \quad \text{for } k\in\{0,1\}\)
또는 다음처럼
\(\quad\displaystyle f(k;p)=pk+(1-p)(1-k) \quad \text{for } k\in\{0,1\}.\)
베르누이 분포는 \(n = 1\)을 갖는 이항 분포(binomial distribution)의 특수한 경우입니다.
뾰족함(kurtosis)은 \(p\)의 높은 값과 낮은 값에 대해 무한대로 가지만, \(p=1/2\)에 대해 베르누이 분포를 포함한 이-점 분포는 임의의 다른 확률 분포, 즉 −2보다 낮은 초과 뾰족함(excess kurtosis)을 가집니다.
\(0 \le p \le 1\)에 대해 베르누이 분포는 지수 가족(exponential family)을 형성합니다.
무작위 표본을 기반으로 하는 \(p\)의 최대 가능도 추정기(maximum likelihood estimator)는 표본 평균(sample mean)입니다.
Mean
베르누이 확률 변수 \(X\)의 기댓값(expected value)은 다음과 같습니다:
\(\quad\displaystyle \operatorname{E}[X]=p\)
이것은 \(\Pr(X=1)=p\)와 \(\Pr(X=0)=q\)을 갖는 베르누이 분포된 확률 변수 \(X\)에 대해, 다음을 찾아냄에 기인합니다:
\(\quad\displaystyle \operatorname{E}[X] = \Pr(X=1)\cdot 1 + \Pr(X=0)\cdot 0 = p \cdot 1 + q\cdot 0 = p.\)
Variance
베르누이 분포된 \(X\)의 분산(variance)은 다음과 같습니다:
\(\quad\displaystyle \operatorname{Var}[X] = pq = p(1-p)\)
우리는 먼저 다음을 찾습니다
\(\quad\displaystyle \operatorname{E}[X^2] = \Pr(X=1)\cdot 1^2 + \Pr(X=0)\cdot 0^2 = p \cdot 1^2 + q\cdot 0^2 = p = \operatorname{E}[X] \)
이것으로부터 다음이 따릅니다:
\(\quad \operatorname{Var}[X] = \operatorname{E}[X^2]-\operatorname{E}[X]^2 = \operatorname{E}[X]-\operatorname{E}[X]^2 = p-p^2 = p(1-p) = pq\)
이 결과와 함께, 임의의 베르누이 분포에 대해, 그것의 분산이 \([0,1/4]\) 안에 값을 가짐을 쉽게 입증할 수 있습니다.
Skewness
뾰족함(skewness)은 \(\frac{q-p}{\sqrt{pq}}=\frac{1-2p}{\sqrt{pq}}\)입니다. 우리가 표준화된 베르누이 분포된 확률 변수 \(\frac{X-\operatorname{E}[X]}{\sqrt{\operatorname{Var}[X]}}\)를 취할 때, 우리는 이 확률 변수가 확률 \(p\)로 \(\frac{q}{\sqrt{pq}}\)에 도달하고 확률 \(q\)로 \(-\frac{p}{\sqrt{pq}}\)에 도달한다는 것을 찾습니다. 따라서 우리는 다음을 얻습니다:
\(\quad \begin{align}
\gamma_1 &= \operatorname{E} \left[\left(\frac{X-\operatorname{E}[X]}{\sqrt{\operatorname{Var}[X]}}\right)^3\right] \\
&= p \cdot \left(\frac{q}{\sqrt{pq}}\right)^3 + q \cdot \left(-\frac{p}{\sqrt{pq}}\right)^3 \\
&= \frac{1}{\sqrt{pq}^3} \left(pq^3-qp^3\right) \\
&= \frac{pq}{\sqrt{pq}^3} (q-p) \\
&= \frac{q-p}{\sqrt{pq}}.
\end{align}\)
Higher moments and cumulants
원시 모멘트는 \(1^k=1\)와 \(0^k=0\)이라는 사실 때문에 모두 같습니다.
\(\quad\displaystyle \operatorname{E}[X^k] = \Pr(X=1)\cdot 1^k + \Pr(X=0)\cdot 0^k = p \cdot 1 + q\cdot 0 = p = \operatorname{E}[X].\)
차수 \(k\)의 중심 모멘트는 다음에 의해 주어집니다:
\(\quad\displaystyle
\mu_k =(1-p)(-p)^k +p(1-p)^k.
\)
처음 여섯 중심 모멘트는 다음입니다:
\(\quad \begin{align}
\mu_1 &= 0, \\
\mu_2 &= p(1-p), \\
\mu_3 &= p(1-p)(1-2p), \\
\mu_4 &= p(1-p)(1-3p(1-p)), \\
\mu_5 &= p(1-p)(1-2p)(1-2p(1-p)), \\
\mu_6 &= p(1-p)(1-5p(1-p)(1-p(1-p))).
\end{align}\)
더 높은 중심 모멘트는 \(\mu_2\)와 \(\mu_3\)의 관점에서 더 간결하게 표현될 수 있습니다:
\(\quad \begin{align}
\mu_4 &= \mu_2 (1-3\mu_2 ), \\
\mu_5 &= \mu_3 (1-2\mu_2 ), \\
\mu_6 &= \mu_2 (1-5\mu_2 (1-\mu_2 )).
\end{align}\)
처음 여섯 누적은 다음입니다:
\(\quad \begin{align}
\kappa_1 &= p, \\
\kappa_2 &= \mu_2 , \\
\kappa_3 &= \mu_3 , \\
\kappa_4 &= \mu_2 (1-6\mu_2 ), \\
\kappa_5 &= \mu_3 (1-12\mu_2 ), \\
\kappa_6 &= \mu_2 (1-30\mu_2 (1-4\mu_2 )).
\end{align}\)
Related distributions
- 만약 \(X_1,\dots,X_n\)이 독립, 동일하게 분포된 (i.i.d.) 확률 변수, 성공 확률 \(p\)를 갖는 모든 베르누이 시행(Bernoulli trials)이면, 그것들의 합은 매개변수 \(n\)과 \(p\)를 갖는 이항 분포(binomial distribution)에 따라 분포됩니다:
- \(\sum_{k=1}^n X_k \sim \operatorname{B}(n,p)\) (이항 분포).
- 베르누이 분포는 단순히 \(\operatorname{B}(1, p)\), 역시 \(\mathrm{Bernoulli} (p)\)으로 쓰입니다.
- 카테고리형 분포(categorical distribution)는 임의의 일정한 수의 이산 값을 갖는 변수에 대해 베르누이 분포의 일반화입니다.
- 베타 분포(Beta distribution)는 베르누이 분포의 켤레 이전(conjugate prior)입니다.
- 기하학적 분포(geometric distribution)는 하나의 성공을 얻는 데 필요한 독립적이고 동일한 베르누이 시행의 수를 모델링합니다.
- 만약 \(Y \sim \mathrm{Bernoulli}\left(\frac{1}{2}\right)\)이면, \(2Y - 1\)은 라더마허 분포(Rademacher distribution)입니다.
Further reading
- Johnson, N. L.; Kotz, S.; Kemp, A. (1993). Univariate Discrete Distributions (2nd ed.). Wiley. ISBN 0-471-54897-9.
- Peatman, John G. (1963). Introduction to Applied Statistics. New York: Harper & Row. pp. 162–171.
External links
- "Binomial distribution", Encyclopedia of Mathematics, EMS Press, 2001 [1994].
- Weisstein, Eric W. "Bernoulli Distribution". MathWorld.
- Interactive graphic: Univariate Distribution Relationships.