베이즈 확률(Bayesian probability)은 확률 개념의 해석으로, 그것에서, 어떤 현상의 빈도(frequency) 또는 성향(propensity) 대신에, 확률은 지식의 상태를 나타내는 합리적인 기대 또는 개인 신념의 정량화로 해석됩니다.
확률의 베이즈 해석은 가설을 가진 추론, 즉, 참 또는 거짓이 불확실한 명제를 가능하게 하는 명제 논리(propositional logic)의 확장으로 보일 수 있습니다. 베이즈 관점에서, 확률은 가설에 대해 할당되고, 반면에 빈도주의 추론(frequentist inference) 아래에서, 가설은 할당된 확률 없이 전형적으로 테스트됩니다.
베이즈 확률은 증거의 확률의 카테고리에 속합니다. 가설의 확률을 평가하기 위해, 베이즈 확률론자는 몇 가지 이전 확률(prior probability)을 지정하고, 그런 다음 새로운, 관련된 데이터 (증거)에 비추어, 이후 확률(posterior probability)로 업데이트됩니다. 베이즈 해석은 이 계산을 수행하기 위한 절차와 공식의 표준 집합을 제공합니다.
용어 베이즈(Bayesian)는 18세기 수학자이자 신학자인 토머스 베이즈(Thomas Bayes)로부터 유래합니다. 그는, 지금 베이즈 추론(Bayesian inference)으로 알려진 것을 사용하여 통계적 데이터 해석(data analysis)의 비-자명한 문제의 최초의 수학적 처리를 제공했습니다. 수학자 피에르-시몽 라플라스(Pierre-Simon Laplace)는 지금 베이즈 확률이라고 불리는 것을 개척하고 대중화했습니다.
Bayesian methodology
베이즈 방법은 다음과 같은 개념과 절차로 특징 지워집니다:
- 정보 부족으로 인한 불확실성을 포함한 통계적 모델에서 불확실성의 모든 원인을 모델링하기 위해, 확률 변수(random variable) 또는, 보다 일반적으로 알려지지 않은 양의 사용 (우연적인 그리고 인식론적 불확실성(aleatoric and epistemic uncertainty)을 역시 참조하십시오).
- 이용가능한 (이전) 정보를 고려하여 이전 확률 분포를 결정하기 위한 필요.
- 베이즈 공식(Bayes' formula)의 순차적인 사용: 더 많은 데이터를 사용할 수 있을 때, 베이즈 공식을 사용하여 이후 분포를 계산하고; 그 후에, 이후 분포는 다음 이전 분포가 됩니다.
- 빈도주의에 대해, 가설(hypothesis)은 제안(proposition)이므로 (그것은 반드시 참 또는 거짓(either true or false)이 됩니다), 가설의 빈도주의 확률이 0 또는 1이 되고, 베이즈 통계에서, 가설에 대해 할당될 수 있는 확률은, 만약 진리 값이 불확실하면, 역시 0에서 1까지 영역이 될 수 있습니다.
Objective and subjective Bayesian probabilities
넓게 보자면, 베이즈 확률에 대한 두 가지 해석이 있습니다. 확률을 논리(logic)의 확장으로 해석하는, 객관주의자(objectivists)에 대해, 확률은 동일한 지식을 공유하는 모든 사람들 (심지어 "로봇"조차도)은, 콕스의 정리(Cox's theorem)에 의해 정당화될 수 있는, 베이즈 통계의 규칙에 따라 공유해야 하는 합리적인 기대치를 정량화합니다. 주관주의자(subjectivists)에 대해, 확률은 개인적인 믿음에 해당합니다. 합리성과 일관성은 그들이 주장하는 제약 내에서 실질적인 변화를 허용합니다; 구속은 네덜란드 책(Dutch book) 논증 또는 결정 이론(decision theory) 그리고 데 파네티의 정리(de Finetti's theorem)에 의해 정당화됩니다. 베이즈 확률의 객관적이고 주관적인 변형은 주로 그들의 해석 또는 이전 확률의 구성에서 다릅니다.
History
용어 베이즈(Bayesian)는, 제목이 "우연의 주의에서 문제를 해결에 대한 에세이"(An Essay towards solving a Problem in the Doctrine of Chances"인 논문에서 지금 베이즈의 정리(Bayes' theorem)라고 불리는 것의 특별한 경우를 입증한, 토머스 베이즈(Thomas Bayes) (1702–1761)를 지칭합니다. 그 특별한 경우에서, 이전 및 이후 분포는 베타 분포(Beta distribution)이고 데이터는 베르누이 시행(Bernoulli trial)에서 나왔습니다. 그 정리의 일반적인 버전을 소개한 것은 피에르-시몽 라플라스(Pierre-Simon Laplace) (1749–1827)였고 그것을 천체 역학(celestial mechanics), 의학 통계, 신뢰성(reliability), 그리고 법리학(jurisprudence)의 문제에 접근하기 위해 사용했습니다. 라플라스의 불충분한 이유의 원리(principle of insufficient reason)를 따르는 균등인 전제를 사용한, 초기 베이즈 추론은 "역 확률"("inverse probability")이라고 불립니다 (왜냐하면 그것은 관측에서 매개 변수로 또는 효과에서 원인으로 거꾸로 추론하기 때문입니다). 1920년대 이후, "역 확률"은 빈도주의 통계(frequentist statistics)라고 불리게 되는 방법의 모음으로 크게 대체되었습니다.
20세기에서, 라플라스의 아이디어는 베이즈 연습에서 객관적 그리고 주관적 흐름을 일으키는 두 가지 방향으로 발전했습니다. 해럴드 제프리스(Harold Jeffreys)의 확률 이론(Theory of Probability) (1939년에 처음 출판됨)은 확률의 베이즈 관점의 부활에 중요한 역할을 했으며, 아브라함 발드(Abraham Wald) (1950)와 레널드 쌔비지(Leonard J. Savage) (1954)에 의한 연구를 이끕니다. 형용사 Bayesian 자체는 1950년대에 시작됩니다; 파생된 Bayesianism, neo-Bayesianism,는 1960년대 만들어집니다. 객관주의자 흐름에서, 통계적 해석학은 가정된 모델 그리고 해석된 데이터에 오직 의존합니다. 주관적인 결정이 포함될 필요는 없습니다. 대조적으로, "주관주의자" 통계학자는 일반적인 경우에 대해 완전히 객관적 해석의 가능성을 부정합니다.
1980년대에서, 마르코프 체인 몬테카를로(Markov chain Monte Carlo:마르코프 체인 몬테카를로) 방법의 발견과 그로 인한 많은 계산상의 문제의 제거, 그리고 비표준, 복잡한 응용에서 증가된 관심으로 인해 베이즈 방법의 연구와 응용에서 급격히 증가가 있었습니다. 빈도주의 통계는 여전히 강하게 남아 있지만 (대부분의 학부 강의가 여전히 그것에 기초하고 있다는 사실에서 알 수 있듯이, 베이즈 방법은, 예를 들어, 기계 학습(machine learning)의 분야에서, 널리 인정되고 사용됩니다.
Justification of Bayesian probabilities
베이즈 추론(Bayesian inference)의 기초로 베이즈 확률의 사용은 콕스 공리(Cox axioms), 네덜란드 책 논증(Dutch book argument), 결정 이론(decision theory)과 데 피네티의 정리(de Finetti's theorem)에 기초한 논증과 같은, 여러 가지 논증에 의해 지원되어 왔습니다.
Axiomatic approach
리처드 T. 콕스(Richard T. Cox)는 베이즈 업데이트가 두 가지 함수의 방정식(functional equations)과 미분 가능성의 가설을 포함하는, 여러 공리에서 따름을 보여주었습니다. 미분 가능성 또는 연속성의 가정은 논쟁의 여지가 있습니다; 할펀은 명제의 부울 대수가 유한할 수 있다는 그의 관측에 근거하여 반례를 발견했습니다. 다른 공리화가 이론을 보다 엄격하게 만들려는 의도로 여러 저자들에 의해 제안되어 왔습니다.
Dutch book approach
네덜란드 책 논쟁은 데 피네티에 의해 제시되었습니다; 그것은 베팅을 기반으로 합니다. 네덜란드 책(Dutch book)은, 영리한 겜블러가, 베팅의 결과에 관계없이, 이익을 보장하는 베팅의 집합을 알아차렸을 때, 만들어집니다. 만약 마권업자(bookmaker)가 오즈(승산)의 구성에서 베이즈 계산법의 규칙을 따릅니다.
어쨌든, 이언 해킹(Ian Hacking)은 전통적인 네덜란드 책 논증은 베이즈 업데이트를 명시하지 않았다고 지적했습니다: 그것들은 비-베이즈 업데이트 규칙이 네덜란드 책을 피할 수 있는 가능성을 열어둔 채 남겨 놓았습니다. 예를 들어, 이언 해킹은 다음과 같이 썼습니다: "네덜란드의 책 논쟁이나, 확률 공리의 증명의 개인주의자 주장에서 임의의 다른 것은 역동적인 가정을 수반하지 않습니다. 어느 하나도 베이즈주의를 수반하지 않습니다. 그래서 개인주의자는 역동적인 가정을 베이즈에 요구합니다. 일관성에서 개인주의자가 경험에서 배움의 베이즈 모델을 포기할 수 있다는 것은 사실입니다. 소금은 맛을 잃을 수 있습니다."
사실, 네덜란드 책을 역시 피하는 비-베이즈 업데이트 규칙이 있습니다 (리차드 제프리의 규칙의 출판을 따르는 "확률 운동학"("probability kinematics")에 대한 문헌에서 논의된 바와 같이, 그것은 자체로 베이즈로 여겨집니다). 베이즈 업데이트를 (고유하게) 지정에 충분한 추가적인 가설은 실질적이고 만족스러운 만큼 보편적으로 보이지 않았습니다.
Decision theory approach
베이즈 추론 (그리고 따라서 베이즈 확률)의 사용의 결정-이론적(decision-theoretic) 정당화는, 모든 각 허용가능한 통계적 절차가 베이즈 절차 또는 베이즈 절차의 극한이라는 것을 입증한, 아브라함 발드(Abraham Wald)에 의해 제공되었습니다. 대조적으로, 모든 각 베이즈 절차는 허용가능(admissible) 입니다.
Personal probabilities and objective methods for constructing priors
램지(Ramsey)와 폰 노이만(von Neumann)의 기대 효용(expected utility) 이론(theory)에 대한 연구에 이어, 결정-이론가는 행위자(agent)에 대해 확률 분포를 사용하여 합리적 행동(rational behavior)을 설명해 왔습니다. 요한 판차글(Johann Pfanzagl)은 폰 노이만과 오스카 모르겐슈테른(Oskar Morgenstern)에 의해 완성되지 않은 과제, 주관적 확률과 효용의 공리화를 제공함으로써 게임의 이론과 경제 행동(Theory of Games and Economic Behavior)을 완성시켰습니다: 그들의 원래 이론은 모든 행위자가, 편의상, 같은 확률 분포를 가졌다고 가정했습니다. 판차글의 공리화는 오스카 모르겐슈테른에 의해 보증되었습니다. "폰 노이만과 나는 예상해 왔습니다...[확률에 대한 의문]은, 아마도 보다 전형적으로, 주관적일 수 있고 특히 후자의 경우에서 공리는 확률에 대해 숫자와 함께 원하는 수치적 유용을 도출할 수 있는 것으로부터 발견될 수 있다고 말해져 왔습니다 (Theory of Games and Economic Behavior게임의 이론과 경제 행동의 cf. p. 19). 우리는 이것을 수행하지 않았다; 그것은 판차글에 의해 시연되었습니다 ... 모든 필요한 엄격함과 함께".
램지와 쌔비지는 개별 행위자의 확률 분포가 실험에서 객관적으로 연구될 수 있다고 언급했습니다. 과학에서 판단과 의견 불일치의 역할은 아리스토텔레스 이후 그리고 프랜시스 베이컨(Francis Bacon)과 함께 더욱 분명하게 인식되어 왔습니다. 과학의 객관성은 개별 과학자의 심리에 놓여 있지 않고, 그러나, 퍼스(C. S. Peirce)에 의해 지적된 것처럼, 과학의 프로세스 그리고 특히 통계적 방법에 놓여 있습니다. 이전에 언급한 것처럼, 개인의 확률에 관한 명제를 거짓임을 입증하는 것에 대해 객관적인 방법이 반세기 동안 사용되어 왔음을 상기하십시오. (유한한 표본을 사용하여) 확률에 대한 가설을 검증하기 위한 절차는 램지(Ramsey) (1931)와 데 피네티(de Finetti) (1931, 1937, 1964, 1970)에 기인한 것입니다. 브루노 데 피네티(Bruno de Finetti) 그리고 프랭크 램지(Frank P. Ramsey) 둘 다는 실용주의 철학(pragmatic philosophy), 특히 (램지에 대해) 찰스 퍼스(Charles S. Peirce)에 대한 빚을 인정합니다.
확률 분포를 평가에 대해 "램지 테스트"는 이론에서 구현 가능하고, 반세기에 걸쳐 실험적 심리학자들을 점령했습니다. 이 작업은 베이즈 확률론이 거짓임을 입증될 수 있고, 그래서 찰스 퍼스(Charles S. Peirce)의 경험적 기준을 충족시켰으며, 그의 연구는 램지에게 영감을 주었습니다. (이 반증 가능성(falsifiability)-기준은 칼 포퍼(Karl Popper)에 의해 대중화되었습니다.)
개인 확률의 실험적 평가에 대한 현대적 연구는 Peirce-Jastrow 실험의 무작위화, 블라인딩(blingind:이중 맹검), 그리로 퍼스-재스트로의 부울-결정 절차를 사용합니다. 개인이 다른 확률 판단에 따라 행동하기 때문에, 이들 행위자의 확률은 "개인"입니다 (그러나 객관적인 연구에 대해 받을 수 있습니다).
개인 확률은 의사-결정자가 (그들이 행동하기 위해 준비하는 것에 대해) 정보를 얻은 확률-분포를 지정하는 지식이나 시간이 부족한 과학 및 일부 응용에서 문제가 됩니다. 과학과 인간의 한계의 필요를 충족하기 위해, 베이즈 통계학자는 이전 확률을 지정하는 것에 대해 "객관적인" 방법을 개발해 왔습니다.
사실, 일부 베이즈는 지식의 이전 상태가 "정규" 통계 문제; 예를 들어, 잘-제기된 문제(well-posed problem)에 대해 그 (고유한) 이전 확률-분포를 정의한다고 주장해 왔습니다. (정규 문제의 적절한 클래스에 대해) 그러한 "객관적인" 이전을 구성하는 것에 대해 올바른 방법을 찾는 것은 라플라스(Laplace)에서 존 메이너드 케인스(John Maynard Keynes), 해럴드 제프리스(Harold Jeffreys), 그리고 에드윈 톰슨 제인스(Edwin Thompson Jaynes)에 이르는 통계적 이론가들의 탐구가 되어 왔습니다. 이들 이론가들과 그들의 후계자들은 "객관적인" 이전을 구성하는 것에 대해 여러 가지 방법을 제안해 왔습니다 (불행히도, 이들 방법 아래에서 제안된 이전의 상대적인 "객관성"을 어떻게 평가할지는 분명하지 않습니다):
이러한 방법의 각각은 "정규" 단일-매개변수 문제에 대해 유용한 이전을 제공하고, 각 이전은 ("불규칙성" 또는 여러 매개 변수와 함께) 일부 어려운 통계적 모델(statistical model)을 처리할 수 있습니다. 이들 방법의 각각은 베이즈 연습에서 유용해져 왔습니다. 사실, "객관적인" (대안적으로, "기본" 또는 "무지") 사전을 구성하는 것에 대해 방법은 제임스 버거(James Berger) (듀크 대학교)와 호세-미구엘 베르나르도(José-Miguel Bernardo) (발렌시아 대학(Universitat de València))와 같은 공언된 주관적 (또는 "개인적") 베이즈에 의해 개발되어 왔으며, 단순히 왜냐하면 그러한 이전은 베이즈 연습, 특히 과학에 대해 필요하기 때문입니다. "이전을 구성하기 위한 보편적인 방법"에 대한 탐구는 통계 이론가들을 끌어들이기는 계속됩니다.
따라서, 베이즈 통계학자는 "객관적인" 이전을 구성하는 것에 대해 (관련된 전문적 지식 또는 먼저 발생한 정보를 사용하여) 얻은 이전을 사용하는 것 또는 경쟁하는 방법 사이에서 선택하는 것 둘 중 하나를 필요가 있습니다.
Bibliography
- Berger, James O. (1985). Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second ed.). Springer-Verlag. ISBN 0-387-96098-8.
- Bessière, Pierre; Mazer, E.; Ahuacatzin, J-M; Mekhnacha, K. (2013). Bayesian Programming. CRC Press. ISBN 9781439880326.
- Bernardo, José M.; Smith, Adrian F. M. (1994). Bayesian Theory. Wiley. ISBN 0-471-49464-X.
- Bickel, Peter J.; Doksum, Kjell A. (2001). Mathematical statistics, Volume 1: Basic and selected topics (Second (updated printing 2007) of the Holden-Day 1976 ed.). Pearson Prentice–Hall. ISBN 0-13-850363-X. MR 0443141. {{cite book}}: Invalid |ref=harv (help)
- Davidson, Donald; Suppes, Patrick; Siegel, Sidney (1957). Decision-Making: An Experimental Approach. Stanford University Press.
- de Finetti, Bruno. "Probabilism: A Critical Essay on the Theory of Probability and on the Value of Science," (translation of 1931 article) in Erkenntnis, volume 31, September 1989.
- de Finetti, Bruno (1937) "La Prévision: ses lois logiques, ses sources subjectives," Annales de l'Institut Henri Poincaré,
- de Finetti, Bruno. "Foresight: its Logical Laws, Its Subjective Sources," (translation of the 1937 article in French) in H. E. Kyburg and H. E. Smokler (eds), Studies in Subjective Probability, New York: Wiley, 1964.
- de Finetti, Bruno (1974–5). Theory of Probability. A Critical Introductory Treatment, (translation by A.Machi and AFM Smith of 1970 book) 2 volumes. Wiley ISBN 0-471-20141-3, ISBN 0-471-20142-1
- DeGroot, Morris (2004) Optimal Statistical Decisions. Wiley Classics Library. (Originally published 1970.) ISBN 0-471-68029-X.
- Hacking, Ian (December 1967). "Slightly More Realistic Personal Probability". Philosophy of Science. 34 (4): 311–325. doi:10.1086/288169. JSTOR 186120. Partly reprinted in: Gärdenfors, Peter and Sahlin, Nils-Eric. (1988) Decision, Probability, and Utility: Selected Readings. 1988. Cambridge University Press. ISBN 0-521-33658-9
- Hajek, A. and Hartmann, S. (2010): "Bayesian Epistemology", in: Dancy, J., Sosa, E., Steup, M. (Eds.) (2001) A Companion to Epistemology, Wiley. ISBN 1-4051-3900-5 Preprint
- Hald, Anders (1998). A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. ISBN 0-471-17912-4.
- Hartmann, S. and Sprenger, J. (2011) "Bayesian Epistemology", in: Bernecker, S. and Pritchard, D. (Eds.) (2011) Routledge Companion to Epistemology. Routledge. ISBN 978-0-415-96219-3 (Preprint)
- "Bayesian approach to statistical problems", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
- Howson, C.; Urbach, P. (2005). Scientific Reasoning: the Bayesian Approach (3rd ed.). Open Court Publishing Company. ISBN 978-0-8126-9578-6.
- Jaynes E.T. (2003) Probability Theory: The Logic of Science, CUP. ISBN 978-0-521-59271-0 (Link to Fragmentary Edition of March 1996).
- McGrayne, SB. (2011). The Theory That Would Not Die: How Bayes' Rule Cracked The Enigma Code, Hunted Down Russian Submarines, & Emerged Triumphant from Two Centuries of Controversy. New Haven: Yale University Press. ISBN 9780300169690; OCLC 670481486
- Morgenstern, Oskar (1978). "Some Reflections on Utility". In Andrew Schotter (ed.). Selected Economic Writings of Oskar Morgenstern. New York University Press. pp. 65–70. ISBN 978-0-8147-7771-8.
- Peirce, C.S.; Jastrow J. (1885). "On Small Differences in Sensation". Memoirs of the National Academy of Sciences. 3: 73–83. {{cite journal}}: Unknown parameter |last-author-amp= ignored (|name-list-style= suggested) (help)
- Pfanzagl, J (1967). "Subjective Probability Derived from the Morgenstern-von Neumann Utility Theory". In Martin Shubik (ed.). Essays in Mathematical Economics In Honor of Oskar Morgenstern. Princeton University Press. pp. 237–251.
- Pfanzagl, J.; V. Baumann; H. Huber (1968). "Events, Utility and Subjective Probability". Theory of Measurement. Wiley. pp. 195–220. {{cite book}}: Unknown parameter |last-author-amp= ignored (|name-list-style= suggested) (help)
- Ramsey, Frank Plumpton (1931) "Truth and Probability" (PDF), Chapter VII in The Foundations of Mathematics and other Logical Essays, Reprinted 2001, Routledge. ISBN 0-415-22546-9,
- Stigler, SM. (1990). The History of Statistics: The Measurement of Uncertainty before 1900. Belknap Press/Harvard University Press. ISBN 0-674-40341-X.
- Stigler, SM. (1999) Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. ISBN 0-674-83601-4
- Stone, JV (2013). Download chapter 1 of book "Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis", Sebtel Press, England.
- Winkler, RL (2003). Introduction to Bayesian Inference and Decision (2nd ed.). Probabilistic. ISBN 0-9647938-4-9. Updated classic textbook. Bayesian theory clearly presented.