[AIB] Bayesian

총 확률의 법칙 (The Law of Total Probability)

A라는 특정 확률 변수에 대해, 가능한 모든 이벤트의 총 확률은 1이다.

 즉, P(A) = ∑n P(An) = 1

조금 더 나아가서 2개의 변수를 고려한다면 (A와 B), 두 변수가 연관이 있는 경우,

B가 일어난 상황에서의 A에 대한 확률 P(A)는 P(A|B)의 형태로 표현된다.

(반대로 연관이 없는 경우에는 B가 일어난 상황에서 A에 대한 확률은 P(A)*P(B)이다.)

 

 

조건부 확률 (The Law of Conditional Probability)

다른 이벤트가 일어난 상황에서의 조건은 밴다이어그램을 이용해서 설명할 수 있다.

위의 식에 P(B)를 양변에 곱하면, P(A|B)P(B) = P(A∩B) 식을 얻을 수 있다. 이는 곧 P(A|B) = Σn P(A∩Bn) 을 의미하고

B라는 정보가 주어진 상황에서 A의 확률은 B와 교집합들의 합으로 구성되어 있다는 것을 이해할 수 있다.

 

 

베이지안 이론 (Bayes Theorem)

P(A|B) → 사후 확률 (B라는 정보가 업데이트된 이후의 사후 확률) = Posterior

P(A) → 사전 확률. B라는 정보가 업데이트 되기 전의 사전 확률 = Prior

P(B|A) → likelihood

P(B) → Total Probability : normalize 하는 역할 (확률, 비율로 표현)

 

몬티홀 문제

https://ko.wikipedia.org/wiki/%EB%AA%AC%ED%8B%B0_%ED%99%80_%EB%AC%B8%EC%A0%9C

몬티 홀 문제 - 위키백과, 우리 모두의 백과사전

 

 

몬티홀 with 베이지안

가정

H (Hypothesis) : 1번 문 뒤에 자동차가 있음

E (Evidence) : 진행자가 염소가 있는 문을 1개 열어줌

 

베이지안

P(H|E) = P(E|H)P(H) / P(E) = P(E|H)P(H) / ( P(E|H)P(H) + P(E|notH)P(notH) )

 

우리가 구해야 하는 것

• P(E|H) : 1번 문에 자동차가 있는 상황에서 진행자가 염소가 있는 문 1개를 열어줄 확률 = 1
• P(H) : 자동차가 1번 문에 있을 확률 = 1/3
• P(E|notH) : 1번 문에 자동차가 없는 상황에서 진행자가 염소가 있는 문을 1개 열어줄 확률 = 1
• P(notH) : 2/3

계산 결과

P(H|E) : 진행자가 염소가 있는 문을 1개 열어줬을 때, 1번 문 뒤에 자동차가 있을 확률 = 1/3

 

 

베이지안 기반 신뢰구간 추정 with scipy

import numpy as np
from scipy import stats

mean_CI, _, _ = stats.bayes_mvs(coinflips, alpha=.95)	# mean, variance, std
mean_CI

Output : Mean(statistic=0.35, minmax=(0.12097224312031751, 0.5790277568796824))

 

 

ex. 동전 던지기에서의 bayesian distribution

• Prior distribution : no idea → uniform distribution (균등분포) 사용
• Data Update : update 됨에 따라서 분포가 점점 변화홤 → normal distirbution (정규분포)
• Posterior : 결과 도출

cf.

data update를 매번 실행하면 분포가 너무 많이 바뀌어야 하므로 큰 단위로 묶어서 한 번에 실행시는 방법을 사용한다.

→ batch process

 

만약 streaming data (계속해서 흘러들어오는 데이터)라면, 베이지안 통계를 사용할 때 라이브로 분포가 계속해서 수정된다. (따라서 정확도가 높아짐)