반응형 Statistics8 EM 알고리즘에 대하여 Optimization 강의 1 이번 포스팅에서는 머신러닝(machine learning) 분야에서 많이 등장하는 EM 알고리즘(Expectation–Maximization algorithm)에 대하여 알아보도록 하겠다. 요즘 머신러닝이 유행하면서 EM 알고리즘이 뭔가 새롭게 등장한 것 같지만, EM 알고리즘은 어찌보면 전통 통계기법이라 할 만큼 그 역사가 길다. EM 알고리즘의 이름이 처음 등장한 것은 1977년 Arthur Dempster, Nan Laird, and Donald Rubin이 쓴 논문에 처음 등장하지만, 이 논문의 요지는 ’이제까지 특정 분야들에서 여러 사람들에 의하여 제안되었던 방법들이 하나의 공통적인 과정을 따르고 있다.’라는 것이었다. 즉, 1977년 이전부터 쭉 사람들이 EM 알고리즘을 사용하여 문제를 해결했.. 2023. 4. 5. EM 알고리즘의 ascent property에 대하여 - Optimization with R 이전 포스팅에서는 EM 알고리즘에 대하여 간략한 예제를 통하여 알아보았다. 이번 포스팅에서는 EM 알고리즘이 작동하는 원리에 대하여 살짝 이해해보는 시간을 갖도록 하자. 전 포스팅에서 알아보았듯, 결국 EM 알고리즘은 E step과 M step을 반복 함으로써 우도 함수를 최대화시키는 방법이다. 자연스럽게 떠오르는 질문은 ‘항상 이러한 방법을 사용하면 우도 함수를 최대로 만드는 모수를 찾을 수 있을까?’ 일 것이다. 이러한 질문의 완벽한 대답은 되지 않지만, EM 알고리즘의 Path는 이번 포스팅에서 다룰 아주 좋은 성질을 가지고 있다. Ascent property of EM algorithm EM 알고리즘을 사용해서 우리는 모수의 값을 계속 업데이트 해 나아간다. 이렇게 업데이트된 모수는 우리가 최대화.. 2023. 4. 5. 메트로폴리스-해스팅스(Metropolis-Hastings) 난수추출 알고리즘에 대하여 이번 포스팅에서는 베이지안 통계에서 많이 사용되는 알고리즘인 Metropolis-Hastings(이하 MH) 알고리즘에 대하여 간단히 알아보고자 한다. MH 알고리즘은 마르코프 체인 몬테칼로(Markov Chain Monte Carlo) 방법 중 하나로, MH 알고리즘을 사용하여 타겟 분포를 정상분포(stationary distribution)로 갖는 마코브 체인을 발생시킬수 있기 때문이다. 이렇게 발생시킨 체인은 타켓 분포에서 발생시킨 상관성이 존재하는 표본으로 생각할 수 있는데, 이 표본들을 가지고 몬테칼로 방법을 적용하게 된다. 이러한 전반적인 과정을 머리속에 생각하면서, 오늘은 우리가 생각하는 특정 분포을 정상분포로 갖는 체인을 발생시키는 방법에 대하여 알아보자. Metropolis-Hasting.. 2022. 5. 9. [be-favorite] #5 중심극한정리에 관한 고찰 오늘 나른한 일요일 오후에 R distill 패키지로 블로그를 구축하려고 갔던 별다방에서, 중심극한정리에 대해 다시 생각해보게 되었습니다. 결국, 블로그 구축은 하나도 못하고 말이죠.😂 그래서, 어떤 것들을 고찰했는지 주저리주저리 떠들어 보겠습니다. 중심극한정리에 대한 고찰 수식 다음은 중심극한정리(Central Limit Theorem, CLT)를 표현할 때, 통계학에서 일반적으로 선호하는 아름다운 수식 한 줄입니다: \begin{align} \sqrt{n} ({\bar{X}}_n - \mu) \ \ \overset{d}{\longrightarrow} \ N(0, \sigma^2) \end{align} 여기서 $\overset{d}{\longrightarrow}$는 분포 수렴(convergence in.. 2022. 1. 23. 넷플릭스 DP에 나온 몬티홀 문제와 베이즈 정리에 대한 완벽 정리.zip 요즘 넷플릭스의 D.P. 드라마가 아주 핫하다. 개인적으로 군대의 기억이 새록새록나서 너무 재미있게 봤다. (아.. 이제는 지나가버린 잊고싶은 시간들...ㅠㅠㅠㅋㅋㅋ) 그렇게 재미있게 드라마를 보던 나에게 호기심을 자극했던 에피소드가 있었으니, 바로 4편의 허치도 병장이 나오는 몬티홀 게임에 대한 역설이었다. 정해인이 연기했던 안준호 이병! 구교환이 연기했던 구교환 상병(연기 무엇..? 개인적으로 너무 "호"인 배우ㅋㅋ)도 풀지 못해서 끙끙거렸던 몬티홀 문제를 한번 풀어보자. 참고로, 몬티홀 문제는 여러가지 이름으로 불리는데, 몬티홀의 역설, 몬티홀의 딜레마 이런 것들이 결국 하나의 문제를 이야기하는 것이다. 영상 보기전 아래쪽 강의안 다운받아 보면 좋을 것이다. 참고로 영상의 R코드는 아래쪽에 있다. .. 2021. 9. 27. 세상에서 가장 친절한 MLE 강의 시리즈. 1강 - 개념이해 슬기로운통계생활에서 유료멤버십을 개설했다. 슬통갱들에게 보답하고자, 최대우도 추정량 (Maximum Likelihood Estimator) 강의를 시작했다. 확률변수가 무엇인지, 확률밀도함수와 확률질량함수에 대한 개념정도 안다는 전제하에 거의 기초에서부터 시작하는 것으로 통계적 추론에 대한 지식이 거의 전무하다는 것을 전제로 강의한다. 기초부터 시작해서 통계학과 학부 3,4학년 혹은 타 학과 석사 1학년 수준까지 정복하는 것으로 목표을 잡았다. 수업에서 다루는 내용들은 어지간한 곳에서는 들을 수 없는 수준이라고 장담한다. 필자는 수학이나 통계에서 가장 중요한 것은 기호를 어떻게 쓰는지 확실하게 알려줘야하고, 명확하게 설명해야한다고 생각해서 가장 처음에는 기호 설명부터 진행했다. 다행히 멤버십 분들이 재미.. 2021. 9. 25. 확률변수와 모수(parameter)의 관계 예제 코드 rbernoulli 2020. 8. 4. 확률변수 (random variable)를 만들어 보자. 예제 코드 magic_box 2020. 8. 1. 이전 1 다음 반응형
