ABOUT ME

-

  • MLE, 최대가능도 추정법
    카테고리 없음 2024. 11. 30. 23:58

    최대가능도 추정법(MLE)의 정의

    • 주어진 데이터를 가장 잘 설명하는 확률 분포의 모수를 추정하는 통계적 방법이다.

    최대가능도 추정법(MLE)의 첫 번째 단계

    • 데이터가 따르는 확률 분포를 가정하는 것이다.

    최대가능도 추정법(MLE)의 두 번째 단계

    • 가능도 함수 L(θ|x)를 정의하는 것이다.

    가능도 함수의 의미

    • 주어진 데이터 x에 대해 모수 θ를 가진 분포의 확률을 나타낸다.

    가능도 함수의 수식

    • L(θ|x)=P(x|θ)=P(xi|θ)
    • 궁금증 1: L(θ|x)=P(x|θ)에서 왜 x, θ가 뒤집혔을까?
    • 궁금증 2: P(xi|θ)의 의미는 뭘까?

    최대가능도 추정법(MLE)의 세 번째 단계

    • 로그 가능도 함수 lnL(θ|x)를 계산하는 것이다.

    로그 가능도 함수의 수식

    • lnL(θ|x)=lnP(xi|θ)

    최대가능도 추정법(MLE)의 네 번째 단계

    • 로그 가능도 함수를 최대화하는 모수 θ를 찾는 것이다.
    • 궁금증: 왜 모수 θ를 찾을까?

    로그 가능도 함수의 극대값 계산

    • lnL(θ|x)θ=0을 통해 구한다.

    최대가능도 추정법(MLE)의 특징

    • 일관성: 표본 크기가 증가할수록 추정치가 실제 모수에 수렴한다
    • 효율성: 대부분의 경우 가장 효율적인 추정량을 제공한다.
    • 불편성: 항상 불편추정량을 제공하지는 않는다.

    정규분포에서 최대가능도 추정법(MLE)의 평균 추정치

    • μ^=1nxi

    정규분포에서 최대가능도 추정법(MLE)의 분산 추정치

    • σ^2=1n(xiμ^)2

    최대가능도 추정법(MLE)의 사용 분야

    • 데이터 분석, 기계학습, 통계적 추론 등 다양한 분야.
    반응형
Designed by Tistory.