발표자: 조성일 교수님
발표 일자: 2022년 7월 25일
X1,⋯,Xn∣Σ∼N(0,Σ)
Σ=(σij)i,j=1p>0
비대각원소에는 정규혼합 사전분포를 가정한다.
π(σij)=(1−π)N(σij;0,v02)+πN(σij;0,v12),i=j
대각원소에는 축소 사전분포를 가정한다.
π(σii)=Exp(λ/2)
이를 정리하면 다음과 같다.
π(Σ)=[c(θ)]−1i<j∏[(1−π)N(σij;0,v02)+πN(σij;0,v12)]×i=1∏pExp(σii;2λ)I(Σ∈M+)
여기서 c(θ)는 정규화 상수이며 모수 θ={v0,v1,π,λ}이다.
Z=(zij)i<j∈{0,1}2p(p−1)
이 모형은 다음과 같은 계층모형으로 나타낼 수 있다.
π(Σ∣Z,θ)π(Z∣θ)=[c(θ)]−1i<j∏N(σij;0,vzij2)×i=1∏pExp(σii;2λ)I(Σ∈M+)=[c(θ)]−1c(z,v0,v1,λ)i<j∏πzij(1−π)1−zij.
위의 계층모형에서 표본을 추출하는 깁스 샘플러는 다음과 같다.
π(Σ,Z∣X1,⋯,Xn)∝i=1∏nNp(Xi;0,Σ)×i<j∏N(σij;0,vzij2)πzij(1−π)1−zij×i=1∏pExp(σii;2λ)I(Σ∈M+)∝∣Σ∣−2nexp[−21tr(SΣ−1)]×i<j∏{exp(−2vzij2σij2)}πzij(1−π)1−zij×i=1∏pexp(−2λσii)
P(zij=1∣Σ,X1,⋯,Xn)=πN(σij0,v12)+(1−π)N(σij;0,v02)πN(σij;0,v12)
V=(vzij2)은 p×p 대칭 행렬, vzij2=0 for i=j.
Σ=(Σ11σ12′σ12σ22)
S=X′X=(S11s12′s12s22)
V=(V11v12′v120)
이제 다음과 같은 변환을 생각하자.
(σ12, σ22)↦(u=σ12, v=σ22−σ12′Σ11−1σ12)
이 변환의 야코비안은 다음과 같이 계산된다.
∣J∣=(1−2Σ11−1σ1201)=1
그러면, 공분산의 역행렬은
Σ−1=(Σ11−1+Σ11−1σ12(σ22−σ21′Σ11−1σ12)σ12′Σ11−1−(σ22−σ12′Σ11−1σ12)−1σ12′Σ11−1…(σ22−σ12′Σ11−1σ12)−1)=(Σ11−1+Σ11−1uu′Σ11−1v−1−u′Σ11−1v−1−Σ11−1uv−1v−1)
따라서,
∣Σ∣tr(SΣ−1)=∣Σ11∣∣σ22−σ12′Σ11−1σ12∣=∣Σ11∣(σ22−σ12′Σ11−1σ12)∝v,=tr[(S11s21′s12s22)(Σ11−1+Σ11−1uu′Σ11−1v−1−u′Σ11−1v−1−Σ11−1uv−1v−1)]∝u′Σ11−1S11Σ11−1uv−1−2s12′Σ11−1uv−1+s22v−1
또한,
i<j∏exp(−2vzij2σj2)∝exp(−21u′D−1v),
여기서 D=diag(v12), v=σ22−σ12′Σ11−1σ12이다.
i=1∏pexp(−2λσii)∝exp(−2λ(u′Σ11−1u+v))
에서,
logπ(u,v∣⋅)∝−21{nlogv+u′Σ11−1S11Σ11−1uv−1−2s12′Σ11−1uv−1+s22v−1+u′D−1u+λu′Σ11−1u+λv},
π(u∣v,z,…)=N((B+D−1)−1w,(B+D−1)−1),B=Σ11−1S11Σ11−1v−1+λΣ11−1,w=Σ11−1s12v−1.
이는 Generalized inverse Gaussian, GIG(q,a,b)로, 그 확률밀도함수는
f(x)=2Kq(ab)(a/b)q/2λp−1e−(ax+b/x)/2
로 주어진다.
즉, π(v∣u,z,…)=GIG(1−n/2,λ,u′Σ11−1S11Σ11−1u−2s12′Σ11−1u+s22)이다.
이 분포들에서 순서대로 표본을 추출하면 된다.
참고: 실제로 이를 구현하면 수치적 오류로 인해 알고리듬이 잘 돌아가지 않는다.
Armigan?
- Σ=(σij)
- ρ=(ρij)
- π(Σ,ρ)=∏i>jN(σij;0,1−ρijρijτ2)Beta(ρij;a,b)×∏i=1pExp(σii;2λ)
-
v=(vij2)=(V11v12′v120), vij2=1−ρijρijτ2
ϕij=1−ρijρij라 하자. 그러면,
σij∣ϕijϕij∣ψijψij∼N(0,ϕijτ2),∼Gamma(a,ψij),∼Gamma(b,1)
에서
π(ψij∣ϕij,…)∝ψijb−1e−ψijϕija−1e−ψijϕijψija=ψija+b−1e−(ϕij+1)ψij=Gamma(⋅,a+b,ϕij+1).
π(ϕij∣…)∝ϕij−21e−2ϕijτ2σij2ϕija−1e−ψijϕij=ϕija−21−1e−2ϕijτ2σij2−ψijϕij=GIG(a−21, 2ψij, τ2σij2)