Nonparametric Bayesian Seminar 1 : Notes

(mục đích chính là viết ra để khỏi quên nên sẽ  lộn xộn. Không có hình vẽ)

Paper: Introduction to Nonparametric Bayesian Models (Naonori Ueda, Takeshi Yamada)

1. Generative model: gán cho quá trình tạo ra data một mô hình xác suất.
Latent variable model: cho thêm các latent variable vào, tạo mô hình có degree of freedom cao.
Xét bài toán clustering thì có mô hình tiêu biểu Mixture model p(x | \theta)=\sum_{i} \pi_{i} p_{i}(x | \theta_{i}) với \sum_{i}\pi_{i} = 1 . latent variable z_{i} = k nếu x được tạo ra từ class k , k = 1,...,K. p_{i} thường dùng là Normal.

  • Frequentist: Định sẵn K( < \infty), parameter là \theta = [\theta_{1},...,\theta_{K}]. rồi dùng EM tìm maximum của P(X | \theta)
  • Parametric Bayesian :  Vẫn định sẵn K.

a. Định 1 prior cho \theta : \theta_{(k)} sinh ra theo phân bố G_{0} vớik = 1,..,K

b. Định prior cho \pi với Dirichlet(\pi, \gamma_{1},...,\gamma_{K}) (conjugate with multinomial). Đến phiên \gamma thì muốn truy lên nữa cũng có thể nhưng thường thì vậy là đủ.
c.Đến đây rồi thì tìm \theta để Max P(\theta | X) (cũng bằng EM?)
2. Nonparametric  Bayesian model: mô hình Dirichlet Process Mixture (DPM) làm việc với K = \infty class. Nói chung thì cũng giống như ở parametric bayesian model: sản sinh vô hạn \theta_{(1)},...,\theta_{(k)},... , k = 1,...,\infty theo phân bố nền tảng G_{0}, sản sinh \pi_{1},...,\pi_{k},... sao cho \sum_{k=1}^{\infty} \pi_{k}= 1.  Khi đó \theta sẽ có phân bố rời rạc G(\theta) = \sum_{k=1}^{\infty}\pi_{k}\delta_{\theta(k)}(\theta) với \delta là Krocneker Delta.
Khoan nói đến sản sinh \theta_{(k)} từ G_{0} , xem trước cách chọn(tạo ra) \pi_{k}, là xác suất mà một data x_{i} sẽ thuộc class k

a. Stick-Breaking Process(SBP): \sum_{k=1}^{\infty} =1 nên có nhiều cách chia, 1 trong những cách đó là SBP. Tưởng tượng ban đầu có thanh gỗ có độ dài 1. SBP sẽ bẻ dần dần \pi_{1} , \pi_{2} , ... từ thanh gỗ này.

  • generate ratio theo Beta(1,\gamma). ratio sẽ thuộc [0,1]
  • Bẻ \pi_{i} có độ dài bằng ratio * Độ dài còn lại của thanh gỗ sau lần bẻ i - 1.

Tính chất: \gamma nhỏ ratio lớn và ngược lại
E[\pi_{k}] giảm exponentially theo k : lúc đầu thanh gỗ dài còn dễ bẻ, càng về sau càng ngắn càng khó bẻ.
Dùng SBP thì  thấy rõ normalizing condition được thỏa,  nhưng phải tạo đủ \theta_{1},\theta_{2},\theta_{k},...,\theta_{\infty} từ đầu (?).

b.  Chinese Restaurant Process(CRP):

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: