LDA主題模型學習相關的書籍介紹

關于LDA主題模型，一度是NLP領域一個非常火的模型，后來深度學習大放異彩，它的熱度才慢慢降了下來。

由于數學基礎很差，一直沒有理解LDA的整個核心。到目前為止，也只是理解了皮毛。記錄一下關于LDA主題模型相關的學習資料。

LDA主題模型屬于編碼簡單，但是數學功底要求較高的一個機器學習模型，在搜索引擎和廣告領域有用到。按照《LDA 數學八卦》作者靳志輝老師的說法，是一個比較簡單的模型，前提是需要數學功底扎實。如果統計學基礎扎實，理解LDA主題模型基本是一馬平川。

理解LDA主題模型，其實包含4大塊的內容: 微積分基礎，概率論與數理統計基礎, 隨機模擬算法, 文本建模思路。LDA數學八卦講解的思路就是微積分-分布函數-隨機模擬-文本建模這條主線的。個人認為，如果數學基礎比較差的話，光靠《LDA數學八卦》是很難理解清楚LDA主題模型的。出于彌補數學短板的目的，也是出于興趣，我前后看了一些書。如下的書籍我覺得還是不錯的。

1. 微積分基礎

《普林斯頓微積分讀本》 這本書從高中數學的基本函數開始，到微積分的各種技巧。講解細致，學習曲線平緩。

如果這本書覺得枯燥，可以配合如下的4本科普入門。
《數學悖論與三次數學危機》
《天才引導的歷程：數學中的偉大定理》
《微積分的歷程：從牛頓到勒貝格》
《簡單微積分 : 學校未教過的超簡易入門技巧》

這幾本書下來，不敢說理解微積分了，至少看到微積分的那個求和符號會感覺親切很多。

2. 概率論與數理統計基礎

關于數理統計，有幾個個人名不得不提: 陳希儒，吳喜之，茆詩松。
《機會的數學》
《數理統計學簡史》

上面兩本是科普層面的書，簡史中數學推導有點難，但是不妨礙理解整個主線條。接下來就是比較硬的專業書籍了。

《概率論與數理統計教程》(茆詩松)
《概率論與數理統計》(陳希孺)
《數理統計學教程》(陳希孺)
《貝葉斯統計》(茆詩松)

這里面能看懂多少是多少吧，我到現在也只能理解很少的一部分。到這里，就到了LDA數學八卦里面提到的數學不超出《概率論與數理統計》這本書的層級了。其實，陳院士的這本書難度還是頗大的，畢竟立足點高遠。就像《高觀點下的初等數學》那樣，盡管講解的是初等數學，但是無奈站的太高，只能仰望。 吳喜之教授的幾本書，在豆瓣上評價也挺不錯的，可以搭配著看。

3. 隨機模擬

其實隨機模擬是比較簡單的。這里推薦一本講隨機模擬的書，盡管里面沒有講Gibbs算法。我是看了這本書，才理解了MCMC算法的基本思路的。個人覺得對于理解MCMC算法非常有幫助。
《隨機模擬方法與應用》

看完這本書的幾個章節估計就能理解清楚MCMC算法的來龍去脈了。 幾乎沒有書籍專門講解MCMC是因為它的內容基本不足以支撐一本書。
《統計模擬》在豆瓣的評價也不錯，應該可以搭配著看。

4. 文本建模

我理解文本建模就是數學建模。各種降低現實問題復雜度的假設，比如詞袋模型。其實有了前面的數學基礎，這里應該是不需要看什么書來幫助理解的。如果一定要看一下的話，吳軍老師的《數學之美》我覺得應該不錯。再或者，看一下《統計自然語言處理基礎》。

個人覺得，看書沒必要嚴格按照一定的先后順序，相互印證，配合理解才是王道。

整個路徑梳理下來，感覺對于機器學習的模型，最關鍵的還是數學功底。去年看了一些數學類的書籍，感覺數學還是相當有意思的，關鍵在于選擇合適自己當前水平的書，才能不至于因為難度太大而喪失探索的興趣和欲望。 李健老師說"重復也是一種力量", 路慢慢其修遠兮，呵護培養著興趣，且行且珍惜吧。