1. Blending

1.1 Blending 流程

Blending相較于Stacking來說要簡單一些，其流程大致分為以下幾步：

• 將數據劃分為訓練集和測試集(test_set)，其中訓練集需要再次劃分為訓練集(train_set)和驗證集(val_set)；
• 創建第一層的多個模型，這些模型可以使同質的也可以是異質的；
• 使用train_set訓練步驟2中的多個模型，然后用訓練好的模型預測val_set和test_set得到val_predict, test_predict1；
• 創建第二層的模型,使用val_predict作為訓練集訓練第二層的模型；
• 使用第二層訓練好的模型對第二層測試集test_predict1進行預測，該結果為整個測試集的結果 1.2 Blending 圖解    

2. Stacking

2.1 Stacking 流程

Stacking流程比較復雜因為涉及到交叉驗證的過程，其流程與Blending類似，具體如下：

• 將數據劃分為訓練集和測試集(test_set)，對訓練集進行劃分為K個大小相似的集合，取其中一份作為驗證集val_set,其余的為訓練集train_set；
• 創建第一層的多個模型，這些模型可以使同質的也可以是異質的；
• 對于每一個模型來說，train_set和val_set是不一樣的，如2.2圖所示；然后利用各自的train_set訓練各自的模型，訓練好的模型對各自的val_set和test_set進行預測，得到val_predict和test_predict；
• 創建第二層的模型，將每個模型對應的val_predict拼接起來作為第二層的訓練集，將所有模型的test_predict取平均值作為第二層的測試集；用訓練好的第二層模型對第二層的測試集進行預測，得到的結果即為整個測試集的結果

2.2 Stacking 圖解

stacking 網上有兩種解釋，一種是單個模型進行5次交叉驗證得到一個結果，然后對每個模型都進行相同的操作，此時訓練集的維度為(#樣本數目 x #模型數目)；另一種是每個模型對數據的每一折輸出一個結果，然后把每一折的結果拼接起來，此時的訓練集維度(#樣本數目 x 1)。

3. Blending與Stacking對比

Blending的優點在于：

1.比stacking簡單（因為不用進行k次的交叉驗證來獲得stacker feature）

2.避開了一個信息泄露問題：generlizers和stacker使用了不一樣的數據集

3.在團隊建模過程中，不需要給隊友分享自己的隨機種子

而缺點在于：

1.使用了很少的數據（是劃分hold-out作為測試集，并非cv）

2.blender可能會過擬合（其實大概率是第一點導致的）

3.stacking使用多次的CV會比較穩健