您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了Python如何通過兩個dataframe用for循環求笛卡爾積,內容簡而易懂,希望大家可以學習一下,學習完之后肯定會有收獲的,下面讓小編帶大家一起來看看吧。
合并兩個沒有共同列的dataframe,相當于按行號求笛卡爾積。
最終效果如下
以下代碼是參考別人的代碼修改的:
def cartesian_df(A,B): new_df = pd.DataFrame(columns=list(A).extend(list(B))) for _,A_row in A.iterrows(): for _,B_row in B.iterrows(): row = A_row.append(B_row) new_df = new_df.append(row,ignore_index=True) return new_df #這個方法,如果兩張表列名重復會出錯
這段代碼的思路是對兩個表的每一行進行循環,運行速度比較慢,復雜度應該是O(m*n),m是A表的行數,n是B表的行數。
因為我用到的合并表行數比較多,時間太慢,所以針對上面的代碼進行了優化。
思路是利用dataframe的merge功能,先循環復制A表,將循環次數添加為列,直接使用merge合并,復雜度應該為O(n)(n是B表的行數),代碼如下:
def cartesian_df(df_a,df_b): '求兩個dataframe的笛卡爾積' #df_a 復制n次,索引用復制次數 new_df_a = pd.DataFrame(columns=list(df_a)) for i in range(0,df_b.shape[0]): df_a['merge_index'] = i new_df_a = new_df_a.append(df_a,ignore_index=True) #df_b 設置索引為行數 df_b.reset_index(inplace = True, drop =True) df_b['merge_index'] = df_b.index #merge new_df = pd.merge(new_df_a,df_b,on=['merge_index'],how='left').drop(['merge_index'],axis = 1) return new_df #兩個原始表中不能有列名'merge_index'
使用一張8行的表和一張142行的表進行測試,優化前的方法用時:5.560689926147461秒
優化后的方法用時:0.1296539306640625秒(142行的表作為b表)
根據計算原理,將行數少的表放在b表可以更快,測試用時:0.021603107452392578秒(8行的表作為b表)
這個速度已經達到預期,基本感覺不到等待,優化完成。
以上就是關于Python如何通過兩個dataframe用for循環求笛卡爾積的內容,如果你們有學習到知識或者技能,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。