您好,登錄后才能下訂單哦!
python中怎么利用pandas合并數據,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
Pandas有concat、append、join和merge四種方法用于dataframe拼接,
concat、append、join、merge 區別如下:
1、.concat():pandas的頂級方法,提供了axis設置可用于df間行方向(增加行,下同)或列方向(增加列,下同)進行內聯或外聯拼接操作
2、.append():dataframe數據類型的方法,提供了行方向的拼接操作
3、.join():dataframe數據類型的方法,提供了列方向的拼接操作,支持左聯、右聯、內聯和外聯四種操作類型
4、.merge():pandas的頂級方法,提供了類似于SQL數據庫連接操作的功能,支持左聯、右聯、內聯和外聯等全部四種SQL連接操作類型
concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False,
copy=True)
"""
常用參數說明:
axis:拼接軸方向,默認為0,沿行拼接;若為1,沿列拼接
join:默認外聯'outer',拼接另一軸所有的label,缺失值用NaN填充;內聯'inner',只拼接另一軸相同的label;
join_axes: 指定需要拼接的軸的labels,可在join既不內聯又不外聯的時候使用
ignore_index:對index進行重新排序
keys:多重索引
"""
import pandas as pd
def df_maker(cols, idxs):
return pd.DataFrame({c:[c+str(i) for i in idxs] for c in cols}, index=idxs)
df1 = df_maker('abc',[1,2,3])
df2 = df_maker('cde',[3,4,5])
print(df1)
print(df2)
print(pd.concat([df1,df2])) # 默認沿axis=0,join=‘out’的方式進行concat
print(pd.concat([df1,df2], ignore_index=True)) # 重新設定index(效果類似于pd.concat([df1,df2]).reset_index(drop=True))
print(pd.concat([df1,df2], axis=1)) # 沿列進行合并
print(pd.concat([df1,df2], axis=1, join='inner')) # 沿列進行合并,采用外聯方式因為行中只有index=3是重復的,所以只有一行
print(pd.concat([df1,df2], axis=1, join_axes=[df1.index])) # 指定只取df1的index
from pandas import Index
index = Index([1,2,4])
print(pd.concat([df1,df2], axis=1, join_axes=[index])) # 自定義index
print(pd.concat([df1,df2], axis=0,keys=["第一組","第二組"])) # 通過key定義多重索引
append(self, other, ignore_index=False, verify_integrity=False)
"""
常用參數說明:
other:另一個df
ignore_index:若為True,則對index進行重排
verify_integrity:對index的唯一性進行驗證,若有重復,報錯。若已經設置了ignore_index,則該參數無效
"""
import pandas as pd
def df_maker(cols, idxs):
return pd.DataFrame({c:[c+str(i) for i in idxs] for c in cols}, index=idxs)
df1 = df_maker('abc',[1,2,3])
df2 = df_maker('cde',[3,4,5])
print(df1.append(df2)) # 效果類似于pd.concat([df1,df2])
print(df1.append(df2,ignore_index=True)) # index重排,效果類似于pd.concat([df1, df2], ignore_index=True)
#print(df1.append(df2,verify_integrity=True)) # 因為兩個df均有index=3,所以報錯
join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)
"""
常用參數說明:
on:參照的左邊df列名key(可能需要先進行set_index操作),若未指明,按照index進行join
how:{‘left’, ‘right’, ‘outer’, ‘inner’}, 默認‘left’,即按照左邊df的index(若聲明了on,則按照對應的列);若為‘right’abs照左邊的df
若‘inner’為內聯方式;若為‘outer’為全連聯方式。
sort:是否按照join的key對應的值大小進行排序,默認False
lsuffix,rsuffix:當left和right兩個df的列名出現沖突時候,通過設定后綴的方式避免錯誤
"""
import pandas as pd
import numpy as np
df3 = pd.DataFrame({'lkey':['foo','bar','baz','foo'], 'value':np.arange(1,5)})
df4 = pd.DataFrame({'rkey':['foo','bar','qux','bar'], 'value':np.arange(3,7)})
print(df3)
print(df4)
#print(df3.join(df4)) # 兩者有相同的列名‘value’,所以報錯
print(df3.join(df4 , lsuffix='_df3', rsuffix='_df4')) # 通過添加后綴避免沖突
print(df3.set_index('lkey').join(df4.set_index('rkey'), how='outer',lsuffix='_df3',rsuffix='_df4')) # 可以通過將兩邊的key進行set_index
print(df3.join(df4.set_index('rkey'), on='lkey',lsuffix='_df3',rsuffix='_df4'))
# 也可以通過設置后邊df中key,并通過on與指定的左邊df中的列進行合并,返回的index不變
pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=False,
suffixes=('_x', '_y'), copy=True, indicator=False,
validate=None):
"""
既可作為pandas的頂級方法使用,也可作為DataFrame數據結構的方法進行調用
常用參數說明:
how:{'left’, ‘right’, ‘outer’, ‘inner’}, 默認‘inner’,類似于SQL的內聯。'left’類似于SQL的左聯;'right’類似于SQL的右聯;
‘outer’類似于SQL的全聯。
on:進行合并的參照列名,必須一樣。若為None,方法會自動匹配兩張表中相同的列名
left_on: 左邊df進行連接的列
right_on: 右邊df進行連接的列
suffixes: 左、右列名稱前綴
validate:默認None,可定義為“one_to_one” 、“one_to_many” 、“many_to_one”和“many_to_many”,即驗證是否一對一、一對多、多對一或
多對多關系
"""
"""
SQL語句復習:
內聯:SELECT a.*, b.* from table1 as a inner join table2 as b on a.ID=b.ID
左聯:SELECT a.*, b.* from table1 as a left join table2 as b on a.ID=b.ID
右聯:SELECT a.*, b.* from table1 as a right join table2 as b on a.ID=b.ID
全聯:SELECT a.*, b.* from table1 as a full join table2 as b on a.ID=b.ID
"""
import pandas as pddf3 = pd.DataFrame({'lkey':['foo','bar','baz','foo'], 'value':np.arange(1,5)})df4 = pd.DataFrame({'rkey':['foo','bar','qux','bar'], 'value':np.arange(3,7)})print(df3)print(df4)print(pd.merge(df3,df4)) # on為None,自動找尋相同的列名,即為'value',且默認為內聯print(pd.merge(df3,df4,how='outer')) # 外聯模式下print(pd.merge(df3, df4, left_on='lkey',right_on='rkey')) # 默認內聯,2個foo*2個barprint(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='left')) # 以左邊的df3為標準進行連接print(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='right')) # 以右邊的df4為標準進行連接print(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='outer')) # 全連接print(pd.merge(df3, df4, left_on='lkey',right_on='rkey', how='inner')) # 內連接
看完上述內容,你們掌握python中怎么利用pandas合并數據的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。