溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關如何使用Pandas分塊處理大文件的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。
使用Pandas分塊處理大文件
問題：今天在處理快手的用戶數據時，遇到了一個差不多600M的txt文本，用sublime打開都蹦了，我用pandas.read_table()去讀，差不多花了近2分鐘，最后打開發現差不多3千萬行數據。這僅僅是打開，如果要處理不知得多費勁。
解決：我翻了一下文檔，這一類讀取文件的函數有兩個參數：chunksize、iterator
原理就是不一次性把文件數據讀入內存中，而是分多次。
1、指定chunksize分塊讀取文件
read_csv 和 read_table 有一個 chunksize 參數，用以指定一個塊大小(每次讀取多少行)，返回一個可迭代的 TextFileReader 對象。
table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000) for df in table: 對df處理 #如df.drop(columns=['page','video_id'],axis=1,inplace=True) #print(type(df),df.shape)打印看一下信息12345
我這里又對文件進行了劃分，分成若干個子文件分別處理(沒錯，to_csv也同樣有chunksize參數)
2、指定iterator=True
iterator=True同樣返回的是TextFileReader對象
reader = pd.read_table('tmp.sv', sep='\t', iterator=True) df=reader.get_chunk(10000) #通過get_chunk(size)，返回一個size行的塊 #接著同樣可以對df處理感謝各位的閱讀！關于“如何使用Pandas分塊處理大文件”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
