溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本文章向大家介紹使用python怎么把超大的txt文件轉換為csv文件的基本知識點總結和需要注意事項，具有一定的參考價值，需要的朋友可以參考一下。
Python是一種編程語言，內置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強大，在許多領域中都有廣泛的應用，例如最熱門的大數據分析，人工智能，Web開發等。
import numpy as np
import pandas as pd
data_txt = np.loadtxt('datas_train.txt')
data_txtDF = pd.DataFrame(data_txt)
data_txtDF.to_csv('datas_train.csv',index=False)上述的datas_train.txt只有不到100MB，560W行數據，三分鐘之內轉換完畢。
然后我換了一個5600W行共1.2G的txt文本，用上述代碼轉換，電腦直接卡死了。
原因在于上述代碼會把全部的txt加載進內存，然后再轉換，這就會造成電腦內存耗盡。
然后就想到了切割數據的辦法，具體實現如下：
import numpy as np
import pandas as pd
train_data = pd.read_table('big_data.txt',iterator=True,header=None)
while True:
try:
chunk = train_data.get_chunk(5600000)
chunk.columns = ['user_id','spu_id','buy_or_not','date']
chunk.to_csv('big_data111.csv', mode='a',header=False,index = None)
except Exception as e:
break以上就是小編為大家帶來的使用python怎么把超大的txt文件轉換為csv文件的全部內容了，希望大家多多支持億速云！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
