您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“pandas中string如何轉dataframe”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“pandas中string如何轉dataframe”這篇文章吧。
業務上碰到用pandas處理一個大文件的內存不夠問題,需要做concat 合并多個文件,每個文件數據在1.4億行左右。當時第一反應是把dataframe分割成多塊小文件處理,后面發現即使pandas內存問題解決了,用pickle做保存數據時也會提升內存不夠的報錯,后來把dataframe對象轉化成string,發現內存占用減少了近一半。
所以打算用先轉成string再dump到離線文件里,官網文檔上只有to_string的說明,而從string轉dataframe卻沒有提供直接的函數。
其實很簡單,我們可以把string放到一個文件對象里,然后通過read_csv函數來創建dataframe對象。
import sys if sys.version_info[0] < 3: from StringIO import StringIO else: from io import StringIO import pandas as pd TESTDATA=StringIO("""col1;col2;col3 1;4.4;99 2;4.5;200 3;4.7;65 4;3.2;140 """) df = pd.read_csv(TESTDATA, sep=";")
以上是“pandas中string如何轉dataframe”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。