您好,登錄后才能下訂單哦!
這篇文章給大家分享的是有關Python中數據清洗指的是什么的內容。小編覺得挺實用的,因此分享給大家做個參考。一起跟隨小編過來看看吧。
數據清洗,是進行數據分析和使用數據訓練模型的必經之路,也是最耗費數據科學家/程序員精力的地方。
這些用于數據清洗的代碼有兩個優點:一是由函數編寫而成,不用改參數就可以直接使用。二是非常簡單,加上注釋最長的也不過11行。
在介紹每一段代碼時,都給出了用途,也在代碼中也給出注釋。
大家可以把這篇文章收藏起來,當做工具箱使用。
涵蓋8大場景的數據清洗代碼
這些數據清洗代碼,一共涵蓋8個場景,分別是:
刪除多列、更改數據類型、將分類變量轉換為數字變量、檢查缺失數據、刪除列中的字符串、刪除列中的空格、用字符串連接兩列(帶條件)、轉換時間戳(從字符串到日期時間格式)
刪除多列
在進行數據分析時,并非所有的列都有用,用df.drop可以方便地刪除你指定的列。
轉換數據類型
當數據集變大時,需要轉換數據類型來節省內存。
將分類變量轉換為數值變量
一些機器學習模型要求變量采用數值格式。這需要先將分類變量轉換為數值變量。同時,你也可以保留分類變量,以便進行數據可視化。
檢查缺失數據
如果你要檢查每列缺失數據的數量,使用下列代碼是最快的方法。可以讓你更好地了解哪些列缺失的數據更多,從而確定怎么進行下一步的數據清洗和分析操作。
刪除列中的字符串
有時候,會有新的字符或者其他奇怪的符號出現在字符串列中,這可以使用df[‘col_1’].replace很簡單地把它們處理掉。
刪除列中的空格
數據混亂的時候,什么情況都有可能發生。字符串開頭經常會有一些空格。在刪除列中字符串開頭的空格時,下面的代碼非常有用。
用字符串連接兩列(帶條件)
當你想要有條件地用字符串將兩列連接在一起時,這段代碼很有幫助。比如,你可以在第一列結尾處設定某些字母,然后用它們與第二列連接在一起。
根據需要,結尾處的字母也可以在連接完成后刪除。
轉換時間戳(從字符串到日期時間格式)
在處理時間序列數據時,我們很可能會遇到字符串格式的時間戳列。
這意味著要將字符串格式轉換為日期時間格式(或者其他根據我們的需求指定的格式) ,以便對數據進行有意義的分析。
感謝各位的閱讀!關于Python中數據清洗指的是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。