怎么用pandas處理缺失值

這篇文章主要介紹怎么用pandas處理缺失值，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

pandas對象的所有描述性統計信息默認情況下是排除缺失值的。

pandas對象中表現缺失值的方式并不完美，但是它對大部分用戶來說是有用的。對于數值型數據，pandas使用浮點值NaN（Not a Number來表示缺失值）。我們稱NaN為容易檢測到的標識值：

In : 

string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])

string_data

Out:

0      aardvark  1     artichoke  2            NaN  3       avocado  dtype: object

In:

string_data.isnull()

Out:

0     False  1     False  2      True  3     False  dtype: bool

在pandas中，我們采用了R語言中的編程慣例，將缺失值成為NA，意思是not available（不可用）。在統計學應用中，NA數據可以是不存在的數據或者是存在但不可觀察的數據（例如在數據收集過程中出現了問題）。當清洗數據用于分析時，對缺失數據本身進行分析以確定數據收集問題或數據丟失導致的數據偏差通常很重要。

Python內建的None值在對象數組中也被當作NA處理：

In:

string_data[0] = None

string_data.isnull()

Out:

0      True  1     False  2      True  3     False  dtype: bool

pandas項目持續改善處理缺失值的內部細節，但是用戶API函數，比如pandas. isnull，抽象掉了很多令人厭煩的細節。處理缺失值的相關函數列表如下：

•  dropna：根據每個標簽的值是否是缺失數據來篩選軸標簽，并根據允許丟失的數據量來確定閾值

•  fillna：用某些值填充缺失的數據或使用插值方法(如“ffill”或“bfill”)。

•  isnull：返回表明哪些值是缺失值的布爾值

•  notnull：isnull的反作用函數

01 過濾缺失值

有多種過濾缺失值的方法。雖然你可以使用pandas.isnull和布爾值索引手動地過濾缺失值，但dropna在過濾缺失值時是非常有用的。在Series上使用dropna，它會返回Series中所有的非空數據及其索引值：

In:

from numpy import nan as NA

data = pd.Series([1, NA, 3.5, NA, 7])

data.dropna()

Out:

0     1.0  2     3.5  4     7.0  dtype: float64

上面的例子與下面的代碼是等價的：

In:

data[data.notnull()]

Out:

0     1.0  2     3.5  4     7.0  dtype: float64

當處理DataFrame對象時，事情會稍微更復雜一點。你可能想要刪除全部為NA或包含有NA的行或列。dropna默認情況下會刪除包含缺失值的行：

In:

data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA]                       [NA, NA, NA], [NA, 6.5, 3.]])

cleaned = data.dropna()

data

Out:

   0     1     2  0  1.0  6.5  3.0  1  1.0  NaN  NaN  2  NaN  NaN  NaN  3  NaN  6.5  3.0

In:

cleaned

Out:

0     1     2   1.0  6.5  3.0

傳入how='all’時，將刪除所有值均為NA的行：

In:

data.dropna(how='all')

Out:

     0    1    2  0  1.0  6.5  3.0  1  1.0  NaN  NaN  3  NaN  6.5  3.0

如果要用同樣的方式去刪除列，傳入參數axis=1：

In:

data[4] = NA

data

Out:

     0    1    2   4  0  1.0  6.5  3.0 NaN  1  1.0  NaN  NaN NaN  2  NaN  NaN  NaN NaN  3  NaN  6.5  3.0 NaN

In:

data.dropna(axis=1, how='all')

Out:

     0    1    2  0  1.0  6.5  3.0  1  1.0  NaN  NaN  2  NaN  NaN  NaN  3  NaN  6.5  3.0

過濾DataFrame的行的相關方法往往涉及時間序列數據。假設你只想保留包含一定數量的觀察值的行。你可以用thresh參數來表示：

In:

df = pd.DataFrame(np.random.randn(7, 3))

df.iloc[:4, 1] = NA

df.iloc[:2, 2] = NA

df

Out:

          0         1         2  0 -0.204708       NaN       NaN  1 -0.555730       NaN       NaN  2  0.092908       NaN  0.769023  3  1.246435       NaN -1.296221  4  0.274992  0.228913  1.352917  5  0.886429 -2.001637 -0.371843  6  1.669025 -0.438570 -0.539741

In:

df.dropna()

Out:

         0         1         2  4 0.274992  0.228913  1.352917  5 0.886429 -2.001637 -0.371843  6 1.669025 -0.438570 -0.539741

In:

df.dropna(thresh=2)

Out:

         0         1         2  2 0.092908       NaN  0.769023  3 1.246435       NaN -1.296221  4 0.274992  0.228913  1.352917  5 0.886429 -2.001637 -0.371843  6 1.669025 -0.438570 -0.539741

02 補全缺失值

你有時可能需要以多種方式補全“漏洞”，而不是過濾缺失值（也可能丟棄其他數據）。

大多數情況下，主要使用fillna方法來補全缺失值。調用fillna時，可以使用一個常數來替代缺失值：

In:

df.fillna(0)

Out:

          0         1         2  0 -0.204708  0.000000  0.000000  1 -0.555730  0.000000  0.000000  2  0.092908  0.000000  0.769023  3  1.246435  0.000000 -1.296221  4  0.274992  0.228913  1.352917  5  0.886429 -2.001637 -0.371843  6  1.669025 -0.438570 -0.539741

在調用fillna時使用字典，你可以為不同列設定不同的填充值：

In:

df.fillna({1: 0.5, 2: 0})

Out:

         0         1         2  0 -0.204708  0.500000  0.000000  1 -0.555730  0.500000  0.000000  2  0.092908  0.500000  0.769023  3  1.246435  0.500000 -1.296221  4  0.274992  0.228913  1.352917  5  0.886429 -2.001637 -0.371843  6  1.669025 -0.438570 -0.539741

fillna返回的是一個新的對象，但你也可以修改已經存在的對象：

In:

_ = df.fillna(0, inplace=True)

df

Out:

        0         1         2  0 -0.204708  0.000000  0.000000  1 -0.555730  0.000000  0.000000  2  0.092908  0.000000  0.769023  3  1.246435  0.000000 -1.296221  4  0.274992  0.228913  1.352917  5  0.886429 -2.001637 -0.371843  6  1.669025 -0.438570 -0.539741

用于重建索引的相同的插值方法也可以用于fillna：

In:

df = pd.DataFrame(np.random.randn(6, 3))

df.iloc[2:, 1] = NA

df.iloc[4:, 2] = NA

df

Out:

         0         1         2  0  0.476985  3.248944 -1.021228  1 -0.577087  0.124121  0.302614  2  0.523772       NaN  1.343810  3 -0.713544       NaN -2.370232  4 -1.860761       NaN       NaN  5 -1.265934       NaN       NaN

In:

df.fillna(method='ffill')

Out:

          0         1         2  0  0.476985  3.248944 -1.021228  1 -0.577087  0.124121  0.302614  2  0.523772  0.124121  1.343810  3 -0.713544  0.124121 -2.370232  4 -1.860761  0.124121 -2.370232  5 -1.265934  0.124121 -2.370232

In:

df.fillna(method='ffill', limit=2)

Out:

        0         1         2  0  0.476985  3.248944 -1.021228  1 -0.577087  0.124121  0.302614  2  0.523772  0.124121  1.343810  3 -0.713544  0.124121 -2.370232  4 -1.860761       NaN -2.370232  5 -1.265934       NaN -2.370232

使用fillna你可以完成很多帶有一點創造性的工作。例如，你可以將Series的平均值或中位數用于填充缺失值：

In:

data = pd.Series([1., NA, 3.5, NA, 7])

data.fillna(data.mean())

Out:

0     1.000000  1     3.833333  2     3.500000  3     3.833333  4     7.000000  dtype: float64

以下是fillna的函數參數。

•  value：標量值或字典型對象用于填充缺失值

•  method：插值方法，如果沒有其他參數，默認是'ffill'

•  axis：需要填充的軸，默認axis=0

•  inplace：修改被調用的對象，而不是生成一個備份

•  limit：用于前向或后向填充時最大的填充范圍

以上是“怎么用pandas處理缺失值”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！