您好,登錄后才能下訂單哦!
今天小編給大家分享一下python pandas怎么遍歷每行并累加進行條件過濾的相關知識點,內容詳細,邏輯清晰,相信大部分人都還太了解這方面的知識,所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來了解一下吧。
本次記錄主要實現對每行進行排序,并保留前80%以前的偏好。
思路:
將每行的概率進行排序,然后累加,累加值小于等于0.8的偏好保留,獲得一個累加過濾的dataframe,然后映射回原始數據中,保留每行的偏好。接下來是代碼的實現
a = [[0.2, 0.35, 0.45], [0.1,0.2, 0.7], [0.3, 0.5, 0.2]] data = pd.DataFrame(a, index=['user1','user2','user3'], columns=["a", "b", "c"])
sum_df=[] for index,row in data.iterrows(): df = row.sort_values(ascending=False).cumsum() if df[0]>0.8: new_df = df[:1] else: new_df = df[df<=0.8] sum_df.append(new_df) sum_df = pd.DataFrame(sum_df) print(sum_df)
這是累加之后每個用戶保留的前80%偏好的類型,接下來如何將這個特征映射回去,將累加后的dataframe通過空值將其轉化為0-1dataframe,再和原數據集一一對應相乘,就可以映射回去了,代碼如下
d = (sum_df.notnull())*1 print(d)
final_df = d*data #將保留地特征映射到原始數據中 print(final_df)
本節內容目標明確,實現了每個用戶的前80%偏好,不知道正在看的小伙伴有沒有懂?可以一起討論哦!
接下來,考慮優化這個實現的代碼,前面的思路是通過兩個dataframe相乘實現的,當數據集非常大的時候,效率很低,于是不用list,利用字典的形式實現
sum_df=[] for index,row in data.iterrows(): df = row.sort_values(ascending=False).cumsum() origin = row.to_dict() #原始每個用戶值 if df[0]>0.8: new_df = df[:1] else: new_df = df[df<=0.8] name = new_df.name #user tmp = new_df.to_dict() for key in tmp.keys(): # 原始值映射 tmp[key] = origin[key] tmp['user'] = name sum_df.append(tmp) sum_df = pd.DataFrame(sum_df).set_index('user').fillna(0) print(sum_df)
通過字典映射效率很高,新測有效!
在數據分析的過程中,往往需要用到DataFrame的類型,因為這個類型就像EXCEL表格一樣,便于我們個中連接、計算、統計等操作。在數據分析的過程中,避免不了的要對數據進行遍歷,那么,DataFrame如何遍歷呢?之前,小白每次使用時都是Google或百度,想想,還是總結一下~
小白經常用到的有三種方式,如下:
首先,先讀入一個DataFrame
import pandas as pd #讀入數據 df = pd.read_table('d:/Users/chen_lib/Desktop/tmp.csv',sep=',', header='infer') df.head() -----------------result------------------ mas effectdate num 0 371379 2019-07-15 361 1 344985 2019-07-13 77 2 425090 2019-07-01 105 3 344983 2019-02-19 339 4 432430 2019-02-21 162
將DataFrame的每一行迭代為{索引,Series}對,對DataFrame的列,用row['cols']讀取元素
for index, row in df.iterrows(): print(index,row['mas'],row['num']) ------------result--------------- 0 371379 361 1 344985 77 2 425090 105 3 344983 339 4 432430 162
從結果可以看出,第一列就是對應的index,也就是索引,從0開始,第二第三列是自定義輸出的列,這樣就完成了對DataFrame的遍歷。
將DataFrame的每一行迭代為元祖,可以通過row['cols']對元素進行訪問,方法一效率高。
for row in df.itertuples(): print(getattr(row, 'mas'), getattr(row, 'num')) # 輸出每一行 -------------result----------------- 371379 361 344985 77 425090 105 344983 339 432430 162
從結果可以看出,這種方法是沒有index的,直接輸出每一行的結果。
這種方法和上面兩種不同,這個是按列遍歷,將DataFrame的每一列迭代為(列名, Series)對,可以通過row['cols']對元素進行訪問。
for index, row in df.iteritems(): print(index,row[0],row[1],row[2]) -------------result------------------ masterhotelid 371379 344985 425090 effectdate 2019-07-15 2019-07-13 2019-07-01 quantity 361 77 105
從結果可以看出,index輸出的是列名,row是用來讀取第幾行的數據,結果是按列展示
以上就是“python pandas怎么遍歷每行并累加進行條件過濾”這篇文章的所有內容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,小編每天都會為大家更新不同的知識,如果還想學習更多的知識,請關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。