溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
在python中計算一個多維數組的任意百分比分位數，只需用np.percentile即可，十分方便
import numpy as np a = [154, 400, 1124, 82, 94, 108] print np.percentile(a,95) # gives the 95th percentile
補充拓展：如何解決hive同時計算多個分位數的問題
眾所周知，原生hive沒有計算中位數的函數(有的平臺會有)，只有計算分位數的函數percentile
在數據量不大的時候，速度尚可。但是數據量一上來之后，完全計算不出來。
那么如何解決這個問題呢，我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數，速度飛快。
比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組，value_mccgroup的分位數
第一步：利用row_number() over()給value_mccgroup在分組里排序，記錄下排名
第二步：計算mkt_label,mccgroup,month分組下的數據總數
第三步：join前兩步的結果，取rank=你需要計算的分位數位置，想計算多少個分位數就計算多少個
第四步：再排一次序，這次數據量就已經少了很多了，畢竟每組里面只有幾個數據，記錄排名
第五步：得到具體的分位數
第六步：行轉成列，所有分位數計算完畢
后來查看了下SQL代碼的執行樹，發現percentile利用了map來存數據，怪不得這么耗內存，其實時間久并不是算的時間久，是因為內存不夠了，系統一直在回收內存
而rank over 僅僅就是個排序而已
以上這篇python多維數組分位數的求取方式就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
