Python怎么實現非正太分布的異常值檢測方式

這篇文章主要介紹Python怎么實現非正太分布的異常值檢測方式，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

工作中，我們經常會遇到數據異常，比如說瀏覽量突增猛降，交易量突增猛降，但是這些數據又不是符合正太分布的，如果用幾倍西格瑪就不合適，那么我們如何來判斷這些變化是否在合理的范圍呢？

可以用箱形圖，具體描述如下：

箱形圖（英文：Box plot），又稱為盒須圖、盒式圖、盒狀圖或箱線圖，是一種用作顯示一組數據分散情況資料的統計圖。因型狀如箱子而得名。箱形圖最大的優點就是不受異常值的影響，能夠準確穩定地描繪出數據的離散分布情況，同時也利于數據的清洗。

異常值可以設置為上四分位數的1.25倍，也可以設置為1.5倍，具體的要通過實驗可得。

1、下四分位數Q1

（1）確定四分位數的位置。Qi所在位置=i（n+1）/4，其中i=1，2，3。n表示序列中包含的項數。

（2）根據位置，計算相應的四分位數。

例中：Q1所在的位置=（14+1）/4=3.75，Q1=0.25×第三項+0.75×第四項=0.25×17+0.75×19=18.5；

2、中位數（第二個四分位數）Q2中位數，即一組數由小到大排列處于中間位置的數。若序列數為偶數個，該組的中位數為中間兩個數的平均數。

例中：Q2所在的位置=2（14+1）/4=7.5，Q2=0.5×第七項+0.5×第八項=0.5×25+0.5×28=26.5

3、上四分位數Q3計算方法同下四分位數。

例中：Q3所在的位置=3（14+1）/4=11.25，Q3=0.75×第十一項+0.25×第十二項=0.75×34+0.25×35=34.25。

4、上限上限是非異常范圍內的最大值。

首先要知道什么是四分位距如何計算的？四分位距IQR=Q3-Q1，那么上限=Q3+1.5IQR5、下限下限是非異常范圍內的最小值。下限=Q1-1.5IQR

我這里是使用上四分位數的1.5倍作為上限，下四分位數的1.5倍作為下限。

這里是拿歷史一個月每天的產量和間夜量作為參考，統計出歷史的箱線圖的各個指標，然后將要比較的數據，來進行循環判斷，若超過上限/下限那么拋出1和0.

# -*- coding: utf-8 -*-
"""
Created on Tue Apr 30 10:52:37 2019
@author: chen_lib
"""
 
import pandas as pd
catering_sale = 'D:/Users/chen_lib/Desktop/ceshi.csv' #讀取歷史數據
datax = pd.read_csv(catering_sale) #讀取數據
#取出不是昨天的數據
data = datax.loc[datax['orderdate'] != datetime][:]
'''
import time
## yyyy-mm-dd格式
print (time.strftime("%Y-%m-%d"))
'''
#時間減一天
import datetime
datetime = (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d")
 
 
#保存基本統計量，將常見的統計信息保存為數據框
statistics = data.describe() 
#添加行標簽 計算出每個指標的上線下線和四分位間距
statistics.loc['IQR'] = statistics.loc['75%']-statistics.loc['25%'] #四分位數間距
statistics.loc['UP'] = statistics.loc['75%'] + 1.5*statistics.loc['IQR'] #上限
statistics.loc['DAWN'] = statistics.loc['25%'] - 1.5*statistics.loc['IQR']#下限
#取出data的列名
columns = data.columns.values.tolist()
 
 
'''取出要比較的數值,放在統計信息表'''
a = data.loc[data['orderdate'] == datetime][columns[1]]#取出第一列
b = data.loc[data['orderdate'] == datetime][columns[2]]#取出第二列
statistics.loc['res'] = [a[1],b[1]]#取出需要比較的當天的數據 放入統計信息中
  
 
'''循環取出結果是否滿足要求''' 
ret = [] 
for i in range(2):
  res = statistics.loc['res'][i]
  max = statistics.loc['UP'][columns[i+1]]#最大值
  min = statistics.loc['DAWN'][columns[i+1]]#最小值
  '''
  #重建三個值的索引，以便比較大小
  res.index = ['ordernum']
  max.index = max['ordernum']
  min.index = min['ordernum']
  #判斷異常值，若大于最大值或者小于最小值則拋出結果為1
  '''
  result1 = res>max
  result2 = res<min
  if result1 =='False' or result2 == 'False':
    ret.append([columns[i+1],1])
  else: 
    ret.append([columns[i+1],0])
  df = pd.DataFrame(ret)
  
	#將文件寫入excel表中
df.to_excel("d:/Users/chen_lib/Desktop/ceshi.xlsx",sheet_name="total",index=False,header=False)

以上是“Python怎么實現非正太分布的異常值檢測方式”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！