#IT明星不是夢#利用Python進行網站日志分析

網站的訪問日志是一個非常重要的文件，通過分析訪問日志，能夠挖掘出很多有價值的信息。本文介紹如何利用Python對一個真實網站的訪問日志進行分析，文中將綜合運用Python文件操作、字符串處理、列表、集合、字典等相關知識點。本文所用的訪問日志access_log來自我個人的云服務器，大家可以從文末的附件中下載。

1.提取指定日期的日志

下面是一條典型的網站訪問日志，客戶端訪問網站中的每個資源都會產生一條日志。

193.112.9.107 - - [25/Jan/2020:06:32:58 +0800] "GET /robots.txt HTTP/1.1" 404 208 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"

每條日志都由空格分隔為九部分，其中比較重要的是：

• 第1部分，193.112.9.107 ，客戶端的IP地址。
• 第4部分，[25/Jan/2020:06:32:58 +0800]，用戶訪問請求發生的時間。
• 第5部分，GET /robots.txt HTTP/1.1，客戶端發來的HTTP請求報文首部的第一行信息。這部分采用“請求方法 請求資源 請求協議”的格式表示，是日志中最重要的部分。“GET /robots.txt HTTP/1.1”表示客戶端以GET方法請求訪問服務器的/robots.txt文件，所使用的HTTP協議版本為HTTP/1.1。
• 第6部分， “404”，HTTP響應狀態碼。狀態碼用于表示用戶的請求是否成功，如果該值為200，則表示用戶的訪問成功，否則就可能存在問題。一般來說，以2開頭的狀態碼均可以表示用戶的訪問成功，以3開頭的狀態碼表示用戶的請求被頁面重新定向到了其它位置，以4開頭的狀態碼表示客戶端遇到了錯誤，以5開頭的狀態碼表示服務器遇到了錯誤。
• 第7部分，“208”，響應報文的大小，單位字節，這個數值不包括響應報文的首部。把日志記錄中的這些值加起來就可以得知服務器在一定時間內發送了多少數據。
• 第9部分， "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"，表示客戶端發來的HTTP請求報文中首部“User-Agent”的值，即發出請求的應用程序，通常都是瀏覽器。

一個日志文件中會包含很多天的日志記錄，而我們通常都是針對某一天進行日志分析，所以首先需要從日志文件中把我們要分析的那一天的日志提取出來。
比如要提取1月25日產生的日志，可以執行下面的代碼：

>>> with open('access_log','r') as f1, open('access_log-0125','w') as f2:
...     for line in f1:
...             if '25/Jan/2020' in line:
...                     f2.write(line)

在這段代碼中，以r讀取模式打開日志文件access_log，作為文件對象f1。以w寫入模式創建文件access_log-0125，作為文件對象f2。
然后遍歷f1中的每一行，并判斷是否包含關鍵字“25/Jan/2020”，如果有的話，就將這行寫入到f2中。
這樣就提取出了1月25日的所有日志記錄，并保存到了文件access_log-0125中。下面我們就針對文件access_log-0125進行分析。

2.統計PV和UV

PV是指PageView，網站的訪問請求數。用戶每次對網站中的一個頁面的請求或訪問均被記錄為1個PV，例如某個用戶訪問了網站中的4個頁面，那么PV就+4。而且用戶對同一頁面的多次訪問，PV也是累計的。
UV是指UniqueView，網站的獨立訪客數，訪問網站的一個IP被視為一個訪客，在同一天內相同的IP只被計算一次。
因而，我們只要取出每條日志中的IP并統計數量，那么就可以得到PV，將IP去重，就可以得到UV。
執行下面的代碼，將每條日志的IP提取出來，并存放到列表ips中。

>>> ips = []
>>> with open('access_log-0125','r') as f:
...     for line in f:
...             ips.append(line.split()[0])

在這段代碼中，首先定義了一個空列表ips，然后打開文件access_log-0125并對其進行遍歷，每遍歷一行，就將該行以空格作為分隔符分割成一個列表，并取出列表中的第一個元素（也就是IP地址），再追加到列表ips中。
下面我們只要統計列表ips的長度就是PV，將列表元素去重之后，再統計長度就是UV。去重這里采用了set()函數，將列表轉換為集合，利用Python集合本身的特性，簡單高效的完成去重操作。

>>> pv = len(ips)
>>> uv = len(set(ips))
>>> print(pv,uv)
1011 48

3.統計網站出錯頁面比例

網站的出錯比例是很重要的一份數據，直接關系到網站的用戶體驗。要統計用戶訪問出錯的比例，可以通過統計每個請求的HTTP狀態碼得到，狀態碼為2xx或3xx的，視為訪問正確，狀態碼為4xx或5xx，則視為訪問出錯。
首先可以提取所有頁面的狀態碼，并保存到列表中。

>>> codes = []
>>> with open('access_log-0125','r') as f:
...     for line in f:
...             codes.append(line.split()[8])

再統計出每種狀態碼的出現次數，保存到字典中：

>>> ret = {}
>>> for i in codes:
...     if i not in ret:
...             ret[i] = codes.count(i)
... 
>>> 
>>> ret
{'200': 192, '404': 796, '"-"': 4, '400': 13, '403': 3, '401': 2, '405': 1}

上面這段代碼用到了字典，這里是對存放狀態碼的列表codes進行遍歷，從中取出狀態碼作為字典的鍵，并統計這種狀態碼在列表codes中出現的次數，作為字典的值。
如果要統計404頁面的比例，可以執行下面的代碼：

>>> ret['404']/sum(ret.values())
0.7873392680514342

在這段代碼中，ret['404']表示從字典ret中取出鍵為‘404’的元素的值，也就是404狀態碼的個數。ret.values()表示取出字典中所有元素的值，再用sum()函數求和，得到所有狀態碼的總數量。兩者的比值也就是錯誤頁面的比例了。
從結果中可以看出，我這個網站的頁面出錯比例特別高，竟然達到了78.7%，如果是一個正常網站，這肯定是有問題的。但我這并不是一個公開網站，也沒有什么有價值的頁面，因而大部分訪問日志其實都是由一些漏洞掃描軟件產生的，這也提醒我們，隨時都有人在對我們線上的網站進行著各種掃描測試。

4.統計網站熱門資源

下面我們繼續統計出每個頁面的用戶訪問量，并進行排序。
首先仍然是遍歷日志文件，取出用戶訪問的所有頁面，并保存到列表中：

>>> webs = []
>>> with open('access_log-0125','r') as f:
...     for line in f:
...             webs.append(line.split()[6])

接著再統計出每個頁面的訪問次數，并存放到字典中：

>>> counts = {}
>>> for i in webs:
...     if i not in counts:
...             counts[i] = webs.count(i)
...

按頁面的訪問量降序排序：

>>> sorted(counts.items(),key=lambda x:x[1],reverse=True)
[('/', 175), ('/robots.txt', 25), ('/phpinfo.php', 6), ('/Admin13790d6a/Login.php', 4), 
……

為了更好地理解上面這個sorted()函數的用法，下面舉例說明。比如我們定義一個名叫services的字典，如果直接用sorted()函數對這個字典排序，默認是按照鍵進行升序排序。為了顯示字典中的所有內容，可以使用items()方法，此時，字典中的每個鍵值對會被組合成一個元組，并且默認是按照元組中的第一個元素，也就是字典的鍵進行排序的。

>>> services = {'http':80,'ftp':21,'https':443,'ssh':22}
>>> sorted(services)
['ftp', 'http', 'https', 'ssh']
>>> sorted(services.items())
[('ftp', 21), ('http', 80), ('https', 443), ('ssh', 22)]

如果希望按照字典中的值進行排序，也就是要按照元組中的第二個元素排序，可以用key參數指定一個lambda表達式，以每個元組中的第二個元素作為關鍵字。

>>> sorted(services.items(),key=lambda x:x[1])
[('ftp', 21), ('ssh', 22), ('http', 80), ('https', 443)]

所以這也就解釋了之前那個sorted()函數的含義。至于lambda表達式，其實就是一個根據需要可以隨時定義使用的小函數，“lambda x:x[1]”，冒號左側的x是函數要處理的參數，冒號右側的表達式是函數要執行的操作，最后再將這個表達式的結果返回。

本文屬于“Python安全與運維”系列課程的一部分，該系列課程目前已更新到第二部，感興趣的朋友可以參考：
第一部 Python基本語法 https://edu.51cto.com/sd/53aa7
第二部 Python編程基礎 https://edu.51cto.com/sd/d100c