python分析nginx日志的ip,url,status

Python 腳本如下：

#!/usr/bin/env python
#_*_coding:utf-8 _*_
__author__ = 'lvnian'

#!/usr/bin env python
# coding: utf-8
import MySQLdb as mysql
import sys, os

db = mysql.connect(user="root",passwd="xxxxx@2015",db="intest",host="192.168.10.12") #數據庫連接信息
db.autocommit(True)
cur = db.cursor()
cur.execute('set names utf8')

dict_list = {}
with open('access.log') as logfin:
    for line in logfin:
        arr = line.split(' ')
        # 獲取ip url 和status
        ip = arr[0]
        url = arr[6]
        status = arr[8]
        # ip url 和status當key，每次統計+1
        dict_list[(ip,url,status)] = dict_list.get((ip,url,status),0)+1
    # 轉換成列表
    ip_list = [(k[0],k[1],k[2],v) for k,v in dict_list.items()]
    # 按照統計數量排序,排序后保存到數據庫。
    for insert in sorted(ip_list,key=lambda x:x[3],reverse=True):#如果只想提取前十行的話可以[:10]即可。
        print insert  #測試用的，可以不要。整個功能是輸出一行，然后保存到數據庫。
        sql = 'insert loginfo values ("%s","%s","%s","%s")' % insert
        print sql
        cur.execute(sql)

創建對應的表（在上一篇的基礎之上）

python分析nginx日志的ip（來源）

use intest;
show tables;

 CREATE TABLE `loginfo` (
  `ip` text DEFAULT NULL,
  `url` longtext DEFAULT NULL,
  `status` varchar(200) DEFAULT NULL,
  `count_num` varchar(200) DEFAULT NULL
);

腳本執行后數據庫內看到的結果如下：

mysql> select * from loginfo where count_num >3 limit 5 ;
+----------------+-----------------------+--------+-----------+
| ip             | url                   | status | count_num |
+----------------+-----------------------+--------+-----------+
| 121.42.0.85    | /                     | 200    | 39        |
| 121.42.0.37    | /                     | 403    | 34        |
| 121.42.0.39    | /                     | 403    | 34        |
| 222.95.248.220 | HTTP://www.baidu.com/ | 200    | 26        |
| 23.251.49.10   | www.baidu.com:443     | 400    | 21        |
+----------------+-----------------------+--------+-----------+
5 rows in set (0.00 sec)

mysql>

添加一個時間字段腳本改為如下

#!/usr/bin/env python
#_*_coding:utf-8 _*_
__author__ = 'lvnian'

#!/usr/bin env python
# coding: utf-8
import MySQLdb as mysql
import sys, os,time
import datetime

addtime = datetime.datetime.now()
db = mysql.connect(user="root",passwd="xxxx@2015",db="intest",host="192.168.10.12") #數據庫連接信息
db.autocommit(True)
cur = db.cursor()
cur.execute('set names utf8')

dict_list = {}
with open('access.log') as logfin:
    for line in logfin:
        arr = line.split(' ')
        # 獲取ip url 和status
        ip = arr[0]
        url = arr[6]
        status = arr[8]
        # ip url 和status當key，每次統計+1
        dict_list[(ip,url,status)] = dict_list.get((ip,url,status),0)+1
    # 轉換成列表
    ip_list = [(k[0],k[1],k[2],v,addtime) for k,v in dict_list.items()]
    # 按照統計數量排序,排序后保存到數據庫。
    for insert in sorted(ip_list,key=lambda x:x[3],reverse=True):#如果只想提取前十行的話可以[:10]即可。
        print insert  #測試用的，可以不要。整個功能是輸出一行，然后保存到數據庫。
        sql = 'insert loginfo values ("%s","%s","%s","%s","%s")' % insert
        print sql
        cur.execute(sql)

#到數據庫輸出查詢如下123.125.160.217 這個ip經常亂***別的服務器曝光一下，如見此ip訪問log，請直接撥打911

數據庫修改

	數據庫增加一個字段
	alter table loginfo add time datetime not Null;
	
	or重新建庫
	
	CREATE TABLE `loginfo` ( 
	`ip` text, 
	`url` longtext,
	`status` varchar(200) DEFAULT NULL, 
	`count_num` varchar(200) DEFAULT NULL,
	`time` datetime NOT NULL 
	) ENGINE=InnoDB DEFAULT CHARSET=utf8;