Nginx日志及性能排查舉例分析

這篇文章主要講解了“Nginx日志及性能排查舉例分析”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Nginx日志及性能排查舉例分析”吧！

我找到的幾個原因，基本就是后端sql運行的比較多，單次訪問看不出來，但是人比較多的時候就比較慢了，人少的時候20-200毫秒，人多的時候，200-6000毫秒，優化之后基本保持在幾十毫秒，優化策略就是減少不必要的sql，加上緩存，基本解決了卡頓的問題，順便把這次用的一系列 命令記錄下來，當個總結吧

如果需要得到請求處理的時間，需要在nginx log 里面加上$request_time，下面是我的log_format

nginx.conf

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent $request_body "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for" "$request_time"';

修改之后重啟nginx，查看nginx log的時候，就能看到nginx處理請求所花的時間了，這個時間基本就是后端所花的時間，所以可以根據這個字段來得到響應慢的請求

以下是就是我用到的一些 命令了

獲取pv數

<1code class="hljs shell">$ cat /usr/local/nginx/logs/access.log | wc -l

獲取ip數

$ cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l

獲取最耗時的請求時間、url、耗時，前10名, 可以修改后面的數字獲取更多，不加則獲取全部

$ cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10

獲取某一時刻的請求數量，可以把秒去掉得到分鐘的數據，把分鐘去掉得到小時的數據，以此類推

$ cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l

獲取每分鐘的請求數量，輸出成csv文件，然后用excel打開，可以生成柱狀圖

$ cat /usr/local/class/logs/access.log  | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv

上面的圖是用excel生成的，也可以用命令行工具gnuplot生成png，我也試了一下，沒什么問題，直接以編程的形式得到報表，去掉人工操作部分，很方便，但是有一點就是x軸數據比較多的時候，不能像excel一樣自動稀釋數據，所以我還是喜歡用excel來生成

其實用來用去也就是那么幾個命令:

cat：輸入文件內容

grep：過濾文本

'sort'：排序

'uniq'：去重

'awk'：文本處理

命令組合使用，單個命令可以使用多次，來達到多重過濾的效果，前面一個命令的輸出就是后一個命令的輸入，流式處理，只要學會這個命令，有多看似復雜的東西，都變得異常簡單。

上面介紹的都是命令，下面再介紹一個直接輸出html的。

利用go-access來分析nginx日志

cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess   --time-format='%H:%M:%S'   --date-format='%d/%b/%Y'   --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html

go-access是以docker容器的形式運行的，只要你安裝了docker，就能直接運行，免安裝很方便

以上 腳本，配合日志每天的日志分割，然后在crontab里面配置一下自動運行 腳本，可生成每一天的nginx報表，網站情況一幕了然，當然這里也有缺點，因為不實時

想要統計實時數據，可以使用ngxtop 來查看，安裝起來也很簡單

$ pip install ngxtop

運行的話，先進到nginx目錄，然后再運行，-c 指定配置文件，-t 刷新頻率，單位為秒

$ cd /usr/local/nginx$ ngxtop -c conf/nginx.conf -t 1

但是這種實時的方式，還需要ssh遠程登錄，不太方便，還可以使用lua來進行實時統計，然后寫一個界面把數據展示出來，通過 lua-nginx-module，nginx/tengine 都可以用，如果直接安裝openresty的話，就方便了，內嵌了lua，不需要重新編譯nginx了。

感謝各位的閱讀，以上就是“Nginx日志及性能排查舉例分析”的內容了，經過本文的學習后，相信大家對Nginx日志及性能排查舉例分析這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！