某網站部分用戶無法訪問現象故障分析

題前：這篇文本來是想發到科來論壇下的（帶有目的性），結果科來論壇已經完全沉寂、管理員失蹤，我發的帖子審了兩個月也沒審完，極度失望，感覺白寫了。不過好歹也花了一番心血，原文貼到51CTO博客，懶得修改了。

背景：運維的某網站，本地已配備360旗下網神公司的WAF設備。因最近網絡安保形勢嚴峻，為加強網絡安全防護能力，開始試用某云WAF系統（將域名解析地址指向云WAF系統地址，由云WAF系統負責擺渡），期間發現少量用戶無法登陸，原因不明。切回本地后故障依舊，但據網站管理員反映，清除瀏覽器緩存或更換瀏覽器后即可正常訪問。
接到反饋后，因故障無法重現且暫未發現可供搜集信息的用戶電腦，現場工程師未能提供更多有價值的信息，難以確定具體故障原因。因網站訪問量小且故障不明顯，因此留待故障重現后解決（一部分不可曰的原因是懶）。幾日后接到本地用戶反饋，開始做工。

排測過程：
經用戶電腦測試，使用常用的360瀏覽器訪問完全無響應，找出IE瀏覽器后訪問正常（為什么要找？這要問360安全衛士）。
初步判斷為訪問被WAF系統攔截。
先PING域名，發現網站域名指向本地系統，由此排除云WAF直接攔截可能。
登陸本地WAF設備，發現用戶設備訪問被攔截記錄，攔截原因為跨站腳本***。故障原因找出。

題外話：朋友們這時肯定會非常疑惑，那為什么之前沒有出現這個故障呢？難道經云WAF切換后會出現這種靈異事件？這時候管網絡的工程師解釋說，本地WAF上線時，防護的其他網站某些正常訪問會被此WAF跨站腳本***規則集下的某幾條規則攔截，當時為保障系統正常運行直接剔除了這幾條規則，現因網絡安保原因，試用云WAF系統前一周已經重新啟用這幾條規則，可能因網站訪問量小之前并未發現異常。順帶說下，這個管網絡的就是本人，故障原因找出前完全忘了這回事。自責三秒鐘，然后開始抱怨，做工太雜太雜太雜真的會死人啊，記憶力嚴重衰退，日后必定會老年癡呆。

好了，說回正題。故障原因找到了，怎么解決呢？再次剔除這幾條規則實在是不符合本人職業素養，那就只能繼續深挖故障原因了。
用戶無法訪問是因為被WAF攔截，那，為什么會被攔截呢？
查看WAF攔截日志，除攔截規則外無任何其他異常信息。只能去現場抓包了。這時候隆重推薦下所用的網絡抓包軟件：科來網絡分析系統 10 技術交流版。沒錢買專業版的，幸好技術交流版也已經夠用了（如此大力推薦，只望科來官方人員見到此貼后能讓我以巨優惠價購買正式版過過癮）。
打開科來網絡分析系統 10 技術交流版，進入實時分析界面，點擊開啟按鈕進入抓包分析界面后，先開360瀏覽器，直接訪問域名，頁面無法打開，訪問域名下的/INDEX.DO頁面，仍然無法打開；然后開IE，兩個頁面均訪問正常，點擊停止按鈕結束抓包。
在分析界面中點擊TCP會話欄，在過濾輸入框中輸入網站域名進行過濾，然后按發包時間進行排序，結果截圖如下：

點開查看訪問失敗的記錄，發現TCP連接正常建立后，訪問請求無法送到服務器端，一直在不停重傳，截圖如下：

而訪問正常的記錄截圖如下：

由此可見，訪問網站的第一個請求就已經被WAF攔截。接下來對比兩個請求包的參數差異。
以下是訪問被攔截的交易請求參數截圖：

以下是訪問正常的交易請求參數截圖：

經對比，兩個交易只有攜帶的COOKIES參數有顯著差異：
被攔截的COOKIES參數：
Cookie: UM_distinctid=15e78eb321b81-05b400905-4349052c-1fa400-15e78eb321e305; _gscu_264088535=05267233ghc0ek25; __guid=188558254.4450887942645648000.1505720364652.8474; CNZZDATA1254021662=1759409609-1505716920-http%253A%252F%252Fwww.XXXX.gov.cn%252F%7C1505716920
訪問正常的的COOKIES參數：
Cookie: JSESSIONID=F91BD6BBF20E7FEF70066DD1CBB86819; CNZZDATA1254021662=2125437701-1505264969-%7C1505976274; _gscbrs_264088535=1; UM_distinctid=15ea368883f9b-07964ba146a25f4-19704f6e-1fa400-15ea36888401c6; _gscu_264088535=05980090ml7lf511; _gscs_264088535=05980090gjxj3h21|pv:5

由此可以看出：

1. 被攔截的COOKIES參數使用了URL轉義符，且轉義兩次。（http%253A%252F%252Fwww.XXXX.gov.cn，其中%25轉義后就是%）
2. 此COOKIES信息帶有CNZZ（站長之家）標識；（參數中有CNZZDATA字樣）
   由此推斷：
3. 訪問URL參數中的COOKIES信息帶有轉義符，符合跨站腳本***的最基本特征之一，基本可以明確正常訪問被攔截是因為WAF攔截規則簡單粗暴導致。
4. 經網站管理員配合，明確留下此COOKIES信息的代碼是站長之家訪問統計代碼。
   經測試，正常訪問此網站產生的COOKIES不含轉義參數；只有在登錄網站并注銷后仍不關閉瀏覽器且繼續訪問網站的情況下才會產生如被攔截的COOKIES參數，進而導致訪問被WAF攔截，這也是為什么只有極少部分用戶訪問被攔截的原因。
   事后，網站管理員將網站代碼中的站長之家訪問統計代碼替換為百度訪問統計代碼之后，問題解決。
   事終感慨：
   1. 科來網絡分析系統確實好用，尤其是對于認不了幾個英文的朋友；（再次重申：如此大力推薦，只望科來官方人員見到此貼后能讓我以巨優惠價購買正式版過過癮）；
   2. 360網神的WAF有待大力改進；
   3. 站長之家的統計代碼需要更新；
   4. 工作太雜真TM受不了。