課程目標：

1）幫助大家對Nginx有一定的認識
2）熟悉Nginx有哪些應用場景
3）熟悉Nginx特點和架構模型以及相關流程
4）熟悉Nginx定制化開發的幾種模塊分類

課程大綱：

1. Nginx簡介及特點
2. Nginx應用場景
3. Nginx框架模型介紹
4. Nginx內部流程介紹
5. Nginx自定義模塊開發介紹
6. Nginx核心時間點模塊介紹
7. Nginx分流模塊介紹
8. Nginx動態upstream模塊介紹
9. Nginx query_upstrem模塊介紹
10. Nginx query_conf模塊介紹
11. Nginx 共享內存支持redis協議模塊介紹
12. Nginx 日志回放壓測工具介紹

1. Nginx簡介以及特點

Nginx簡介:

Nginx (engine x) 是一個高性能的web服務器和反向代理服務器，也是一個IMAP/POP3/SMTP服務器

• 俄羅斯程序員Igor Sysoev于2002年開始
• Nginx是增長最快的Web服務器，市場份額已達33.3％
• 全球使用量排名第二2011年成立商業公司

Nginx社區分支：

• Openresty作者 @agentzh(章宜春)開發的，最大特點是引入了ngx_lua模塊，支持使用lua開發插件，并且集合了很多豐富的模塊，以及lua庫。
• Tengine主要是淘寶團隊開發。特點是融入了因淘寶自身的一些業務帶來的新功能。
• Nginx官方版本，更新迭代比較快，并且提供免費版本和商業版本。

Nginx源碼結構：

• 代碼量大約11萬行C代碼
• 源代碼目錄結構
  • core （主干和基礎設置）
  • event （事件驅動模型和不同的IO復用模塊）
  • http （HTTP服務器和模塊）
  • mail （郵件代理服務器和模塊）
  • os （操作系統相關的實現）
  • misc （雜項）

Nginx特點：

• 反向代理，負載均衡器
• 高可靠性、單master多worker模式
• 高可擴展性、高度模塊化
• 非阻塞
• 事件驅動
• 低內存消耗
• 熱部署

2. Nginx應用場景

場景如下：

• 靜態文件服務器
• 反向代理，負載均衡
• 安全防御
• 智能路由(企業級灰度測試、地圖POI一鍵切流)
• 灰度發布
• 靜態化
• 消息推送
• 圖片實時壓縮
• 防盜鏈

3. Nginx框架模型介紹

進程組件角色：

• master進程
  • 監視工作進程的狀態
  • 當工作進程死掉后重啟一個新的
  • 處理信號和通知工作進程
• worker進程
  • 處理客戶端請求
  • 從主進程處獲得信號做相應的事情
• cache loader進程
  • 加載緩存索引文件信息，然后退出
• cache manager進程
  • 管理磁盤的緩存大小，超過預定值大小后最少使用數據將被刪除

框架模型：

框架模型流程：

4. Nginx內部流程介紹

4.1 框架模型流程

4.2 master初始化流程

4.3 worker初始化

4.4 worker初始化流程

4.5 靜態文件請求IO流程

4.6 http請求流程

4.7 http請求11個階段

4.8 upstream模塊

• 訪問第三方Server服務器
• 底層HTTP通信非常完善
• 異步非阻塞
• 上下游內存零拷貝，節省內存
• 支持自定義模塊開發

4.8.1 upstream框架流程

4.8.2 upstream內部流程

4.9 反向代理流程

5. Nginx定制化模塊開發

5.1 Nginx的模塊化設計特點

• 高度抽象的模塊接口
• 模塊接口非常簡單，具有很高的靈活性
• 配置模塊的設計
• 核心模塊接口的簡單化
• 多層次、多類別的模塊設計

5.1 內部核心模塊

5.2 handler模塊

• 接受來自客戶端的請求并構建響應頭和響應體。
  

5.3 filter模塊

• 過濾（filter）模塊是過濾響應頭和內容的模塊，可以對回復的頭和內容進行處理。它的處理時間在獲取回復內容之后，向用戶發送響應之前。
  

5.4 upstream模塊

• 使nginx跨越單機的限制，完成網絡數據的接收、處理和轉發，純異步的訪問后端服務。
  

load_balance：

• 負載均衡模塊，實現特定的算法，在眾多的后端服務器中，選擇一個服務器出來作為某個請求的轉發服務器。
  

5.3 ngx_lua模塊

• 腳本語言
• 內存開銷小
• 運行速度快
• 強大的 Lua 協程
• 非阻塞
• 業務邏輯以自然邏輯書寫

5.4 定制化開發Demo

Handler模塊：

• 編寫config文件
• 編寫模塊產生內容響應信息

#配置文件：
server {
    ...    
    location test {
        test_counter on;
    }
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
static ngx_int_t
ngx_http_test_handler(ngx_http_request_t *r)
{
    ngx_int_t                                rc;
    ngx_buf_t                                *b;
    ngx_chain_t                                out;
    ngx_http_test_conf_t                    *lrcf;
    ngx_str_t                                ngx_test_string = ngx_string("hello test");
    lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);
    if ( lrcf->test_counter == 0 ) {
        return NGX_DECLINED;
    }
    /* we response to 'GET' and 'HEAD' requests only */
    if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {
            return NGX_HTTP_NOT_ALLOWED;
    }
    /* discard request body, since we don't need it here */
    rc = ngx_http_discard_request_body(r);
    if ( rc != NGX_OK ) {
        return rc;
    }
    /* set the 'Content-type' header */
    /*
     *r->headers_out.content_type.len = sizeof("text/html") - 1;
     *r->headers_out.content_type.data = (u_char *)"text/html";
    */
    ngx_str_set(&r->headers_out.content_type, "text/html");
    /* send the header only, if the request type is http 'HEAD' */
    if ( r->method == NGX_HTTP_HEAD ) {
        r->headers_out.status = NGX_HTTP_OK;
        r->headers_out.content_length_n = ngx_test_string.len;
        return ngx_http_send_header(r);
    }
    /* set the status line */
    r->headers_out.status = NGX_HTTP_OK;
    r->headers_out.content_length_n =  ngx_test_string.len;
    /* send the headers of your response */
    rc = ngx_http_send_header(r);
    if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {
        return rc;
    }
    /* allocate a buffer for your response body */
    b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));
    if ( b == NULL ) {
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }
    /* attach this buffer to the buffer chain */
    out.buf = b;
    out.next = NULL;
    /* adjust the pointers of the buffer */
    b->pos = ngx_test_string.data;
    b->last = ngx_test_string.data + ngx_test_string.len;
    b->memory = 1;    /* this buffer is in memory */
    b->last_buf = 1;  /* this is the last buffer in the buffer chain */
    /* send the buffer chain of your response */
    return ngx_http_output_filter(r, &out);
}

6. Nginx核心時間點模塊介紹

解決接入層故障定位慢的問題，幫助OP快速判定問題根因，優先自證清白，提高接入層高效的生產力。

7. Nginx分流模塊介紹

特點：
實現非常靈活的動態的修改策略從而進行切流量。
實現平滑無損的方式進行流量的切換。
通過秒級切換流量可以縮小影響范圍，從而減少損失。
按照某一城市或者某個特征，秒級進行切換流量或者禁用流量。
容忍單機房級別容量故障，縮短了單機房故障的止損時間。
快速的將流量隔離或者流量抽樣。
高效的灰度測試，提高生產力。

8. Nginx動態upstream模塊介紹

讓接入層可以適配動態調度的云環境，實現服務的平滑上下線、彈性擴/縮容。
從而提高接入層高效的生產力以及穩定性，保證業務流量的平滑無損。

9. Nginx query_upstream模塊介紹

鏈路追蹤，梳理接口到后端鏈路的情況。查詢location接口對應upstream server信息。

10. Nginx query_conf模塊介紹

獲取nginx配置文件格式化為json格式信息。

11.Nginx 共享內存支持redis協議模塊介紹

根據配置文件來動態的添加共享內存。
https://github.com/lidaohang/ngx_shm_dict

• ngx_shm_dict
  共享內存核心模塊(紅黑樹，隊列)

• ngx_shm_dict_manager
  添加定時器事件，定時的清除共享內存中過期的key
  添加讀事件，支持redis協議，通過redis-cli get,set,del,ttl

• ngx_shm_dict_view
  共享內存查看
  

12. Nginx日志回放壓測工具

• 解析日志進行回放壓測，模擬后端服務器慢等各種異常情況
  https://github.com/lidaohang/playback-testing

方案說明

• 客戶端解析access.log構建請求的host,port,url,body
• 把后端響應時間，后端響應狀態碼，后端響應大小放入header頭中
• 后端服務器獲取相應的header，進行模擬響應body大小，響應狀態碼，響應時間

使用方式

• 拷貝需要測試的access.log的日志到logs文件夾里面
• 搭建需要測試的nginx服務器，并且配置upstream 指向后端服務器斷端口
• 啟動后端服務器實例 server/backserver/main.go
• 進行壓測 bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095

作者：李航

現在注冊滴滴云，有機會可得30元無門檻滴滴出行券

新購云服務1月5折 3月4.5折 6月低至4折

滴滴云使者招募，推薦最高返傭50%