使用Haproxy搭建Web群集的方法

常見的 Web集群調度器

目前常見的 Web 集群調度器分為軟件和硬件，軟件通常使用開源的LVS、Haproxy、Nginx，硬件一般使用比較多的是 F5，也有很多人使用國內的一些產品，如梭子魚、綠盟等

Haproxy應用分析

■LVS在企業應用中抗負載能力很強，但存在不足

LVS不支持正則處理，不能實現動靜分離
對于大型網站，LVS的實施配置復雜，維護成本相對較高

■Haproxy是一款可提供高可用性、負載均衡、及基于TCP和HTTP應用的代理的軟件

特別適用于負載特別大的Web站點
運行在當前的硬件上可支持數以萬計的并發連接連接請求

Haproxy 調度算法原理

Haproxy 支持多種調度算法，最常用的有三種:

●RR (Round Robin)
RR算法是最簡單最常用的一-種算法，即輪詢調度

理解舉例
   有三個節點A、B、C,第一個用戶訪問會被指派到節點A,第二個用
戶訪問會被指派到節點B，第三個用戶訪問會被指派到節點
   第四個用戶訪問繼續指派到節點A，輪詢分配訪問請求實現負載均衡效果

●LC (Least Connections)
LC算法即最小連接數算法，根據后端的節點連接數大小動態分配前端請求

理解舉例
   有三個節點A、B、C,各節點的連接數分別為A:4、B:5、 C:6, 此時如果有第
一個用戶連接請求，會被指派到A上，連接數變為A:5、B:5、 C:6
   第二個用戶請求會繼續分配到A上，連接數變為A:6、B:5、 C:6; 再有新的請求會分配給B，每次將新的請求指派給連接數最小的客戶端
   由于實際情況下A、B、C的連接數會動態釋放，很難會出現-樣連接數的情況
因此此算法相比較rr算法有很大改進，是目前用到比較多的-種算法

●SH (Source Hashing)
SH即基于來源訪問調度算法，此算法用于一些有Session會話記錄在服務器端
的場景，可以基于來源的IP、Cookie等做集群調度

理解舉例
  有三個節點A、B、C,第一個用戶第一次訪問被指派到了A,第二個用戶第一
次訪問被指派到了B
  當第一個用戶第二次訪問時會被繼續指派到A,第二個用戶第二次訪問時依舊
會被指派到B，只要負載均衡調度器不重啟，第一個用戶訪問都會被指派到A,
第二個用戶訪向都會被指派到B，實現集群的調度
  此調度算法好處是實現會話保持，但某些IP訪問量非常大時會引起負載不均衡
部分節點訪問量超大，影響業務使用

Haproxy 配置文件詳解

Haproxy配置文件通常分為三個部分

●global:為全局配置
●defaults:為默認配置
●listen:為應用組件配置

global配置參數

●log 127.0.0.1 local0:配置日志記錄，配置日志記錄,ocal0為日
志設備,默認存放到系統日志
●log 127.0.0.1 local1 notice: notice為 日志級別通常有24個級別
●maxconn4096:最大連接數
●uid 99:用戶uid
●gid 99:用戶gid

defaults配置項配置默認參數，-般會被應用組件繼承，如果在應
用組件中沒有特別聲明，將安裝默認配置參數設置

●log global:定義日志為global配置中的日志定義
●mode http:模式為http
●option httplog:采用http日志格式記錄日志
●retries 3:檢查節點服務器失敗連續達到三次則認為節點不可用
●maxconn 2000:最大連接數
●contimeout 5000:連接超時時間
●clitimeout 50000:客戶端超時時間
●srtimeout 50000:服務器超時時間

listen配置項目一 般為配置應用模塊參數

●listen appli4-backup 0.0.0.0:10004: 定義一-個appli4-backup的
應用
●option httpchk /index.html: 檢查服務器的index.html文件
, option persist :強制將請求發送到已經down掉的服務器
) Balance roundrobin: 負載均衡調度算法使用輪詢算法
●server inst1 192.168.114 .56:80 check inter 2000 fall3: 定義在
線節點
server inst2 192. 168.114.56:81 check inter 2000 fall 3 backup
:定義備份節點

Haproxy 日志管理

Haproxy的日志默認是輸出到系統的syslog中,在生產
環境中一般單獨定義出來
定義的方法步驟

●修改Haproxy配置文件中關于日志配置的選項，加入配置:
p log /dev/log local0 info
。log /dev/log local0 notice
●修改rsyslog配置,將Haproxy相關的配置獨立定義到
haproxy.conf,并放到etclrsyslog.d下
●保存配置文件并重啟rsyslog服務，完成rsyslog配置

訪問Haproxy集群測試網頁并測試日志信息

Haproxy優化參數

隨著企業網站負載增加，haproxy參數優化相當重要

●maxconn:最大連接數，根據應用實際情況進行調整,推薦使用
10 240
●daemon:守護進程模式, Haproxy可以使用非守護進程模式啟
動，建議使用守護進程模式啟動
●nbproc:負載均衡的并發進程數，建議與當前服務器CPU核數相
等或為其2倍
●oretries:重試次數,主要用于對集群節點的檢查，如果節點多,且并
發量大，設置為2次或3次
●option http-server-close:主動關閉http請求選項，建議在生產環
境中使用此選項
●timeout http-keep-alive:長連接超時時間，設置長連接超時時間
可以設置為10s
●timeout http-request: http請求超時時間，建議將此時間設置為5
~ 10s,增加http連接釋放速度
●timeout client:客戶端超時時間，如果訪問量過大,節點響應慢
可以將此時間設置短一些，建議設置為1min左右就可以了

案例演示

實驗要求

1.一臺 Haproxy調度服務器，兩臺 Nginx 服務器，一臺windows7作為客戶端；
2.三臺服務器為CentOS 7.3的64位系統;
3.所有主機網卡都設置成僅主機模式，綁定靜態地址;
4.客戶端可以通過訪問調度服務器，訪問到兩臺節點服務器，不需要訪問真實服務器地址。

第一步：搭建 Haproxy調度服務器

1.使用yum安裝編譯工具

[root@haproxy ~]# yum install bzip2-devel pcre-devel gcc gcc-c++ make -y

2.修改網卡為僅主機模式,并綁定靜態地址

[root@haproxy ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
#將dhcp替換為static
BOOTPROTO=static

#在末行追加IP地址\子網掩碼\網關
IPADDR=192.168.100.210
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

[root@haproxy ~]# service network restart 
Restarting network (via systemctl):                        [  確定  ]

3.遠程共享并掛載haproxy源碼包到本地服務器

[root@haproxy ~]# smbclient -L /192.168.100.1
    Sharename       Type      Comment
    ---------       ----      -------
    haproxy         Disk      
    LNMP            Disk      

4.解壓haproxy源碼包并編譯

[root@haproxy ~]# cd /mnt

#解壓haproxy源碼包到.opt目錄
[root@haproxy mnt]# tar zxvf haproxy-1.5.19.tar.gz -C /opt
[root@haproxy mnt]# cd /opt
[root@haproxy opt]# ls
haproxy-1.5.19  rh

#切換至haproxy目錄
[root@haproxy opt]# cd haproxy-1.5.19/

#查看系統版本號3100
[root@haproxy haproxy-1.5.19]# uname -a
Linux haproxy 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

#編譯haproxy
[root@haproxy haproxy-1.5.19]# make TARGET=linux3100

#編譯安裝
[root@haproxy haproxy-1.5.19]# make install

5.修改haproxy.cfg配置文件,并開啟服務

#創建haproxy文件目錄
[root@haproxy haproxy-1.5.19]# mkdir /etc/haproxy

#復制模板文件到haproxy目錄
[root@haproxy haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/

#修改haproxy.cfg文件
[root@haproxy haproxy-1.5.19]# vim /etc/haproxy/haproxy.cfg
#注釋chroot和redispatch條目,防止啟動失敗
global
        log 127.0.0.1   local0
        log 127.0.0.1   local1 notice
        #log loghost    local0 info
        maxconn 4096
        #chroot /usr/share/haproxy
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3       
        #redispatch
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

#刪除原有的所有listen條目,添加一下條目
listen webcluster 0.0.0.0:80
       option httpchk GET /test.html
       balance roundrobin
       server inst1 192.168.100.201:80 check inter 2000 fall 3
       server inst2 192.168.100.202:80 check inter 2000 fall 3

#復制haproxy啟動腳本到系統啟動進程中
[root@haproxy haproxy-1.5.19]# cp examples/haproxy.init /etc/init.d/haproxy

#授予腳本執行權限
[root@haproxy haproxy-1.5.19]# chmod +x /etc/init.d/haproxy

#添加腳本到service管理條目中
[root@haproxy haproxy-1.5.19]# chkconfig --add haproxy 

#建立腳本命令軟鏈接
[root@haproxy haproxy-1.5.19]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy

#啟動服務
[root@haproxy haproxy-1.5.19]# service haproxy start
Starting haproxy (via systemctl):                          [  確定  ]

#關閉防火墻和安全功能
[root@Haproxy haproxy-1.5.19]# systemctl stop firewalld.service 
[root@Haproxy haproxy-1.5.19]# setenforce 0

第二步:搭建Nginx服務器

1.兩臺Nginx服務器都要使用yum安裝編譯工具

[root@haproxy ~]# yum install zlib-devel pcre-devel gcc gcc-c++ make -y

2.修改網卡為僅主機模式,并綁定靜態地址

[root@nginx1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
#將dhcp替換為static
BOOTPROTO=static

#在末行追加IP地址\子網掩碼\網關
IPADDR=192.168.100.201
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

[root@nginx1 ~]# service network restart 
Restarting network (via systemctl):                        [  確定  ]

[root@nginx2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
#將dhcp替換為static
BOOTPROTO=static

#在末行追加IP地址\子網掩碼\網關
IPADDR=192.168.100.202
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

[root@nginx2 ~]# service network restart 
Restarting network (via systemctl):                        [  確定  ]

3.遠程共享掛載Nginx源碼包到本地服務器

[root@nginx1 ~]# mount.cifs //192.168.100.1/LNMP /mnt
Password for root@//192.168.100.1/LNMP:  

4.解壓源碼包并創建管理用戶

[root@nginx1 ~]# cd /mnt

#解壓Nginx源碼包到/opt目錄
root@nginx1 mnt]# tar zxvf nginx-1.12.0.tar.gz -C /opt

#創建Nginx管理用戶
root@nginx1 mnt]# cd /opt
[root@nginx1 opt]# useradd -M -s /sbin/nologin nginx

5.配置Nginx

[root@nginx1 opt]# cd nginx-1.12.0/
[root@nginx1 nginx-1.12.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx

6.編譯安裝

[root@nginx1 nginx-1.12.0]# make && make install

7.創建測試網頁

[root@nginx1 nginx-1.12.0]# cd /usr/local/nginx/html/
[root@nginx1 html]# echo "this is kgc web" >test.html

[root@nginx2 nginx-1.12.0]# cd /usr/local/nginx/html/
[root@nginx2 html]# echo "this is accp web" >test.html

8.創建Nginx命令軟鏈接到系統

[root@nginx1 html]# ln -s /usr/local/nginx/sbin/nginx  /usr/local/sbin/

9.關閉防火墻和安全功能,啟動服務

[root@nginx1 html]# systemctl stop firewalld.service 
[root@nginx1 html]# setenforce 0
[root@nginx1 html]# nginx

10.使用客戶端訪問網頁,在瀏覽器中輸入192.168.100.210/test/html進行訪問

由此論證使用Haproxy搭建Web群集采用輪詢機制

配置haproxy日志

#重啟haproxy 服務
[root@haproxy etc]# service haproxy restart 
Restarting haproxy (via systemctl):                        [  確定  ]

#創建
[root@haproxy haproxy-1.5.19]# touch /etc/rsyslog.d/haproxy.conf
[root@haproxy haproxy-1.5.19]# vim /etc/rsyslog.d/haproxy.conf

#定義haproxy信息日志
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~

#定義haproxy通知日志
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~

#重啟日志服務
[root@haproxy etc]# systemctl restart rsyslog.service

#切換到日志目錄下查看haproxy日志文件
[root@haproxy etc]# cd /var/log/haproxy/
[root@haproxy haproxy]# ls
haproxy-info.log

#查看日志文件
[root@haproxy haproxy]# cat haproxy-info.log
Nov 30 16: 53: 30 Haproxy haproxy[119165]: 192.168.100.50: 49191 [ 30/Nov/2019:16: 53: 30.100
webcluster. webcluster/inst2 168/0/1/0/169 200 252 - - --- 1/1/0/1/0 0/0 "GET /test.h
tml HTTP/1.1"
Nov 30 16: 53:42 Haproxy haproxy[119165]: 192.168.100.50: 49191[ 30/Nov/2019: 16:53: 42.290 :
webcluster. webcluster/inst1 159/0/0/0/159 200 253 - - ---- 1/1/0/1/0 0/0 "GET /test.h
tml HTTP/1.1 "

謝謝閱讀!!!