您好,登錄后才能下訂單哦!
這期內容當中小編將會給大家帶來有關利用pgpool怎么實現一個負載均衡操作,文章內容豐富且以專業的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
pgpool-II保持已經連接到postgresql數據庫的連接,并在使用相同參數連接進來時重用他們,減少了連接開銷,并增加了系統的總體吞吐量。
2.復制
pgpool-II可以管理多個postgresql數據庫,激活復制功能并使在2臺或多臺postgresql節點中建立一個實時備份稱為可能,這樣,如果其中一臺節點失效,服務可以不被終端繼續運行。
3.負載均衡
如果數據庫進行了復制,則在任何一臺服務器中執行一個select查詢將返回相同的結果。pgpool-II利用了復制的功能以降低每臺postgresql服務器的負載。它通過分發select查詢到所有可用的服務器中,增強了系統的整體吞吐量。在理想的狀況下,讀性能應該和postgresql數量成正比。負載均衡功能在大量用戶同時執行很多讀查詢的場景中工作效果最好。
4.限制超過限度的連接
postgresql會限制當前的最大連接數,當到達這個數量時,新的連接將被拒絕。增加這個連接數會增加資源消耗并且對系統的全局性能有一定的負面影響。pgpool-II也支持限制最大連接數,但她的做法是將連接放入隊列,而不是立即返回一個錯誤。
另外,pgpool-II也支持并行查詢,數據被分割到多臺服務器上,所以一個查詢可以在多臺服務器上同時執行,以減少總體執行時間。并行查詢在查詢大規模數據的時候非常有效。
IP | 應用 | 版本 |
---|---|---|
10.10.10.56 | postgresql | 9.2.15 |
10.10.10.57 | postgresql | 9.2.15 |
10.10.10.56 | pgpool-II | 3.5 |
環境說明:兩臺postgresql,pgpool和其中一臺postgresql在一臺服務器上。
測試需求:測試pgpool實現postgresql的復制和負載均衡
1.源碼安裝
wget http://www.pgpool.net/download.php?f=pgpool-II-3.5.3.tar.gz tar -zxvf pgpool-II-3.5.3.tar.gz cd pgpool-II-3.5.3 ./configure --prefix=/usr/local/pgpool --with-openssl #報錯configure: error: libpq is not installed or libpq is old #安裝 yum install postgresql-devel即可 make && make install
2.安裝pgpool-regclass
使用 PostgreSQL 8.0 至 PostgreSQL 9.3,強烈推薦在需要訪問的 PostgreSQL 中安裝 pgpool_regclass 函數,因為它被 pgpool-II 內部使用。 如果不這樣做,在不同的 schema 中處理相同的表名會出現問題(臨時表不會出問題);而PostgreSQL 9.4或更高版本則不需要
cd pgpool-II-3.5.3/src/sql/pgpool-regclass make && make install -bash-4.2$ psql -f pgpool-regclass.sql template1 或 psql template1 =# CREATE EXTENSION pgpool_regclass;
應在每臺通過 pgpool-II 訪問的數據庫中執行 pgpool-regclass.sql 或者 CREATE EXTENSION。 你不需要在你執行“psql -f pgpool-regclass.sql template1” 或者 CREATE EXTENSION 后建立的數據庫中這么做, 因為這個模板數據庫將被克隆成新建的數據庫。
3.建立insert_lock表
如果你在復制模式中使用了 insert_lock ,強烈推薦建立 pgpool_catalog.insert_lock 表,用于互斥。 到現在為止,insert_lock 還能夠工作。但是,在這種情況下,pgpool-II 需要鎖定插入的目標表。 這種行為和 pgpool-II 2.2 和 2.3 系列類似。由于表鎖與 VACUUM 沖突,所以 INSERT 操作可能因而等待很長時間。
cd pgpool-II-3.5.3/src/sql/ psql -f insert_lock.sql tempalte1
應在在每臺通過 pgpool-II 訪問的數據庫中執行 insert_lock.sql。 你不需要在你執行“psql -f insert_lock.sql template1”后建立的數據庫中這么做, 因為這個模板數據庫將被克隆成新建的數據庫。
4.安裝pgpool_recovery
如果你使用在線回復,需要以下一些函數: pgpool_recovery, pgpool_remote_start, pgpool_switch_xlog。
另外,附帶工具pgpoolAdmin 控制 pgpool-II 啟停和重新連接后端的 PostgreSQL 節點, 它需要函數 pgpool_pgctl;而且 pgpoolAdmin 需要函數 pgpool_pgctl 來對 PostgreSQL 進行停止/重啟/重新加載參數操作。
可以使用和安裝 pgpool_regclass 一樣的方法安裝著四個函數。 不過和 pgpool_regclass 不同的是,你只需要在 template1 數據庫中安裝這些函數。
cd pgpool-II-3.5.3/src/sql/pgpool-recovery make && make install psql -f pgpool-recovery.sql template1 或 psql template1 =# CREATE EXTENSION pgpool_recovery
1.配置pcp.conf
pgpool提供pcp接口,可以查看,管理pgpool的狀態,并且可以遠程操作pgpool,pcp.conf用來對pcp相關命令認證的文件
cd /usr/local/pgpool cp etc/pcp.conf.sample etc/pcp.conf bin/pg_md5 -m -u pgpool -p 會自動生成pool_passwd postgres:md533c14731dfdfsdfsdf91e8d10c4bff5 cat etc/pcp.conf pgpool:md533c14731dfdfsdfsdf91e8d10c4bff5
2.配置pool_hba.conf
通過pool_hba.conf可以進行相關權限設置,類似于postgresql的pg_hba.conf
cd /usr/local/pgpool cp etc/pool_hba.conf.sample etc/pool_hba.conf bin/pg_md5 -m -u postgres -p 會自動生成pool_passwd postgres:md533c14731dfdfsdfsdf91e8d10c4bff5
**注意:
1.pool_hba.conf中的加密方式必須和pg_hba.conf中的加密方式一樣,都為mds、trust或其他方式。若不一樣會報錯。
2.pool_hba.conf中的用戶必須在postgresql數據庫中存在
**
3.配置pgpool.conf
cd /usr/local/pgpool cp etc/pgpool.conf.sample etc/pgpool.conf #創建相關目錄 mkdir -p /var/run/pgpool mkdir -p /usr/local/pgpool/logs vim etc/pgpool.conf listen_addresses = '*' port = 9999 socket_dir = '/tmp' listen_backlog_multiplier = 2 serialize_accept = off pcp_listen_addresses = '*' pcp_port = 9898 pcp_socket_dir = '/tmp' backend_hostname0 = '10.10.10.56' backend_port0 = 5432 backend_weight0 = 1 backend_data_directory0 = '/data/pgsql/data' backend_flag0 = 'ALLOW_TO_FAILOVER' backend_hostname1 = '10.10.10.57' backend_port1 = 5432 backend_weight1 = 1 backend_data_directory1 = '/data/pgsql/data' backend_flag1 = 'ALLOW_TO_FAILOVER' enable_pool_hba = on pool_passwd = 'pool_passwd' debug_level = 0 pid_file_name = '/var/run/pgpool/pgpool.pid' logdir = '/usr/local/pgpool/logs' replication_mode = on load_balance_mode = on master_slave_mode = off
其中:
replication_mode = on 復制模式打開,可以在兩臺postgresql數據庫上進行實時備份
load_balance_mode = on 負載均衡模式打開,可以實現負載均衡
3.啟動pgpool
/usr/local/pgpool/bin/pgpool
4.連接pgpool
psql -U postgres -p 9999 -h 10.10.10.56 Password for user postgres: psql (9.2.15) Type "help" for help. postgres=#
1.創建bench_replication數據庫
psql -U postgres -p 9999 -h 10.10.10.56 Password for user postgres: psql (9.2.15) Type "help" for help. postgres=#create database bench_replication;
我們可以分別登陸56、57上的postgresql進行查看
psql -U postgres -p 5432 -h 10.10.10.56 Password for user postgres: psql (9.2.15) Type "help" for help. postgres=# \list List of databases Name | Owner | Encoding | Collate | Ctype | Access privileges -------------------+----------+----------+-------------+-------------+----------------------- bench_replication | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | postgres | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | template0 | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/postgres + | | | | | postgres=CTc/postgres template1 | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/postgres + | | | | | postgres=CTc/postgres (4 rows)
可以看到兩臺postgresql都創建了bench_replication數據庫,因此pgpool的復制是成功的。
2.pgbench測試
#安裝pgbench yum install postgresql-contrib pgbench -i -h 10.10.10.56 -U postgres -p 9999 bench_replication
在所有pgsql節點中,下面列出的表和數據都被建立了,說明復制運行正常。
表名 | 行數 |
---|---|
branches | 1 |
tellers | 10 |
accounts | 100000 |
history | 0 |
以上只是簡單介紹了pgpool-II的復制和負載均衡作為入門,還有很多功能沒有介紹,需要我們繼續探索。
補充:pgpool使用中遇到的坑總結
最早時候使用的是復制模式,數據到pgpool然后pgpool分別寫入n個postgres.發現經常出現數據不一致問題,導致最終只有一個數據庫可用
基于PIRT的online recovery 配置復雜
這個用到postgres9的新特性,前期配置測試都很easy,failover 也很好用,但是當服務連接上pgpool時,事務往往報錯 postgres error : failed to read kind from backend,這個我在之前的文章中提到過,至今無法解決。
num_init_children 原來理解成了一個池的大小,如果超過了會自動擴增,但是實際上往往不夠用,確切的說該值也是 pgpool-II 支持的從客戶端發起的最大并發連接數。
所以這個值配的盡量大些,并且對這個值的更改必須重啟pgpool.
當一個客戶端在執行最后一條查詢后如果空閑到了 client_idle_limit 秒數, 到這個客戶端的連接將被斷開.連接不應該讓pgpool來斷開,應該是應用主動去斷開。如果讓pgpool去斷開,會導致客戶端不可用。
當然pgpool也有一個好處,能夠快速找到連接的應用。因為每個連接都是單獨的進程,所以啟動后會有num_init_children 個進程可以接受連接
使用# ps -ef |grep pgpool 可以看到
pgpool: wait for connection request 的進程是空進程,等待連接。
pgpool: postgres dbtest 10.115.53.167(51883) idle 這些進程是使用中的進程,并且可以看到是來自哪臺機器,什么用戶,連接的是什么數據庫。
當然使用select * from pg_stat_activity 也能查到 連接情況
上述就是小編為大家分享的利用pgpool怎么實現一個負載均衡操作了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關知識,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。