您好,登錄后才能下訂單哦!
Linux-Rsync服務器如何進行客戶端搭建,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
一、需求
每晚匯總各機器的操作日志,同步到主服務器進行日志分析。
二、基礎知識
rsync 分為服務器端、客戶端,服務器端搭建比客戶端辛苦一些(也是很簡單)。
rsync 服務器是指以 deamon 方式運行 rsync 服務的服務器,需要打開 rsync deamon 和啟動 xinetd 服務。默認端口873。
rsync 客戶端是發起 rsync 連接的服務器,安裝rsync即可。
rsync 客戶端發起連接后,rsync 服務器會檢查 rsync 客戶端提交 rsync 服務器內建的戶名和密碼是否正確,如果通過認證檢測,則開始文件傳輸,傳輸的過程是按要求先比對文件的大小、屬性、權限、MD5值等信息,如果兩端文件信息不一致,則按要求同步文件的區別塊。
三、安裝
大多數Linux操作系統都自帶 rsync 服務,如果想升級可以使用 yum 等,也可以使用源碼包自己安裝。
wget https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz tar -xzf rsync-3.1.2.tar.gz cd rsync-3.1.2 ./configure --prefix=/usr/local/rsyncd make && make install
四、服務端配置
rsync 配置文件安裝完有時候并不存在,不必驚慌,可以手動創建。創建配置文件目錄及文件如下:
| - /etc/rsyncd(文件夾)
| - rsyncd.conf(rsync 服務器的配置文件)
| - rsyncd.secrets(用戶密碼文件,客戶端使用其中的賬號密碼訪問,需要 600 權限)
| - rsyncd.motd(自定義用戶登錄后顯示的服務器信息,即 messageoftoday,)
mkdir /etc/rsyncd touch /etc/rsyncd/rsyncd.conf touch /etc/rsyncd/rsyncd.secrets touch /etc/rsyncd/rsyncd.motd chmod 600 /etc/rsyncd/rsyncd.secrets
/etc/rsyncd/rsyncd.conf
pid file = /var/run/rsyncd.pid #進程 pid 文件所在位置 port = 873 #指定監聽端口,默認是873,可以自己指定 address = 192.168.1.171 #服務器監聽的IP地址,可省略 uid = root #守護進程所屬的uid,默認是nobody,可能會碰到文件或目錄權限問題,此處偷懶用的 root gid = root #守護進程的gid #chroot,即改變程序執行時所參考的根目錄位置,在傳輸文件之前,服務器守護程序在將chroot 到文件系統中的目錄中 #這樣做的好處是可能保護系統被安裝漏洞侵襲的可能。缺點是需要超級用戶權限。另外對符號鏈接文件,將會排除在外 #也就是說,你在 rsync服務器上,如果有符號鏈接,你在備份服務器上運行客戶端的同步數據時,只會把符號鏈接名同步下來,并不會同步符號鏈接的內容 use chroot = yes read only = no #只讀選擇,只讓客戶端從服務器上讀取文件 write only = yes #只寫選擇,只讓客戶端到服務器上寫入 #允許訪問的IP,可以指定單個IP,也可以指定整個網段,能提高安全性。格式是 ip 與 ip 之間、ip 和網段之間、網段和網段之間要用空格隔開; hosts allow = 192.168.1.0/255.255.255.0 10.0.1.0/255.255.255.0 max connections = 5 #客戶端最多連接數 #當用戶登錄時會看到這個信息。比如顯示當前時間、公告等 motd file = /etc/rsyncd/rsyncd.motd log file = /var/log/rsync.log #rsync 服務器的日志; transfer logging = yes #記錄傳輸文件的日志 log format = %t %a %m %f %b #日志格式 syslog facility = local3 #日志級別 #通過該選項可以覆蓋客戶指定的IP超時時間。可以確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位為秒鐘,0表示沒有超時定義,這也是默認值。對于匿名rsync服務器來說,一個理想的數字是600。 timeout = 300 #模塊定義 #主要是定義服務器哪個目錄要被同步。 #每個模塊都要以[name]形式。這個名字就是在 rsync 客戶端看到的名字。 #但是服務器真正同步的數據是通過 path 指定的。可以依次創建多個模塊。 #每個模塊要指定認證用戶、密碼文件,但排除并不是必須的。 [ logs ] #模塊名,以下配置都屬于此模塊 path = /var/log #文件目錄所在位置 list = no #當查看服務器上提供了哪些目錄時是否列出來,no比較安全 ignore errors #忽略I/O錯誤 #指定由空格或逗號分隔的用戶名列表,只有這些用戶才允許連接該模塊。這里的用戶和系統用戶沒有任何關系,是 rsyncd.secrets 中的用戶名! #如果"auth users"被設置,那么客戶端發出對該模塊的連接請求以后會被rsync請求challenged進行驗證身份。 #這里使用的 challenge/response 認證協議。 #用戶的名和密碼以明文方式存放在"secrets file"選項指定的文件中。默認情況下無需密碼就可以連接模塊(也就是匿名方式)。 auth users = zhangzk secrets file = /etc/rsyncd/rsyncd.secrets #密碼文件 exclude = error_log httpd.pid #忽略的文件或目錄 comment this is my log #本模塊注釋,可選
/etc/rsyncd/rsyncd.secrets 密碼文件,用戶名稱與密碼以冒號分隔,多個用戶名和密碼可以多行
zhangzk:239fjdalk@893246dasaATDFBSad zhangab:669fjbalk@8sadf$3246dasaATDFBSaf
/etc/rsyncd/rsyncd.motd 登錄公告
++++++++++++++++++++++++++++++ + John ABC rsync 2008-2099 + ++++++++++++++++++++++++++++++
五、啟動服務端
啟動服務端有兩種方式。
1.直接使用 --daemon 參數
/usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf
2.xinet方式
1).修改 /etc/services,加入以下內容,如果已經有可以不加,如果端口改了,需要改掉 873 端口為指定端口
rsync 873/tcp # rsync rsync 873/udp # rsync
2).修改 /etc/xinetd.d/rsync,主要是要打開rsync這個daemon, 一旦有rsync client要連接時, xinetd會把它轉介給 rsyncd(port 873)。
service rsync { disable = no socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon --config=/etc/rsyncd/rsynd.conf log_on_failure += USERID }
3).重啟 xinetd
service xinetd restart
六、客戶端配置
創建密碼文件,/etc/rsyncd/rsyncd.pass,并修改為 600 權限
touch /etc/rsyncd/rsyncd.pass chmod 600 /etc/rsyncd/rsyncd.pass
/etc/rsyncd/rsyncd.pass 其內密碼需要和服務端內/etc/rsyncd/rsyncd.pass指定用戶的密碼保持一致
239fjdalk@893246dasaATDFBSad
七、客戶端向服務端傳輸文件,如果是 873 端口,可以把 --port 去掉
rsync -vzrtopg --delete --progress /var/log/access.log zhangzk@192.168.1.100::logs --password-file=/etc/rsyncd/rsyncd.pass --port=873
若有需要也可以從服務端拉取文件,需要把服務器的 /etc/rsyncd/rsyncd.conf 中的 write only = yes 給去掉
#拉取整個目錄 rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd/rsyncd.pass --port=873 zhangzk@192.168.1.100::logs /var/log #拉取單個文件 rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd/rsyncd.pass --port=873 zhangzk@192.168.1.100::logs/a.log /var/log
八、附贈 /etc/init.d/rsync
#!/bin/bash # chkconfig: - 85 15 # description: rsync status1=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') pidfile="/var/run/rsyncd.pid" start_rsync="rsync --daemon --config=/etc/rsyncd/rsyncd.conf" function rsyncstart() { if [ "${status1}X" == "X" ]; then rm -f $pidfile ${start_rsync} status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') if [ "${status2}X" != "X" ]; then echo "rsync service start.......OK" fi else echo "rsync service is running !" fi } function rsyncstop() { if [ "${status1}X" != "X" ]; then kill -9 $(cat $pidfile) status2=$(ps -ef | egrep "rsync --daemon.*rsyncd.conf" | grep -v 'grep') if [ "${statusw2}X" == "X" ]; then echo "rsync service stop.......OK" fi else echo "rsync service is not running !" fi } function rsyncstatus() { if [ "${status1}X" != "X" ]; then echo "rsync service is running !" else echo "rsync service is not running !" fi } function rsyncrestart() { if [ "${status1}X" == "X" ]; then echo "rsync service is not running..." rsyncstart else rsyncstop rsyncstart fi } case $1 in "start") rsyncstart ;; "stop") rsyncstop ;; "status") rsyncstatus ;; "restart") rsyncrestart ;; *) echo echo "Usage: $0 start|stop|restart|status" echo esac
九、附贈配置參數
全局參數
在文件中[module]之前的所有參數都是全局參數,當然也可以在全局參數部分定義模塊參數,這時候該參數的值就是所有模塊的默認值。
port
指定后臺程序使用的端口號,默認為873。
motd file
"motd file"參數用來指定一個消息文件,當客戶連接服務器時該文件的內容顯示給客戶,默認是沒有motd文件的。
log file
"log file"指定rsync的日志文件,而不將日志發送給syslog。比如可指定為“/var/log/rsyncd.log”。
pid file
指定rsync的pid文件,通常指定為“/var/run/rsyncd.pid”。
syslog facility
指定rsync發送日志消息給syslog時的消息級別,常見的消息級別是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默認值是daemon。
模塊參數
主要是定義服務器哪個目錄要被同步。其格式必須為“[module]”形式,這個名字就是在rsync 客戶端看到的名字,其實有點象Samba服務器提供的共享名。而服務器真正同步的數據是通過 path 來指定的。我們可以根據自己的需要,來指定多個模塊,模塊中可以定義以下參數:
comment
給模塊指定一個描述,該描述連同模塊名在客戶連接得到模塊列表時顯示給客戶。默認沒有描述定義。
path
指定該模塊的供備份的目錄樹路徑,該參數是必須指定的。
use chroot
如 果"use chroot"指定為true,那么rsync在傳輸文件以前首先chroot到path參數所指定的目錄下。這樣做的原因是實現額外的安全防護,但是缺 點是需要以roots權限,并且不能備份指向外部的符號連接所指向的目錄文件。默認情況下chroot值為true。
uid
該選項指定當該模塊傳輸文件時守護進程應該具有的uid,配合gid選項使用可以確定哪些可以訪問怎么樣的文件權限,默認值是"nobody"。
gid
該選項指定當該模塊傳輸文件時守護進程應該具有的gid。默認值為"nobody"。
max connections
指定該模塊的最大并發連接數量以保護服務器,超過限制的連接請求將被告知隨后再試。默認值是0,也就是沒有限制。
list
該選項設定當客戶請求可以使用的模塊列表時,該模塊是否應該被列出。如果設置該選項為false,可以創建隱藏的模塊。默認值是true。
read only
該選項設定是否允許客戶上載文件。如果為true那么任何上載請求都會失敗,如果為false并且服務器目錄讀寫權限允許那么上載是允許的。默認值為true。
exclude
用來指定多個由空格隔開的多個文件或目錄(相對路徑),并將其添加到exclude列表中。這等同于在客戶端命令中使用--exclude來指定模式,一個 模塊只能指定一個exclude選項。但是需要注意的一點是該選項有一定的安全性問題,客戶很有可能繞過exclude列表,如果希望確保特定的文件不能 被訪問,那就最好結合uid/gid選項一起使用。
exclude from
指定一個包含exclude模式的定義的文件名,服務器從該文件中讀取exclude列表定義。
include
用來指定不排除符合要求的文件或目錄。這等同于在客戶端命令中使用--include來指定模式,結合include和exclude可以定義復雜的exclude/include規則。
include from
指定一個包含include模式的定義的文件名,服務器從該文件中讀取include列表定義。
auth users
該選項指定由空格或逗號分隔的用戶名列表,只有這些用戶才允許連接該模塊。這里的用戶和系統用戶沒有任何關系。如果"auth users"被設置,那么客戶端發出對該模塊的連接請求以后會被rsync請求challenged進行驗證身份這里使用的 challenge/response認證協議。用戶的名和密碼以明文方式存放在"secrets file"選項指定的文件中。默認情況下無需密碼就可以連接模塊(也就是匿名方式)。
secrets file
該選項指定一個包含定義用戶名:密碼對的文件。只有在"auth users"被定義時,該文件才有作用。文件每行包含一個username:passwd對。一般來說密碼最好不要超過8個字符。沒有默認的 secures file名,需要限式指定一個(例如:/etc/rsyncd.passwd)。注意:該文件的權限一定要是600,否則客戶端將不能連接服務器。
strict modes
該選項指定是否監測密碼文件的權限,如果該選項值為true那么密碼文件只能被rsync服務器運行身份的用戶訪問,其他任何用戶不可以訪問該文件。默認值為true。
hosts allow
該選項指定哪些IP的客戶允許連接該模塊。客戶模式定義可以是以下形式:
單個IP地址,例如:192.167.0.1
整個網段,例如:192.168.0.0/24,也可以是192.168.0.0/255.255.255.0
多個IP或網段需要用空格隔開,“*”則表示所有,默認是允許所有主機連接。
hosts deny
指定不允許連接rsync服務器的機器,可以使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義。
ignore errors
指定rsyncd在判斷是否運行傳輸時的刪除操作時忽略server上的IO錯誤,一般來說rsync在出現IO錯誤時將將跳過--delete操作,以防止因為暫時的資源不足或其它IO錯誤導致的嚴重問題。
ignore nonreadable
指定rysnc服務器完全忽略那些用戶沒有訪問權限的文件。這對于在需要備份的目錄中有些文件是不應該被備份者得到的情況是有意義的。
lock file
指定支持max connections參數的鎖文件,默認值是/var/run/rsyncd.lock。
transfer logging
使rsync服務器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日志中。
log format
通過該選項用戶在使用transfer logging可以自己定制日志文件的字段。其格式是一個包含格式定義符的字符串,可以使用的格式定義符如下所示:
%h 遠程主機名
%a 遠程IP地址
%l 文件長度字符數
%p 該次rsync會話的進程id
%o 操作類型:"send"或"recv"
%f 文件名
%P 模塊路徑
%m 模塊名
%t 當前時間
%u 認證的用戶名(匿名時是null)
%b 實際傳輸的字節數
%c 當發送文件時,該字段記錄該文件的校驗碼
默認log格式為:"%o %h [%a] %m (%u) %f %l",一般來說,在每行的頭上會添加"%t [%p] "。在源代碼中同時發布有一個叫rsyncstats的perl腳本程序來統計這種格式的日志文件。
timeout
通過該選項可以覆蓋客戶指定的IP超時時間。通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位為秒鐘,0表示沒有超時定義,這也是默認值。對于匿名rsync服務器來說,一個理想的數字是600。
refuse options
通過該選項可以定義一些不允許客戶對該模塊使用的命令參數列表。這里必須使用命令全名,而不能是簡稱。但發生拒絕某個命令的情況時服務器將報告錯誤信息然后退出。如果要防止使用壓縮,應該是:"dont compress = *"。
dont compress
用來指定那些不進行壓縮處理再傳輸的文件,默認值是*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
十、附贈rsync命令
-v, --verbose 詳細模式輸出 -q, --quiet 精簡輸出模式 -c, --checksum 打開校驗開關,強制對文件傳輸進行校驗 -a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD -r, --recursive 對子目錄以遞歸模式處理 -R, --relative 使用相對路徑信息 -b, --backup 創建備份,也就是對于目的已經存在有同樣的文件名時,將老的文件重新命名為~filename。可以使用--suffix選項來指定不同的備份文件前綴。 --backup-dir 將備份文件(如~filename)存放在在目錄下。 -suffix=SUFFIX 定義備份文件前綴 -u, --update 僅僅進行更新,也就是跳過所有已經存在于DST,并且文件時間晚于要備份的文件。(不覆蓋更新的文件) -l, --links 保留軟鏈結 -L, --copy-links 想對待常規文件一樣處理軟鏈結 --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結 --safe-links 忽略指向SRC路徑目錄樹以外的鏈結 -H, --hard-links 保留硬鏈結 -p, --perms 保持文件權限 -o, --owner 保持文件屬主信息 -g, --group 保持文件屬組信息 -D, --devices 保持設備文件信息 -t, --times 保持文件時間信息 -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間 -n, --dry-run現實哪些文件將被傳輸 -W, --whole-file 拷貝文件,不進行增量檢測 -x, --one-file-system 不要跨越文件系統邊界 -B, --block-size=SIZE 檢驗算法使用的塊尺寸,默認是700字節 -e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步 --rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息 -C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件,用來排除那些不希望傳輸的文件 --existing 僅僅更新那些已經存在于DST的文件,而不備份那些新創建的文件 --delete 刪除那些DST中SRC沒有的文件 --delete-excluded 同樣刪除接收端那些被該選項指定排除的文件 --delete-after 傳輸結束以后再刪除 --ignore-errors 及時出現IO錯誤也進行刪除 --max-delete=NUM 最多刪除NUM個文件 --partial 保留那些因故沒有完全傳輸的文件,以是加快隨后的再次傳輸 --force 強制刪除目錄,即使不為空 --numeric-ids 不將數字的用戶和組ID匹配為用戶名和組名 --timeout=TIME IP超時時間,單位為秒 -I, --ignore-times 不跳過那些有同樣的時間和長度的文件 --size-only 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間 --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口,默認為0 -T --temp-dir=DIR 在DIR中創建臨時文件 --compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份 -P 等同于 --partial --progress 顯示備份過程 -z, --compress 對備份的文件在傳輸時進行壓縮處理 --exclude=PATTERN 指定排除不需要傳輸的文件模式 --include=PATTERN 指定不排除而需要傳輸的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 綁定到特定的地址 --config=FILE 指定其他的配置文件,不使用默認的rsyncd.conf文件 --port=PORT 指定其他的rsync服務端口 --blocking-io 對遠程shell使用阻塞IO -stats 給出某些文件的傳輸狀態 --progress 在傳輸時現實傳輸過程 --log-format=formAT 指定日志文件格式 --password-file=FILE 從FILE中得到密碼 --bwlimit=KBPS 限制I/O帶寬,KBytes per second -h, --help 顯示幫助信息
看完上述內容,你們掌握Linux-Rsync服務器如何進行客戶端搭建的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。