您好,登錄后才能下訂單哦!
這篇文章主要介紹“如何使用notify+rsync實現linux文件批量更新”,在日常操作中,相信很多人在如何使用notify+rsync實現linux文件批量更新問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”如何使用notify+rsync實現linux文件批量更新”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
Rsync遠程同步工具,通過rsync可以實現對遠程服務器數據增量備份同步,但是rsync自身也有瓶頸,同步數據時,rsync采用核心算法對遠程服務器的目標文件進行對比,只進行差異同步,如果服務器文件的數量達到百萬甚至是千萬量級,那么文件對比將是非常耗時的,而且發生變化的往往只是其中很少的一部分,這是非常低效的方式,Inotify的出現,可以緩解rsync的不足之處,取長補短。
CentOS_5.7-x86_64 更新源服務器:192.168.9.227 目的服務器:192.168.9.226 192.168.9.228 …
192.168.9.226 192.168.9.228(rsync服務端):
rpm -qa|grep rsync
如果沒有發裝,執以下命令進行安裝
yum -y install rsync
192.168.9.226:
cat >> /etc/rsyncd.conf log file = /var/log/rsyncd.log [web1] path = /data/www1/ ignore errorsread only = no list = no hosts allow = 192.168.9.0/255.255.255.0 auth users = www1 secrets file = /etc/www1.pwd EOF
192.168.9.228:
cat >> /etc/rsyncd.conf log file = /var/log/rsyncd.log [web2] path = /data/www2/ ignore errorsread only = no list = no hosts allow = 192.168.9.0/255.255.255.0 auth users = www2 secrets file = /etc/www2.pwd EOF
uid = nobody //運行RSYNC守護進程的用戶 gid = nobody //運行RSYNC守護進程的組 use chroot = 0 //不使用chroot max connections = 0 // 最大連接數,0為不限制 port = 873 //默認端口873 下面這些文件是安裝完RSYNC服務后自動生成的文件 pid file = /var/run/rsyncd.pid //pid文件的存放位置 lock file = /var/run/rsync.lock //鎖文件的存放位置.指定支持max connections參數的鎖文件,默認值是/var/run/rsyncd.lock.log file = /var/log/rsyncd.log //日志記錄文件的存放位置 Timeout = 300 通過該選項可以覆蓋客戶指定的IP超時時間.通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶端.超時單位為秒鐘,0表示沒有超時定義,這也是默認值.對于匿名rsync服務器來說,一個理想的數字是600. Log format = %t %a %m %f %b 通過該選項用戶在使用transfer logging可以自己定制日志文件的字段.其格式是一個包含格式定義符的字符串,可以使用的格式定義符如下所示: %h 遠程主機名 %a 遠程IP地址 %l 文件長度字符數 %p 該次rsync會話的進程id %o 操作類型:" send" 或" recv"%f 文件名 %P 模塊路徑 %m 模塊名 %t 當前時間 %u 認證的用戶名(匿名時是null) %b 實際傳輸的字節數 %c 當發送文件時,該字段記錄該文件的校驗碼 默認log格式為:" %o %h [%a] %m (%u) %f %l" ,一般來說,在每行的頭上會添加" %t [%p] " .在源代碼中同時發布有一個叫rsyncstats的perl腳本程序來統計這種格式的日志文件.#transfer logging = yes使rsync服務器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日志中. syslog facility = local3 指定rsync發送日志消息給syslog時的消息級別,常見的消息級別是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默認值是daemon. 模塊參數 [web1] //這里是認證的模塊名,在client端需要指定 path = /data/www1/ //需要做鏡像的目錄,不可缺少! comment = backup web //這個模塊的注釋信息 ignore errors //可以忽略一些無關的IO錯誤read only = yes //該選項設定是否允許客戶上載文件.如果為true那么任何上載請求都會失敗,如果為false并且服務器目錄讀寫權限允許那么上載是允許的.默認值為true. list = no //不允許列文件 auth users = bak //認證的用戶名,如果沒有這行則表明是匿名,此用戶與系統無關 該選項指定由空格或逗號分隔的用戶名列表,只有這些用戶才允許連接該模塊.這里的用戶和系統用戶沒有任何關系.如果" auth users" 被設置,那么客戶端發出對該模塊的連接請求以后會被rsync請求challenged進行驗證身份這里使用的challenge/response認證協議.用戶的名和密碼以明文方式存放在" secrets file" 選項指定的文件中.默認情況下無需密碼就可以連接模塊(也就是匿名方式). secrets file = /etc/www1.pwd //密碼和用戶名對比表,密碼文件自己生成 該選項指定一個包含定義用戶名:密碼對的文件.只有在" auth users" 被定義時,該文件才有作用.文件每行包含一個username:passwd對.一般來說密碼最好不要超過8個字符.沒有默認的secures file名,需要限式指定一個(例如:/etc/www1.pwd).注意:該文件的權限一定要是600,否則客戶端將不能連接服務器. hosts allow = 192.168.9.0/255.255.255.0 //允許主機或網段 該選項指定哪些IP的客戶允許連接該模塊.客戶模式定義可以是以下形式: 單個IP地址,例如:192.168.9.227 整個網段,例如:192.168.9.0/24,也可以是192.168.9.0/255.255.255.0 多個IP或網段需要用空格隔開,“*”則表示所有,默認是允許所有主機連接. hosts deny = 0.0.0.0/0 //禁止主機
建立認證文件/etc/www1.pwd
此文件須與配置文件中指定文件名保持一致 此處格式為:username:password,安全問題,并不建議實際使用中使用root用戶 192.168.9.226:
echo "www1:741852" >> /etc/www1.pwd
192.168.9.228:
echo "www2:951753" >> /etc/www2.pwd
并且我們需要設置此文件的權限為600
chmod 600 /etc/www1.pwd chmod 600 /etc/www2.pwd chmod 600 /etc/rsyncd.conf
建立motd文件(可有可無)
rsyncd.motd記錄了rsync服務的歡迎信息,你可以在其中輸入任何文本信息,如:
echo "Welcome to use the rsync services!" >> /var/rsyncd.motd
啟動rsync
/usr/bin/rsync --daemonecho "/usr/bin/rsync --daemon" >> /etc/rc.local
更新源服務器配置
192.168.9.227 (rsync客戶端)
inotify 可以監視的文件系統事件包括
IN_ACCESS,即文件被訪問IN_MODIFY,文件被 writeIN_ATTRIB,文件屬性被修改,如 chmod、chown、touch 等IN_CLOSE_WRITE,可寫文件被 closeIN_CLOSE_NOWRITE,不可寫文件被 closeIN_OPEN,文件被 openIN_MOVED_FROM,文件被移走,如 mvIN_MOVED_TO,文件被移來,如 mv、cpIN_CREATE,創建新文件IN_DELETE,文件被刪除,如 rmIN_DELETE_SELF,自刪除,即一個可執行文件在執行時刪除自己IN_MOVE_SELF,自移動,即一個可執行文件在執行時移動自己IN_UNMOUNT,宿主文件系統被 umountIN_CLOSE,文件被關閉,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)IN_MOVE,文件被移動,等同于(IN_MOVED_FROM | IN_MOVED_TO)
注:上面所說的文件也包括目錄。
在安裝inotify-tools前請先確認你的linux內核是否打到了2.6.13,并且在編譯時開啟了CONFIG_INOTIFY選項,也可以通過以下命令檢測
ls /proc/sys/fs/inotify
如果有 max_queued_events,max_user_instances,max_user_watches 三項就說明支持
wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gztar xvf inotify-tools-3.14.tar.gzcd inotify-tools-3.14./configuremake;make install
vi /root/rsync.sh#!/bin/bashhost1=192.168.9.226 host2=192.168.9.228 src=/data/www/ des1=web1 des2=web2 user1=www1 user2=www2 /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \ -e modify,delete,create,attrib \${src} \ | while read filedorsync -vzrtopg --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd && rsync -vzrtopg --delete --progress ${src} ${user2}@${host2}::${des2} --password-file=/etc/www2.pwd &&echo "${files} was rsynced" >> /tmp/rsync.log 2>&1echo "---------------------------------------------------------------------------"done-m, 即--monitor,表示始終保持事件監聽狀態。 -r, 即--recursive,表示遞歸查詢目錄。 -q, 即--quiet,表示打印出監控事件。 -e, 即--event,通過此參數可以指定要監控的事件,常見的事件有modify、delete、create、attrib等 --timefmt:指定時間的輸出格式 --format:指定變化文件的詳細信息
建立認證文件 (rsync客戶端認證文件只用加入密碼)
echo "741852" >> /etc/www1.pwdecho "951753" >> /etc/www2.pwd chmod 600 /etc/www1.pwd chmod 600 /etc/www2.pwd /bin/sh -n /root/rsync.sh //語法檢查 chmod +x /root/rsync.sh nohup sh /root/rsync.sh &echo "nohup sh /root/rsync.sh &" >> /etc/rc.local
在更新源服務器上新建一個文件,運行以下的命令,看文件是否可以正常同步,看有無報錯信息
rsync -vzrtopg --delete --progress /data/www1/ www1@192.168.9.226::web1 --password-file=/etc/www1.pwd
將要更新的文件提交到更新源服務器中,這樣就通過inotify+rsync批量的將更新文件同步到所有的目的服務器中,相當方便快捷。
到此,關于“如何使用notify+rsync實現linux文件批量更新”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注億速云網站,小編會繼續努力為大家帶來更多實用的文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。