自動化運維工具Ansible詳細部署

一、基礎介紹

==========================================================================================

1、簡介

ansible是新出現的自動化運維工具，基于Python開發，集合了眾多運維工具（puppet、cfengine、chef、func、fabric）的優點，實現了批量系統配置、批量程序部署、批量運行命令等功能。ansible是基于模塊工作的，本身沒有批量部署的能力。真正具有批量部署的是ansible所運行的模塊，ansible只是提供一種框架。主要包括：

(1)、連接插件connection plugins：負責和被監控端實現通信；

(2)、host inventory：指定操作的主機，是一個配置文件里面定義監控的主機；

(3)、各種模塊核心模塊、command模塊、自定義模塊；

(4)、借助于插件完成記錄日志郵件等功能；

(5)、playbook：劇本執行多個任務時，非必需可以讓節點一次性運行多個任務。

2、總體架構

3、特性

(1)、no agents：不需要在被管控主機上安裝任何客戶端；

(2)、no server：無服務器端，使用時直接運行命令即可；

(3)、modules in any languages：基于模塊工作，可使用任意語言開發模塊；

(4)、yaml，not code：使用yaml語言定制劇本playbook；

(5)、ssh by default：基于SSH工作；

(6)、strong multi-tier solution：可實現多級指揮。

4、優點
(1)、輕量級，無需在客戶端安裝agent，更新時，只需在操作機上進行一次更新即可；
(2)、批量任務執行可以寫成腳本，而且不用分發到遠程就可以執行；
(3)、使用python編寫，維護更簡單，ruby語法過于復雜；
(4)、支持sudo。

5、任務執行流程

==========================================================================================

二、Ansible基礎安裝與配置

==========================================================================================

1-1、yum源安裝

以centos為例，默認在源里沒有ansible，不過在fedora epel源里有ansible，配置完epel 源后，可以直接通過yum 進行安裝。這里以centos6.8為例：

#?wget?http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm?
#?rpm?-ivh?epel-release-6-8.noarch.rpm
#?yum?install?ansible

1-2、源碼安裝

(1)、安裝devtoolset

#?yum?groupinstall?"Development?tools"

(2)、安裝編譯Python需要的包包

#?yum?install?gcc?zlib-devel?bzip2-devel?openssl-devel?ncurses-devel?sqlite-devel?libffi-devel

(3)、python2.7安裝

wget?https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz
tar?xvzf?Python-2.7.14.tgz
cd?Python-2.7.14
./configure
make?&&?make?altinstall（altinstall在安裝時會區分已存在的版本）(解決libpython2.7.so.1.0辦法：vi?/etc/ld.so.conf?添加/usr/local/lib，然后ldconfig)
mv?/usr/bin/python?/usr/bin/python2.6.6
ln?-s?/usr/local/bin/python2.7?/usr/bin/python

##?將python頭文件拷貝到標準目錄，以避免編譯ansible時，找不到所需的頭文件
cd?/usr/local/include/python2.7/
cp?-a?./*?/usr/include/

##?修改yum腳本，使其指向舊版本的python，已避免其無法運行
vim?/usr/bin/yum
#!/usr/bin/python??-->??#!/usr/bin/python2.6.6

(4)、setuptools模塊安裝

wget?https://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11-py2.7.egg??--no-check-certificate?
chmod?+x?setuptools-0.6c11-py2.7.egg?
sh?setuptools-0.6c11-py2.7.egg

(5)、pycrypto模塊安裝

wget?https://pypi.python.org/packages/source/p/pycrypto/pycrypto-2.6.1.tar.gz
tar?zxvf?pycrypto-2.6.1.tar.gz
cd?pycrypto-2.6.1
python?setup.py?install
cd?..

(6)、PyYAML模塊安裝

##安裝libyaml
wget?http://pyyaml.org/download/libyaml/yaml-0.1.5.tar.gz
tar?zxvf?yaml-0.1.5.tar.gz
cd?yaml-0.1.5
./configure?--prefix=/usr/local
make?--jobs=`grep?processor?/proc/cpuinfo?|?wc?-l`
make?install
cd?..
##安裝PyYAML
wget?http://pyyaml.org/download/pyyaml/PyYAML-3.11.tar.gz
tar?zxvf?PyYAML-3.11.tar.gz
cd?PyYAML-3.11
python?setup.py?install
cd?..

(7)、Jinja2模塊安裝

##安裝MarkupSafe
wget?https://pypi.python.org/packages/source/M/MarkupSafe/MarkupSafe-0.9.3.tar.gz
tar?zxvf?MarkupSafe-0.9.3.tar.gz
cd?MarkupSafe-0.9.3
python?setup.py?install
cd?..
##安裝Jinja
wget?https://pypi.python.org/packages/source/J/Jinja2/Jinja2-2.7.3.tar.gz
tar?zxvf?Jinja2-2.7.3.tar.gz
cd?Jinja2-2.7.3
python?setup.py?install
cd?..

(8)、paramiko模塊安裝

##安裝ecdsa
wget?https://pypi.python.org/packages/source/e/ecdsa/ecdsa-0.11.tar.gz
tar?xvzf?ecdsa-0.11.tar.gz
cd?ecdsa-0.11
python?setup.py?install
cd?..
##安裝paramiko
wget?https://pypi.python.org/packages/2b/27/b64860e7b208ff1dd36fe208d07bca1f9637a11fe733e2f2ceea587c3f75/paramiko-1.7.5.zip
unzip?paramiko-1.7.5.zip
cd?paramiko-1.7.5
python?setup.py?install
cd?..

(9)、simplejson模塊安裝

wget?https://pypi.python.org/packages/08/48/c97b668d6da7d7bebe7ea1817a6f76394b0ec959cb04214ca833c34359df/simplejson-3.11.1.tar.gz
tar?zxvf?simplejson-3.11.1.tar.gz
cd?simplejson-3.11.1
python?setup.py?install
cd?..

(10)、ansible安裝

wget?https://github.com/ansible/ansible/archive/stable-2.3.zip
unzip?stable-2.3.zip
cd?ansible-stable-2.3/
python?setup.py?install

2、Ansible配置

配置用戶名密碼

(1)、使用examles包做為默認配置，具體如下：

mkdir?-p?/etc/ansible
cp?-r?examples/*?/etc/ansible/
ls?/etc/ansible/
ansible.cfg??DOCUMENTATION.yml??hosts??hosts.yaml??hosts.yml??playbooks??scripts

(2)、使用默認示例配置文件后，先備份文件，編輯/etc/ansible/hosts文件：

cp?/etc/ansible/hosts?/etc/ansible/hosts.bak?

vim?/etc/ansible/hosts???
……?
[all:children]
test
dev

[test]
#設置主機的默認連接用戶，及密碼
172.16.52.236?ansible_ssh_user=root?ansible_ssh_pass=test?

#設置ssh的連接方式，默認是openssh。官網推薦用openssh，因為paramiko查詢key的時候，很耗時，效率不高。
172.16.52.226?ansible_connection=paramiko

[dev]
＃給主機取個別名“qsh_test”，如果ssh默認端口不是22，這里可以指定特定的端口
qsh_test?ansible_ssh_host=172.16.52.100?ansible_ssh_port=21100

#指定ssh端口也可以像下面這么指定。
172.16.52.23[1:9]:22

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
注：
1、all這個組包含倆子組分別是下面的test，和dev

2、以上兩種指定ssh端口方法，只針對我們有少部分的主機是特殊端口，配置文件里有個選項，改成我們需要的端口就OK了，修改后對全局有效
grep?"remote_port"?/etc/ansible/ansible.cfg?remote_port?=?22????

3、172.16.52.236可以在不同的組中。在現實當中就像我一臺服務器即可以裝mysql也可以裝apache是一個道理。

4、后面的用戶和密碼項是非必須的，在配置key認證的情況下，不使用密碼也可以直接操作?。
未使用key的，也可以在ansible通過?-k參數在操作前詢問手動輸入密碼。

(3)、修改默認遠程端口號

配置文件里有個選項，改成我們需要的端口就OK了，修改后對全局有效

lixc@ansible:~$?grep?"remote_port"?/etc/ansible/ansible.cfg?
remote_port????=?2222

(4)、通過以下方式驗證ansible是否可用，有結果輸出，證明安裝成功。

ansible?test?-a?'uptime'
172.16.52.236?|?SUCCESS?|?rc=0?>>
?18:33:05?up?7?days,??8:07,??1?user,??load?average:?0.06,?0.05,?0.00

172.16.52.226?|?SUCCESS?|?rc=0?>>
?18:33:05?up?7?days,??8:08,??1?user,??load?average:?0.00,?0.00,?0.00

報錯："msg": "Failed to connect to the host via ssh: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).\r\n"

解決：

提示需要安裝sshpass，安裝sshpass，sshpass也是epel源提供的

[root@ansible~]# yum install -y sshpass

SSH免密鑰登錄設置

(1)、生成公鑰／私鑰

# ssh-keygen -t rsa -P ''

##?寫入信任文件（把本地的ssh公鑰文件安裝到遠程主機對應的賬戶下）：

# ?ssh-copy-id?-i?~/.ssh/id_rsa.pub?remote-host

(2)、ansible配置

# mkdir -p /etc/ansible

# vim /etc/ansible/ansible.cfg

remote_port = 36000

private_key_file = /root/.ssh/id_rsa_ansible

……

(3)、簡單測試

# ansible test -m command -a 'uptime'

說明：第一次運行時，需要輸入一下“yes”【進行公鑰驗證】，后續無需再次輸入。

說說ansible的工作流程吧，工作流程差不多是這樣的

1. ansible通過OPENSSH或者python的pramamiko連接客戶端
   

2. 把ansible module推送到客戶端。推送到客戶端哪里的呢，請看

[root@qsh_server?ansible]#?grep?"remote_tmp"?/etc/ansible/ansible.cfg?
remote_tmp?????=?$HOME/.ansible/tmp
[root@qsh_server?ansible]#?ansible?test??-a?"ls??~/.ansible"
172.16.52.236?|?SUCCESS?|?rc=0?>>
tmp

3.通過ssh執行客戶端上的ansible module

4.執行完畢

5.刪除剛剛推送過去的ansible module

3、常用模塊使用

(1)、setup

##?用來查看遠程主機的一些基本信息

# ansible test -m setup |more

(2)、ping

##?用來測試遠程主機的運行狀態

# ansible test -m ping

(3)、file

##?設置文件的屬性

相關選項如下：

force：需要在兩種情況下強制創建軟鏈接，一種是源文件不存在，但之后會建立的情況下；另一種是目標軟鏈接已存在，需要先取消之前的軟鏈，然后創建新的軟鏈，有兩個選項：yes|no

group：定義文件/目錄的屬組

mode：定義文件/目錄的權限

owner：定義文件/目錄的屬主

path：必選項，定義文件/目錄的路徑

recurse：遞歸設置文件的屬性，只對目錄有效

src：被鏈接的源文件路徑，只應用于state=link的情況

dest：被鏈接到的路徑，只應用于state=link的情況

state：

?????? directory：如果目錄不存在，就創建目錄

?????? file：即使文件不存在，也不會被創建

?????? link：創建軟鏈接

?????? hard：創建硬鏈接

?????? touch：如果文件不存在，則會創建一個新的文件，如果文件或目錄已存在，則更新其最后修改時間

?????? absent：刪除目錄、文件或者取消鏈接文件

示例：

##?遠程文件符號鏈接創建

# ansible test -m file -a "src=/etc/resolv.conf dest=/tmp/resolv.conf state=link"

##?遠程文件信息查看

# ansible test -m command -a "ls –al /tmp/resolv.conf"

##?遠程文件符號鏈接刪除

# ansible test -m file -a "path=/tmp/resolv.conf state=absent"

##?遠程文件信息查看

# ansible test -m command -a "ls -al /tmp/resolv.conf"

說明：如上顯示，代表文件或鏈接已經刪除。

##?遞歸創建個文件夾

# ansible test -m file -a "dest=/tmp/a/b/c owner=root group=root mode=755 state=directory"

(4)、copy

##?復制文件到遠程主機

相關選項如下：

backup：在覆蓋之前，將源文件備份，備份文件包含時間信息。有兩個選項：yes|no

content：用于替代“src”，可以直接設定指定文件的值

dest：必選項。要將源文件復制到的遠程主機的絕對路徑，如果源文件是一個目錄，那么該路徑也必須是個目錄

directory_mode：遞歸設定目錄的權限，默認為系統默認權限

force：如果目標主機包含該文件，但內容不同，如果設置為yes，則強制覆蓋，如果為no，則只有當目標主機的目標位置不存在該文件時，才復制。默認為yes

others：所有的file模塊里的選項都可以在這里使用

src：被復制到遠程主機的本地文件，可以是絕對路徑，也可以是相對路徑。如果路徑是一個目錄，它將遞歸復制。在這種情況下，如果路徑使用“/”來結尾，則只復制目錄里的內容，如果沒有使用“/”來結尾，則包含目錄在內的整個內容全部復制，類似于rsync。

示例：

##?將本地文件“/etc/ansible/ansible.cfg”復制到遠程服務器

# ansible test -m copy -a "src=/tmp/test.txt dest=/tmp/test.txt owner=root group=root mode=0644"

##?copy 前先備份

# ansible test -m copy -a "src=/tmp/test.txt dest=/tmp/test.txt owner=root group=root mode=0644 backup=yes"

報錯信息：

"Aborting, target uses selinux but python bindings (libselinux-python) aren't installed!"

解決辦法：關閉遠程服務器selinux

(5)、command

##?在遠程主機上執行命令

相關選項如下：

creates：一個文件名，當該文件存在，則該命令不執行

free_form：要執行的linux指令

chdir：在執行指令之前，先切換到該目錄

removes：一個文件名，當該文件不存在，則該選項不執行

executable：切換shell來執行指令，該執行路徑必須是一個絕對路徑

示例：

# ansible test -m command -a "uptime"

(6)、shell

##?切換到某個shell執行指定的指令，參數與command相同。

與command不同的是，此模塊可以支持命令管道，同時還有另一個模塊也具備此功能：raw

示例：

##?先在本地創建一個SHELL腳本

# vim /tmp/ansible_test.sh

#!/bin/sh

date +%F_%H:%M:%S

#chmod +x /tmp/ansible_test.sh

##?將創建的腳本文件分發到遠程

# ansible test -m copy -a "src=/tmp/ansible_test.sh dest=/tmp/ansible_test.sh owner=root group=root mode=0755"

##?遠程執行

# ansible test -m shell -a "/tmp/ansible_test.sh"

(7)、更多模塊

其他常用模塊，比如：service、cron、yum、synchronize就不一一例舉，可以結合自身的系統環境進行測試。

service：系統服務管理

cron：計劃任務管理

yum：yum軟件包安裝管理

synchronize：使用rsync同步文件

user：系統用戶管理

group：系統用戶組管理

更多模塊可以參考：

#ansible-doc –l

http://docs.ansible.com/modules_by_category.html

http://www.ansible.cn/docs/

(國內的一個鏡像站點，避免被墻?^_^ )

(8)、一些概念補充

playbook的組成：playbook是由一個或多個“play”組成的列表，可以讓它們聯同起來按事先編排的機制執行；所謂task無非是調用ansible的一個module，而在模塊參數中可以使用變量；模塊執行是冪等的，這意味著多次執行是安全的，因為其結果均一致；

執行模型：task list中的各任務按次序逐個在hosts中指定的所有主機上執行，即在所有主機上完成第一個任務后再開始第二個。在順序運行某playbook時，如果中途發生錯誤，所有已執行任務都將回滾，因此，在修改playbook后重新執行一次即可；

task組成：每個task都應該有其name，用于playbook的執行結果輸出，建議其內容盡可能清晰地描述任務執行步驟。如果未提供name，則action的結果將用于輸出；

notify指定handler的執行機制：“notify”這個action可用于在每個play的最后被觸發，在notify中列出的操作稱為handler，僅在所有的變化發生完成后一次性地執行指定操作。

==========================================================================================

三、后續工作

==========================================================================================

1、深入學習ansible的playbook以及擴展模塊；

2、?結合業務環境，初步實現基礎監控，以取代目前調用自動化部署平臺API的方式；

3、?嘗試自動化運維工具saltstack，并將其與ansible進行對比。

一些學習資料：

http://lansgg.blog.51cto.com/5675165/1745040

http://blog.xiaorui.cc/category/ansible/

http://lixcto.blog.51cto.com/4834175/d-4

https://github.com/ansible/ansible-examples

http://rfyiamcool.blog.51cto.com/1030776/d-51

http://dl528888.blog.51cto.com/2382721/d-4/p-1

http://edu.51cto.com/course/course_id-2220.html

http://edu.51cto.com/course/course_id-2032.html

http://www.shencan.net/index.php/category/%e8%87%aa%e5%8a%a8%e5%8c%96%e8%bf%90%e7%bb%b4/ansible/