搭建iscsi存儲系統

搭建iscsi存儲系統

NAS和SAN服務器概述

NAS網絡附屬存儲：

     NAS（Network Attached Storage)，NAS服務器是連接在網絡上，具備資料存儲功能的服務器，一種與用數據存儲服務器。網絡附屬存儲基于標準網絡協議（Tcp/IP）實現數據傳輸，為網絡中的Windows / Linux / Mac OS 等各種不同操作系統的計算機提供文件共享和數據備仹。

優點：

1. I／O消耗由前端服務器轉移到后端存儲設備上

2. 擴展方便

缺點：

1. 以前網絡會成為瓶頸。 但是現在使用10G光纖卡，就可以解決這個問題。

SAN存儲：

     存儲區域網絡(Storage Area Network and SAN Protocols，簡寫SAN，即存儲區域網絡，是一種高速網絡，提供在計算機不同存儲系統之間的數據傳輸。存儲設備是指一臺或多臺用以存儲計算機數據的磁盤設備，通常指磁盤陣列。 SAN存儲，采用網狀通道（Fibre Channel ，簡稱FC）技術，通過FC交換機連接存儲陣列和服務器主機，建立與用于數據存儲的區域網絡。

    SAN由于其基礎是一個與用網絡，因此擴展性很強，不管是在一個SAN系統中增加一定的存儲空間還是增加幾臺使用存儲空間的服務器都非常方便。

NAS不SAN的區別在兩方面：

第一，從網絡架構來說，本質區別在于：

    NAS，直接使用TCP/IP傳輸數據。SAN使用SCSI戒iSCSI協議傳輸數據。

第二，從文件讀寫實現方法上來說，本質區別在于：

    NAS采用了NFS和 CIFS技術實現文件共享。說明NAS是基于操作系統的“文件級”讀寫操作。

SAN中計算機和存儲間的接口是底層的塊協議，它挄照協議頭的“塊地址+偏移地址”來定位。共享的存儲和前端的操作系統類型沒有關系。仸務服務器操作系統，都可以正常實別。

運行模式： C/S

target 目標， initiator [n.ietr] 發起人

端口： 3260

------------------------------------------------------------------

一：實驗拓撲

二：實驗目標

實戰：配置IP SAN服務器

實戰：IP SAN服務器日常操作

三：實驗環境

服務端：target xuegod63    192.168.1.63

客戶端：initiator xuegod64  192.168.1.64

四：實驗代碼

實戰： 配置一個IP SAN 存儲服務器

分析：將xuegod63配置成ip san，將xuegod63上的sda4分區，通過ip san 共享出去。

------------------------------------------------------------------------------------------------

配置服務端xuegod63

1）安裝：scsi-target-utils

[root@xuegod63 ~]# yum install -y scsi-target-utils

2）準備一個磁盤分區： sda4 大小5G

[root@xuegod63 ~]# fdisk /dev/sda #劃分出sda4分區

Command (m for help): p

Command (m for help): n

p

Selected partition 4

Last cylinder, +cylinders or +size{K,M,G} (1428-2610, default 2610): +5G

Command (m for help): w

[root@xuegod63 ~]#reboot

9配置target ，把sda4分區共享出去

3）修改配置文件

[root@xuegod63 ~]# vim /etc/tgt/targets.conf #寫入以下內容

在參考這段內容并在段內容后，追加以下紅色標記內容：

#<target iqn.2008-09.com.example:server.target4>

76 # direct-store /dev/sdb # Becomes LUN 1

77 # direct-store /dev/sdc # Becomes LUN 2

78 # direct-store /dev/sdd # Becomes LUN 3

79 # write-cache off

80 # vendor_id MyCompany Inc.

81 #</target>

為：

<target iqn.2016-11.cn.xuegod.www:target_san1>

backing-store /dev/sda4

initiator-address 192.168.1.64

vendor_id xuegod

product_id target1

</target>

注釋：

default-driver iscsi #此配置文件默認全部注釋，使用iscsi驅動 

<tarrget iqn.2015-1.cn.xuegod.www:target_san1> # iscsi正規名字格式 : iqn.年－月.主機名倒著寫: target端名字

backing-store /dev/sda4 # 可以是具體的分區，也可以是DD出來的文件。不能小于5G。 （后面的文件系統是GFS，光日志空間就128M）

initiator-address 192.168.1.62 #指定允許訪問的此存儲主機

initiator-address 192.168.1.64 #指定允許訪問的此存儲主機

vendor_id “xuegod” vendor （vendr供應商 ） 。 供應廠商編號 標識這個設備（字符不要過長）

product_id "TARGET1" # 產品編號

</target>

4）啟動服務

[root@xuegod63 ~]#service tgtd restart

[root@xuegod63 ~]# netstat -antup | grep 3260

tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 3130/tgtd

tcp 0 0 :::3260 :::* LISTEN 3130/tgtd

5）查看狀態tgt-admin --show

[root@xuegod63 ~]# tgt-admin --show

Account information:

ACL information: #允許哪些客戶端可以訪問

192.168.1.64

開機啟動：

[root@xuegod63 Desktop]# chkconfig tgtd on

------------------------------------------------------------------------------------------------

配置客戶端： xuegod64

1）安裝包： iscsi-initiator

[root@xuegod64 ~]# rpm -ivh /mnt/Packages/iscsi-initiator-utils-6.2.0.872-34.el6.x86_64.rpm

2）啟動客戶端服務： 

[root@xuegod64 ~]# /etc/init.d/iscisd start #啟動后沒有反應

注：需要先發現target存儲，再啟動客戶端服務，才有效

[root@xuegod64 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.63:3260

Starting iscsid: [ OK ]

192.168.1.63:3260,1 iqn.20116-11.cn.xuegod.www:target_san1

[root@xuegod64 ~]# /etc/init.d/iscsid status

iscsid (pid 2607) is running...

3）target存儲服務器信息在客戶端存儲的位置：

[root@xuegod64 ~]# rpm -ivh /mnt/Packages/tree-1.5.3-2.el6.x86_64.rpm

[root@xuegod64 ~]# tree /var/lib/iscsi/

/var/lib/iscsi/

├── ifaces

├── isns

├── nodes

│ └── iqn.2015-01.cn.xuegod.www:target_san1

│ └── 192.168.1.63,3260,1

│ └── default

├── send_targets

│ └── 192.168.1.63,3260

│ ├── iqn.2015-01.cn.xuegod.www:target_san1,192.168.1.63,3260,1,default -> /var/lib/iscsi/nodes/iqn.2015-01.cn.xuegod.www:target_san1/192.168.1.63,3260,1

│ └── st_config

├── slp

└── static

4）重新啟動： 

[root@xuegod64 ~]# /etc/init.d/iscsid restart #先啟動iscsid

[root@xuegod64 ~]# /etc/init.d/iscsi restart # 根據/var/lib/iscsi/ 中發現的信息，識別設備

關閉：

[root@xuegod64 ~]# /etc/init.d/iscsi stop

[root@xuegod64 ~]# /etc/init.d/iscsid stop

5）開機自動啟動：

[root@xuegod64 ~]# chkconfig iscsi on

[root@xuegod64 ~]# chkconfig iscsid on

查看默認開機兩個服務的先后順序：

[root@xuegod64 ~]# grep chkconfig: /etc/init.d/iscsid

# chkconfig: 345 7 89

[root@xuegod64 ~]# grep chkconfig: /etc/init.d/iscsi

# chkconfig: 345 13 89

6）查看發現到新硬盤： 

[root@xuegod64 ~]# ll /dev/sdb

brw-rw---- 1 root disk 8, 16 Jul 30 19:11 /dev/sdb

------------------------------------------------------------------------------------------------

卸載，掛載存儲設備

卸載方法一

1：卸載

[root@xuegod64 ~]# iscsiadm -m node -T iqn.2015-01.cn.xuegod.www:target_san1 -u

Logging out of session [sid: 1, target: iqn.2015-01.cn.xuegod.www:target_san1, portal: 192.168.1.63,3260]

Logout of [sid: 1, target: iqn.2015-01.cn.xuegod.www:target_san1, portal: 192.168.1.63,3260] successful.

[root@xuegod64 ~]# ls /dev/sdb

ls: cannot access /dev/sdb: No such file or directory :

2：登錄存儲存儲設備

[root@xuegod64 ~]# iscsiadm -m node -T iqn.2015-01.cn.xuegod.www:target_san1 -l

Logging in to [iface: default, target: iqn.2015-01.cn.xuegod.www:target_san1, portal: 192.168.1.63,3260] (multiple)

Login to [iface: default, target: iqn.2015-01.cn.xuegod.www:target_san1, portal: 192.168.1.63,3260] successful.

[root@xuegod64 ~]# ls /dev/sdb

/dev/sdb

卸載方法二：

1：卸載 

[root@xuegod64 ~]# /etc/init.d/iscsi stop

Stopping iscsi: [ OK ]

[root@xuegod64 ~]# ls /dev/sdb

ls: cannot access /dev/sdb: No such file or directory

2：登錄存儲存儲設備

[root@xuegod64 ~]# /etc/init.d/iscsi restart

徹底退出：

[root@xuegod64 ~]# /etc/init.d/iscsi stop

[root@xuegod64 ~]# rm -rf /var/lib/iscsi/*

------------------------------------------------------------------------------------------------

在xuegod64上對識別出來的硬盤，分區格式化，掛載使用

1：發現存儲設備

[root@xuegod64 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.63:3260 #發現存儲設備

2：啟動服務器

[root@xuegod64 ~]# /etc/init.d/iscsid restart

[root@xuegod64 ~]# /etc/init.d/iscsi restart

[root@xuegod64 ~]# ls /dev/sdb #發現sdb

/dev/sdb

分區格式化，掛載使用。

[root@xuegod64 ~]# fdisk /dev/sdb 劃分一個分區sdb1

[root@xuegod64 ~]# fdisk /dev/sdb

Command (m for help): n

p primary partition (1-4)

p

Partition number (1-4): 1

Last cylinder, +cylinders or +size{K,M,G} (1-1019, default 1019): #直接回車使用所有可以使用的空間。  

[root@xuegod64 ~]# ll /dev/sdb*

brw-rw---- 1 root disk 8, 16 Jul 30 21:44 /dev/sdb

brw-rw---- 1 root disk 8, 17 Jul 30 21:44 /dev/sdb1

[root@xuegod64 ~]# mkfs.ext4 /dev/sdb1

[root@xuegod64 ~]# mount /dev/sdb1 /opt 

-------------------------------------------------------------------------------------------

在target服務端，再添加一個存儲客戶端

1：添加如下內容：

[root@xuegod63 ~]# vim /etc/tgt/targets.conf

2：重啟服務

[root@xuegod63 ~]# /etc/init.d/tgtd restart

Stopping SCSI target daemon: initiators still connected [FAILED]

Starting SCSI target daemon: [FAILED] #報錯

解決：客戶端退出一下 

[root@xuegod64 ~]# umount /opt/

[root@xuegod64 ~]# /etc/init.d/iscsi stop

客戶端退出后，再測試啟動： 

[root@xuegod63 ~]# /etc/init.d/tgtd restart

Stopping SCSI target daemon: [ OK ]

Starting SCSI target daemon: [ OK ]

3：測試： xuegod64 和xuegod62 都掛載上硬盤，數據同步

[root@xuegod64 ~]#/etc/init.d/iscsi start

[root@xuegod64 ~]# ls /dev/sdb*

/dev/sdb /dev/sdb1

[root@xuegod64 ~]# ls /dev/sdb*

/dev/sdb /dev/sdb1

[root@xuegod64 ~]# mount /dev/sdb1 /opt/

[root@xuegod64 ~]# cp /etc/passwd /opt/ #復制一些數據

4：測試：xuegod62 是否數據同步

[root@xuegod62 ~]# rpm -ivh /mnt/Packages/iscsi-initiator-utils-6.2.0.872-34.el6.x86_64.rpm

[root@xuegod62 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.63:3260

192.168.1.63:3260,1 iqn.2015-01.cn.xuegod.www:target_san1

[root@xuegod62 ~]# /etc/init.d/iscsi restart

[root@xuegod62 ~]# ls /dev/sdb*

/dev/sdb /dev/sdb1

[root@xuegod62 ~]# mount /dev/sdb1 /opt/

[root@xuegod62 ~]#ls /opt/ #可以看到數據已經同步過來了

lost+found passwd

5：測試xuegod64數據是否同步：

[root@xuegod62 ~]# cp /etc/hosts /opt

[root@xuegod62 ~]# ls /opt

hosts lost+found passwd

[root@xuegod64 ~]# ls /opt

lost+found passwd

# passwd #只看到passwd ，沒有同步，是因為我們使用的ext4 文件系統，ext4文件系統不支持多個客戶端同時使用。 使用GFS文件系統就可以同步。