虛擬機(jī)搭建gfs系統(tǒng)
系統(tǒng)環(huán)境：CentOS release 5.5 – 2.6.18-194.el5
gfs節(jié)點(diǎn)1：192.168.1.231 gfs1
gfs節(jié)點(diǎn)2：192.168.1.232 gfs2
gfs節(jié)點(diǎn)3：192.168.1.233 gfs3
iscsi-target存儲(chǔ)設(shè)備：192.168.1.240 iscsi-storage (IP對應(yīng)主機(jī)名)
GFS 簡要說明，它有兩種：
1. Google文件系統(tǒng)：GFS是GOOGLE實(shí)現(xiàn)的是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能。它可以給大量的用戶提供總體性能較高的服務(wù)。欲了解更多，可以訪問：http://www.codechina.org/doc/google/gfs-paper/introduction.html
2. Redhat 的GFS（Global File System）
GFS（Global File System）自己以本地文件系統(tǒng)的形式出現(xiàn)。多個(gè)Linux機(jī)器通過網(wǎng)絡(luò)共享存儲(chǔ)設(shè)備，每一臺(tái)機(jī)器都可以將網(wǎng)絡(luò)共享磁盤看作是本地磁盤，如果某臺(tái)機(jī)器對 某個(gè)文件執(zhí)行了寫操作，則后來訪問此文件的機(jī)器就會(huì)讀到寫以后的結(jié)果?？梢愿鶕?jù)對性能或是可擴(kuò)展性，或者以經(jīng)濟(jì)性多個(gè)原則進(jìn)行不同方案的部署。
GFS 主要組件，集群卷管理，鎖管理，集群管理，圍欄和恢復(fù)，集群配置管理。
本文主要介紹Redhat的GFS系統(tǒng)。
REDHAT CLUSTER SUITEWITH GFS :
RHCS（REDHAT CLUSTER SUITE）是一款能夠提供高性能、高可靠性、負(fù)載均衡、高可用性的集群工具集,一個(gè)集群通常有兩個(gè)或兩個(gè)以上的計(jì)算機(jī)（稱為“節(jié)點(diǎn)”或”成員“）共同執(zhí)行一個(gè)任務(wù)。
RHCS主要組件：
· 集群架構(gòu):
提供一個(gè)基本功能使節(jié)點(diǎn)作為集群工作在一起：配置文件管理，成員關(guān)系管理，鎖管理和柵設(shè)備。
· 高可用**管理：
提供節(jié)點(diǎn)失敗轉(zhuǎn)移服務(wù)，當(dāng)一個(gè)節(jié)點(diǎn)失敗后將服務(wù)轉(zhuǎn)移到另一個(gè)節(jié)點(diǎn)上。
·集群管理工具：
通過配置和管理工具來配置和管理Red Hat集群。
· Linux Virtual Server (LVS)
LVS提供一個(gè)基于IP的負(fù)載均衡功能，通過LVS可以將客戶請求均勻的分配到集群節(jié)點(diǎn)上。
其它Red Hat集群組件：
· Cluster Logical Volume Manager (CLVM)
提供邏輯卷管理集群存儲(chǔ)。
· 集群管理器：
CMAN是一個(gè)分布式集群管理器（DLM），它運(yùn)行在每一個(gè)集群節(jié)點(diǎn)上，CMAN通過監(jiān)視集群節(jié)點(diǎn)提供一個(gè)法定節(jié)點(diǎn)數(shù)（quorum），當(dāng)集群 中有多于一半的節(jié)點(diǎn)處于活躍狀態(tài)時(shí),此時(shí)符合法定節(jié)點(diǎn)數(shù)，集群繼續(xù)可用，當(dāng)只有有一半或少于一半的節(jié)點(diǎn)處于活躍狀態(tài)是則已達(dá)到不到法定節(jié)點(diǎn)數(shù)，此時(shí)整個(gè)集 群變得不可用。CMAN通過監(jiān)控集群中節(jié)點(diǎn)來確定各節(jié)點(diǎn)的成員關(guān)系，當(dāng)集群中的成員關(guān)系發(fā)生改變，CMAN會(huì)通架構(gòu)中其它組件來進(jìn)行相應(yīng)的調(diào)整。
· DLM鎖管理：
分布式鎖管理器，它運(yùn)行在所有的集群節(jié)點(diǎn)上，鎖管理是一個(gè)公共的基礎(chǔ)結(jié)構(gòu)，為集群提供一種共享集群資源的管理機(jī)制，GFS通過鎖管理器使用鎖機(jī)制來同步訪問文件系統(tǒng)元數(shù)據(jù)，CLVM通過鎖管理器來同步更新數(shù)據(jù)到LVM卷和卷組。
· 數(shù)據(jù)的完整保證：
RHCS 通過 Fence設(shè)備從共享存儲(chǔ)切斷失效節(jié)點(diǎn)的I/O以保證數(shù)據(jù)的完整性。當(dāng)CMAN確定一個(gè)節(jié)點(diǎn)失敗后，它在集群結(jié)構(gòu)中通告這個(gè)失敗的節(jié)點(diǎn)（組播），fenced進(jìn)程會(huì)將失敗的節(jié)點(diǎn)隔離，以保證失敗節(jié)點(diǎn)不破壞共享數(shù)據(jù)。
REDHAT集群配置系統(tǒng)：
集群配置文件：(/etc/cluster/cluster.conf) 是一個(gè)XML文件，用來描述下面的集群特性：
集群名稱:列出集群名稱、集群配置文件版本和一個(gè)隔離時(shí)間，隔離相應(yīng)時(shí)間當(dāng)一個(gè)新節(jié)點(diǎn)加入或從集群中隔離時(shí)。
集群:列出集群中的每一個(gè)節(jié)點(diǎn)，指定節(jié)點(diǎn)名稱，節(jié)點(diǎn)ID，法定投票數(shù)，和柵模式。
fence設(shè)備:定義fence設(shè)備。
管理資源:定義創(chuàng)建集群服務(wù)需要的資源。管理資源包括失敗轉(zhuǎn)移域，資源和服務(wù)。
iscsi的initiator與target簡要說明：
iSCSI(Internet SCSI)是2003年IETF(InternetEngineering Task Force，互聯(lián)網(wǎng)工程任務(wù)組)制訂的一項(xiàng)標(biāo)準(zhǔn)，這種指令集合可以實(shí)現(xiàn)在IP網(wǎng)絡(luò)上運(yùn)行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行路由選擇。 SCSI(Small Computer System Interface)是塊數(shù)據(jù)傳輸協(xié)議，在存儲(chǔ)行業(yè)廣泛應(yīng)用，是存儲(chǔ)設(shè)備最基本的標(biāo)準(zhǔn)協(xié)議。iSCSI協(xié)議是一種利用IP網(wǎng)絡(luò)來傳輸潛伏時(shí)間短的SCSI 數(shù)據(jù)塊的方法，iSCSI使用以太網(wǎng)協(xié)議傳送SCSI命令、響應(yīng)和數(shù)據(jù)。iSCSI可以用我們已經(jīng)熟悉和每天都在使用的以太網(wǎng)來構(gòu)建IP存儲(chǔ)局域網(wǎng)。通過 這種方法，iSCSI克服了直接連接存儲(chǔ)的局限性，使我們可以跨不同服務(wù)器共享存儲(chǔ)資源，并可以在不停機(jī)狀態(tài)下擴(kuò)充存儲(chǔ)容量。
iSCSI的工作過程：當(dāng)iSCSI主機(jī)應(yīng)用程序發(fā)出數(shù)據(jù)讀寫請求后，操作系統(tǒng)會(huì)生成一個(gè)相應(yīng)的SCSI命令，該SCSI命令在iSCSI Initiator層被封裝成iSCSI消息包并通過TCP/IP傳送到設(shè)備側(cè)，設(shè)備側(cè)的iSCSI Target層會(huì)解開iSCSI消息包，得到SCSI命令的內(nèi)容，然后傳送給SCSI設(shè)備執(zhí)行;設(shè)備執(zhí)行SCSI命令后的響應(yīng)，在經(jīng)過設(shè)備側(cè)iSCSI Target層時(shí)被封裝成iSCSI響應(yīng)PDU，通過TCP/IP網(wǎng)絡(luò)傳送給主機(jī)的iSCSI Initiator層，iSCS Initiator會(huì)從iSCSI響應(yīng)PDU里解析出SCSI響應(yīng)并傳送給操作系統(tǒng)，操作系統(tǒng)再響應(yīng)給應(yīng)用程序。要實(shí)現(xiàn)iSCSI讀寫，除了使用特定硬設(shè) 備外，也可透過軟件方式，將服務(wù)器仿真為iSCSI的發(fā)起端（Initiator）或目標(biāo)端（target），利用既有的處理器與普通的以太網(wǎng)絡(luò)卡資源實(shí)現(xiàn)iSCSI的連接。
本文均已軟件方式在Centos5.5虛擬機(jī)上實(shí)現(xiàn)gfs功能！
一、在192.168.1.240上安裝iscsi的target端：
[root@iscsi-storage ~]#yum install scsi-target-utils (注意：scsi前面沒有字母i)
（使用centos默認(rèn)的yum源，將會(huì)安裝軟件scsi-target-utils-0.0-6.20091205snap.el5_5.3）
[root@iscsi-storage ~]#yum install libibverbs-devel libibverbs librdmacm librdmacm-devel
如果沒有安裝以上軟件，則/var/log/messages里將會(huì)有以下報(bào)錯(cuò)：
iscsi-storage tgtd: libibverbs.so: cannot open shared object file: No such file or
directory – iser transport not used
iscsi-storage tgtd:librdmacm.so: cannot open shared object file: No such file or directory – iser
transport not used
磁盤sda裝著系統(tǒng)，磁盤sdb用來存儲(chǔ)，對其進(jìn)行分區(qū)。
[root@iscsi-storage ~]# fdisk /dev/sdb
本人分成/dev/sdb1 3G , /dev/sdb2 7G.
分區(qū)完成后不用格式化分區(qū)，執(zhí)行命令partprobe讓系統(tǒng)重新讀取分區(qū)表，而不用重啟系統(tǒng)。
[root@iscsi-storage ~]# partprobe
scsi-targe-utils裝完后的服務(wù)名為tgtd，啟動(dòng)它，并設(shè)置為開機(jī)啟動(dòng)。
[root@iscsi-storage ~]# service tgtd start
Starting SCSI target daemon: Starting target framework daemon
[root@iscsi-storage ~]# chkconfig tgtd on
接下來建立target device. 在centos5中使用tgtadm指令來設(shè)置而不是4當(dāng)中的 vi /etc/ietd.conf.
tgtadm命令的參數(shù)有點(diǎn)難記，但是scsi-target-utils套件中包含了利用tgtadm指令建立target device的步驟，我們可以參照文件來設(shè)置：/usr/share/doc/scsi-target-utils-0.0/README.iscsi
本人欲新增iqn名為iqn.2011-01.com.chinaitv:rhcs-storage的target device.
=====================================================================================
iqn (iSCSI Qualified Name)格式通常如下：
格式
意義
范例
yyyy-mm
年份-月份
2011-01
reversed domain name
把域名名稱反過來寫，通常把公司的域名反過來寫
com.chinaitv
identifier
識(shí)別字，通常注明這個(gè)存儲(chǔ)空間的用途
rhcs-storage
=====================================================================================
新增target device命令如下：
# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2011-01.com.chinaitv:rhcs-storage
執(zhí)行后，利用如下命令來查看target device：
#tgtadm --lld iscsi --op show --mode target
將起初新建的分區(qū)加入target device。
# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 -lun 1 -b /dev/sdb1
查看加入target device后的輸出內(nèi)容：
# tgtadm --lld iscsi --op show --mode target
設(shè)置可以訪問存取此target device的initiator節(jié)點(diǎn)。本機(jī)允許gfs1 gfs2 gfs3存取，設(shè)置如下：
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.1.231
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.1.232
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.1.233 (I為大寫的i)
(如果允許所有的initiators存取的話，可以將ip換成ALL，如下：
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
如果需要移除則需將bind換成unbind即可，例如
#tgtadm --lld iscsi --op unbind --mode target --tid 1 -I 192.168.1.233)
本次操作只使用sdb1來試驗(yàn)存儲(chǔ)，因此只加入sdb1，如果需將多個(gè)分區(qū)用來存儲(chǔ)的話可以如下操作：
tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2011-01.com.chinaitv:rhcs-storage
tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2011-01.com.chinaitv:rhcs-storage2
tgtadm --lld iscsi --op new --mode logicalunit --tid 1 -lun 1 -b /dev/sdb1
tgtadm --lld iscsi --op new --mode logicalunit --tid 2 -lun 1 -b /dev/sdb2
tgtadm --lld iscsi --op bind --mode target --tid 1 -I ip
tgtadm --lld iscsi --op bind --mode target --tid 2 -I ip
注意：如果重啟tgtd服務(wù)的話，上面配置全部將會(huì)消失，因此不要隨便重啟，否則需要重新按上面步驟配置，為了在下一次開機(jī)自動(dòng)運(yùn)行，可以把上面的命令添加到/etc/rc.local文件里面。
首先在三個(gè)節(jié)點(diǎn)機(jī)hosts文件末尾添加以下內(nèi)容： 上的
#vi /etc/hosts
二、安裝iscsi-initiator-utils，在節(jié)點(diǎn)機(jī)上安裝
#yum install iscsi-initiator-utils
安裝需要的軟件包
[root@gfs1 ~]# yum install -y cman gfs-utils kmod-gfs kmod-dlm cluster-snmp lvm2-cluster rgmanager
指定initiator alias name
#echo "InitiatorAlias=gfs1" >> /etc/iscsi/initiatorname.iscsi
創(chuàng)建cluster.conf配置文件，安裝完成后并沒有此文件，需自己創(chuàng)建：
#vi /etc/cluster/cluster.conf
?xml version="1.0"?>
cluster name="GFSCluster" config_version="1">
##這一行定義了cluster的名稱，其中config_version是表示該配置文件被配置的次數(shù)
##（在RedHat Cluster中，各個(gè)節(jié)點(diǎn)是同配置版本數(shù)值也就是配置次數(shù)最高的配置文件進(jìn)行學(xué)習(xí)同步報(bào)）
clusternodes>
clusternode name="gfs1" votes="1" nodeid="1">
##這一行定義了cluster節(jié)點(diǎn)的名稱，節(jié)點(diǎn)id以及投票權(quán)，節(jié)點(diǎn)名一般就是節(jié)點(diǎn)的主機(jī)名
fence>
method name="single">
device name="node1" nodename="gfs1"/>
/method>
/fence>
/clusternode>
clusternode name="gfs2" votes="1" nodeid="2">
fence>
method name="single">
device name="node2" nodename="gfs2"/>
/method>
/fence>
/clusternode>
clusternode name="gfs3" votes="1" nodeid="3">
fence>
method name="single">
device name="node3" nodename="gfs3"/>
/method>
/fence>
/clusternode>
/clusternodes>
fencedevices>
fencedevice name="node1" agent="fence_manual"/>
fencedevice name="node2" agent="fence_manual"/>
fencedevice name="node3" agent="fence_manual"/>
/fencedevices>
rm>
failoverdomains/>
resources/>
/rm>
/cluster>
（fence也是RedHat Cluster的產(chǎn)物，沒有它GFS也沒法工作，fence的作用就是當(dāng)一個(gè)節(jié)點(diǎn)宕掉(和cluster斷掉聯(lián)系)后，其他的正常節(jié)點(diǎn)會(huì)通過fence設(shè) 備來把宕掉的設(shè)備fence掉，把宕掉的設(shè)備踢出cluster保證整個(gè)cluster的正常運(yùn)行，而fence設(shè)備一般是服務(wù)器自帶硬件設(shè)備，如hp的 ilo口，IBM和dell的ipmi等等，由于服務(wù)器硬件的不同，導(dǎo)致不同的fence設(shè)備的配置方法不同，我這里為虛擬機(jī)沒有fence設(shè)備，因此采 用fence_manual的方法來手工設(shè)置，手工fence的功能是：當(dāng)一個(gè)節(jié)點(diǎn)宕掉后我們需要在正常的節(jié)點(diǎn)上輸入命令：“# fence_ack_manual -n 宕掉的節(jié)點(diǎn)名 ” 來把cluster的主機(jī)隔離掉，才能讓正常的節(jié)點(diǎn)正常工作?，F(xiàn)在本人對cluster.conf了解的也并不是非常的熟悉，故不能給出更詳細(xì)的解答，不 過可以輸入命令:man 5 cluster.conf查看幫助文件。在各個(gè)節(jié)點(diǎn)機(jī)上都需創(chuàng)建此cluster.conf文件。）
(注：配置文件并不是非常的標(biāo)準(zhǔn)，自己根據(jù)需要還可以添加更多的內(nèi)容與修改，這里只是一個(gè)簡單的例子)
啟動(dòng)iscsi daemon
#service iscsi start
#chkconfig iscsi on
利用iscsiadm命令探測iscsi device：
# iscsiadm -m discovery -t sendtargets -p 192.168.1.240:3260
192.168.1.240:3260,1 iqn.2011-01.com.chinaitv:rhcs-storage
登入iscsi target
#iscsiadm -m node -T iqn.2011-01.com.chinaitv:rhcs-storage -p 192.168.1.240:3260 -l
Logging in to [iface: default, target: iqn.2011-01.com.chinaitv:rhcs-storage, portal: 192.168.1.240,3260]
Login to [iface: default, target: iqn.2011-01.com.chinaitv:rhcs-storage, portal: 192.168.1.240,3260]: successful
登入成功后，利用fdisk -l可以發(fā)現(xiàn)多處兩個(gè)硬盤分區(qū)。
(若想退出則使用：iscsiadm -m node -T iqn.2011-01.com.chinaitv:rhcs-storage -p 192.168.1.240:3260 -u)
在該節(jié)點(diǎn)上創(chuàng)建一個(gè)名為gfsvg的 LVM 卷組
#pvcreate -ff /dev/sdb
#vgcreate gfsvg /dev/sdb
列出VG大?。?/p>
#vgdisplay gfsvg |grep “Total PE “
Total PE 717
創(chuàng)建lv
# lvcreate -l 717 -n gfs gfsvg
Logical volume “gfs” created
# cman_tool status | grep “Cluster Name”
cman_tool: Cannot open connection to cman, is it running ?
原因是沒有啟動(dòng)服務(wù),啟動(dòng)服務(wù):
# service cman start
在該節(jié)點(diǎn)上創(chuàng)建一個(gè)GFS卷，格式化GFS 文件系統(tǒng)，通過命令：
gfs_mkfs -p lock_dlm -t ClusterName:FSName -j Number BlockDevice
格式化gfs文件格式:
-p 這個(gè)參數(shù)后邊跟的是gfs鎖機(jī)制，一般情況下就用lock_dlm
-t 后邊是ClusterName:FSName
其中ClusterName是cluster名，就是cluster.conf配置文件中指定的cluster名，F(xiàn)SName是給新格式化好的gfs分區(qū)的名字
-j 代表是journal的個(gè)數(shù)，一般情況是2個(gè)除非一些特殊情況否則不用再單作調(diào)整
BlockDevice 就是要被格式化的設(shè)備名稱。
下面是一個(gè)格式化GFS命令的實(shí)例：
#gfs_mkfs -p lock_dlm -t GFSCluster:gfs -j 3 /dev/gfsvg/gfs
載入相應(yīng)的gfs模塊，并查看lv是否成功
# modprobe gfs
# modprobe gfs2
# chkconfig gfs on
# chkconfig gfs2 on
# chkconfig clvmd on
# /etc/init.d/gfs restart
# /etc/init.d/gfs2 restart
# /etc/init.d/clvmd restart
# lvscan
ACTIVE ‘/dev/gfsvg/gfs’ [2.80 GB] inherit ##表示成功
把新建的邏輯磁盤掛載到本地：
#mount -t gfs /dev/gfsvg/gfs /opt
#df -h
進(jìn)入/opt目錄，建立新文件（之后到新節(jié)點(diǎn)上掛載，以作驗(yàn)證是否gfs創(chuàng)建并掛載成功）
到gfs2節(jié)點(diǎn)和gfs3節(jié)點(diǎn)上分別執(zhí)行以下操作
# modprobe gfs
# modprobe gfs2
# /etc/init.d/gfs restart
# /etc/init.d/gfs2 restart
# /etc/init.d/clvmd restart
#chkconfig –add cman
#chkconfig –add clvmd
#chkconfig –add gfs
#chkconfig –level 35 cman on
#chkconfig –level 35 clvmd on
#chkconfig –level 35 gfs on
# lvscan
#mount /dev/gfsvg/gfs /opt
進(jìn)入/opt目錄查看是否有之前在gfs1上建立的文件file1
如圖所示成功，可以在/opt目錄里進(jìn)行任何操作，三臺(tái)機(jī)器將會(huì)保持一致，這樣就達(dá)到了在一臺(tái)機(jī)器上操作，其他機(jī)器保持同步的目的，用來提高可用性，當(dāng)gfs1出了問題后，gfs2和gfs3同樣可以用來提供服務(wù)！可以在各節(jié)點(diǎn)機(jī)器上執(zhí)行命令clustat來查看gfs集群各節(jié)點(diǎn)的活動(dòng)狀態(tài)：
同樣可以執(zhí)行以下命令來檢查是否連接成功
# ccs_test connect
Connect successful.
Connection descriptor = 9600
檢查一下是否正常
#ccs_tool lsnode
#ccs_tool lsfence
#cman_tool services
注：在gfs2和gfs3節(jié)點(diǎn)上必須啟動(dòng)clvmd服務(wù)，不然無法掛載/dev/gfsvg/gfs設(shè)備。
如果要在存儲(chǔ)服務(wù)器上即本實(shí)驗(yàn)的iscsi-storage 上，如果有外部節(jié)點(diǎn)連接著此存儲(chǔ)，要想停止tgtd（service tgtd stop）服務(wù)， 有如下提示：
Stopping SCSI target daemon: Stopping target framework daemon
Some initiators are still connected – could not stop tgtd
表示無法停止，而采取殺掉tgtd的pid的方法來停止時(shí)，在此用service tgtd start來啟動(dòng)tgtd服務(wù)的時(shí)候，有如下的提示：
實(shí)際上tgtd并沒有啟動(dòng)成功，用ps查看是查看不到tgtd服務(wù)進(jìn)程的，要想解決此問題，是因?yàn)橛袀€(gè)/var/lock/subsys/tgtd文件存在，只需刪除掉即可。
# rm /var/lock/subsys/tgtd
在節(jié)點(diǎn)機(jī)上，如果想開機(jī)自動(dòng)掛載則修改/etc/fstab文件，加入以下內(nèi)容：
/dev/mapper/gfsvg-gfs /opt gfs defaults 0 0
本人在虛擬機(jī)上部署此gfs集群存儲(chǔ)的時(shí)候，碰到很多問題，在查閱各種資料后才得以實(shí)現(xiàn)虛擬機(jī)上的gfs，也花費(fèi)了很長的時(shí)間，其中就有很多的報(bào)錯(cuò)，舉個(gè)例子：
Jan 19 04:04:00 gfs1 ccsd[19610]: Cluster is not quorate. Refusing connection.
Jan 19 04:04:00 gfs1 ccsd[19610]: Error while processing connect: Connection refused
Jan 19 04:04:01 gfs1 dlm_controld[18685]: connect to ccs error -111, check ccsd or cluster status
此報(bào)錯(cuò)跟fence的啟動(dòng)有關(guān)系，這是因?yàn)槲?在第一個(gè)節(jié)點(diǎn)上啟動(dòng)cman的時(shí)候fencing無法啟動(dòng)，原因在于要開啟fence功能，必須多個(gè)機(jī)器節(jié)點(diǎn)都開啟了，單獨(dú)開啟一個(gè)的時(shí)候他是不生效的， 也就是說必須有一半的fence都開啟了才能生效，因此需在多臺(tái)節(jié)點(diǎn)上執(zhí)行service cman start 這樣才能夠快速的解決fenc的啟動(dòng)問題。
最后疑問：
1 查看target的狀態(tài)總是ready而不能得到running狀態(tài)
2 在輸入tgtd命令時(shí)總是有以下報(bào)錯(cuò)：
[root@iscsi-storage ~]# tgtd
librdmacm: couldn’t read ABI version.
librdmacm: assuming: 4
CMA: unable to get RDMA device list ##注，是虛擬機(jī)故沒有rdma設(shè)備，下面socket就有點(diǎn)不理解
(null): iscsi_rdma_init(1217) cannot initialize RDMA; load kernel modules?
(null): iscsi_tcp_init(222) unable to bind server socket, Address already in use
(null): iscsi_tcp_init(222) unable to bind server socket, Address already in use
No available low level driver!
本文只是寫了個(gè)大概的框架，并非很完整，還有待完善，如朋友有更好的更改意見歡迎提出指正。這也是本人第一次接觸red hat cluster suite的gfs系統(tǒng)，并把操作的經(jīng)過記錄于此，方便大家與自己。
完畢！
歡迎大家拍磚–本人真誠的希望您能夠提出寶貴的意見，最好是能夠說出文章中的不足和錯(cuò)誤之處，謝謝?。?！
文章資源轉(zhuǎn)載來自：http://suceo.sinaapp.com
