MongoDB學(xué)習(xí)以及集群搭建的實(shí)踐全紀(jì)錄

前言

最近一些變動，有一個老項目交由我們組負(fù)責(zé)維護(hù)，碰到這樣的事情我的內(nèi)心是崩潰的，但還得強(qiáng)顏歡笑，拍著胸脯說沒問題。更悲哀的是，該項目中還使用了mongo，還是自己搭建的，沒有交由DBA統(tǒng)一管理，無奈，只能趕鴨子上架，自己學(xué)習(xí)mongo了。

為什么使用集群架構(gòu)？

主從：故障轉(zhuǎn)移:無法實(shí)現(xiàn),如果主機(jī)宕機(jī)，需要關(guān)閉slave并且按照master模式啟動。無法解決單點(diǎn)故障 無法autofailover 不可以自動主從的切換

為了解決主從的問題，MongoDB3.0之后出現(xiàn)副本集，副本集解決了故障轉(zhuǎn)移的問題，但是一個副本集中的數(shù)據(jù)是相同的，無法做到海量數(shù)據(jù)的存儲。所以就需要一個架構(gòu)去解決這個問題。也就是分片式集群。

一個健壯的簡單的MongoDB集群的搭建需要十個服務(wù)進(jìn)程（分開搭建需要十臺服務(wù)器），這里在一臺虛擬機(jī)上進(jìn)行搭建。

關(guān)于MongoDB

mongodb的集群搭建方式主要有三種，主從模式，Replica set模式，sharding模式, 三種模式各有優(yōu)劣，適用于不同的場合，屬Replica set應(yīng)用最為廣泛，主從模式現(xiàn)在用的較少，sharding模式最為完備，但配置維護(hù)較為復(fù)雜。

而目前接手過來的項目所用的就是Replica set,所以也就主要了解了這個模式。官網(wǎng)介紹可以點(diǎn)擊這里

其中Replica Set模式中三類角色有必要知道下：

主節(jié)點(diǎn)[Primary]

接收所有的寫請求，然后把修改同步到所有Secondary。一個Replica Set只能有一個Primary節(jié)點(diǎn)，當(dāng)Primary掛掉后，其他Secondary或者Arbiter節(jié)點(diǎn)會重新選舉出來一個主節(jié)點(diǎn)。默認(rèn)讀請求也是發(fā)到Primary節(jié)點(diǎn)處理的，需要轉(zhuǎn)發(fā)到Secondary需要客戶端修改一下連接配置。

副本節(jié)點(diǎn)[Secondary]

與主節(jié)點(diǎn)保持同樣的數(shù)據(jù)集。當(dāng)主節(jié)點(diǎn)掛掉的時候，參與選主。

仲裁者[Arbiter]

不保有數(shù)據(jù)，不參與選主，只進(jìn)行選主投票。使用Arbiter可以減輕數(shù)據(jù)存儲的硬件需求，Arbiter跑起來幾乎沒什么大的硬件資源需求，但重要的一點(diǎn)是，在生產(chǎn)環(huán)境下它和其他數(shù)據(jù)節(jié)點(diǎn)不要部署在同一臺機(jī)器上。

注意，一個自動failover的Replica Set節(jié)點(diǎn)數(shù)必須為奇數(shù)，目的是選主投票的時候要有一個大多數(shù)才能進(jìn)行選主決策。

搭建集群

了解了基本概念之后，就開始嘗試搭建集群，為了更好的理解，特意找了三臺測試機(jī)進(jìn)行部署。

前期準(zhǔn)備

首先準(zhǔn)備三臺測試機(jī)：

 10.100.1.101 主節(jié)點(diǎn)(master)
 10.100.1.102 備節(jié)點(diǎn)(slave)
 10.100.1.103 仲裁點(diǎn)(arbiter)

然后就是mongo的安裝包(由于線上用的是3.4.2的版本，所以保持統(tǒng)一)

curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.2.tgz

安裝mongo

這里統(tǒng)一安裝在/usr/local/mongodb下。

首先解壓并重命名：

tar -zxvf mongodb-linux-x86_64-3.0.6.tgz    
mv mongodb-linux-x86_64-3.4.2/ /usr/local/mongodb

然后在/mongodb下新建幾個文件：

#存放mongo配置文件
mkdir -p conf 

#存放日志文件
mkdir -p logs 

#存放數(shù)據(jù)文件
mkdir -p data

這里需要注意下，配置文件中配置的文件路徑一定要存在，不然在啟動mongo時會出錯，mongo啟動時也不會自動生成。

接著分配創(chuàng)建配置文件：

主節(jié)點(diǎn)：mongodb_master.conf

#master.conf
dbpath=/usr/local/mongodb/data
logpath=/usr/local/mongodb/logs/mongodb.log
pidfilepath=/usr/local/mongodb/master.pid
directoryperdb=true
logappend=true
replSet=testdb
port=27017
oplogSize=100
fork=true
noprealloc=true

備份節(jié)點(diǎn)：vi mongodb_slave.conf

#slave.conf
dbpath=/usr/local/mongodb/data
logpath=/usr/local/mongodb/logs/mongodb.log
pidfilepath=/usr/local/mongodb/master.pid
directoryperdb=true
logappend=true
replSet=testdb
port=27017
oplogSize=100
fork=true
noprealloc=true

仲裁點(diǎn): vi mongodb_arbiter.conf

#arbiter.conf
dbpath=/usr/local/mongodb/data
logpath=/usr/local/mongodb/logs/mongodb.log
pidfilepath=/usr/local/mongodb/master.pid
directoryperdb=true
logappend=true
replSet=testdb
port=27017
oplogSize=100
fork=true
noprealloc=true

在使用上只是最基本的配置，實(shí)際場景中可以根據(jù)自己的業(yè)務(wù)需求進(jìn)行配置，其他參數(shù)供參考：

--quiet     # 安靜輸出
--port arg  # 指定服務(wù)端口號，默認(rèn)端口27017
--bind_ip arg   # 綁定服務(wù)IP，若綁定127.0.0.1，則只能本機(jī)訪問，不指定默認(rèn)本地所有IP
--logpath arg   # 指定MongoDB日志文件，注意是指定文件不是目錄
--logappend     # 使用追加的方式寫日志
--pidfilepath arg   # PID File 的完整路徑，如果沒有設(shè)置，則沒有PID文件
--keyFile arg   # 集群的私鑰的完整路徑，只對于Replica Set 架構(gòu)有效
--unixSocketPrefix arg  # UNIX域套接字替代目錄,(默認(rèn)為 /tmp)
--fork  # 以守護(hù)進(jìn)程的方式運(yùn)行MongoDB，創(chuàng)建服務(wù)器進(jìn)程
--auth  # 啟用驗(yàn)證
--cpu   # 定期顯示CPU的CPU利用率和iowait
--dbpath arg    # 指定數(shù)據(jù)庫路徑
--diaglog arg   # diaglog選項 0=off 1=W 2=R 3=both 7=W+some reads
--directoryperdb    # 設(shè)置每個數(shù)據(jù)庫將被保存在一個單獨(dú)的目錄
--journal   # 啟用日志選項，MongoDB的數(shù)據(jù)操作將會寫入到j(luò)ournal文件夾的文件里
--journalOptions arg    # 啟用日志診斷選項
--ipv6  # 啟用IPv6選項
--jsonp     # 允許JSONP形式通過HTTP訪問（有安全影響）
--maxConns arg  # 最大同時連接數(shù) 默認(rèn)2000
--noauth    # 不啟用驗(yàn)證
--nohttpinterface   # 關(guān)閉http接口，默認(rèn)關(guān)閉27018端口訪問
--noprealloc    # 禁用數(shù)據(jù)文件預(yù)分配(往往影響性能)
--noscripting   # 禁用腳本引擎
--notablescan   # 不允許表掃描
--nounixsocket  # 禁用Unix套接字監(jiān)聽
--nssize arg (=16)  # 設(shè)置信數(shù)據(jù)庫.ns文件大小(MB)
--objcheck  # 在收到客戶數(shù)據(jù),檢查的有效性，
--profile arg   # 檔案參數(shù) 0=off 1=slow, 2=all
--quota     # 限制每個數(shù)據(jù)庫的文件數(shù)，設(shè)置默認(rèn)為8
--quotaFiles arg    # number of files allower per db, requires --quota
--rest  # 開啟簡單的rest API
--repair    # 修復(fù)所有數(shù)據(jù)庫run repair on all dbs
--repairpath arg    # 修復(fù)庫生成的文件的目錄,默認(rèn)為目錄名稱dbpath
--slowms arg (=100)     # value of slow for profile and console log
--smallfiles    # 使用較小的默認(rèn)文件
--syncdelay arg (=60)   # 數(shù)據(jù)寫入磁盤的時間秒數(shù)(0=never,不推薦)
--sysinfo   # 打印一些診斷系統(tǒng)信息
--upgrade   # 如果需要升級數(shù)據(jù)庫
--fastsync  # 從一個dbpath里啟用從庫復(fù)制服務(wù)，該dbpath的數(shù)據(jù)庫是主庫的快照，可用于快速啟用同步
--autoresync    # 如果從庫與主庫同步數(shù)據(jù)差得多，自動重新同步，
--oplogSize arg     # 設(shè)置oplog的大小(MB)
--master    # 主庫模式
--slave     # 從庫模式
--source arg    # 從庫 端口號
--only arg  # 指定單一的數(shù)據(jù)庫復(fù)制
--slavedelay arg    #設(shè)置從庫同步主庫的延遲時間

--replSet arg   # 設(shè)置副本集名稱

--configsvr     # 聲明這是一個集群的config服務(wù),默認(rèn)端口27019，默認(rèn)目錄/data/configdb
--shardsvr  # 聲明這是一個集群的分片,默認(rèn)端口27018
--noMoveParanoia    # 關(guān)閉偏執(zhí)為moveChunk數(shù)據(jù)保存

節(jié)點(diǎn)配置完之后就可以啟動mongo了，cd到bin目錄下：

./mongod -f /etc/mongodb_master.conf
./mongod -f /etc/mongodb_slave.conf
./mongod -f /etc/mongodb_arbiter.conf

配置節(jié)點(diǎn)

最后，就需要配置主、備、仲裁節(jié)點(diǎn)了。首先我們選擇一臺服務(wù)器進(jìn)行連接：

./mongo 10.100.1.101:27017 
>use admin 

然后進(jìn)行配置：

cfg={ _id:"testdb", members:[ {_id:0,host:'10.100.1.101:27017',priority:2}, {_id:1,host:'10.100.1.102:27017',priority:1}, {_id:2,host:'10.100.1.103:27017',arbiterOnly:true}] };
rs.initiate(cfg) #生效配置

如果不出意外，配置正常生效，基本也就完成了，可以通過rs.status()命令查看相關(guān)信息。

到這里，你可以登錄數(shù)據(jù)庫測試下成果了，看下正常的數(shù)據(jù)庫操作，主從是否同步了。測試的話這里就不再多說了。

數(shù)據(jù)備份與還原

簡單搭建完集群之后，需要將原來的測試環(huán)境數(shù)據(jù)遷移過來，所以涉及到了mongo的備份與還原。

相對來說還是比較容易的，通過mongodump和mongorestore來實(shí)現(xiàn)：

./bin/mongodump -h 10.100.1.101 -d testdb -o .

# mongodump -h dbhost -d dbname -o dbdirectory
# -h:MongDB所在服務(wù)器地址，例如：127.0.0.1，當(dāng)然也可以指定端口號：127.0.0.1:27017
# -d:需要備份的數(shù)據(jù)庫實(shí)例，例如：test
# -o：備份的數(shù)據(jù)存放位置

./bin/mongorestore -h 10.100.1.102 -d testdb testdb

# mongorestore -h hostname>:port> -d dbname path>
# --host :port>, -h :port>：MongoDB所在服務(wù)器地址，默認(rèn)為： localhost:27017
# --db , -d ：需要恢復(fù)的數(shù)據(jù)庫實(shí)例
# --drop：恢復(fù)的時候，先刪除當(dāng)前數(shù)據(jù)，然后恢復(fù)備份的數(shù)據(jù)
# path>：mongorestore 最后的一個參數(shù)，設(shè)置備份數(shù)據(jù)所在位置
# --dir：指定備份的目錄,你不能同時指定 path> 和 --dir 選項。

總結(jié)

到這里，對于mongo有了一定了解和認(rèn)識，也基本掌握了搭建和遷移流程，面對三無（無開發(fā)，無文檔，無注釋）的老項目也有點(diǎn)底氣了，剩下的時光就要在邊看代碼邊吐槽的日子中渡過啦，想象就心累...

好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。