mongodb增量備份腳本的實(shí)現(xiàn)和原理詳解

前言

mongodb的副本集架構(gòu)，主庫(kù)和從庫(kù)的數(shù)據(jù)相同步，如果主庫(kù)的機(jī)器壞掉，沒什么關(guān)系，從庫(kù)上還有相同的副本數(shù)據(jù)。但如果某人惡意操作或誤操作，一下子批量刪除或drop整個(gè)庫(kù)，這樣主庫(kù)和從庫(kù)的數(shù)據(jù)都會(huì)沒有，造成巨大損失。因此，對(duì)mongodb數(shù)據(jù)庫(kù)定期備份是非常重要的。備份如果每次都全量備份，會(huì)消耗大量時(shí)間，并且對(duì) mongodb性能也有影響，從而需要能增量備份。mongodb的增量備份網(wǎng)上沒有現(xiàn)成的工具，故仔細(xì)研究了下寫了個(gè)腳本。

mongodb集群架構(gòu)時(shí)，從庫(kù)是通過(guò)異步復(fù)制主庫(kù)的Oplog文件，從而達(dá)到與主庫(kù)的同步。

Oplog 記錄了MongoDB數(shù)據(jù)庫(kù)的更改操作信息，其保存在local庫(kù)的oplog.rs表，在集群架構(gòu)才存在，單機(jī)不會(huì)有，故增量備份不能在單機(jī)下使用。 oplog有大小限制，超過(guò)指定大小，新的記錄會(huì)覆蓋舊的操作記錄。

mongodb增量備份原理

如何將某段時(shí)間的oplog下載下來(lái)，我拼接好的例子：

mongodump -h 127.0.0.1 --port 27117 -d local -c oplog.rs -u admin -p xxx --authenticationDatabase admin -q '{ts:{$gt:{$timestamp:{t:1451355000,i:1}},$lt:{$timestamp:{t:1451357430,i:1}}},ns:/^test_db\\./}' -o oplog_backup

上述是導(dǎo)出1451355000-1451357430時(shí)間之間的oplog,導(dǎo)出oplog需要切換到admin權(quán)限賬戶。

原理很簡(jiǎn)單，但具體實(shí)現(xiàn)還是需要很多考慮，具體看代碼。腳本在一個(gè)周期內(nèi)（如一星期）先備份一次全量數(shù)據(jù)庫(kù)，后面每次進(jìn)行增量備份。腳本地址：http://git.oschina.net/passer/mongodb_backup_script

增量腳本執(zhí)行時(shí)的流程

1. 讀取上一個(gè)周期執(zhí)行信息判斷是否需要?jiǎng)?chuàng)建新的周期
2. 獲得mongodb上oplog最近記錄的時(shí)間點(diǎn)current timestamp position
3. 從本地讀取上一次執(zhí)行時(shí)mongodb的oplog時(shí)間點(diǎn)
4. dump導(dǎo)出全量數(shù)據(jù)或增量oplog文件到本地，增量oplog文件的導(dǎo)出范圍是 上次oplog記錄點(diǎn)到最新時(shí)間內(nèi)的oplog文件
5. 保存步驟2獲取的current timestamp position到本地，作為下一次執(zhí)行步驟3中的時(shí)間點(diǎn)
6. 進(jìn)行壓縮
7. 上傳到oss
8. 刪除本地備份文件

全量腳本執(zhí)行時(shí)的流程

• 備份mongodb數(shù)據(jù)庫(kù)到本地
• 進(jìn)行壓縮
• 上傳到oss
• 檢驗(yàn)oss與本地文件的大小是否相同
• 刪除本地備份文件

恢復(fù)時(shí)腳本執(zhí)行的流程

1. 從oss上下載指定周期的備份文件到本地
2. 對(duì)全量文件和增量oplog的zip文件進(jìn)行解壓
3. 用 mongorestore對(duì)全量文件進(jìn)行導(dǎo)入
4. 用 mongorestore --oplogReplay 分別對(duì)各時(shí)間段的oplog文件進(jìn)行導(dǎo)入

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。