大家好，我是哪吒，最近項(xiàng)目在使用MongoDB作為圖片和文檔的存儲(chǔ)數(shù)據(jù)庫(kù)，為啥不直接存MySQL里，還要搭個(gè)MongoDB集群，麻不麻煩？

(資料圖)

讓我們一起，一探究竟，繼續(xù)學(xué)習(xí)「MongoDB分片」的理論與實(shí)踐，實(shí)現(xiàn)快速入門，豐富個(gè)人簡(jiǎn)歷，提升面試level，給自己增加一點(diǎn)談資，秒變面試小達(dá)人，BAT不是夢(mèng)。

三分鐘你將學(xué)會(huì)：

一次MongoDB線上事故的快速解決什么是MongoDB分片？MongoDB如何分片?何時(shí)分片？搭建MongoDB分片服務(wù)器MongoDB如何追蹤分片集群數(shù)據(jù)？MongoDB拒絕連接？顯然是MongoDB服務(wù)又掛了。

連接MongoDB服務(wù)器，一探究竟。

通過(guò)ps -aef|grep mongo查看mongo服務(wù)是否還在？不出所料，都不在了。

大概率是因?yàn)榇疟P滿了。

df -TH查看磁盤空間。

磁盤100%如何解決？

cd到log目錄下，通過(guò)rm -rf *刪除所有日志，再重啟MongoDB。

mongodb啟動(dòng)異常：about to fork child process, waiting until server is ready for connection

由于MongoDB是集群部署的，啟動(dòng)時(shí)，會(huì)進(jìn)行數(shù)據(jù)同步，可能會(huì)比較耗時(shí)，性子急的我，怎么能忍，直接Ctrl C，強(qiáng)制停止，然后再重新啟動(dòng)。

通過(guò)ps -aef|grep mongo查看一下進(jìn)程，兩個(gè)一樣的進(jìn)程赫然在列。

通過(guò)ps -aef|grep mongo | grep -v grep | awk "{print $2}" | xargs kill -9強(qiáng)制停止所有mongo進(jìn)程。

將data目錄下的 mongod.lock 和 diagnostic.data文件刪掉，再重啟MongoDB，啟動(dòng)腳本mongos_start.sh（mongod --config data/mongodb.conf），完美解決。

MongoDB服務(wù)器的部署目錄中都是什么含義呢？它們之間又有什么關(guān)系呢？下面簡(jiǎn)單介紹一下MongoDB的分片。

一、什么是MongoDB分片？?

分片是指跨機(jī)器拆分?jǐn)?shù)據(jù)的過(guò)程，也可以叫做分區(qū)。

MongoDB支持手動(dòng)分區(qū)，使用這種方法，應(yīng)用程序會(huì)維護(hù)到多個(gè)不同數(shù)據(jù)庫(kù)服務(wù)器端的連接，每個(gè)服務(wù)器端都是完全獨(dú)立的。應(yīng)用程序不僅管理不同服務(wù)器上不同數(shù)據(jù)的存儲(chǔ)，還管理在適當(dāng)?shù)姆?wù)器上查詢數(shù)據(jù)。但當(dāng)從集群中添加或刪除節(jié)點(diǎn)，或者面對(duì)數(shù)據(jù)分布或負(fù)載模式的變化時(shí)，難以維護(hù)。

MongoDB支持自動(dòng)分片，這種方式試圖將數(shù)據(jù)庫(kù)架構(gòu)從應(yīng)用程序中抽離出來(lái)，并簡(jiǎn)化系統(tǒng)管理。MongoDB自動(dòng)均衡分片上的數(shù)據(jù)，使節(jié)點(diǎn)的添加和刪除變得更容易。

MongoDB的分片機(jī)制允許你創(chuàng)建一個(gè)由許多分片組成的集群，并將集合中的數(shù)據(jù)分散在集群中，在每個(gè)分片上放置數(shù)據(jù)的一個(gè)子集。這允許應(yīng)用程序超出單機(jī)服務(wù)器或副本集的資源限制。

分片組成的集群對(duì)應(yīng)用程序來(lái)說(shuō)就像一臺(tái)單機(jī)服務(wù)器，分片前運(yùn)行一個(gè)或多個(gè)稱為mongos的路由進(jìn)程，mongos維護(hù)著一個(gè)“目錄”，指明了每個(gè)分片包含哪些數(shù)據(jù)。應(yīng)用程序可以正常連接到此路由服務(wù)器并發(fā)出請(qǐng)求。路由服務(wù)器知道哪些數(shù)據(jù)在哪個(gè)分片上，可以將請(qǐng)求轉(zhuǎn)發(fā)到適當(dāng)?shù)姆制?。如果有?duì)請(qǐng)求的響應(yīng)，理由服務(wù)器會(huì)收集它們，并將它們合并，然后再返回給應(yīng)用程序，對(duì)應(yīng)用程序而言，它只知道自己連接到了一個(gè)單獨(dú)的mongod。

二、MongoDB如何分片??

在單臺(tái)機(jī)器上快速建立一個(gè)集群。首先，使用--nodb和--norc選項(xiàng)啟動(dòng)mongo shell：mongo --nodb --norc。

使用ShardingTest類創(chuàng)建集群。運(yùn)行如下代碼：

st = ShardingTest({ name:"one-min-shards", chunkSize:1, shards:2, rs:{  nodes:3,  oplogSize:10 }, other:{  enableBalancer:true }});

name：分片集群的標(biāo)簽。shards：制定了集群由兩個(gè)分片組成。rs：將每個(gè)分片定義為一組3個(gè)節(jié)點(diǎn)的副本集。enableBalancer：在集群?jiǎn)?dòng)后啟用均衡器。

ShardingTest是為了支持服務(wù)器端測(cè)試套件設(shè)計(jì)的，它在保持盡可能低的資源占用以及建立體系結(jié)構(gòu)相對(duì)復(fù)雜的分片集群方面，提供了很多便利。當(dāng)運(yùn)行ShardingTest后，它會(huì)創(chuàng)建一個(gè)包含兩個(gè)分片的集群，每個(gè)分片都是一個(gè)副本集。同時(shí)會(huì)對(duì)副本集進(jìn)行配置，并使用必要的選項(xiàng)啟動(dòng)每個(gè)節(jié)點(diǎn)以建立復(fù)制協(xié)議。它會(huì)啟動(dòng)一個(gè)mongos來(lái)管理跨分片的請(qǐng)求，這樣客戶端就可以像與一個(gè)獨(dú)立的mongod通信一樣與集群進(jìn)行交互。最后，它會(huì)為用于維護(hù)理由表信心的配置服務(wù)器啟動(dòng)一個(gè)額外的副本集，以確保查詢被定向到正確的分片。

分片的主要使用場(chǎng)景是拆分?jǐn)?shù)據(jù)集以解決硬件和成本的限制，或?yàn)閼?yīng)用程序提供更好的性能。

當(dāng)ShardingTest完成集群設(shè)置后，將啟動(dòng)并運(yùn)行10個(gè)進(jìn)程，你可以連接到這些進(jìn)程：兩個(gè)副本集（各有3個(gè)節(jié)點(diǎn)）、一個(gè)配置服務(wù)器副本集（3個(gè)節(jié)點(diǎn)），以及一個(gè)mongos。默認(rèn)情況下，這些進(jìn)程會(huì)從20000端口開(kāi)始。mongos會(huì)運(yùn)行在20009端口上。

三、何時(shí)分片？?

通常情況下，分片用于：

增加可用RAM。增加可用磁盤空間。減少服務(wù)器的負(fù)載。處理單個(gè)MongoDB無(wú)法承受的吞吐量。四、搭建MongoDB分片服務(wù)器?1、配置服務(wù)器 config進(jìn)程

配置服務(wù)器是集群的大腦，保存著關(guān)于每個(gè)服務(wù)器包含哪些數(shù)據(jù)的所有元數(shù)據(jù)，因此必須首先創(chuàng)建配置服務(wù)器。配置服務(wù)器非常重要，運(yùn)行時(shí)必須啟動(dòng)日志功能，并確保它的數(shù)據(jù)存儲(chǔ)在非臨時(shí)性驅(qū)動(dòng)器上。

配置服務(wù)器必須在任何一個(gè)mongos進(jìn)程之前通過(guò)mongod -f config.conf啟動(dòng)，因?yàn)閙ongos需要從配置服務(wù)器中提取配置信息。

當(dāng)對(duì)配置服務(wù)器進(jìn)行寫(xiě)入時(shí)，MongoDB會(huì)使用“majority” 的 writeConcern級(jí)別；當(dāng)對(duì)配置服務(wù)器進(jìn)行讀取時(shí)，MongoDB會(huì)使用“majority” 的 readConcern級(jí)別；

這確保了分片集群元數(shù)據(jù)在不發(fā)生回滾的情況下才會(huì)被提交到配置服務(wù)器副本集。它還確保了只有那些不受配置服務(wù)器故障影響的元數(shù)據(jù)才能被讀取。這可以確保所有mongos路由節(jié)點(diǎn)對(duì)分片集群中的數(shù)據(jù)組織方式具有一致性。

在服務(wù)器資源方面，配置服務(wù)器應(yīng)該具有充分的網(wǎng)絡(luò)和CPU資源，配置服務(wù)器只保存了集群中數(shù)據(jù)的目錄，因此只需要很少的硬盤存儲(chǔ)資源。

由于配置服務(wù)器的重要性，在進(jìn)行任何集群維護(hù)前，都應(yīng)該先對(duì)配置服務(wù)器的數(shù)據(jù)進(jìn)行備份。

2、mongos進(jìn)程

mongos 是路由服務(wù)器，供應(yīng)用程序連接使用。通過(guò)mongod -f config.conf啟動(dòng)路由服務(wù)器，mongos進(jìn)程需要知道配置服務(wù)器的地址，因此需要在config.conf中配置cnotallow=configReplSet/配置服務(wù)器的三個(gè)地址，通過(guò)配置logpath，保存MongoDB的日志。

應(yīng)該啟動(dòng)一定數(shù)量的mongos進(jìn)程，并盡可能將其放在靠近所有分片的位置，這樣可以提高查詢性能。

3、將副本集轉(zhuǎn)換為分片

在依次啟動(dòng)配置服務(wù)器、路由服務(wù)器后，可以添加分片了，如果之前已經(jīng)存在副本集，那么這個(gè)副本集就會(huì)成為第一個(gè)分片。

從MongoDB 3.4 開(kāi)始，對(duì)于分片集群，分片的mongod實(shí)例必須配置 --shardsvr 選項(xiàng)，也就是在config.conf中添加shardsvr=true，將副本集轉(zhuǎn)換為分片的過(guò)程中，需要對(duì)副本集的每個(gè)成員都重復(fù)以上動(dòng)作。

將副本集作為分片添加到集群后，就可以將應(yīng)用程序的連接從副本集改為mongos路由服務(wù)器了，并通過(guò)設(shè)置防火墻，切斷應(yīng)用程序與分片的直接連接。

4、數(shù)據(jù)分片

（1）如何數(shù)據(jù)分片

假如有一個(gè)test數(shù)據(jù)庫(kù)，并在name鍵上對(duì)worker集合進(jìn)行分片。

先對(duì)數(shù)據(jù)庫(kù)進(jìn)行分片，> sh.enableSharding("test")。再對(duì)集合進(jìn)行分片，sh.shardCollection("test.worker",{"name":1})；。

如果worker集合已經(jīng)存在，則必須在name字段上有索引，否則，shardCollection會(huì)返回錯(cuò)誤。如果分片的集合不存在，mongos會(huì)自動(dòng)在name片鍵上創(chuàng)建索引。

shardCollection命令會(huì)將集合拆分成多個(gè)數(shù)據(jù)塊，MongoDB會(huì)在集群中的分片間均勻的分散集合中的數(shù)據(jù)。

五、MongoDB如何追蹤集群數(shù)據(jù)？?1、數(shù)據(jù)塊

因?yàn)镸ongoDB的數(shù)據(jù)量巨大，MongoDB一般會(huì)將文檔以數(shù)據(jù)塊的形式進(jìn)行分組，這些數(shù)據(jù)塊是片鍵指定范圍內(nèi)的文檔，MongoDB一般會(huì)用一個(gè)較小的表來(lái)維護(hù)數(shù)據(jù)塊與分片之間的映射關(guān)系。

需要注意：

塊與塊之間不能重疊。一個(gè)塊中的文檔數(shù)量過(guò)大時(shí)，會(huì)自動(dòng)拆分成兩個(gè)文檔。一個(gè)文檔總是屬于且僅屬于一個(gè)塊。2、塊范圍新分片的集合中只有一個(gè)塊，塊的邊界是負(fù)無(wú)窮到正無(wú)窮。隨著塊的增長(zhǎng)，MongoDB會(huì)自動(dòng)將其拆分成兩塊，范圍從負(fù)無(wú)窮到value，value到正無(wú)窮。范圍較小的塊包含比value小的值，范圍較大的塊包含value和比value大的值。

因此，mongos可以很容易地找到文檔在哪個(gè)塊。

3、拆分塊

各個(gè)分片的主節(jié)點(diǎn)mongod進(jìn)程會(huì)跟蹤它們當(dāng)前的塊，一旦達(dá)到某個(gè)閾值，就會(huì)檢查該塊是否需要拆分，如果需要拆分，mongod就會(huì)從配置服務(wù)器請(qǐng)求全局塊大小配置值，然后執(zhí)行塊拆分并更新配置服務(wù)器上的元數(shù)據(jù)。配置服務(wù)器會(huì)創(chuàng)建新的塊文檔，并修改舊塊的范圍。

當(dāng)客戶端寫(xiě)入一個(gè)塊時(shí)，mongod會(huì)檢查該塊的拆分閾值。

如果已經(jīng)達(dá)到了拆分閾值，mongod就會(huì)向均衡器發(fā)送一個(gè)請(qǐng)求，將最頂部的塊進(jìn)行遷移，否則該塊會(huì)留在此分片上。

因?yàn)榫哂邢嗤I的兩個(gè)文檔一定會(huì)處于相同的塊中，所以只能在片鍵值不同的文檔之間進(jìn)行拆分。

下面文檔如果以readTime分片，是可以的。

但是，如果我讀書(shū)讀的比較快，所有書(shū)籍在一個(gè)月的時(shí)間里都讀完了，readTime就會(huì)是一樣的了，那就無(wú)法分片了。

因此擁有不同的片鍵值在分片時(shí)，顯得尤其重要。

{"name":"哪吒編程","book":"Java核心技術(shù)","readTime":"October"}{"name":"哪吒編程","book":"Java編程思想","readTime":"October"}{"name":"哪吒編程","book":"深入理解Java虛擬機(jī)","readTime":"October"}{"name":"哪吒編程","book":"effective java","readTime":"November"}{"name":"哪吒編程","book":"重構(gòu) 改善既有代碼的設(shè)計(jì)","readTime":"November"}{"name":"哪吒編程","book":"高性能MySQL","readTime":"December"}{"name":"哪吒編程","book":"Spring技術(shù)內(nèi)幕","readTime":"December"}{"name":"哪吒編程","book":"重學(xué)Java設(shè)計(jì)模式","readTime":"December"}{"name":"哪吒編程","book":"深入理解高并發(fā)編程","readTime":"January"}{"name":"哪吒編程","book":"Redis設(shè)計(jì)與實(shí)現(xiàn)","readTime":"January"}

分片的前提條件是所有的配置服務(wù)器必須啟動(dòng)并可以訪問(wèn)。如果mongod不斷接到對(duì)一個(gè)塊的寫(xiě)請(qǐng)求，則它會(huì)持續(xù)嘗試拆分該塊并失敗，而這些拆分嘗試會(huì)拖慢mongod。mongod反復(fù)嘗試分片卻無(wú)法成功分片的過(guò)程被稱為「拆分風(fēng)暴」。

六、均衡器?

均衡器負(fù)責(zé)數(shù)據(jù)的遷移。均衡器會(huì)定期檢查分片之間是否存在不均衡，如果存在，就會(huì)對(duì)塊進(jìn)行遷移。在MongoDB 3.4 以上的版本上，均衡器位于配置服務(wù)器副本集的主節(jié)點(diǎn)成員上。

均衡器是配置服務(wù)器副本集主節(jié)點(diǎn)上的后臺(tái)進(jìn)程，它會(huì)監(jiān)視每個(gè)分片上的塊數(shù)量。只有當(dāng)一個(gè)分片上的塊數(shù)量達(dá)到特定遷移閾值時(shí)，均衡器才會(huì)被激活。

本文轉(zhuǎn)載自微信公眾號(hào)「哪吒編程」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系哪吒編程公眾號(hào)。

關(guān)鍵詞： 應(yīng)用程序 服務(wù)器的 服務(wù)器端 服務(wù)器上