企業(yè)私有云建設(shè)中的存儲架構(gòu)規(guī)劃

2018-06-01 11:20 來源：互聯(lián)網(wǎng) 我來投稿撤稿糾錯

和大家一起分享人教社在過去的6年中，在私有云建設(shè)及存儲系統(tǒng)建設(shè)中的一些經(jīng)驗和教訓(xùn)，希望能給各位同仁在數(shù)據(jù)中心建設(shè)，尤其是存儲系統(tǒng)建設(shè)的工作帶來一些有益的幫助。

談到私有云，相信大家已經(jīng)不陌生了，在最近的兩年，越來越多的聽到我身邊的朋友、同仁的企業(yè)開始了私有云建設(shè)，希望通過數(shù)據(jù)中心技術(shù)的升級改造，為企業(yè)帶來更大的業(yè)務(wù)靈活性及更短的IT響應(yīng)時間。和絕大多數(shù)虛擬化技術(shù)廠商在產(chǎn)品宣傳方面提到的差不多，虛擬化技術(shù)和云計算確實具有非常多、非常好的特性，能夠在幫助企業(yè)的IT部門更快速、更從容的面對各種業(yè)務(wù)需求變化的同時，實現(xiàn)諸如降低IT總體擁有成本以及節(jié)能環(huán)保等目標(biāo)，但是，作為云計算系統(tǒng)建設(shè)者和管理者的我們，必須同時意識到，企業(yè)數(shù)據(jù)中心的核心運行方式的轉(zhuǎn)變，絕不僅僅是搭建一套私有云系統(tǒng)，并將業(yè)務(wù)逐步遷移上去那么簡單。建設(shè)一套能夠完整承載企業(yè)全部IT系統(tǒng)運轉(zhuǎn)的私有云系統(tǒng)，是包含了計算、通訊、存儲系統(tǒng)建設(shè)及建立相應(yīng)的管理模型、監(jiān)控模型、應(yīng)急處置模型、狀態(tài)評估模型等一系列工作的復(fù)雜系統(tǒng)工程，這些工作，應(yīng)該隨著私有云建設(shè)及應(yīng)用的不斷深入，逐步的建立和完善，最終，建立起一套真正可靠、高效、能夠應(yīng)對快速業(yè)務(wù)變化及需求的私有云基礎(chǔ)架構(gòu)體系。

人教社對虛擬化技術(shù)的研究啟動于2005年，2008年開始小規(guī)模應(yīng)用，2010年完成了約80%業(yè)務(wù)系統(tǒng)的虛擬化工作。截止到上個月，位于北京魏公村業(yè)務(wù)樓的人教社主數(shù)據(jù)中心已經(jīng)裝備了總計1008顆CPU核心、5.3TB內(nèi)存、1.2PB儲存能力的私有云系統(tǒng)，承載著包括人教社在內(nèi)的6個上下屬企業(yè)共300余臺虛擬服務(wù)器的運轉(zhuǎn)，覆蓋了ERP、CRM、ECM、OA、VDI、WCM、網(wǎng)站及數(shù)字出版產(chǎn)品等業(yè)務(wù)類型。存儲系統(tǒng)方面，我們主要裝備了IBM DS8870、V7000、V3700磁盤陣列系統(tǒng)及IBM TS3310磁帶庫系統(tǒng)，通過SAN網(wǎng)絡(luò)，為虛擬化計算節(jié)點提供存儲服務(wù)。

大體的鋪墊我做到這里，下面，我們就進入今天的正題。請大家和我一起回顧和總結(jié)一下，一個出版企業(yè)在私有云建設(shè)中的存儲系統(tǒng)架構(gòu)是如何規(guī)劃和建設(shè)起來的。

第一個問題，構(gòu)建企業(yè)私有云，對存儲系統(tǒng)有什么要求？

對虛擬化技術(shù)不陌生的朋友一定知道，私有云架構(gòu)的核心技術(shù)是服務(wù)器虛擬化，說白了，就是對單體服務(wù)器計算資源的細顆粒劃分和利用。在實際的應(yīng)用場景中，主要體現(xiàn)為在一臺虛擬化宿主服務(wù)器上運行多個具有獨立操作系統(tǒng)環(huán)境的虛擬服務(wù)器，從而實現(xiàn)CPU資源的最大化利用。在一臺物理服務(wù)器承載了更多計算需求后，相應(yīng)的存儲需求也就產(chǎn)生了，主要體現(xiàn)在存儲能力和IO能力兩方面；除此之外，要想實現(xiàn)虛擬服務(wù)器在多臺物理服務(wù)器間的快速移動，還要求我們的存儲系統(tǒng)具備同時為多臺服務(wù)器提供同一內(nèi)容數(shù)據(jù)的能力，即共享能力，便于虛擬機在進行宿主服務(wù)器遷移時，能夠直接將存儲數(shù)據(jù)從源宿主指向到目標(biāo)宿主，并快速激活，而不是通過緩慢的數(shù)據(jù)拷貝方式；再者，由于要為多臺宿主服務(wù)器提供存儲服務(wù)，也就意味著虛擬服務(wù)器的正常運行依賴于存儲系統(tǒng)的可靠性，所以，在私有云系統(tǒng)中，對存儲系統(tǒng)的可靠性要求是有明顯提供的，作為管理者，相信誰都不愿意看到因為存儲系統(tǒng)故障，而導(dǎo)致所以業(yè)務(wù)系統(tǒng)停頓的情況；最后，為了確保整套系統(tǒng)的連續(xù)性，存儲系統(tǒng)要具備良好的冗余和維護能力，在常見的諸如更換磁盤、更換電池、存儲網(wǎng)絡(luò)維護的過程中，無需停止存儲服務(wù)。

那么，總的來看，構(gòu)建企業(yè)級的私有云系統(tǒng)，對存儲系統(tǒng)的要求就主要包括了存儲能力、IO性能、連接能力、可靠性及可維護性幾個方面，另外，作為補充，還包括可擴展性、升級性等方面。

第二個問題，私有云系統(tǒng)中的存儲系統(tǒng)關(guān)鍵指標(biāo)需求如何估算？

前面說到的，大家可能會覺得沒有意義，因為目前市面上銷售的幾乎所有的存儲系統(tǒng)都能滿足這些要求。但如果我們正在面對構(gòu)建這樣一套系統(tǒng)，我們該從哪些方面進行評估，就要參考前面提到的幾個關(guān)鍵能力指標(biāo)了。

首先，我們先來看看關(guān)于設(shè)備的存儲容量，我們該如何去計算呢。和傳統(tǒng)運維模式一樣，私有云系統(tǒng)的存儲系統(tǒng)也需要滿足業(yè)務(wù)存儲和數(shù)據(jù)備份的空間需求，同時，作為虛擬化系統(tǒng)的特性之一，根據(jù)管理需要，我們可能還需要為快照準備額外的存儲空間，方便我們的測試、更新和快速備份工作。那么，在存儲容量需求方面，我們的經(jīng)驗是，存儲系統(tǒng)的總?cè)萘啃枨?，分為四個部分，即業(yè)務(wù)需求、備份需求、快照需求及增量需求。其中，業(yè)務(wù)需求就是我們私有云系統(tǒng)需要承載的業(yè)務(wù)負載所需的真實存儲需求，主要由操作系統(tǒng)、平臺軟件及用戶數(shù)據(jù)組成，把所有業(yè)務(wù)系統(tǒng)的這三個方面的數(shù)據(jù)加起來，就是我們的業(yè)務(wù)需求容量了。特別需要注意的是，因為我們將數(shù)據(jù)增量單獨考慮了，所以業(yè)務(wù)需求容量是不包含數(shù)據(jù)增量需求的；接下來我們來看看備份需求，在傳統(tǒng)運帷模式時代，我們的備份內(nèi)容主要是數(shù)據(jù)，操作系統(tǒng)、平臺、配置等內(nèi)容往往不在我們的備份范圍之內(nèi)，原因很簡單，在傳統(tǒng)運帷方式下，受到硬件配置差異及裸系統(tǒng)恢復(fù)不便等限制的影響，全系統(tǒng)備份的實際價值和恢復(fù)難度都不理想，在基于虛擬化技術(shù)的私有云平臺中，這一情況得到了根本的改變。

由于虛擬機的硬件是被虛擬中間層軟件定義的，這就意味著所有虛擬機的硬件環(huán)境是可以方便創(chuàng)建和變更，而不再受到物理硬件的影響，使全系統(tǒng)備份和裸系統(tǒng)恢復(fù)變得異常簡單，所以，在私有云環(huán)境下，全系統(tǒng)部分將成為備份的主體，其存儲資源的需求也就可以基于業(yè)務(wù)服務(wù)器實際的存儲需求來估算了。在人教社，我們的常規(guī)業(yè)務(wù)服務(wù)器的數(shù)據(jù)備份存留時長為7天，關(guān)鍵業(yè)務(wù)服務(wù)器的數(shù)據(jù)備份則會超過半年，總體來看，數(shù)據(jù)備份所需要的存儲空間，大約使業(yè)務(wù)需求容量的1.5倍左右，即1TB業(yè)務(wù)數(shù)據(jù)，需要1.5TB的備份空間；快照空間需求包含備份用途的快照開銷和運帷用途的快照開銷，其中，備份快照開銷主要用于備份過程中的快速數(shù)據(jù)準備，而運帷用途快照則用于補丁部署和應(yīng)用更新階段的系統(tǒng)快速回滾。備份開銷以全平臺中存儲容量最大的系統(tǒng)的存儲需求為界限，加上未來一段時間的數(shù)據(jù)增量即可，例如數(shù)據(jù)密集型的ECM系統(tǒng)的存儲使用為35TB，未來兩年的數(shù)據(jù)增量約在10TB左右，則準備45T的備份快照空間即可。這里需要注意的是，快照空間受到單一磁盤陣列邊界的限制，即如果你有多個磁盤陣列系統(tǒng)，則需要在每個磁盤陣列上單獨規(guī)劃備份快照空間。運帷快照的磁盤需求不大，預(yù)留全部業(yè)務(wù)數(shù)據(jù)2%存儲空間即可；最后，對于數(shù)據(jù)增量的存儲需求，每個企業(yè)根據(jù)自身業(yè)務(wù)特點的不同有所區(qū)別。人教社的數(shù)據(jù)增量存儲空間保持在業(yè)務(wù)需求、備份需求及快照需求綜合的15%－30％區(qū)間。

說完了存儲空間需求，我們再來看看IO需求。說到IO性能，幾乎所有的技術(shù)控們都會無休止的追求更高、更快、更強的目標(biāo)，但在當(dāng)下企業(yè)成本控制越來越嚴格的形勢下，提出合理的IO需求估算，有利于突出選型方案的科學(xué)性。由于各種業(yè)務(wù)系統(tǒng)的IO性能需求存在差異，即使是同一種業(yè)務(wù)系統(tǒng)，在不同企業(yè)的IO消耗也由差別，所以IO性能需求很難用一個計算公式去簡單的核算，但我們依然可以根據(jù)一些經(jīng)驗來宏觀的估計一套私有云系統(tǒng)的IO需求。以人教社各類型的業(yè)務(wù)為例，其IO需求大體情況為：

應(yīng)用 50IOPS 5MB/S 吞吐

數(shù)據(jù)庫 140IOPS 15MB／S

郵件系統(tǒng)320IOPS 20MB／S

VDI桌面 15IOPS 4MB／S

網(wǎng)站 1400IOPS 18MB／S

文件服務(wù)器 80IOPS 9MB／S

根據(jù)這些參考，我們可以粗曠的估計出私有云系統(tǒng)的存儲IO需求。除了估算實際IO需求外，我們還要為IO需求變化及未來新增IO需求留出空間。當(dāng)估算出總體IO需求后，選擇存儲設(shè)備時，新設(shè)備的滿配情況下最大IO能力應(yīng)至少高于總體IO需求估值的1.5倍以上，以便在IO性能不足時，能夠進行性能擴充。在這里特別需要注意的是，磁盤陣列系統(tǒng)的IO性能與裝備的磁盤數(shù)量有直接關(guān)系，即裝備的磁盤數(shù)量越多，則IO性能越強。對于IT系統(tǒng)對IO性能需求比較大的企業(yè)，SSD加磁盤的混合模式可以在裝備較少磁盤數(shù)量的情況下，得到幾倍于傳統(tǒng)磁盤的IO性能，是平衡磁盤數(shù)量和IO性能的很好手段。

容量需求和IO性能需求是兩個最關(guān)鍵的指標(biāo)，完成了這兩項需求的估算，基本上就可以開始尋找相應(yīng)的陣列產(chǎn)品了。

第三個問題，iSCSI、FC、FCoE如何選？

這是一個歷史悠久的話題了，大家在度娘上隨便就能找出上千篇相關(guān)文章，在這，我就不做更多的闡述了。在當(dāng)下SAN網(wǎng)絡(luò)的構(gòu)建成本和FCoE系統(tǒng)差距越來越小的情況下，人教社選擇了SAN，它提供了足夠的性能、可靠性和可管理性，而更重要的是，使用了SAN網(wǎng)絡(luò)，存儲工程師再也不用和網(wǎng)絡(luò)工程師去討論性能分配的問題了。

最后一個問題，也是最重要的一個問題，企業(yè)私有云系統(tǒng)的存儲系統(tǒng)架構(gòu)該如何規(guī)劃？

其實每個企業(yè)的IT都有自己的特點，任何一種存儲架構(gòu)都有它的優(yōu)勢和劣勢，在這和大家分享幾個我這幾年做私有云存儲系統(tǒng)建設(shè)的小心得，希望能對大家的存儲系統(tǒng)規(guī)劃有所幫助：

1.部署的陣列系統(tǒng)越少越好，管理更多的陳列，只會增加工作量。如果已經(jīng)在使用大量小型磁盤陣列，用一個大型的代替它們是值得的。

2.盡可能保證架構(gòu)簡單，能不用FC交換機就不用。

3.對于虛擬化系統(tǒng)，快照功能是必須的。

4.陣列的可靠性高于一切，不怕慢，就怕站。

5.如果IO很大，上SSD吧，2％的容量就行。

6.私有云的備份，磁盤是必選的。

7.對于私有云，現(xiàn)階段的存儲虛擬化水平是在用人力投入換硬件投入，趨勢很清楚，人力成本在漲，硬件成本在降，除非你存儲管理經(jīng)驗豐富，否則慎用。

8.RemoteMirro是好東西，本地可以做陣列間冗余，遠程可以做災(zāi)備。

9.不要完全信任集成商，對于私有云，他們多數(shù)仍在學(xué)習(xí)期，讓自己強大起來是正道，另外就是相信高手在民間。

10.私有云系統(tǒng)中，存儲系統(tǒng)最重要，搞好了一切就都好了。