雲原生(shēng)時代,存儲長什麽樣?

2021-07-13 查看(4351)

科技雲報道原創。

據IDC稱,到2023年,将有超5億的應用和服務以雲原生(shēng)的方式進行開(kāi)發和部署,這一(yī)數字與過去(qù)40年以來人們開(kāi)發的應用總數相當。

雲原生(shēng)的加速發展爲每個行業帶來新的競争需求,雲原生(shēng)和容器正在迅速轉變爲應用程序開(kāi)發和底層雲基礎設施服務的新藍(lán)圖。

但值得注意的是,據CNCF調查顯示,目前存儲系統依然是雲原生(shēng)場景使用和部署中(zhōng)面臨的最主要障礙之一(yī)。

雲原生(shēng)環境對存儲帶來新挑戰

存儲系統一(yī)直以來都是基礎設施軟件中(zhōng)的核心之一(yī)。無論業務采用什麽樣的運行環境和架構,都離(lí)不開(kāi)存儲系統的支撐。

在過去(qù)的30年中(zhōng),業務系統的運行環境經曆了巨大(dà)的變化,從單獨部署的物(wù)理機,小(xiǎo)規模部署的虛拟化環境,大(dà)規模部署的雲環境,以及目前的雲原生(shēng)平台。在這個變革的過程中(zhōng),業務系統對平台敏捷性的要求越來越高。

在物(wù)理機時代,運維人員(yuán)需要手動配置存儲系統和部署業務系統,業務上線以周爲單位。而在雲原生(shēng)時代,每分(fēn)鍾都可能發布新的應用版本,每天都可能有大(dà)量的業務要上線。

這意味着,雲原生(shēng)時代的存儲系統,除了要滿足性能、穩定性、可靠性的要求以外(wài),還要滿足業務系統對敏捷性的要求,能夠通過統一(yī)的編排系統配合業務上線,并且可以實現快速擴容。

同時,爲了減輕運維管理員(yuán)的工(gōng)作負擔,存儲系統自身的自動化運維能力,也成爲運維團隊關注的核心焦點。

盡管在雲原生(shēng)技術日益普及的今天,在Kubernetes上運行無狀态應用已經非常成熟,平滑擴展能力也很強,但對于有狀态的應用,數據需要持久化存儲,還有很大(dà)提升的空間,面臨着很多挑戰。

據CNCF對于“在使用/部署容器過程中(zhōng)遇到的挑戰”的調查報告中(zhōng)顯示,雲原生(shēng)存儲遇到的挑戰表現在以下(xià)幾個方面:

易用性:存儲服務部署、運維複雜(zá),雲原生(shēng)化程度低,缺少與主流編排平台整合

高性能:大(dà)量應用IO訪問,IOPS需求高,低時延,性能成爲應用運行效率瓶頸

高可用:雲原生(shēng)存儲已經應用到生(shēng)産環境,需要高可靠/高可用,不能出現單點故障

敏捷性:PV快速創建、銷毀、平滑的擴展/收縮,PV随Pod遷移而快速遷移

 

雲原生(shēng)存儲應具備哪些特點?

雲原生(shēng)存儲作爲一(yī)種存儲系統,可靠性、性能、高可用等特點都是必不可少的。除此之外(wài),雲原生(shēng)環境對存儲系統提出了更高的要求。

面對諸多挑戰雲原生(shēng)存儲應具備哪些特點呢?

盡量減少環境依賴

雲原生(shēng)存儲系統應盡量不對軟硬件環境存在任何依賴,例如對内核的依賴,對特定的網絡設備和磁盤型号的依賴等等。隻有盡量少的依賴,才能夠做到最大(dà)的适配性。 

避免資(zī)源消耗過高

雲原生(shēng)存儲系統以容器的形式和業務系統混合部署在容器平台上。如果存儲系統占用過多的計算資(zī)源(CPU、内存),則會導緻整體(tǐ)投入成本太高。 

聲明式運維方式

存儲系統應支持通過聲明式的接口進行運維管理,同時支持一(yī)定程度的自動化運維,包括在線擴容、升級等等。當發生(shēng)硬件故障時,存儲服務可以自動恢複,以保證業務系統不受影響。

雲原生(shēng)生(shēng)态

雲原生(shēng)存儲還需要能夠很好地和其他雲原生(shēng)基礎設施配合,例如雲原生(shēng)數據庫,使得雲原生(shēng)數據庫可以真正的在公有雲和私有雲都能夠得到一(yī)緻的用戶體(tǐ)驗。同時,雲原生(shēng)存儲應該很好地和雲原生(shēng)的運維生(shēng)态系統結合,包括監控、報警、日志(zhì)處理等待。

總體(tǐ)而言,雲原生(shēng)存儲系統可以運行在各種不同服務商(shāng)提供的公有雲環境或私有雲環境中(zhōng),并且爲運維人員(yuán)提供相同接口和運維方式,極大(dà)降低運維團隊的負擔。

市場上的雲原生(shēng)存儲方案

爲了更好的理解在雲環境中(zhōng)如何構建雲原生(shēng)存儲,先看幾個在Kubernetes企業環境中(zhōng)部署主流的雲原生(shēng)存儲方案。 

Ceph on Kubernetes with Rook  

Ceph是聖克魯茲加利福尼亞大(dà)學的Sage Weil在2003年開(kāi)發的,也是他博士學位項目中(zhōng)的一(yī)部分(fēn)。Ceph LTS成熟穩定、高可用、生(shēng)态強大(dà),在雲原生(shēng)時代和Kubernets緊密集成。

Ceph基于RADOS(Reliable Autonomic Distributed Object Store)的高可用存儲,在雲原生(shēng)時代之前已經廣泛生(shēng)産部署的高可用存儲,支持最廣泛的塊存儲RBD、文件POSIX Cephfs,以及對象存儲訪問協議。

RedHat/SUSE目前是Ceph最主要的商(shāng)業化支持者,在多個容器平台落地案例中(zhōng),RBD、CephFS 都被采用作爲容器平台實施的主要存儲,用來彌補基礎雲存儲的缺失。

Rook目前是在Kubernetes産品級可用的部署和運維Ceph編排工(gōng)具。

Portworx  

Portworx以容器服務的方式部署,每個節點稱爲PX,向下(xià)對接各種公有雲的塊存儲或者裸金屬服務器,向上提供塊或文件服務。

不綁定硬件形态和廠商(shāng),可接入任何一(yī)家公有雲或者自建服務器集群(隻需支持iSCSI或FC 協議),目前Portworx主打能力雲災備DR、多雲複制,具備完備的快照(ROW)、多雲管理、同步複制(RTO,秒級)異步複制(RPO<=15min),可以通過Kubernetes CRD申明方式,優雅實現持久化雲下(xià)應用帶數據自動遷移雲上能力。PX可以獨立部署,并不強依賴Kubernetes的容器網絡。

OpenEBS  

OpenEBS基于Kubernetes構建的開(kāi)源版EBS,軟件定義PV:将各種介質,包括本地磁盤、雲等各種存儲統一(yī)池化和管理。使用iSCSI作爲存儲協議。沒有綁定某一(yī)個廠商(shāng)的存儲,可以靈活的接入各種存儲的一(yī)個原因。

從某種意義上,OpenEBS也是更加靈活、輕量。但是強依賴容器網絡,增加了抽象層OpenEBS layer, 寫入操作要通過抽象層,并且每個卷PV都有獨立的controller,增加了額外(wài)的開(kāi)銷,雖然可以做到更靈活,但相比于Portworx、Ceph來說,其在性能上有比較大(dà)的劣勢。

目前,已經有大(dà)量的企業在将自身的存儲能力引入到Kubernetes中(zhōng)。

在CNCF公布的《2019 Cloud Native Computing Foundation》市場調研中(zhōng),分(fēn)析了當前和未來K8s采用情況,其中(zhōng)許多用戶将他們當前的存儲和雲的供應商(shāng)列爲雲原生(shēng)候選名單中(zhōng)。

調查顯示,在雲原生(shēng)存儲的選擇上,用戶最常使用Amazon EBS、Google Persistent Disk和Azure Disk Storage。

第二梯隊的是Ceph、CSI和Gluster,其中(zhōng)37%的Gluster用戶也使用Ceph。Ceph和Gluster是分(fēn)布式文件系統,在多個節點之間添加了持久層。但是,它們沒有很好地集成到K8s工(gōng)具和工(gōng)作流中(zhōng),因而可能更難以維護和配置。

剩下(xià)的第三梯隊産品,基本是由以存儲爲中(zhōng)心的服務商(shāng)提供的服務,如Dell EMC、NetApp和Pure Storage。最初,Kubernetes集成了卷插件以連接到這些産品的存儲後端。不幸的是,上遊Kubernetes發行版變得十分(fēn)臃腫。這意味着對插件的任何微小(xiǎo)更新或更改都要重建和編譯整個代碼。

而對于傳統存儲,客戶可能會有更多抱怨聲。例如,選擇Pure Storage的客戶中(zhōng)有46%的在處理與容器相關的存儲方面遇到了挑戰,而Kubernetes的普通用戶這一(yī)比例僅爲27%。盡管有13%的用戶使用了容器存儲接口(CSI),但問題難免還是會出現。

事實情況是,傳統存儲供應商(shāng)包括純容器存儲服務商(shāng)在内,正有轉向CSI的趨勢。雖然總體(tǐ)上隻有13%的用戶在考慮使用CSI,但在存在存儲挑戰的用戶群中(zhōng),對CSI的需求一(yī)躍升至22%。

結語

随着雲原生(shēng)時代的到來,越來越多的業務系統會采用雲原生(shēng)架構。存儲系統作爲承載業務穩定運行的核心組件,在雲原生(shēng)的架構下(xià),其重要性也相應地逐漸提高。

事實上,雲原生(shēng)存儲遇到的性能、彈性、高可用、加密、隔離(lí)、可觀測性、生(shēng)命周期等方面的問題,不但需要存儲産品層次的改進,更需要在雲原生(shēng)的控制/數據平面的改進,以推進雲原生(shēng)存儲的演進,而這正是新老存儲廠商(shāng)有待優化和提供的服務空間。


内容轉載自:DoNews專欄https://www.donews.com/article/detail/5427/30918.html

掃二維碼與項目經理溝通

我(wǒ)們在微信上24小(xiǎo)時期待你的聲音

解答本文疑問/技術咨詢/運營咨詢/技術建議/互聯網交流

鄭重聲明:郑州禾木网络技术有限公司網絡科技有限公司以外(wài)的任何單位或個人,不得使用該案例作爲工(gōng)作成功展示!