軟件定義時代,存儲行業(yè)的“百家爭鳴”(上)
全球軟件定義存儲市場年復(fù)合增長率逐漸上升,市場規(guī)模逐漸擴大,并且將持續(xù)保持高速增長,其中北美仍是軟件定義存儲的主要市場,全行業(yè)都表現(xiàn)為軟件定義存儲的發(fā)展趨勢,呈現(xiàn)出“百家爭鳴”的格局。這篇文章就讓我們一起來深入了解一下存儲行業(yè)的軟件定義時代吧。
數(shù)據(jù)容量的持續(xù)增加、應(yīng)用場景的不斷豐富、AI的滲透,是存儲行業(yè)長久增長的核心驅(qū)動。
具體來說,存儲的發(fā)展涉及到硬件介質(zhì)、通信、傳輸、協(xié)議、接口、軟件等組成部分的持續(xù)演進,其中,針對海量數(shù)據(jù)存儲要求的大容量、高性能、智能化處理,為軟件廠商帶來更多競爭角度和機會;軟件定義存儲,一方面是定義功能,另一方面是定義性能,既有面向硬件的持續(xù)優(yōu)化,也有面向場景的無限延伸,因此從供給來看,廠商也呈現(xiàn)出“百家爭鳴”的格局。
在此格局之下,“小場景,大行業(yè)”的差異化競爭策略成為重要的路線選擇,為未來增長和競爭持續(xù)助力。
本報告由勢乘資本和光錐智能聯(lián)合發(fā)布,目錄如下:
核心觀點:
1. 存儲技術(shù)從介質(zhì)、傳輸、協(xié)議、接口、軟件等呈現(xiàn)持續(xù)快速迭代的趨勢,每個構(gòu)成部分的發(fā)展速度不一,數(shù)據(jù)孤島、煙囪式擴容、被硬件廠商綁定帶來的成本高企等成為大數(shù)據(jù)量企業(yè)格外顯著的痛點,穩(wěn)定性、擴展性、成本、與業(yè)務(wù)時效要求相匹配的性能都成為客戶的選型指標,針對歷史體量和增量的數(shù)據(jù)需求,以及被硬件廠商持續(xù)綁定的局面,給軟件定義與超融合帶來持續(xù)的機會。
存儲整體技術(shù)革新方向:
2. 極致成本與極致性能是典型的業(yè)務(wù)走向,全面閃存化大勢所趨,深刻影響分布式存儲的技術(shù)方向。
3. 存儲與PaaS層連接緊密,市場集中度高,如華為擁有背景、行業(yè)沉淀和生態(tài),在獲客能力和生態(tài)合作上擁有絕對優(yōu)勢,初創(chuàng)廠商要生存,需要找到和巨頭競爭的點。
4. 軟件定義細分的技術(shù)方向不同,適用的場景和各自優(yōu)勢不同,細分技術(shù)適用性+場景需求匹配可以驅(qū)動廠商快速增長;基于開源技術(shù)的迭代和優(yōu)化,工程化及軟件成熟度有一定保證,相當于站在巨人的肩膀上,對于研發(fā)進度、交付成本等的優(yōu)化會更好,因此起量會相對較快。
5. 競爭激烈將導(dǎo)致毛利率下降,產(chǎn)品化程度需要高或者面向行業(yè)找到核心抓手,守住自身護城河;但同時收入增長快、毛利率下降的現(xiàn)狀也同時說明產(chǎn)業(yè)在快速增長和競爭。
a.基礎(chǔ)要求:穩(wěn)定性、可靠性、性能、易用性。
6. 初創(chuàng)廠商鲇魚效應(yīng):現(xiàn)階段傳統(tǒng)存儲基于傳統(tǒng)架構(gòu)的強綁定銷售是增收的來源,軟件定義存儲帶來的格局重塑倒逼巨頭的布局,因此會根據(jù)市場動態(tài)調(diào)整自身策略;初創(chuàng)廠商沒有歷史包袱,因此可以大力創(chuàng)新。
7. 數(shù)據(jù)智能時代需要廠商具備全生命周期的賦能,需要持續(xù)迭代功能,面向創(chuàng)新需要更加開放;比如圖像識別、挖掘?qū)W習(xí)、私有云、容器等新技術(shù)的場景。
a.數(shù)據(jù)的生命周期分為采集、傳輸、存儲、處理、交換和銷毀六個階段,在各個階段對于核心技術(shù)能力訴求不一,但客戶以一般以整體需求為導(dǎo)向,因此需要一定程度的外圍組件研發(fā)工作和流程上的延伸。
8. 廠商需面向客戶持續(xù)提供核心價值:可靠性-丟包、斷掉、讀??;性能;豐富的功能:可以存什么東西,匹配什么場景,具備什么功能,用戶有自身選擇;新興初創(chuàng)廠商取勝關(guān)鍵唯有創(chuàng)新,但是持續(xù)研發(fā)和迭代無止境,基于標準化和通用化場景的研發(fā)虧損巨大。
9. 初創(chuàng)廠商基于創(chuàng)新的發(fā)展道路短期無法盈虧平衡,需要在收入和產(chǎn)品上給予更多關(guān)注,如客戶場景不能測試,唯有依靠自身部署機器測試,采購+測試+研發(fā)+交付,整體成本高昂,帶給存儲廠商現(xiàn)金流和虧損壓力,融資要跟上;要配置研發(fā)的團隊,有標準的內(nèi)部測試流程和外部獲客策略,積累足夠的測試用例是產(chǎn)品自信的有效途徑。
a.發(fā)展路徑:高度產(chǎn)品化、可靠的方案、長期的價值、具備可挖掘的能力。
10. 軟件成長之路依靠巨大資金投入與人力投入,以及周期,性能和功能優(yōu)化是系統(tǒng)工程,軟件可以克服硬件的邊界,豐富功能和應(yīng)用,但是軟件功能完整、成熟,私有云普及之前,依然要依靠高性能介質(zhì)硬件等,因此SSD和新一代存儲介質(zhì)目前依然會快速增長,性能和方案穩(wěn)定等的保證方面,主控芯片仍然會占主流。但與此同時,存儲層面需求總體來說較為簡單,軟件的優(yōu)勢在于可以持續(xù)做漸進式的演變,疊加功能和方案,集成硬件出貨,因此起量比其他infra公司會更有保證。
一、海量數(shù)據(jù)+豐富場景是長久驅(qū)動
(一)數(shù)據(jù)規(guī)模擴大引起存儲擴容的需求
據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)預(yù)測,全球數(shù)據(jù)量將從2018年的33ZB增至2025年的175ZB,增長超過5倍;中國平均增速快于全球3%,預(yù)計到2025年將增至48.6ZB,占全球數(shù)據(jù)量的比例由23.4%提升至27.8%。其中,中國企業(yè)級數(shù)據(jù)量將從2015年占中國數(shù)據(jù)量的49%增長到2025年的69%。
(二)非結(jié)構(gòu)化數(shù)據(jù)成為數(shù)據(jù)增長主流
互聯(lián)網(wǎng)興起,數(shù)據(jù)創(chuàng)造的主體由企業(yè)逐漸轉(zhuǎn)向個人用戶,個人所產(chǎn)生的絕大部分數(shù)據(jù)均為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù),企業(yè)辦公流程更多通過網(wǎng)絡(luò)實現(xiàn),表單、票據(jù)等都實現(xiàn)了以非結(jié)構(gòu)化為主的數(shù)字化存檔。到2023年,中國的數(shù)據(jù)量超過80%是非結(jié)構(gòu)化數(shù)據(jù),成為數(shù)據(jù)主流。
場景創(chuàng)新帶來更多業(yè)務(wù)數(shù)據(jù),比如自動駕駛、超高清、IOT等業(yè)務(wù)場景將帶來更多數(shù)據(jù);以大視頻、備份歸檔為代表的業(yè)務(wù),數(shù)據(jù)量大,價值密度相對較低,發(fā)展趨勢為高密度、低成本介質(zhì),追求極致成本與極致性能是典型的業(yè)務(wù)走向;以自動駕駛為例,研發(fā)過程中,每一輛測試車輛每天產(chǎn)生的數(shù)據(jù)在10TB到64TB之間,而這些數(shù)據(jù)需要在24小時之內(nèi)完成分析,并且研發(fā)過程累積的數(shù)百PB數(shù)據(jù)需要保存30年以上。
(三)數(shù)據(jù)存儲的要求:長期保存、持久化保存、分門別類地治理。
數(shù)據(jù)分析和處理產(chǎn)生的倍增數(shù)據(jù)存儲需求;隨著數(shù)據(jù)大集中、數(shù)據(jù)挖掘、商業(yè)智能、協(xié)同作業(yè)等大數(shù)據(jù)處理技術(shù)的日趨成熟,數(shù)據(jù)價值呈指數(shù)上升趨勢。
資料來源:HGST
大數(shù)據(jù)技術(shù)發(fā)展變革,隨數(shù)據(jù)量增長與分析的需求,伴隨更多的技術(shù)演進趨勢與公司出現(xiàn)。
資料來源:中國信通院
(四)自主可控相關(guān)政策將驅(qū)動2023-2027年存儲行業(yè)高增長
2022年,9月底下發(fā)的79號文,全面指導(dǎo)國資信創(chuàng)產(chǎn)業(yè)發(fā)展和進度,要求所有央企+地方國企落實信創(chuàng)全替代,受益于信創(chuàng)概念,市場普遍認為,未來五年是“大信創(chuàng)”發(fā)展的關(guān)鍵時期,發(fā)展空間廣闊。
79號文的核心內(nèi)容歸納如下:
- 全面替換(OA、門戶、郵箱、紀檢、黨建、檔案管理);
- 應(yīng)替就替(戰(zhàn)略決策、ERP、風(fēng)控管理、CRM經(jīng)營管理系統(tǒng));
- 能替就替(生產(chǎn)制造、研發(fā)系統(tǒng));
- 2027年100%完成。
信創(chuàng)為全產(chǎn)業(yè)鏈廠商帶來發(fā)展機遇;硬件、軟件、安全均為企業(yè)整體替換方案的重要組成。
數(shù)據(jù)來源:眾誠智庫、天風(fēng)證券
二、存儲重要性闡述:存儲系統(tǒng)是IT系統(tǒng)中的核心
數(shù)據(jù)智能時代,數(shù)據(jù)存儲的三大需求:EB級容量、億級IOPS(每秒進行讀寫操作的次數(shù),Input/Output Operations Per Second)和智能管理。
- 存儲是計算和通信的起點。存儲系統(tǒng)的穩(wěn)定性將影響到整個業(yè)務(wù)系統(tǒng)的正常運營,存儲系統(tǒng)如出現(xiàn)數(shù)據(jù)丟失、宕機將對業(yè)務(wù)系統(tǒng)連續(xù)性產(chǎn)生致命影響。
- 存儲系統(tǒng)的性能將影響到整個業(yè)務(wù)系統(tǒng)的效率,存儲系統(tǒng)的讀取速度將決定數(shù)據(jù)存儲與提取效率,直接影響業(yè)務(wù)系統(tǒng)的效率。
- 存儲系統(tǒng)的擴展能力將決定整個業(yè)務(wù)系統(tǒng)的擴展性,隨著大數(shù)據(jù)時代到來,數(shù)據(jù)量爆發(fā)也對存儲系統(tǒng)的可擴展性提出了更高要求,擴展能力將成為存儲設(shè)備能夠支撐數(shù)據(jù)生產(chǎn)型業(yè)務(wù)的必要指標之一。
三、存儲系統(tǒng)構(gòu)成
(一)存儲部件-硬件
1.存儲介質(zhì):
依據(jù)存儲介質(zhì)不同,存儲系統(tǒng)可分為磁盤存儲、全閃存儲、混閃存儲、磁帶庫、光盤庫等。最常見的是以HDD和SSD為介質(zhì)的存儲系統(tǒng)。HDD為磁頭、磁盤、馬達組成的機械結(jié)構(gòu),SSD主要以閃存為存儲介質(zhì)。
(1)存儲介質(zhì)性能衡量基準:存儲性能委員會(SPC)的SPC-1基準。
(2)全閃存儲為存儲行業(yè)的技術(shù)發(fā)展方向:更低的時延、更低的功耗、更低的故障率。
(3)SSD固態(tài)硬盤結(jié)構(gòu)及功能:
資料來源:華西證券
全閃存儲(AFA):指全部以固態(tài)硬盤為永久存儲介質(zhì)的存儲;全閃存儲性能優(yōu)異,但價格也較高,同時呈現(xiàn)連年下降趨勢。
- SSD需要高性能,定制化需求提升;客戶特殊需求體現(xiàn)在固件和控制器上。
- 前期普及的閃存主要應(yīng)用于核心業(yè)務(wù)場景,提升業(yè)務(wù)響應(yīng)效率。
- SSD其他相關(guān)廠商:得一微電子、國科微、聯(lián)蕓科技、點序科技、憶芯科技、英韌等。
混閃存儲(HFA):指永久存儲介質(zhì)同時含有磁盤和閃存盤的存儲;與全閃存儲相比,混閃存儲在性能和價格上進行了一定折中。
磁帶庫和光盤庫:指以磁帶或光盤為存儲介質(zhì),由驅(qū)動器及其控制器組成的存儲設(shè)備;單位存儲空間
價格較低,支持冷數(shù)據(jù)的長期保存,但讀寫性能不高。
EDSFF(Enterprise&Data Center SSD Form Factor,企業(yè)和數(shù)據(jù)中心固態(tài)硬盤規(guī)格)以高密度、易管理、高效率的優(yōu)勢成為固態(tài)硬盤外觀發(fā)展的新趨勢。EDSFF 是面向云服務(wù)、企業(yè)數(shù)據(jù)中心的NVMe SSD新形態(tài)標準,與傳統(tǒng)SSD相比具備高吞吐、低延遲、強擴展性的特性。同時在性能、散熱、功耗等方面都做統(tǒng)一的改進,更易適用于大容量、高密度的全閃存儲陣列。
(1)2020年Q1-Q3中國存儲市場中全閃存儲占比18.2%,且全閃存存儲的增速較快,較2019年Q1-Q3同比增長20%。
(二)接口&協(xié)議
1.帶寬增加,延時降低,高性能和低延時需求促使NVMe協(xié)議應(yīng)運而生。
早期HDD屬于慢速設(shè)備,具有順序讀寫的特點,主機和HDD和早期SSD之間通過單隊列進行數(shù)據(jù)交互,傳輸協(xié)議一般采用AHCI(高級主機控制器接口,Advanced Host Controller Interface)。
隨著存儲介質(zhì)的演進,SSD可以同時從多個不同位置讀取數(shù)據(jù),具有高并發(fā)性,SSD盤的IO帶寬越來越大,訪問延時越來越低。AHCI協(xié)議已經(jīng)不能滿足高性能和低延時SSD的需求,因此,存儲系統(tǒng)迫切需要更快、更高效的協(xié)議和接口,NVMe(NVM Express)協(xié)議應(yīng)運而生。
- NVMe協(xié)議具備高吞吐、高IOPS以及低延遲的優(yōu)勢。在吞吐量方面,基于NVMe的驅(qū)動器的吞吐量可實現(xiàn)高達16Gbps,未來32Gbps或更高吞吐量產(chǎn)品的應(yīng)用將成為未來發(fā)展的主流趨勢。
- 在IO方面,許多基于NVMe的驅(qū)動器,其IOPS可以超過50萬,部分可提供150萬、200萬甚至1000萬IOPS。在低延時方面,許多驅(qū)動器的延遲低于20微秒,部分低于10微秒。因此,NVMe SSD憑借卓越的性能,在2018到2023年之間以38%的復(fù)合增長率加速增長,成為云客戶、OEM廠商和企業(yè)存儲數(shù)據(jù)的首選設(shè)備。
- 目前SSD產(chǎn)品主要使用的接口模塊大多適用SATA及PCIe,部分使用SAS接口。其中PCIe具備更好的帶寬速度,SATA接口+AHCI協(xié)議被PCIe接口+NVMe協(xié)議逐步取代是技術(shù)趨勢。
- PCIe(Peripheral Component Interconnect Express)是繼ISA和PCI總線之后的第三代I/O總線,是一種設(shè)備高速連接標準,具備數(shù)據(jù)傳輸速率高,抗干擾能力強,傳輸距離遠,功耗低等優(yōu)點。
PCIe的不斷提速,對于數(shù)據(jù)中心、工控等各個領(lǐng)域影響非同一般,但在功能實現(xiàn)上需要考慮的問題也很多,包括散熱、供電等方面的考慮。
(三)組網(wǎng)(傳輸介質(zhì))
組網(wǎng)類型:IP組網(wǎng)仍然是最主流的組網(wǎng)類型,組網(wǎng)類型的選用取決于成本和效率的綜合平衡。
主要硬件設(shè)備:交換機、路由器,新華三、華為等市場份額較高,成熟公司為主。
- IP組網(wǎng)存儲:指采用以太網(wǎng)技術(shù)進行組網(wǎng)的存儲設(shè)備,常見速率包括1Gb、10Gb、25Gb、100bG等;IP組網(wǎng)的兼容性較好,建設(shè)成本較低。
- FC組網(wǎng)存儲:指采用FC光纖技術(shù)進行組網(wǎng)的存儲設(shè)備,常見速率包括8Gb、16Gb、32Gb等;FC組網(wǎng)的效率較高,但采購成本和維護難度也相對較高,普及率不及IP。
- IB組網(wǎng)存儲:指采用InfiniBand技術(shù)進行組網(wǎng)的存儲設(shè)備,常見速率包括40Gb、56Gb、100Gb、200Gb等;IB組網(wǎng)的延遲較低、速率較高,但采購成本相對較高,組網(wǎng)的擴展性也較弱。
當前的主流的數(shù)據(jù)中心網(wǎng)絡(luò)都是要解決多個異構(gòu)系統(tǒng)的互聯(lián)問題,即使是單一的大規(guī)模應(yīng)用場景,包括云計算、大數(shù)據(jù)等,主流也都是以高吞吐量場景,也就是多個節(jié)點做多個事情,對節(jié)點之間的通信延遲沒有很高的要求,更看重的是靈活的接入與擴容。
所以這些場景用以太網(wǎng)就非常合適。目前IP組網(wǎng)屬于非常成熟和可靠的技術(shù),應(yīng)用廣泛,面向大中小型客戶,屬于占到90%以上的主流組網(wǎng)方式。
(四)存儲類型
- 文件存儲:指自身構(gòu)建文件系統(tǒng)后,通過互通的網(wǎng)絡(luò)提供給服務(wù)器或應(yīng)用軟件使用,支持數(shù)據(jù)文件讀寫和文件共享服務(wù)的存儲設(shè)備。文件存儲的常用協(xié)議包括NFS、CIFS、FTP等。
- 塊存儲:指將物理存儲介質(zhì)上的物理空間按照固定大小的塊組成邏輯盤,并直接映射空間給服務(wù)器使用的存儲設(shè)備。塊存儲的常用協(xié)議包括SCSI、iSCSI、NVMe等。
- 對象存儲:指采用扁平化結(jié)構(gòu),將文件和元數(shù)據(jù)包裝成對象,并抽象成網(wǎng)絡(luò)URL(統(tǒng)一資源定位器,Uniform Resource Locator),通過HTTP(超文本傳輸協(xié)議,Hypertext Transfer Protocol)協(xié)議直接訪問的存儲設(shè)備。對象存儲的常用協(xié)議包括S3、SWIFT等。
- 其它存儲協(xié)議:包括在大數(shù)據(jù)存儲中廣泛使用的HDFS協(xié)議,以及表存儲協(xié)議等。
(五)軟件定義存儲-早期主流技術(shù)路線對比
主要軟件對比:
FC SAN、IP SAN都要有存儲管理軟件(如卷管理、數(shù)據(jù)的快照、鏡像、備份、恢復(fù)、歸檔等等)。
數(shù)據(jù)來源:51CTO
主要廠商:
國內(nèi)SDS產(chǎn)品基于開源路線為主,Ceph占絕對多數(shù),其他有Gluster和BeeGFS。發(fā)展到現(xiàn)在,針對場景的代碼沉淀逐漸增加,自研程度持續(xù)提升,滿足自主可控的訴求。
(1)巨頭企業(yè)
- 華為:FusionStorage(參考Ceph,塊存儲)、OecanStor 9000(參考Ceph,文件存儲)
- 浪潮:AS13000(開源Ceph,重點是文件存儲)
- 新華三:OneStor(開源Ceph,塊和對象存儲)
- 曙光:Parastor(自研,文件系統(tǒng),HPC場景)
- 深信服:EDS(開源Gluster+Ceph,塊存儲、文件和對象存儲)
(2)初創(chuàng)廠商
- TaoCloud:XDFS(開源Gluster,以文件存儲為主),F(xiàn)ASS(自研,新一代全閃塊存儲)
- XSKY星辰天合:SDS系列產(chǎn)品(開源Ceph,塊和對象存儲)
- 杉巖:SDS系列產(chǎn)品(開源Ceph,塊和對象存儲)
- 鵬云:ZettaStor DBS(自研,塊存儲)
- 霄云:BOSS(自研,統(tǒng)一存儲)
- 焱融:YRCloudFile(自研,文件存儲)
- 龍存:Loong系列(自研,文件系統(tǒng),HPC場景)
附:關(guān)于Ceph
存儲根據(jù)其類型,可分為塊存儲,對象存儲和文件存儲。在主流的分布式存儲技術(shù)中,HDFS/GPFS/GFS屬于文件存儲,Swift屬于對象存儲,而Ceph可支持塊存儲、對象存儲和文件存儲,故稱為統(tǒng)一存儲。Ceph也是應(yīng)用最廣泛的開源分布式存儲平臺。
- Ceph的優(yōu)點:存儲功能;利用存儲節(jié)點的計算能力,在存儲每一個數(shù)據(jù)時,都會通過計算得出該數(shù)據(jù)存儲的位置,盡量將數(shù)據(jù)分布均衡;由于采用了CRUSH、HASH等算法,使得它不存在傳統(tǒng)的單點故障,且隨著規(guī)模的擴大,性能并不會受到影響。
- Ceph的主要架構(gòu):
資料來源:InfoQ
- Ceph最初的功能模塊:
- Client客戶端:負責存儲協(xié)議的接入,節(jié)點負載均衡。
- MON監(jiān)控服務(wù):負責監(jiān)控整個集群,維護集群的健康狀態(tài),維護展示集群狀態(tài)的各種圖表,如OSD Map、Monitor Map、PG Map和CRUSH Map。
- MDS元數(shù)據(jù)服務(wù):負責保存文件系統(tǒng)的元數(shù)據(jù),管理目錄結(jié)構(gòu)。
- OSD存儲服務(wù):主要功能是存儲數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù),以及與其它OSD間進行心跳檢查等。一般情況下一塊硬盤對應(yīng)一個OSD。
作者:王圓珍
來源公眾號:光錐智能(ID:guangzhui-tech),前沿科技,數(shù)智經(jīng)濟。
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @光錐智能 授權(quán)發(fā)布,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于 CC0 協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!