工業(yè)開源實時數(shù)據(jù)庫淺析
在工業(yè)互聯(lián)網(wǎng)快速發(fā)展的前提下,生產(chǎn)現(xiàn)場投放了大量的設(shè)備,比如監(jiān)控、傳感器等等,這些設(shè)備產(chǎn)生的實時數(shù)據(jù)能反映設(shè)備的情況和生產(chǎn)進度,而對這些數(shù)據(jù)的處理和分析,則需要數(shù)據(jù)庫的支持。
在工業(yè)領(lǐng)域, 生產(chǎn)、測試、運行階段都可能會產(chǎn)生大量帶有時間戳的傳感器數(shù)據(jù),這都屬于典型的時序數(shù)據(jù)。時序數(shù)據(jù)主要由各類型實時監(jiān)測、檢查與分析設(shè)備所采集或產(chǎn)生,涉及制造、電力、化工、工程作業(yè)等多個行業(yè),具備寫多讀少、量非常大等典型特性。
寫入吞吐低:單機寫入吞吐量低,很難滿足時序數(shù)據(jù)千萬級的寫入壓力存儲成本大:在對時序數(shù)據(jù)進行壓縮時性能不佳,需占用大量機器資源維護成本高:單機系統(tǒng),需要在上層人工進行分庫分表,維護成本高查詢性能差:查詢速度慢,尤其是海量實時數(shù)據(jù)的聚合分析性能差
一、工業(yè)互聯(lián)網(wǎng)時序數(shù)據(jù)庫的需求與痛點
主要問題可以匯總?cè)缦拢?/p>
- 寫入吞吐低:單機寫入吞吐量低,很難滿足時序數(shù)據(jù)千萬級的寫入壓力;
- 存儲成本大:在對時序數(shù)據(jù)進行壓縮時性能不佳,需占用大量機器資源;
- 維護成本高:單機系統(tǒng),需要在上層人工進行分庫分表,維護成本高;
- 查詢性能差:海量實時數(shù)據(jù)的聚合分析性能差。
需要支持的特性:
- 功能穩(wěn)定
- 高效的數(shù)據(jù)寫入
- 高效的數(shù)據(jù)查詢,包括最新數(shù)據(jù)和歷史數(shù)據(jù)
- 可云化部署
- 可私有化部署
- 線性擴展
- 高可用
- 便于連接大數(shù)據(jù)平臺
二、數(shù)據(jù)源需求
從數(shù)據(jù)源角度,設(shè)計人員可以從下面幾個角度分析在目標應(yīng)用系統(tǒng)里面的適用性。
- 總體數(shù)據(jù)量巨大
- 數(shù)據(jù)輸入速度偶爾或者持續(xù)巨大
- 數(shù)據(jù)源數(shù)目巨大
三、架構(gòu)
隨著時序數(shù)據(jù)庫產(chǎn)品的引入,減少了組件數(shù)量,降低架構(gòu)的復(fù)雜度,同時降低了存儲成本,提升業(yè)務(wù)響應(yīng)實時性,降低了人員要求,釋放了業(yè)務(wù)創(chuàng)新能力。
四、收益與價值
高性能,可以支持百萬級別的并發(fā)寫入、萬級的并發(fā)讀取,大量聚合查詢時依然有高性能表現(xiàn)高可用,可支持集群部署,可橫向擴展,不存在單點故障,為生產(chǎn)環(huán)境穩(wěn)定運行提供基礎(chǔ)低成本,數(shù)據(jù)庫對硬件資源要求低,數(shù)據(jù)壓縮率高,平均至少節(jié)省 70% 的硬件資源充分利用時序數(shù)據(jù)的特點,高度一體化,具備消息隊列、流式計算和緩存的功能,大幅簡化架構(gòu)易上手,使用 SQL 進行數(shù)據(jù)庫操作,簡單易學,支持復(fù)雜查詢,減少開發(fā)難度和運維壓力。
五、系統(tǒng)分析
實時數(shù)據(jù)庫是數(shù)據(jù)和事務(wù)都有定時特性或顯示的定時限制的數(shù)據(jù)庫?在結(jié)構(gòu)和功能上是根據(jù)實時數(shù)據(jù)庫的性質(zhì)以及實時數(shù)據(jù)在使用方式上的特點而設(shè)計的?其中一些功能是標準的關(guān)系型數(shù)據(jù)庫所不具備的。在本系統(tǒng)中根據(jù)實時數(shù)據(jù)庫的結(jié)構(gòu)和功能特點?將實時數(shù)據(jù)庫設(shè)計分為實時數(shù)據(jù)庫結(jié)構(gòu)設(shè)計和實時數(shù)據(jù)庫管理程序設(shè)計兩部分。
六、收益與價值
- 高性能,可以支持百萬級別的并發(fā)寫入、萬級的并發(fā)讀取,大量聚合查詢時依然有高性能表現(xiàn)
- 高可用,可支持集群部署,可橫向擴展,不存在單點故障,為生產(chǎn)環(huán)境穩(wěn)定運行提供基礎(chǔ)
- 低成本,數(shù)據(jù)庫對硬件資源要求低,數(shù)據(jù)壓縮率高,平均至少節(jié)省 70% 的硬件資源
- 高度一體化,具備消息隊列、流式計算和緩存的功能,大幅簡化架構(gòu)
- 易上手,使用 SQL 進行數(shù)據(jù)庫操作,簡單易學,支持復(fù)雜查詢,減少開發(fā)難度和運維壓力
七、行業(yè)應(yīng)用
在工業(yè)互聯(lián)網(wǎng)快速發(fā)展的大背景下,工業(yè)生產(chǎn)現(xiàn)場投放了大量的設(shè)備傳感器和監(jiān)控系統(tǒng),二者提供的實時數(shù)據(jù)能夠反映設(shè)備的狀態(tài)和生產(chǎn)的進度,其中的大多數(shù)據(jù)都是按照時間順序形成的實時數(shù)據(jù),這些海量實時數(shù)據(jù)有著多樣化的分析需求和重要的參考價值。
未來希望數(shù)據(jù)庫可以提供更復(fù)雜的流式計算、查詢分析以及監(jiān)測預(yù)警等能力,可以為產(chǎn)品的可視化運維、預(yù)測性維護、遠程智能管理等方面提供數(shù)據(jù)依據(jù),從而降低人員、時間等成本,加速工業(yè)化與信息化的深度融合,促進復(fù)雜重型裝備制造業(yè)的轉(zhuǎn)型升級,產(chǎn)生社會經(jīng)濟效益。
本文由 @Nate 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)
- 目前還沒評論,等你發(fā)揮!