客戶介紹

聚水潭是中國領(lǐng)先的電商SaaS ERP服務(wù)商，通過全鏈路數(shù)字化解決方案（覆蓋訂單/倉儲/供應(yīng)鏈/財務(wù)）助力企業(yè)降本增效。其核心ERP產(chǎn)品為不同類型及規(guī)模的客戶提供一套統(tǒng)一且直觀的業(yè)務(wù)監(jiān)控、運營及管理工具，賦能客戶做出數(shù)據(jù)驅(qū)動的智能決策，使其能在快速發(fā)展的電商行業(yè)中脫穎而出。

●      服務(wù)客戶基數(shù)大，截至 2024 年，已為 88,400 名不同類型的 SaaS 客戶提供服務(wù)。

●      核心產(chǎn)品成熟度高，其云端電商 SaaS 產(chǎn)品，能夠推動商家客戶與中國乃至全球超過 400 個電商平臺連接（根據(jù)灼識咨詢的資料，行業(yè)平均連接的電商平臺數(shù)量不足 200 個）

●      技術(shù)基礎(chǔ)設(shè)施穩(wěn)定高效，在 2024 年“雙11”期間成功處理了約 16 億份訂單，創(chuàng)下行業(yè)領(lǐng)先記錄。

為什么選擇MaxCompute 近實時數(shù)倉解決方案

原有架構(gòu)痛點

用戶很多現(xiàn)有業(yè)務(wù)數(shù)據(jù)符合PK主鍵的場景，在相關(guān)表格的日常數(shù)據(jù)的增全量合并操作時，必須進(jìn)行復(fù)雜的PK去重操作以維護(hù)數(shù)據(jù)一致性。隨著用戶業(yè)務(wù)的不斷擴(kuò)展，用戶倉內(nèi)核心業(yè)務(wù)數(shù)據(jù)量迅速增大，給客戶帶來如下明顯痛點：

1.       日常維護(hù)復(fù)雜的增全量合并ETL鏈路

2.       每日對全量數(shù)據(jù)進(jìn)行掃描，計算成本隨數(shù)據(jù)量提升不斷增加

3.       最新全量數(shù)據(jù)按天保存，冗余數(shù)據(jù)不斷積累大大提升存儲成本

4.       增全量合并計算性能隨數(shù)據(jù)量上升而下降，數(shù)據(jù)新鮮度變低，下游業(yè)務(wù)消費數(shù)據(jù)的壓力不斷增大

MaxCompute 近實時數(shù)倉 Delta Table 解決方案優(yōu)勢

MaxCompute在原有的離線批處理引擎基礎(chǔ)上升級了系統(tǒng)架構(gòu)，推出了近實時數(shù)倉解決方案。MaxCompute的近實時數(shù)倉，基于全新的表格式實現(xiàn)了增全量數(shù)據(jù)一體化存儲和管理，并且推出了豐富的增量計算能力，同時升級了MaxCompute短查詢加速（MaxQA）以支持查詢秒級返回。

MaxCompute近實時數(shù)倉設(shè)計了多種新的表數(shù)據(jù)組織格式，既可支持MaxCompute普通表的所有功能，同時也能很好的支持增量處理鏈路的新場景。其中，PK Delta Table作為增量表格式中支持?jǐn)?shù)據(jù)包含主鍵場景的重要格式，完全契合聚水潭包含PK主鍵的業(yè)務(wù)場景，并能很好的解決用戶原有業(yè)務(wù)的諸多痛點。

●      PK Delta Table數(shù)據(jù)文件類型

PK Delta Table支持多種數(shù)據(jù)文件組織格式，來高效支持全量讀寫和近實時增量讀寫等多種場景，主要包含 Checkpoint File，Delta File 和 CDC Log。

其中，每次上游事務(wù)commit的數(shù)據(jù)會寫入Delta File，來保存每行數(shù)據(jù)的中間歷史狀態(tài)，從而為用戶提供增量數(shù)據(jù)的讀取功能。Delta File經(jīng)過Compact合并操作后會生成Checkpoint File，PK值相同的記錄只會保留一行，并按照列式壓縮存儲，用來支撐高效的全量數(shù)據(jù)查詢需求。

●      Deletion Vector功能提升PK Delta Table文件讀寫性能

MaxCompute針對PK Delta Table的表格式最新推出了Deletion Vector功能，通過一種輕量化的緊湊的二級制格式，形成一個類似向量的結(jié)構(gòu)(Bitmap)，在增量數(shù)據(jù)不斷更新過程中，高效管理已經(jīng)被刪除的數(shù)據(jù)，從而避免每次讀寫時候的全量數(shù)據(jù)進(jìn)行replay掃描的耗時，來提升查詢性能。當(dāng)用戶讀寫的PK Delta Table數(shù)據(jù)量較大（平均文件大小>10M）且SQL對表格多列進(jìn)行讀寫時加速效果更為明顯。

客戶生產(chǎn)系統(tǒng)落地效果：提效比例超過200%

在深度參與商家業(yè)務(wù)優(yōu)化的分析后，客戶發(fā)現(xiàn)在聚水潭電商最核心的銷售履約鏈路上，圍繞訂單、出庫、售后的全流程數(shù)據(jù)，均存在如下符合Delta Table使用場景的明顯特征：

1.       明確的業(yè)務(wù)PK主鍵

2.       基于業(yè)務(wù)主鍵的數(shù)據(jù)更新

3.       主表和明細(xì)表關(guān)聯(lián)查詢

4.       數(shù)據(jù)量大（PB級數(shù)據(jù)規(guī)模）

基于以上評估分析，最終用戶選擇對訂單明細(xì)鏈路（表數(shù)據(jù)量最大，邏輯最復(fù)雜，依賴最多，計算存儲成本消耗最大，且成上升趨勢）作為Delta Table改造項目的首選目標(biāo)進(jìn)行嘗試。

圖1 - 銷售履約訂單明細(xì)鏈路增全量合并ETL鏈路

圖2 - T時增量具體業(yè)務(wù)流程

伴隨訂單明細(xì)鏈路的改造完成，Delta Table也完成了元數(shù)據(jù)更新，寫入攢批，多表查詢等諸多特性的優(yōu)化，最終聚水潭履約鏈路的數(shù)據(jù)更新周期從近3個小時提升至30分鐘左右，提效比例超過200%，配合業(yè)務(wù)上對于更長周期數(shù)據(jù)更新的訴求（如預(yù)售訂單超180，售后維保超1年），聚水潭數(shù)據(jù)中臺團(tuán)隊基于Delta Table架構(gòu)快速驗證了更長更新周期、全鏈路H時效的技術(shù)方案，整體方案從設(shè)計到落地優(yōu)化不到2個月時間，大大簡化了增量數(shù)據(jù)寫入和消費的成本，計算資源消耗降低56%。同時，利用MaxCompute近實時數(shù)倉最新推出的Deletion Vector的性能優(yōu)化功能，針對生產(chǎn)的23條相關(guān)核心SQL任務(wù)進(jìn)行優(yōu)化后，整體性能提升42%，且計算資源消耗在之前基礎(chǔ)上進(jìn)一步降低21%。

未來展望

聚水潭將部分核心業(yè)務(wù)從傳統(tǒng)批式引擎遷移到近實時數(shù)倉鏈路的過程中，構(gòu)建了統(tǒng)一的增全量一體化數(shù)據(jù)鏈路，大幅降低了日常處理新增數(shù)據(jù)的核心業(yè)務(wù)的復(fù)雜度和資源成本，同時利用最新的Deletion Vector能力使得增量數(shù)據(jù)寫入和查詢?nèi)蝿?wù)的性能得到明顯提升。未來，用戶將重點致力于進(jìn)一步提升核心業(yè)務(wù)數(shù)據(jù)的新鮮度，確保下游能更及時獲取最新業(yè)務(wù)狀態(tài)。同時，結(jié)合MaxQA對秒級查詢響應(yīng)的支持，將為商家提供更敏捷的實時數(shù)據(jù)洞察與交互式分析體驗，進(jìn)一步賦能其快速決策。

繼續(xù)閱讀：

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 大數(shù)據(jù) » MaxCompute x 聚水潭：基于近實時數(shù)倉解決方案構(gòu)建統(tǒng)一增全量一體化數(shù)據(jù)鏈路