數據中臺利器DataphinV3.5上線，讓智能數據建設與治理快速見效

       6月29日，阿里巴巴宣布成立專注企業數智服務的子公司瓴羊智能服務公司。Dataphin作為瓴羊的開發云核心產品之一，是阿里巴巴集團OneData數據治理方法論基于內部實踐的產品化輸出，致力于幫助各企業用中臺方法論治理企業級好數據，構建起質量可靠、消費便捷、生產安全經濟的企業級數據中臺。

       隨著各行業數字化戰略的開展落地，越來越多企業開始越發重視數據體系的構建與完善。Dataphin（智能數據建設與治理）支持在多種大數據架構之上構建數據中臺，具備一站式數據采、建、管、用全生命周期管理能力，顯著提升數據治理水平，在計算引擎利舊降本基礎上滿足企業多元化數智應用需求，為企業上云用數賦智夯實數字化能力底座。

1分鐘了解DataphinV3.5升級亮點

       本次發布的V3.5版本中，Dataphin圍繞數據資產建設、數據資產治理、基礎平臺等三大功能板塊進行了完備性、安全行、研發效率、開放性、穩定性、易用性、可交付性等優化和升級。

       基于最新版本的Dataphin產品能力，企業將在數據中臺建設過程中獲得更大的助力。如通過多平臺多引擎適配能力，以及高效的數據集成，完成一站式數據匯聚處理，降低中臺建設起步成本。

       其次，在企業重點關注的數據治理領域，通過數據研發賦能及治理實踐產品化輸出，企業可以通過阿里方法論（OneData）指導數據研發與治理。

       除此之外，此次版本升級讓Dataphin平臺易用性獲得了大幅提升，能夠加速企業數字能力建設，例如通過內置幫助文檔優化新手使用體驗，智能運維診斷提升人員工作效能，同時支持客制自由化需求，與企業現有系統完成更佳融合。

       在下一個版本中，我們將圍繞資產建設平臺的易用性及可交付性、資產治理平臺的完備性以及基礎平臺的穩定性和開放性進行持續迭代，敬請期待！

10項能力升級，覆蓋多場景妙用

特性1：多租戶能力

       應用場景：支持多個計算平臺的納管，充分利用已有資產，降低中臺建設起步成本

       很多客戶在升級到數據中臺前，已經開始了部分數據資產的建設，在不同的部門或業務中使用Hadoop集群或者星環TDH的集群用于離線數據研發。在升級到企業級的數據中臺后，若能利用原有集群的計算能力，逐步遷移到新的計算平臺，將更好的利用已有的資產，降低企業建設數據中臺的起步成本。

       在新版本中，Dataphin將支持以MaxCompute或Hadoop（包括CDH5、CDH6、CDP、星環Inceptor等）為元倉，支持利用Dataphin的多租戶的能力，用不同的租戶納管不同的計算平臺，一套平臺統一數據研發平臺，統一研發體驗。

       應用場景：支持租戶間數據共享和推送，靈活進行集團/子公司數據資產管控和沉淀

       大型集團公司往往有公共資產建設及統一平臺的訴求，而旗下子公司有保留相對獨立的管控及數據資產管理的空間的訴求。利用Dataphin提供的多租戶的能力，集團和子公司分別使用不同的租戶，通過數據集成的能力共享數據到集團租戶，集團也可通過數據集成的能力將公共數據推送到子公司的租戶中。這樣的架構形式既能統一管理沉淀集團公共層數據，又能讓子公司保留相對的獨立，進行更加靈活的管控和研發。

特性2：湖倉一體

      應用場景：通過MaxCompute + DLF 進行統一的元數據管理，更高效清晰管理企業數據資產

       最近幾年，湖倉一體的解決方案逐漸出現在客戶的應用場景中。Dataphin也對這一場景進行了支持。通過數據倉庫MaxCompute和數據湖構建（DLF）將綁定映射了DLF元數據庫的MaxCompute的外部項目注冊到Dataphin的項目計算引擎，Dataphin可將數據湖中的元數據讀取到Dataphin中，進行統一的元數據管理。

       基于MaxCompute能力的湖倉一體的方案支持以下的產品特性：

       基礎離線研發：基于MaxCompute SQL可對數據湖內的數據進行加工處理

       統一元數據管理：可查詢檢索湖倉中的表、字段，并根據任務中自動血緣解析進行溯源追蹤

       資產治理：可對湖倉內的數據進行數據質量稽核校驗，并可支持安全識別及脫敏

       通過以上產品能力，企業在數據入湖、入倉之后，能夠對海量數據進行存儲和加工，幫助企業完成更清晰易用的數據資產管理，高效支撐后續的數據調取、數據處理、數據消費需求，快速應對快速變化的數字化應用挑戰。

特性3：建模研發優化

       應用場景：派生指標基于最大分區的計算 ，可節約存儲資源，保障數據強一致性

       維度邏輯表, 累積快照事實表, 周期快照事實表的每一個分區都是截止分區時間的全量數據, 最后一個分區完全覆蓋前面所有分區的數據. 建模原來的設計中, 指標生產讀取的是指標時間對應的邏輯表分區, 為了滿足補數據的需要, 必須保留邏輯表很長一段時間的歷史分區, 帶來了存儲的浪費. 3.5 版本支持在使用最新分區補任意過去時間的數據, 且默認使用這種設置.

特性4：數據標準

       應用場景：為數據標準建設提供統一的產品化能力，讓數據流通通暢無歧義

       數據標準是用于描述公司層面需共同遵守的數據含義和業務規則，通常從業務、技術、管理三方面進行定義，使組織內外部使用和交換的數據是一致且準確的。然而，數據標準需求缺乏統一管理、不同系統間標準制定依據各異、資產建設缺乏和標準的關聯，使得數據標準的建設和應用都面臨很大困難。

       Dataphin全新上線的數據標準功能，旨在為數據標準建設提供統一的產品化能力，并通過上線審批等環節加強標準質量的審核。V3.5版本中，核心支持了以下能力;

       標準目錄管理：支持最多五級目錄樹管理，可以按照業務組織結構對標準進行分級管理

       標準集管理：標準集是一系列規范相似或一致、業務含義相關的一組標準的合集。標準集不定義標準，而是基于標準集屬性，定義歸屬這個標準集都應該統一遵循的規范和約束。數據標準屬性繼承歸屬的標準集屬性。

       數據標準管理：支持數據標準創建、審批、發布上線、修訂、下線等

       后續，Dataphin將進一步拓展標準和質量監控規則的關聯能力以支持研發鏈路的落標稽核能力，以及參考數據管理等能力。

特性5：權限審計

       應用場景：權限現狀及變動隨時掌握，實現敏感數據精細化合規管理

       數據資產化已是大勢所趨，各行各業在大力拓展數據儲備的同時，對于敏感數據權限的管理也提出了更高的要求：敏感表授權給了哪些用戶？轉崗用戶擁有哪些敏感權限需要回收？不合理的高危權限究竟是誰授權和審批的？如何應對合規性要求？

       DataphinV3.5新增權限審計模塊，能夠幫助企業更加直觀高效地對各類型敏感數據進行精細化管理，實現數據權限千人千面，保障數據被合適的對象消費：

       支持對當前系統的權限詳情（表授權給哪些用戶，某個用戶有哪些表權限）、權限操作（申請、授權等）進行詳情審計，詳細了解權限系統的現狀和變動。支持對審計詳情進行下載存檔，用于程序化檢查或者合規檢查。

特性6：內置幫助文檔

       應用場景：縮短產品使用適應周期，幫助新手用戶快速上手開展數據建設工作

       Dataphin功能眾多，使用鏈路復雜，對于新手用戶來說，通常需要參照用戶指南進行操作。V3.5版本，新增內置幫助文檔，可以在操作頁面一鍵呼出，隨時查閱功能說明及操作引導，同時支持自定義調整窗口位置和大小，大大增強了易用性，減少產品版本和用戶指南版本不一致、查閱困難的問題。

特性7：查詢加速

       應用場景：即席查詢提升至秒級，不卡頓無需等待，讓研發體驗更順滑

       Dataphin 3.5 針對MaxCompute引擎的即席查詢, 默認啟用了查詢加速MCQA（MaxCompute Query Acceleration）功能. MCQA自動識別查詢作業大小, 自動分配小作業到獨立資源組, 將原來分鐘級的查詢優化提升到秒級. 該功能為默認設置, 無須用戶介入開啟。

特性8：運行診斷

       應用場景：自動化分析定位問題，提升運維人員修復效率，降低人工運維成本

       任務為什么還未開始運行？需要處理的最上游節點是那個？為何某個任務被限流、命中了哪些限流規則？長時間等待調度資源，是分配不合理還是可用余量不足？...對于運維人員來說，常常被這些問題困擾，人工排查難度大、準略率較低，影響了任務恢復進度，還可能阻礙下游業務數據產出。

       V3.5新增的離線任務運行診斷能力，支持：

       自動化問題排查：按照上游依賴、定時時間、限流規則、調度資源、實例運行5個流程，對實例運行結果進行自動化分析，幫助用戶快速識別并定位問題

       智能診斷建議：提示問題產生的可能原因和修復建議，降低運維人員的人工分析成本，提升問題修復效率

特性9：調度資源優化

       應用場景：提升SQL任務在調度系統的吞吐量，避免因SQL任務阻塞影響業務進程

       任務只有在調度資源充足的情況下才會被下發到計算引擎。對于SQL任務來說，主要消耗計算資源而非調度資源，因此調度資源通常不會成為SQL任務運行的瓶頸。

       然而歷史版本中，調度系統未針對SQL任務預留單獨的調度資源組，從而導致SQL任務常常因為其他消耗資源多、運行時間久的任務阻塞下發，影響業務進程。V3.5版本中，Dataphin針對SQL任務預留了單獨的調度資源組，提升了資源分配的合理性

特性10：審批系統接入

       應用場景：通過接入企業統一的審批中心，提升審批效率及易用性

       Dataphin內置了簡單的審批系統，可支持在Dataphin內部進行如權限申請、業務上線等審批的申請、審核和流轉。也有部分的客戶希望將Dataphin的審批任務集成在已有的審批系統中，以及根據組織關系及企業內部的流程規范進行更加自由及客制化的審批規則定義，如對于低敏感等級的數據對某些項目進行開放，無需審批，而對于敏感數據的使用，則需要配置三級審批，降低安全合規的風險。

       DataphinV3.5版本支持了對接外部審批系統的功能，客戶可經過簡單的代碼及配置，即可將Dataphin的審批任務發送到外部審批系統中，完成審批后，將審批結果同步給Datpahin，進行后續的處理從而大幅提升審批工作流的效率和易用性。

關于瓴羊：

       瓴羊是一家專注企業數智服務的DaaS公司，由阿里巴巴集團數據中臺、業務中臺、客服系統、供應鏈服務等多個部門融合升級而來，沉淀了阿里十年來數字化實踐的經驗與能力，是“阿里巴巴最佳實踐”完整、系統、產品化地全面對外輸出。

       瓴羊擁有著深度的行業洞見，專業的數字化團隊就企業數字化轉型中的關鍵問題提供咨詢服務，針對數據治理和分析、營銷、銷售、服務、供應鏈等企業核心經營領域，推出了分析云、營銷云、產銷云、客服云、開發云等智能產品矩陣。通過持續的陪跑服務，打造客戶成功保障體系，幫助企業實現多云多平臺的數字化增長。

       瓴羊致力于幫助不斷求“新”的企業實現全方位的數字化，至今已成功服務了LVMH、現代斗山、紅星美凱龍、小鵬汽車、漢高、老板電器、麥當勞、一汽奧迪、海底撈、泡泡瑪特等企業的數字化建設項目，幫助客戶在數據資產、會員價值、貨品效率、客戶體驗等方面帶來突破性增長。