資料治理的什么是資料治理,資料治理的什麼是資料治理

2023-02-08 11:00:03 字數 5851 閱讀 3202

1樓:全球

資訊系統建設發展到一定階段,資料資源將成為戰略資產,而有效的資料治理才是數 據資產形成的必要條件。

雖然以規範的方式來管理資料資產的理念已經被廣泛接受和認可,但是光有理念是不夠的,還需要組織架構、原則、過程和規則,以確保資料管理的各項職能得到正確的履行。

以企業財務管理為例,會計負責管理企業的金融資產,遵守相關制度和規定,同時接受審計員的監督;審計員負責監管金融資產的管理活動。資料治理扮演的角色與審計員類似,其作用就是確保企業的資料資產得到正確有效的管理。

由於切入視角和側重點不同,業界給出的資料治理定義已經不下幾十種,到目前為止還未形成一個統一標準的定義。

itss wg1認為資料治理包含以下幾方面內容

(1)確保資訊利益相關者的需要評估,以達成一致的企業目標,這些企業目標需要通過對資訊資源的獲取和管理實現;

(2)確保有效助力業務的決策機制和方向;

(3)確保績效和合規進行監督。

資料治理是指從使用零散資料變為使用統一主資料、從具有很少或沒有組織和流程治理到企業範圍內的綜合資料治理、從嘗試處理主資料混亂狀況到主資料井井有條的一個過程。

資料治理的全過程

資料治理其實是一種體系,是一個關注於資訊系統執行層面的體系,這一體系的目的是整合it與業務部門的知識和意見,通過一個類似於監督委員會或專案小組的虛擬組織對企業的資訊化建設進行全方位的監管,這一組織的基礎是企業高層的授權和業務部門與it部門的建設性合作。從範圍來講,資料治理涵蓋了從前端事務處理系統、後端業務資料庫到終端的資料分析,從源頭到終端再回到源頭形成一個閉環負反饋系統(控制理論中趨穩的系統)。從目的來講,資料治理就是要對資料的獲取、處理、使用進行監管(監管就是我們在執行層面對資訊系統的負反饋),而監管的職能主要通過以下五個方面的執行力來保證——發現、監督、控制、溝通、整合

2樓:匿名使用者

資料治理的定義

資料治理(data governance)是組織中涉及資料使用的一整套管理行為。由企業資料治理部門發起並推行,關於如何制定和實施針對整個企業內部資料的商業應用和技術管理的一系列政策和流程。國際資料管理協會給出的定義:

資料治理是對資料資產管理行使權力和控制的活動集合。

億信睿治資料治理平臺是由後設資料、資料標準、資料質量、資料整合、主資料、資料資產、資料交換、生命週期、資料安全多產品組成的一整套解決方案,是一款智慧、敏捷的資料全生命週期的管理應用平臺,為企業保證了業務資料在採集、集中、轉換、儲存、應用整個過程中的完整性、準確性、一致性和時效性。

什麼是資料治理?

3樓:成都加米穀大資料

1. 資料治理的本質

可用性指資料可用、可信且有質量保證,不會因為分析結果的準確性造成偏差,從業者可以放心地根據資料結果做業務決策;完整性分為兩個方面,一方面指資料需覆蓋各類資料應用的需要,另一方面指不會因為資料治理沒有到位而造成資料資產的流失,也即影響資料資產的積累,這也是神策資料在創業伊始便開展私有化部署的原因;安全性指治理和分享過程需安全可控,不侵犯使用者隱私,且不會給組織留下安全隱患。

2. 資料治理的重要性

資料治理是所有資料應用的根基,資料治理的好壞直接影響所有資料應用的價值。

無論是基於資料看報表,還是做互動式的多維分析,還是做更復雜的個性化推薦,所有的資料應用都需要有一個良好的資料治理結果。神策本身就擁有一款推薦產品——神策智慧推薦,通過這款產品的實踐,我們發現,它的實施週期相比其它幾個產品普遍偏長,這也是因為個性化推薦對於資料的質量和準確性要求相對更高。

簡而言之,資料應用做得越深入,所需資料就會更多,對資料質量也會有更高的要求。

資料治理是組織資料資產沉澱的基礎,資料治理的好壞直接決定了組織的資料資產能否得到沉澱,能否充分地發揮價

4樓:派可資料

從技術實施角度看,資料治理包含“理”“採”“存”“管”“用”這五個步驟,即業務和資料資源梳理、資料採集清洗、資料庫設計和儲存、資料管理、資料使用。

資料資源梳理:資料治理的第一個步驟是從業務的視角釐清組織的資料資源環境和資料資源清單,包含組織機構、業務事項、資訊系統,以及以資料庫、網頁、檔案和 api 介面形式存在的資料項資源,本步驟的輸出物為分門別類的資料資源清單。

資料採集清洗:通過視覺化的 etl 工具將資料從**端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程,目的是將散落和零亂的資料集中儲存起來。

基礎庫主題庫建設:一般情況下,可以將資料分為基礎資料、業務主題資料和分析資料。基礎資料一般指的是核心實體資料,或稱主資料,例如智慧城市中的人口、法人、地理資訊、信用、電子證照等資料。

主題資料一般指的是某個業務主題資料,例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等資料。而分析資料指的是基於業務主題資料綜合分析而得的分析結果資料,例如市場監督管理局的企業綜合評價、產業區域分佈、高危企業分佈等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上,基於易儲存、易管理、易使用的原則抽像資料儲存結構,說白了,就是基於一定的原則設計資料庫表結構,然後再根據資料資源清單設計資料採集清洗流程,將整潔乾淨的資料儲存到資料庫或資料倉儲中。

後設資料管理:後設資料管理是對基礎庫和主題庫中的資料項屬性的管理,同時,將資料項的業務含義與資料項進行了關聯,便於業務人員也能夠理解資料庫中的資料欄位含義,並且,後設資料是後面提到的自動化資料共享、資料交換和商業智慧(bi)的基礎。需要注意的是,後設資料管理一般是對基礎庫和主題庫中(即核心資料資產)的資料項屬性的管理,而資料資源清單是對各類資料**的資料項的管理。

血緣追蹤:資料被業務場景使用時,發現資料錯誤,資料治理團隊需要快速定位資料**,修復資料錯誤。那麼資料治理團隊需要知道業務團隊的資料來自於哪個核心庫,核心庫的資料又來自於哪個資料來源頭。

我們的實踐是在後設資料和資料資源清單之間建立關聯關係,且業務團隊使用的資料項由後設資料組合配置而來,這樣,就建立了資料使用場景與資料來源頭之間的血緣關係。 資料資源目錄:資料資源目錄一般應用於資料共享的場景,例如**部門之間的資料共享,資料資源目錄是基於業務場景和行業規範而建立,同時依託於後設資料和基礎庫主題而實現自動化的資料申請和使用。

質量管理:資料價值的成功發掘必須依託於高質量的資料,唯有準確、完整、一致的資料才有使用價值。因此,需要從多維度來分析資料的質量,例如:

偏移量、非空檢查、值域檢查、規範性檢查、重複性檢查、關聯關係檢查、離群值檢查、波動檢查等等。需要注意的是,優秀的資料質量模型的設計必須依賴於對業務的深刻理解,在技術上也推薦使用大資料相關技術來保障檢測效能和降低對業務系統的效能影響,例如 hadoop,mapreduce,hbase 等。

商業智慧(bi):資料治理的目的是使用,對於一個大型的資料倉儲來說,資料使用的場景和需求是多變的,那麼可以使用 bi 類的產品快速獲取需要的資料,並分析形成報表,像派可資料就屬於專業的bi廠商。

資料共享交換:資料共享包括組織內部和組織之間的資料共享,共享方式也分為庫表、檔案和 api 介面三種共享方式,庫表共享比較直接粗暴,檔案共享方式通過 etl 工具做一個反向的資料交換也就可以實現。我們比較推薦的是 api 介面共享方式,在這種方式下,能夠讓中心資料倉儲保留資料所有權,把資料使用權通過 api 介面的形式進行了轉移。

api 介面共享可以使用 api 閘道器實現,常見的功能是自動化的介面生成、申請稽核、限流、限併發、多使用者隔離、呼叫統計、呼叫審計、黑白名單、呼叫監控、質量監控等等。

5樓:億信華辰

資料治理從本質上看就是對一個機構(企業或**部門)的資料從收集融合到分析管理和利用進行評估、指導和監督(edm)的過程, 通過提供不斷創新的資料服務, 為企業創造價值。

dgi(data governance institute,資料治理研究所)認為,企業不僅需要管理資料的系統,更需要一個完整的規則系統以及規章流程。資料治理基本上涵蓋了企業所有與資料有關的內容,因此在整個企業範圍內,包括工作流程、涉及人員和使用的技術等等,都需要經過仔細考量,以保證資料的可用性、一致性、完整性、合規性、和安全性,確保在整個資料生命週期中,都具有較高的資料質量。

總體來說,資料治理的目標就是提高資料質量,將資料價值最大化。具體而言,資料治理的任務包括以下幾點:

● 構築適配靈活、標準化、模組化的多源異構資料資源接入體系;

● 建設規範化、流程化、智慧化的資料處理體系;

● 打造資料精細化治理體系、組織的資料資源融合分類體系;

● 構建統一排程、精準服務、安全可用的資訊共享服務體系。

資料治理包括哪些方面

6樓:派可資料

從技術實施角度看,資料治理包含“理”“採”“存”“管”“用”這五個步驟,即業務和資料資源梳理、資料採集清洗、資料庫設計和儲存、資料管理、資料使用。

資料資源梳理:資料治理的第一個步驟是從業務的視角釐清組織的資料資源環境和資料資源清單,包含組織機構、業務事項、資訊系統,以及以資料庫、網頁、檔案和 api 介面形式存在的資料項資源,本步驟的輸出物為分門別類的資料資源清單。

資料採集清洗:通過視覺化的 etl 工具(例如阿里的 datax,pentaho data integration)將資料從**端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程,目的是將散落和零亂的資料集中儲存起來。

基礎庫主題庫建設:一般情況下,可以將資料分為基礎資料、業務主題資料和分析資料。基礎資料一般指的是核心實體資料,或稱主資料,例如智慧城市中的人口、法人、地理資訊、信用、電子證照等資料。

主題資料一般指的是某個業務主題資料,例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等資料。而分析資料指的是基於業務主題資料綜合分析而得的分析結果資料,例如市場監督管理局的企業綜合評價、產業區域分佈、高危企業分佈等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上,基於易儲存、易管理、易使用的原則抽像資料儲存結構,說白了,就是基於一定的原則設計資料庫表結構,然後再根據資料資源清單設計資料採集清洗流程,將整潔乾淨的資料儲存到資料庫或資料倉儲中。

後設資料管理:後設資料管理是對基礎庫和主題庫中的資料項屬性的管理,同時,將資料項的業務含義與資料項進行了關聯,便於業務人員也能夠理解資料庫中的資料欄位含義,並且,後設資料是後面提到的自動化資料共享、資料交換和商業智慧(bi)的基礎。需要注意的是,後設資料管理一般是對基礎庫和主題庫中(即核心資料資產)的資料項屬性的管理,而資料資源清單是對各類資料**的資料項的管理。

血緣追蹤:資料被業務場景使用時,發現資料錯誤,資料治理團隊需要快速定位資料**,修復資料錯誤。那麼資料治理團隊需要知道業務團隊的資料來自於哪個核心庫,核心庫的資料又來自於哪個資料來源頭。

我們的實踐是在後設資料和資料資源清單之間建立關聯關係,且業務團隊使用的資料項由後設資料組合配置而來,這樣,就建立了資料使用場景與資料來源頭之間的血緣關係。 資料資源目錄:資料資源目錄一般應用於資料共享的場景,例如**部門之間的資料共享,資料資源目錄是基於業務場景和行業規範而建立,同時依託於後設資料和基礎庫主題而實現自動化的資料申請和使用。

質量管理:資料價值的成功發掘必須依託於高質量的資料,唯有準確、完整、一致的資料才有使用價值。因此,需要從多維度來分析資料的質量,例如:

偏移量、非空檢查、值域檢查、規範性檢查、重複性檢查、關聯關係檢查、離群值檢查、波動檢查等等。需要注意的是,優秀的資料質量模型的設計必須依賴於對業務的深刻理解,在技術上也推薦使用大資料相關技術來保障檢測效能和降低對業務系統的效能影響,例如 hadoop,mapreduce,hbase 等。

商業智慧(bi):資料治理的目的是使用,對於一個大型的資料倉儲來說,資料使用的場景和需求是多變的,那麼可以使用 bi 類的產品快速獲取需要的資料,並分析形成報表,像派可資料就屬於專業的bi廠商。

資料共享交換:資料共享包括組織內部和組織之間的資料共享,共享方式也分為庫表、檔案和 api 介面三種共享方式,庫表共享比較直接粗暴,檔案共享方式通過 etl 工具做一個反向的資料交換也就可以實現。我們比較推薦的是 api 介面共享方式,在這種方式下,能夠讓中心資料倉儲保留資料所有權,把資料使用權通過 api 介面的形式進行了轉移。

api 介面共享可以使用 api 閘道器實現,常見的功能是自動化的介面生成、申請稽核、限流、限併發、多使用者隔離、呼叫統計、呼叫審計、黑白名單、呼叫監控、質量監控等等。

治理黃河的方法,怎樣治理黃河的資料

懸賞分 0 離問題結束還有 14 天 22 小時在2003年汛期部署指揮黃河防汛中,已經首次實現了 三條黃河 的聯動,並在防汛過程中發揮了巨大的作用。按照 三條黃河 治理規劃,到2010年,將在黃河上形成較為完善的防洪減淤體系,確保標準內洪水防洪安全,使水資源得到有效管理,保證黃河在一般年份不斷流,...

國內有哪些公司在做企業資料治理系統的?路過的了朋友可以介紹一下

今天,我們就來詳細分析一下這個問題,請繼續往下看吧。企業資料治理那些事 一書中提到國際上最早開展資料治理工作的應該是金融和電信行業,但是行業的特殊性決定了治理範圍基本侷限在客戶資料層面,因此國外資料治理廠商大部分是以客戶主資料治理為範本的主資料廠商,當然還有小部分是由pdm延伸而來以bom為核心的主...

資料治理的公司中,百分點專業嗎,現在做大資料作業系統的公司中,百分點如何?

很專業的,百分點有自己的大資料作業系統,可以提供資料治理 資料管理 資料探勘能力,一站式管理資料全生命週期,幫助客戶高效,低成本管理資料資產並創造商業價值。而且百分點是中國領先的資料智慧技術企業,擁有完整的大資料和認知智慧產品線,以及行業智慧決策應用產品,同時建立了豐富的行業解決方案和模型庫,擁有強...