資料治理前,企業如何自查資料質量

本文轉自:中國發展網

資料治理前,企業如何自查資料質量

導讀:

為適應時代發展腳步,更快更好獲取市場資源,許多企業在完成資訊系統搭建後,開始謀求數字化轉型。然而,資料質量低下始終是企業合理運用資料的絆腳石。數字時代,資料已經變成一個企業的重要資產,而資料質量的高低則是決定這份資產價值幾何的重要指標。只有妥善地解決資料質量問題,企業內的資料資產才能更好地發揮它的價值,實現收益最大化。

為了提升資料質量,實施資料治理幾乎是企業的必選項。根據多年資料治理經驗,中翰建議,企業在開展資料治理專案之前,應該先完成資料質量自查工作。

一、企業為什麼需要自查資料質量

1.企業資料質量問題的成因較為複雜,任一環節出錯,都會對資料質量產生影響。所以,需要藉助專業的視角進行評判。

對於企業資料質量問題,我們不僅應該對暴露在表面的資料本身的問題進行統計和分析,還應該從技術、業務、管理等層面,評估資料質量問題的深層次成因,以便徹底解決問題,避免重蹈覆轍,浪費人力、精力和財力。

2.企業資料現狀的自查是未來開啟資料治理的基礎工作,是讓領導下定決心的第一步。

只有充分了解到企業資料質量問題的急迫性和嚴重程度,領導才能對資料治理工作的重要性產生相對正確的認知。有了領導的支援和推進,資料治理工作才能更加順暢有序進行,資料治理成果也能得到一定保證。

3.只有充分、全面、深入評估瞭解企業資料質量的現狀及成因,才能更好地對症下藥。

諮詢方會將評估結果作為資料治理專案實施的重要參考,將技術手段與管理機制相結合,杜絕資料質量問題再次出現。

二、企業如何進行資料質量自查?

1.遵守資料質量自查標準

資料完整性:

資料是否完整地描述某一業務實體物件的基準資料以及其被引用的關聯屬性資料資訊。要注意資料是否丟失,或者有不可用的情況;注意關聯的資料是否缺失,或者未建立索引。不完整資料的借鑑價值會大大降低,這也是資料質量問題中比較基礎和常見的一類問題。

資料一致性:

同一業務實體物件在不同業務系統、不同組織機構內,它的名稱等相關靜態基準資訊,以及其被引用的關聯屬性資料資訊應是否完全一樣,不存在任何差異。

資料

合規

性:

資料針對某一業務實體物件的描述是否完全符合業務規則、業務程式碼制定原則、資料描述規範。資料應按照統一格式儲存,其內容、格式和展現形式,都必須符合資料定義和業務定義的要求,不能違反資料標準規範。

資料

冗餘

針對同一業務實體,在企業內所有系統、組織機構中是否存在多個程式碼對應;針對同一程式碼,在企業不同業務管理過程中是否存在多個業務實體對應。重複冗餘資料是導致業務無法協同、流程無法追溯的重要因素,也是資料治理需要解決的最基本的資料問題。

資料及時性:

資料由產生到被使用的時間過程是否在企業規定範圍內。尤其要關注那些對業務發展極為重要的關鍵性資料是否能夠及時傳遞到目標位置。

資料有效性:

資料生產者是否完全按照資料使用者的要求進行資料的新增、稽核,生成的資料是否完全滿足使用者對資料的要求。要關注資料和資訊的內容是否正確,有沒有無效資料、錯誤資料或超期資料等。真實有效的資料是企業管理工作的基礎,是幫助企業進行正確決策的資料。

2.從資料自身的角度自查資料質量

遵守資料質量自查標準即可,見圖一:

資料治理前,企業如何自查資料質量

圖一 自查資料質量的方法(資料角度)

3.從業務管理和資料應用分析的角度判斷資料質量

資料治理前,企業如何自查資料質量

4.資料自查具體步驟

1)明確目標,有針對性開展評估

評估的最終目標是為了使資料質量更好地滿足業務的需求。所以首先應該明確業務對各類資料的各種要求,有針對性地對各類資料進行評估。

2)根據業務需求,確定評估細節

對於不同類別的資料,要根據當前的目標和需求選取不同的評估維度,設立不同的評估標準,對同一資料的不同生命週期也是如此。最終,可以根據各種細節確立一套合理高效的評估體系,歸入日後的資料管理常規性工作中。

3)實施評估,合理選擇方式方法

在實施評估的過程中,應該根據不同資料的特點,選擇對應的測度,運用合理的方式方法,多維度結合考量,保證評估結果的準確性。

4)結果分析

作為資料治理專案實施的重要依據,在撰寫資料質量評估報告時,應從企業的角度對評估結果進行合理分析,給出確定的結論和目標需求,有效指導後續的工作。

5.資料質量自查例項

【案例一】資料規範、標準問題:

國內某大型箱包生產企業集團。

1)編碼資料模型不統一、不標準,如表一所示:

資料治理前,企業如何自查資料質量

分析:透過以上資料可以看出,不同編碼的規格型號的描述方式相差較大,有純漢字說明和借用編碼流水號兩種,二者的共存很容易導致一物多碼或一碼多物的問題發生,因為不一樣的描述方法,業務系統無法驗證新增資料時的重複所在。且物資描述不標準、不清晰,規格型號用編碼來代替,新員工難以快速理解,容易導致錯誤採購、錯誤生產、錯誤盤點等現象的發生,對業務產生負面影響。

2)規格型號書寫格式不規範,如表二所示:

資料治理前,企業如何自查資料質量

分析:規格型號的描述中“織嘜”前有的有空格,有的沒有空格,這種現象的出現直接導致現有業務系統無法實現有效查重,出現重碼現象在所難免。

【案例二】資料冗餘問題:

國內某大型裝備製造企業集團。

企業的資料規範和標準長期由人工執行,以及資料新增時的人為查重、人為監管等,導致了主資料層面“一物多碼”的大量存在,產生了大量的主資料冗餘。

1)書寫格式不規範,出現了大小寫(同一小類)不統一的情況,如表三所示:

資料治理前,企業如何自查資料質量

分析:表三的編碼中,編碼屬性模板還是比較標準的,但是在實際錄入過程中出現了大小寫不一致的問題,如最後三條編碼規格中用的是小寫,往上三行是大寫,再往上又有小寫出現,這很明顯地說明了缺乏嚴格的資料驗證制度,所以編碼重複在所難免。

2)很明顯的資料冗餘(同一小類內一物多碼),如四所示:

資料治理前,企業如何自查資料質量

(山東中翰軟體有限公司)