Cloudera：構(gòu)建數(shù)據(jù)治理體系，元數(shù)據(jù)是關(guān)鍵抓手

Cloudera大中華區(qū)技術(shù)總監(jiān) 劉隸放

數(shù)據(jù)是AI驅(qū)動(dòng)創(chuàng)新的命脈。當(dāng)前，各類企業(yè)都在加大對(duì)數(shù)據(jù)保護(hù)、清洗和可訪問(wèn)性的投入。然而，在專注于從客戶和平臺(tái)收集珍貴原始數(shù)據(jù)的同時(shí)，很多企業(yè)忽視了元數(shù)據(jù)（Metadata）——一種關(guān)于數(shù)據(jù)的數(shù)據(jù)。Gartner《2023年數(shù)字時(shí)代元數(shù)據(jù)管理》報(bào)告指出，60%的企業(yè)承認(rèn)不了解其關(guān)鍵數(shù)據(jù)的存儲(chǔ)位置。根據(jù)麥肯錫最新調(diào)查顯示，許多中國(guó)企業(yè)在生成式AI的技術(shù)落地上缺乏明確的數(shù)據(jù)策略，不清楚應(yīng)收集和處理哪些數(shù)據(jù)，常常導(dǎo)致項(xiàng)目陷入遲滯。

而元數(shù)據(jù)是企業(yè)做出明智決策的重要依據(jù)。以購(gòu)買餐食為例，消費(fèi)者需要了解食材成分、營(yíng)養(yǎng)價(jià)值、新鮮度和安全標(biāo)準(zhǔn)等信息，才能做出明智選擇。同理，企業(yè)需要掌握數(shù)據(jù)訪問(wèn)權(quán)限、創(chuàng)建日期、來(lái)源、敏感類別和使用方式等信息，才能提升數(shù)字基礎(chǔ)設(shè)施與管理水平。反之，如果忽視元數(shù)據(jù)，企業(yè)可能會(huì)因缺乏分類和追蹤而導(dǎo)致效率低下、錯(cuò)失機(jī)遇，甚至引發(fā)安全和合規(guī)問(wèn)題。

為規(guī)避這些風(fēng)險(xiǎn)，企業(yè)必須將元數(shù)據(jù)治理作為整體數(shù)據(jù)戰(zhàn)略的核心組成部分。

元數(shù)據(jù)治理已成為企業(yè)“剛需”

無(wú)論是追蹤數(shù)據(jù)流動(dòng)的跨系統(tǒng)血緣，還是提供列級(jí)洞察的內(nèi)部系統(tǒng)血緣，或是呈現(xiàn)數(shù)據(jù)完整歷程的端到端血緣，完善的元數(shù)據(jù)管理都需要依賴強(qiáng)大的數(shù)據(jù)血緣。在金融、醫(yī)療等高度重視合規(guī)性、可審計(jì)性和安全性的行業(yè)，這種追溯能力至關(guān)重要。

例如在一家每天要處理數(shù)十億美元資產(chǎn)和數(shù)百萬(wàn)筆跨市場(chǎng)交易的銀行，元數(shù)據(jù)可確保每筆交易都附有時(shí)間戳、貨幣詳情和數(shù)據(jù)標(biāo)記，同時(shí)追溯金融數(shù)據(jù)的來(lái)源、修改記錄及司法合規(guī)性。金融服務(wù)商需要三天才能完成報(bào)告數(shù)據(jù)來(lái)源映射。而在使用數(shù)據(jù)血緣與目錄平臺(tái)后，該流程縮短至兩小時(shí)，確保了跨銀行渠道的實(shí)時(shí)可信數(shù)據(jù)交付。缺乏規(guī)范的元數(shù)據(jù)管理可能導(dǎo)致收入確認(rèn)錯(cuò)誤、審計(jì)線索缺失和數(shù)據(jù)不一致，不僅會(huì)招致監(jiān)管處罰，還需要企業(yè)投入大量時(shí)間重建財(cái)務(wù)報(bào)表。

元數(shù)據(jù)管理是數(shù)據(jù)治理的核心，因?yàn)樗�解決了數(shù)據(jù)治理計(jì)劃需要應(yīng)對(duì)的許多核心問(wèn)題，包括標(biāo)準(zhǔn)化缺失、數(shù)據(jù)所有權(quán)模糊、數(shù)據(jù)質(zhì)量規(guī)則未明確定義等。

加強(qiáng)元數(shù)據(jù)管理并全面掌控?cái)?shù)據(jù)資產(chǎn)雖有難度，但成效顯著。元數(shù)據(jù)管理的自動(dòng)化是構(gòu)建統(tǒng)一數(shù)據(jù)視圖的關(guān)鍵，統(tǒng)一的元數(shù)據(jù)策略能夠更快地識(shí)別可信數(shù)據(jù)、保障安全性、增強(qiáng)治理力度并提供覆蓋所有數(shù)據(jù)資產(chǎn)的統(tǒng)一視圖。

通過(guò)集中管理元數(shù)據(jù)和實(shí)現(xiàn)元數(shù)據(jù)在不同系統(tǒng)中的一致應(yīng)用，Cloudera的共享數(shù)據(jù)體驗(yàn)（SDX）等功能為企業(yè)提供有力支持。借助精細(xì)化訪問(wèn)控制機(jī)制，企業(yè)能夠控制元數(shù)據(jù)的查看、修改和共享權(quán)限，防止敏感信息受到未經(jīng)授權(quán)的訪問(wèn)和內(nèi)部威脅。

此外，元數(shù)據(jù)分類的自動(dòng)化消除了人工干預(yù)，減少了不一致性，并提高了效率。隨著企業(yè)越來(lái)越多的在混合云和多云環(huán)境中運(yùn)營(yíng)，采用整體元數(shù)據(jù)管理而非分散的孤島式管理，有助于企業(yè)保持?jǐn)?shù)據(jù)完整性并做出更明智的決策。

元數(shù)據(jù)是AI的神經(jīng)系統(tǒng)

AI模型需要大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，但若缺乏元數(shù)據(jù)，則無(wú)法對(duì)這些信息進(jìn)行符合上下文的處理或分類。在生成式AI領(lǐng)域，根據(jù)數(shù)據(jù)源、質(zhì)量、格式及使用權(quán)限對(duì)數(shù)據(jù)集進(jìn)行分類，有助于模型生成相關(guān)的洞察和結(jié)果。元數(shù)據(jù)在數(shù)據(jù)驗(yàn)證、偏差檢測(cè)和質(zhì)量控制方面發(fā)揮著重要作用，它不僅能提供相關(guān)的答案，還能確保答案的準(zhǔn)確性。

在醫(yī)療領(lǐng)域，元數(shù)據(jù)除了用于整理病歷外，還能幫助醫(yī)院制定更智能、快速和個(gè)性化的治療方案，從而提升醫(yī)療服務(wù)標(biāo)準(zhǔn)。通過(guò)為治療結(jié)果、藥物相互作用等所有環(huán)節(jié)添加標(biāo)簽，元數(shù)據(jù)可以幫助醫(yī)生做出更精準(zhǔn)的決策，從而降低病人的再入院率、實(shí)現(xiàn)疾病的早期檢測(cè)并優(yōu)化資源配置。默克公司使用Cloudera安全連接了5萬(wàn)臺(tái)醫(yī)療設(shè)備，為醫(yī)生提供實(shí)時(shí)洞察，確�；颊攉@得更優(yōu)質(zhì)、可靠的治療。在分秒必爭(zhēng)的醫(yī)療場(chǎng)景中，元數(shù)據(jù)將被動(dòng)醫(yī)療體系轉(zhuǎn)變?yōu)橹鲃?dòng)預(yù)防機(jī)制，有效減少了住院需求。

通過(guò)提高數(shù)據(jù)可見(jiàn)性加強(qiáng)控制

元數(shù)據(jù)已成為企業(yè)不容忽視的一個(gè)方面。企業(yè)需要重視元數(shù)據(jù)管理放并全面掌握數(shù)據(jù)情況，進(jìn)而充分挖掘數(shù)據(jù)資產(chǎn)潛力，確保數(shù)據(jù)安全、合規(guī)且隨時(shí)可用于戰(zhàn)略決策。隨著AI驅(qū)動(dòng)的洞察成為常態(tài)，將元數(shù)據(jù)治理融入整體數(shù)據(jù)戰(zhàn)略的企業(yè)將更有可能獲得成功。