數(shù)據(jù)作為一種新興的生產(chǎn)要素,被稱為數(shù)字時(shí)代的“新石油”,是基礎(chǔ)性資源和戰(zhàn)略性資源,也是重要的生產(chǎn)力。如何更高效地管理和利用數(shù)據(jù),推動(dòng)數(shù)據(jù)資源轉(zhuǎn)化為數(shù)字資產(chǎn),成為了各行各業(yè)面臨的關(guān)鍵問題。
近兩年來,國(guó)家先后發(fā)布《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》、《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》等政策,以促進(jìn)數(shù)據(jù)、分析和AI在經(jīng)濟(jì)中的應(yīng)用。在《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》中還提及,到2025年要基本形成橫向打通、縱向貫通、協(xié)調(diào)有力的一體化推進(jìn)格局,實(shí)現(xiàn)數(shù)據(jù)資源規(guī)模和質(zhì)量加快提升,數(shù)據(jù)要素價(jià)值有效釋放,數(shù)字經(jīng)濟(jì)發(fā)展質(zhì)量效益大幅增強(qiáng)。
值得注意的是,目前數(shù)據(jù)編織平臺(tái)正通過對(duì)數(shù)據(jù)的優(yōu)質(zhì)處理,為AI在學(xué)習(xí)訓(xùn)練的過程注入更多“源頭活水”,從而進(jìn)一步提升其性能和應(yīng)用范圍。AI技術(shù)的不斷進(jìn)步也推動(dòng)數(shù)據(jù)構(gòu)建架構(gòu)的優(yōu)化、更新,以適應(yīng)新的生成模型需求。
由于對(duì)數(shù)據(jù)編織架構(gòu)、數(shù)據(jù)產(chǎn)品交付以及支持生成式AI的集成數(shù)據(jù)的需求即將到來,數(shù)據(jù)集成工具市場(chǎng)正在蓬勃發(fā)展。數(shù)據(jù)和分析領(lǐng)導(dǎo)者應(yīng)該利用這項(xiàng)研究來評(píng)估合適的供應(yīng)商,以滿足他們的數(shù)據(jù)集成需求。
權(quán)威信息技術(shù)分析公司Gartner連續(xù)三年將數(shù)據(jù)編織技術(shù)(Data Fabric)列為“十大數(shù)據(jù)和分析技術(shù)趨勢(shì)”之一。在該公司此前發(fā)布的中國(guó)數(shù)據(jù)分析與人工智能技術(shù)的相關(guān)報(bào)告中,數(shù)據(jù)編織技術(shù)與大模型一并被列為有望膨脹發(fā)展的技術(shù)。
Gartner高級(jí)研究總監(jiān)張桐也表示:“數(shù)據(jù)、分析和AI用例的出現(xiàn),以及快速變化的數(shù)據(jù)安全法規(guī),導(dǎo)致了中國(guó)數(shù)據(jù)管理的復(fù)雜性和不確定性。數(shù)據(jù)編織能充分利用沉沒成本,同時(shí)也能為數(shù)據(jù)管理基礎(chǔ)設(shè)施方面的新支出提供優(yōu)先級(jí)排序和成本控制指導(dǎo)。”
據(jù)悉,數(shù)據(jù)編織是一種設(shè)計(jì)框架,用于獲得靈活而且可復(fù)用的數(shù)據(jù)管道、服務(wù)和語義,涉及數(shù)據(jù)集成、主動(dòng)元數(shù)據(jù)、知識(shí)圖譜、數(shù)據(jù)剖析、機(jī)器學(xué)習(xí)和數(shù)據(jù)分類。能集成來自不同數(shù)據(jù)源的數(shù)據(jù),安全提供不同數(shù)據(jù)對(duì)象的“集成視圖”,將“集成數(shù)據(jù)”用于分析和操作。
數(shù)據(jù)編織相關(guān)技術(shù)的應(yīng)用能提供值得信賴的數(shù)據(jù)基礎(chǔ),提高生成模型的相關(guān)性和準(zhǔn)確性,成為解決企業(yè)AI部署難題的重要路徑。與此同時(shí),生成式AI也降低了數(shù)據(jù)管理的使用門檻,大大拓展了數(shù)據(jù)編織的應(yīng)用規(guī)模。生成式AI與數(shù)據(jù)編織互利共進(jìn),正為數(shù)據(jù)管理市場(chǎng)帶來更大的發(fā)展機(jī)遇。
以全球性的制藥公司為例,在進(jìn)行藥物的生產(chǎn)、商品化、零售運(yùn)營(yíng)的過程中,會(huì)用到大量數(shù)據(jù),后續(xù)生產(chǎn)的產(chǎn)品進(jìn)入到醫(yī)院端,還需要進(jìn)行各種臨床數(shù)據(jù)驗(yàn)證,不同的階段都會(huì)出現(xiàn)不同的表現(xiàn)。在這個(gè)過程中,制藥公司不僅要獲取各種健康相關(guān)的數(shù)據(jù),還要在每一個(gè)垂類中,針對(duì)面臨的難點(diǎn)、痛點(diǎn),獲得高質(zhì)量并且不違規(guī)、不會(huì)涉及隱私侵犯的數(shù)據(jù)。
面對(duì)如此龐大的數(shù)據(jù)量,數(shù)據(jù)編織的重要性顯得尤為突出。鈦媒體APP了解到,應(yīng)對(duì)數(shù)據(jù)量陡增,數(shù)據(jù)編織被認(rèn)為能為海量數(shù)據(jù)快速、有序分析提供有效方案,以虛擬化的方式對(duì)數(shù)據(jù)進(jìn)行“編織”,使得數(shù)據(jù)無需復(fù)制就可以整合,且不受數(shù)據(jù)源、格式的限制,還隱藏了數(shù)據(jù)本身的復(fù)雜性和差異性。
在近期召開的數(shù)據(jù)編織研討會(huì)上,數(shù)據(jù)管理領(lǐng)域的資深專家、被稱為“邏輯數(shù)據(jù)編織之父”的Denodo技術(shù)公司首席執(zhí)行官兼創(chuàng)始人Angel Viña表示,從物理數(shù)據(jù)庫、數(shù)據(jù)倉庫到現(xiàn)在的數(shù)據(jù)湖,傳統(tǒng)的數(shù)據(jù)管理側(cè)重于將數(shù)據(jù)集中到單個(gè)存儲(chǔ)單元中,需要大量開發(fā)人員,一旦數(shù)據(jù)源變化頻繁更新,獲取數(shù)據(jù)的效率就會(huì)大幅降低。邏輯數(shù)據(jù)編織可以使用更少的資源、更低的成本,實(shí)現(xiàn)更快的數(shù)據(jù)獲取時(shí)間,也由此成為數(shù)據(jù)管理新的發(fā)展方向。
據(jù)了解,Denodo于1999年創(chuàng)立于西班牙,目前已為金融保險(xiǎn)、制造、高新技術(shù)、零售、教育、醫(yī)療、能源等行業(yè)客戶提供服務(wù),并且多年蟬聯(lián)Gartner魔力象限數(shù)據(jù)集成工具領(lǐng)導(dǎo)者、Forrester Wave數(shù)據(jù)編織領(lǐng)導(dǎo)者位置。
2019年,Denodo正式進(jìn)入中國(guó),在基于企業(yè)數(shù)字化轉(zhuǎn)型各類項(xiàng)目場(chǎng)景與需求,為企業(yè)不同關(guān)鍵角色帶來顯著價(jià)值及成果。如幫助CDO及數(shù)據(jù)管理部門打造數(shù)據(jù)民主化的數(shù)據(jù)自助服務(wù),幫助CIO及IT部門實(shí)現(xiàn)IT 基礎(chǔ)設(shè)施現(xiàn)代化,幫助COO及運(yùn)營(yíng)部門提高運(yùn)行效率、靈活性和韌性,為CMO、CRO及市場(chǎng)與收入部門打造改善客戶體驗(yàn)的數(shù)據(jù)基礎(chǔ),以及實(shí)現(xiàn)風(fēng)險(xiǎn)、合規(guī)的集中管理等。
此外,在大量數(shù)據(jù)需求的基礎(chǔ)下,Denodo進(jìn)行統(tǒng)一的數(shù)據(jù)處理,以便其獲得更高質(zhì)量的信息,并在需要時(shí)“隨取隨用”;而在IT領(lǐng)域,Denodo則支持?jǐn)?shù)據(jù)遷移、相關(guān)數(shù)據(jù)的合規(guī)使用、建模過程等。
根據(jù)IDC機(jī)構(gòu)調(diào)研的數(shù)據(jù)顯示,2023年,中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到194.8億美元,預(yù)計(jì)到2027年將增長(zhǎng)至425億美元,CAGR(復(fù)合增長(zhǎng)率)將達(dá)到21.5%,硬件服務(wù)器、AI數(shù)據(jù)存儲(chǔ)仍是投資重點(diǎn)方向。此外,企業(yè)認(rèn)為有60%的業(yè)務(wù)數(shù)據(jù)是有價(jià)值的,而這些數(shù)據(jù)中僅有56%被實(shí)際分析;有18%的企業(yè)認(rèn)為“缺乏高質(zhì)量數(shù)據(jù)”是其在組織中使用生成式AI的障礙之一。
IDC中國(guó)高級(jí)分析師李浩然指出,決策者普遍預(yù)測(cè)企業(yè)未來的數(shù)據(jù)量、數(shù)據(jù)速度以及多樣性會(huì)增加,以需要滿足更加快速的業(yè)務(wù)決策和市場(chǎng)挖掘探索需求。同時(shí),他還表示:“未來五年,資產(chǎn)績(jī)效管理、創(chuàng)新研發(fā)、數(shù)據(jù)探索將會(huì)更加重要,而數(shù)據(jù)編織作為一種最佳實(shí)現(xiàn)路徑,可以實(shí)現(xiàn)對(duì)數(shù)據(jù)更好的管理和價(jià)值挖掘。”
目前數(shù)據(jù)編織技術(shù)在國(guó)內(nèi)的發(fā)展還處于早期階段,在政策利好及市場(chǎng)需求驅(qū)動(dòng)下,中國(guó)數(shù)據(jù)市場(chǎng)規(guī)模正迎來快速增長(zhǎng),數(shù)據(jù)管理需求持續(xù)升高。對(duì)于中國(guó)企業(yè)來說,能否激活數(shù)據(jù)要素、釋放數(shù)據(jù)價(jià)值,成為在激烈的全球競(jìng)爭(zhēng)中取得先機(jī)的關(guān)鍵。(本文首發(fā)于鈦媒體 APP,作者|陳偉納)
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求,請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論