數(shù)字經(jīng)濟(jì)時代,數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素。企業(yè)從海量數(shù)據(jù)中挖掘商業(yè)價值的需求越發(fā)迫切。但這些高維、異構(gòu)、復(fù)雜關(guān)聯(lián)的數(shù)據(jù)給傳統(tǒng)大數(shù)據(jù)處理和關(guān)系型數(shù)據(jù)庫產(chǎn)品帶來了極大挑戰(zhàn)。中山大學(xué)聯(lián)合創(chuàng)鄰科技 “Galaxybase”圖數(shù)據(jù)庫,完成了萬億規(guī)模交易數(shù)據(jù)智能挖掘性能測試,為圖數(shù)據(jù)庫賦能的智慧互聯(lián)數(shù)字化未來開啟了新紀(jì)元。
“超級算力+創(chuàng)新存儲技術(shù)”,推動大數(shù)據(jù)智能革命
2021年11月底工信部印發(fā)《“十四五”軟件和信息技術(shù)服務(wù)業(yè)發(fā)展規(guī)劃》,明確提出“突破大規(guī)模并行圖數(shù)據(jù)處理關(guān)鍵技術(shù)”,推動高性能數(shù)據(jù)庫在金融、電信、能源、制造等重點行業(yè)關(guān)鍵業(yè)務(wù)系統(tǒng)應(yīng)用。圖數(shù)據(jù)庫作為以圖論為設(shè)計原理的數(shù)據(jù)庫管理系統(tǒng),將現(xiàn)實世界的實體和實體關(guān)系抽象表達(dá)為頂點和邊,擅長海量圖數(shù)據(jù)的高效存儲、查詢、計算、分析,能有效解決傳統(tǒng)數(shù)據(jù)庫技術(shù)無法解決的大數(shù)據(jù)關(guān)聯(lián)難題,在金融風(fēng)險、精準(zhǔn)零售、物流優(yōu)化、能源調(diào)度、生物制藥、智能交通、疫情防控等多種新興領(lǐng)域有巨大的應(yīng)用價值。其解決了傳統(tǒng)技術(shù)關(guān)聯(lián)查詢效率低、成本高的問題,具有豐富、高效和敏捷的數(shù)據(jù)處理能力。而伴隨全球數(shù)字化競賽日趨白熱化,這將直接影響企業(yè)數(shù)字化、智能化進(jìn)程。
在此背景下,如何建立高性能的圖計算理論及分布式存儲技術(shù),是一個兼具重要性和挑戰(zhàn)性、并亟待解決的重要議題?;谥猩酱髮W(xué)牽頭的廣東省重點領(lǐng)域研發(fā)計劃“軟件、芯片與計算”重大專項項目“軟件定義的圖計算關(guān)鍵技術(shù)”,中山大學(xué)團(tuán)隊聯(lián)合創(chuàng)鄰科技團(tuán)隊依托國家超級計算廣州中心環(huán)境,完成全自主研發(fā)的國產(chǎn)高性能圖數(shù)據(jù)庫Galaxybase的安裝部署、萬億規(guī)模超級大圖數(shù)據(jù)的導(dǎo)入,實現(xiàn)實時大圖數(shù)據(jù)增刪改查, 并完成多跳查詢、模式挖掘等典型圖查詢、計算操作。
基于超算集群環(huán)境,Galaxybase圖數(shù)據(jù)庫構(gòu)建了一套基于多級最優(yōu)圖分片理論、動態(tài)任務(wù)調(diào)度模式及節(jié)點間混合通訊機制的分布式并行圖處理體系,通過提供了一個高性能、可擴展、高可靠的圖處理平臺,支撐萬億節(jié)點大圖的分布式存儲、實時在線查詢。在自研數(shù)據(jù)生成器所模擬的萬億級真實金融交易場景數(shù)據(jù)集上(包含50億條賬戶信息及5萬億條帶屬性的交易信息,涵蓋了最小為10 到最大超過1000萬出入度的超級節(jié)點),將賬號、資金、交易信息以交易網(wǎng)絡(luò)的形式組織在一起,高效實現(xiàn)了資金流向查詢、資金環(huán)路以及嫌疑賬戶間的最短關(guān)聯(lián)路徑查詢等深度圖查詢及圖計算,其中,通過交易時間進(jìn)行過濾的六度的深鏈查詢平均耗時僅6.7秒。本項目僅用50臺機器集群實現(xiàn)了當(dāng)前全球商業(yè)圖數(shù)據(jù)庫支持的最大規(guī)模圖數(shù)據(jù)處理,打破了美國頭部圖技術(shù)廠商于2021年6月用1000臺機器集群創(chuàng)造的1.2萬億規(guī)模大圖處理的世界紀(jì)錄。
高性能圖數(shù)據(jù)庫Galaxybase,為更深入的數(shù)字化未來做好準(zhǔn)備
2021年12月12日, 國務(wù)院印發(fā)的《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》正式發(fā)布, 標(biāo)志著我國數(shù)字經(jīng)濟(jì)轉(zhuǎn)向深化應(yīng)用、規(guī)范發(fā)展、普惠共享的新階段。
中山大學(xué)與創(chuàng)鄰科技的此次合作,充分體現(xiàn)了超級計算與創(chuàng)新存儲技術(shù)結(jié)合對行業(yè)數(shù)字化智能的賦能之力,開啟了圖技術(shù)賦能行業(yè)數(shù)字互聯(lián)新紀(jì)元,為實現(xiàn)“十四五”規(guī)劃提出的數(shù)字中國偉大目標(biāo)添磚加瓦。
免責(zé)聲明:市場有風(fēng)險,選擇需謹(jǐn)慎!此文僅供參考,不作買賣依據(jù)。