AI 2.0時(shí)代,云數(shù)據(jù)庫(kù)走向何方?

智能化成為云原生數(shù)據(jù)庫(kù)的核心牽引力。

2023040615093419

頭圖源自南威爾士大學(xué)

文|光錐智能,作者|劉雨琦
“23.44°到23.47°?!?/div>
這是在《流浪地球2》中,十臺(tái)地球發(fā)動(dòng)機(jī)發(fā)射測(cè)試產(chǎn)生的0.03度角位移,而就是這0.03度印證了“移山計(jì)劃”的可行性。讓地球遷移計(jì)劃從“有可能”變?yōu)榱思榷ㄊ聦?shí)。
于當(dāng)下這個(gè)節(jié)點(diǎn)而言,ChatGPT便是那0.03度的角位移。它的出現(xiàn)讓很多趨勢(shì)成為了既定事實(shí)。這其中,并不只是對(duì)通用大模型等顯性特征達(dá)成一致,而是對(duì)當(dāng)前的技術(shù)架構(gòu)有著根源性的重構(gòu)。
數(shù)據(jù)庫(kù)的云原生化便是其中之一。以往提到云原生,無(wú)外乎是隨著企業(yè)業(yè)務(wù)發(fā)展的爆發(fā)式需求,將數(shù)據(jù)庫(kù)遷移上云能夠大幅度降本,對(duì)于云原生的探索更多集中在高彈性、高可用性、資源解耦等技術(shù)優(yōu)勢(shì)。
但從根本上,云原生與大模型的關(guān)系,就像新能源與智能化,云智一體不是成本的最優(yōu)解,而是AI發(fā)展的必要條件。
國(guó)內(nèi)外的云巨頭們?cè)缇烷_(kāi)始了提前布局。在阿里云瑤池?cái)?shù)據(jù)庫(kù)峰會(huì)中,基于阿里云原生數(shù)據(jù)庫(kù)Polar DB推出了一體化HTAP數(shù)據(jù)庫(kù);騰訊云云原生數(shù)據(jù)庫(kù)TDSQL-C打榜TPC-C破世界紀(jì)錄;螞蟻集團(tuán)云原生時(shí)序數(shù)據(jù)庫(kù)CeresDB 1.0正式發(fā)布;Amazon Aurora Serverless v2將在中國(guó)區(qū)域上線。
“未來(lái)接觸AI之后,業(yè)務(wù)的迭代速度會(huì)越來(lái)越快,業(yè)務(wù)都要為企業(yè)創(chuàng)造價(jià)值。這個(gè)過(guò)程中要求快速迭代、穩(wěn)定、低成本、彈性,‘又快又穩(wěn)定’這對(duì)于系統(tǒng)的要求是非常矛盾的。今天能夠解決這個(gè)系統(tǒng)問(wèn)題的架構(gòu),就是云原生架構(gòu),所以說(shuō)今天云原生架構(gòu)是所有系統(tǒng)演進(jìn)的未來(lái)?!卑⒗镌茢?shù)據(jù)庫(kù)解決方案專家李圣陶判斷道。
這意味著我們將進(jìn)入一個(gè)全面云原生化的時(shí)代。不只是數(shù)據(jù)庫(kù)的云原生,更多應(yīng)該發(fā)生在應(yīng)用的云原生、基礎(chǔ)設(shè)施的云原生中,云原生數(shù)據(jù)庫(kù)是一個(gè)起點(diǎn),也是撬動(dòng)下一個(gè)時(shí)代的關(guān)鍵扳手。

一、AI for DB,DB for AI

云原生是迎接智能化時(shí)代的基礎(chǔ)條件,智能化是云原生數(shù)據(jù)庫(kù)新的牽引力,二者相輔相成并呈螺旋式上升。
阿里云數(shù)據(jù)產(chǎn)品事業(yè)部負(fù)責(zé)人李飛飛認(rèn)為,這分為兩個(gè)部分:AI for DB,DB for AI。
目前,AI for DB,智能化技術(shù)大多運(yùn)用在數(shù)據(jù)庫(kù)的運(yùn)維的環(huán)節(jié),比如異常檢測(cè)、HA切換、參數(shù)調(diào)參、多維分析等數(shù)據(jù)庫(kù)管理服務(wù)。
在智能化之前,數(shù)據(jù)庫(kù)的運(yùn)維主要依靠云資源池化、分層解耦(存算分離)和人工服務(wù)實(shí)現(xiàn)混合數(shù)據(jù)庫(kù)的統(tǒng)一管理。然而隨著數(shù)字時(shí)代數(shù)據(jù)庫(kù)架構(gòu)和運(yùn)行環(huán)境日趨復(fù)雜,數(shù)據(jù)庫(kù)種類也從單一產(chǎn)品轉(zhuǎn)變?yōu)榛旌闲蜕虡I(yè)數(shù)據(jù)庫(kù)和開(kāi)源數(shù)據(jù)庫(kù)的組合,依靠人工運(yùn)維顯得捉襟見(jiàn)肘。
AI for DB的核心在于利用機(jī)器學(xué)習(xí),能夠給予海量運(yùn)行數(shù)據(jù)形成智能運(yùn)維模型,自動(dòng)化處理各項(xiàng)任務(wù),例如自動(dòng)管理計(jì)算與存儲(chǔ)資源、自動(dòng)防范惡意訪問(wèn)與攻擊、主動(dòng)實(shí)現(xiàn)數(shù)據(jù)庫(kù)智能調(diào)優(yōu)等。
2023040615103848

圖源艾瑞研究院

舉個(gè)簡(jiǎn)單的例子,參數(shù)調(diào)參的本質(zhì)和自動(dòng)駕駛的參數(shù)一樣,何時(shí)打方向盤(pán)、何時(shí)踩剎車對(duì)系統(tǒng)而言都是一些固定的參數(shù)設(shè)置。傳統(tǒng)的調(diào)參方式往往是“經(jīng)驗(yàn)調(diào)參”,需要不斷試錯(cuò)不斷總結(jié),而將機(jī)器學(xué)習(xí)能力應(yīng)用在運(yùn)維系統(tǒng)里,在數(shù)據(jù)庫(kù)運(yùn)行時(shí),ML便能通過(guò)學(xué)習(xí)和分析,靈活調(diào)優(yōu),最終在每個(gè)節(jié)點(diǎn)都能達(dá)到最優(yōu)的參數(shù)設(shè)置。
同類型的應(yīng)用還有很多,比如自定義備份策略、自動(dòng)在線升級(jí)修復(fù)BUG、監(jiān)控自定義報(bào)警燈等等。對(duì)傳統(tǒng)的數(shù)據(jù)庫(kù)運(yùn)維方式大幅提效。
如果說(shuō)AI for DB解決的是當(dāng)下效率問(wèn)題,那DB for AI解決的便是AI2.0時(shí)代“入場(chǎng)券”問(wèn)題。
在AI 2.0時(shí)代,DB for AI一個(gè)最大的變化是多模態(tài)數(shù)據(jù)處理一體化。包括不限于時(shí)序數(shù)據(jù)、文檔數(shù)據(jù)、寬表數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)、圖數(shù)據(jù)等等融合在一起,為AIGC所需的多模態(tài)數(shù)據(jù)打下堅(jiān)實(shí)的基礎(chǔ)。
此前,數(shù)據(jù)庫(kù)按照數(shù)據(jù)類型被分為各類垂直數(shù)據(jù)庫(kù),這也是同一個(gè)企業(yè)采購(gòu)多個(gè)數(shù)據(jù)庫(kù)的原因,而多個(gè)數(shù)據(jù)庫(kù)之間的不互通,又給了運(yùn)維平臺(tái)相當(dāng)大的挑戰(zhàn),但在AIGC和多模態(tài)大模型等需求下,對(duì)數(shù)據(jù)類型和質(zhì)量的要求都會(huì)提高。
另一個(gè)方面的挑戰(zhàn)是,對(duì)于數(shù)據(jù)庫(kù)廠商而言,需要提供靈活的模型導(dǎo)入能力和接口,可以把第三方以及客戶自己的模型一鍵導(dǎo)入,并且支持模型的數(shù)據(jù)庫(kù)存儲(chǔ)和使用,在各種各樣的應(yīng)用中完成所需要的推理。
目前,國(guó)內(nèi)外廠商都已經(jīng)開(kāi)始聞風(fēng)而動(dòng)。從全球局勢(shì)來(lái)看,多模態(tài)數(shù)據(jù)跑在最前面的仍是微軟Azure。Azure Cosmos DB支持文檔、鍵值對(duì)、列族和圖形數(shù)據(jù),并支持Serverless(無(wú)服務(wù))選項(xiàng),用戶可以按需付費(fèi),不必預(yù)配和維護(hù),這使Azure Cosmos DB更加具有彈性,能夠快速縮放,大大提高了多模數(shù)據(jù)庫(kù)的易用性。
而AWS的多模數(shù)據(jù)庫(kù)Amazon Neptune本質(zhì)上是一種高性能的圖形數(shù)據(jù)庫(kù),支持圖形數(shù)據(jù)模型和SPARQL查詢語(yǔ)言,雖然支持鍵值對(duì)數(shù)據(jù)模型,但可操作性十分有限。
國(guó)內(nèi),阿里云在剛剛過(guò)去的阿里云瑤池?cái)?shù)據(jù)庫(kù)峰會(huì)中,發(fā)布了Lindorm靈動(dòng)多模態(tài)數(shù)據(jù)庫(kù),據(jù)李飛飛介紹,Lindorm 多模數(shù)據(jù)庫(kù)具備多模數(shù)據(jù)處理能力,還集成了AI能力,能夠生成視頻、圖表等AI生成式內(nèi)容。用戶只需寫(xiě)幾段SQL語(yǔ)言,即可在數(shù)據(jù)庫(kù)內(nèi)完成模型的部署和推理,快速搭建AI應(yīng)用的平臺(tái)。
在AIGC蓬勃發(fā)展的當(dāng)下,國(guó)內(nèi)多模態(tài)數(shù)據(jù)庫(kù)的發(fā)展也將成為通往數(shù)據(jù)智能時(shí)代的重要支撐。

二、云原生走進(jìn)2.0

受智能化的引力牽引,云原生從1.0快速進(jìn)入了2.0時(shí)代。
關(guān)于云原生2.0時(shí)代與1.0最大的區(qū)別,李飛飛認(rèn)為是“四化”:云原生化、平臺(tái)化、一體化、智能化。而騰訊云總裁邱岳鵬則認(rèn)為是:一體化、敏捷調(diào)用、數(shù)智融合和開(kāi)箱即用。
即便說(shuō)法不同,但一體化的趨勢(shì)是確定無(wú)疑的。
在傳統(tǒng)數(shù)據(jù)庫(kù)中,不同的分類標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的類型不同。比如按照功能分類,分為:OLTP、OLAP;按照數(shù)據(jù)種類分,分為時(shí)序數(shù)據(jù)庫(kù)、鍵值數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)等;按照數(shù)據(jù)庫(kù)架構(gòu)分,分為分布式數(shù)據(jù)庫(kù)、集中式數(shù)據(jù)庫(kù)。
這種復(fù)雜程度,也是數(shù)據(jù)庫(kù)作為基礎(chǔ)軟件“三駕馬車”難以攻克的關(guān)鍵點(diǎn)之一。
然而在云原生2.0時(shí)代,一體化不再只是軟硬件的一體化,也不只是數(shù)據(jù)形式的“大雜燴”,更重要的是TP和AP的一體化提高效率,分布式集中式的一體化降低成本。
在去年,已經(jīng)有部分廠商如OceanBase、PolarDB、TDSQL-H、TiDB等都實(shí)現(xiàn)了 HTAP,幾乎成為了新興數(shù)據(jù)庫(kù)的必選項(xiàng)。Gartner也提出HTAP已經(jīng)成為了全球范圍內(nèi)新一代數(shù)據(jù)庫(kù)入場(chǎng)的籌碼,兼具AP和TP能力,將打破數(shù)據(jù)棧的割裂狀態(tài),最終讓數(shù)據(jù)集中在簡(jiǎn)單易用、安全可靠、高性價(jià)比的數(shù)據(jù)平臺(tái)。
不過(guò),過(guò)去的HTAP通常只是同一廠商TP和AP的簡(jiǎn)單“捏合”,品牌是統(tǒng)一的,但支持交易和分析的時(shí)候有不同架構(gòu)和部署形態(tài)來(lái)適應(yīng)負(fù)載。李飛飛也直言:“過(guò)去的HTAP的T和H是兩個(gè)完全獨(dú)立的引擎,因?yàn)镸PP(大規(guī)模并行處理)和ACID(數(shù)據(jù)庫(kù)事物正確執(zhí)行四要素)的要求不同,除非犧牲數(shù)據(jù)的一致性和可見(jiàn)性,在一個(gè)引擎里,又想做行、又想做列的MPP,幾乎不可能?!?/div>
阿里云的解決辦法是基于Polar DB的輕量化,通過(guò)內(nèi)嵌DPS(統(tǒng)計(jì)軟件)讓數(shù)據(jù)同步、實(shí)時(shí)可見(jiàn),將可見(jiàn)性和一致性大幅提升,同時(shí)統(tǒng)一的控制臺(tái)和統(tǒng)一的標(biāo)準(zhǔn)API,盡可能弱化從A到T過(guò)程中的消耗,在體感上達(dá)到無(wú)縫流通。
阿里云瑤池將云原生數(shù)據(jù)庫(kù)PolarDB和云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB打通融合后,為企業(yè)提供統(tǒng)一入口,兼具數(shù)據(jù)處理與分析能力,為用戶帶來(lái)一站式的數(shù)據(jù)庫(kù)使用體驗(yàn)。
2023040615105887
騰訊云TDSQL-H在方向上與阿里云大體一致,只不過(guò)實(shí)現(xiàn)的方式有所不同。騰訊云針對(duì)白天營(yíng)業(yè)狀態(tài)時(shí)TP場(chǎng)景更多,夜間營(yíng)業(yè)狀態(tài)AP場(chǎng)景更多,進(jìn)行了動(dòng)態(tài)調(diào)整,通過(guò)并發(fā)控制、內(nèi)存控制、資源彈性劃分以及參數(shù)自動(dòng)調(diào)解等方式,提供完全透明的、單系統(tǒng)的HTAP方案。
另一方面,集中式和分布式的界限也在逐漸模糊。
“未來(lái),基于云原生架構(gòu),集中式和分布式不再如長(zhǎng)江、黃河一樣涇渭分明,轉(zhuǎn)化可以做得非常平滑,因?yàn)橘Y源池化,集中式和分布式也可以一體化。”李飛飛講道。
事實(shí)上,這也是傳統(tǒng)數(shù)據(jù)庫(kù)的一個(gè)核心痛點(diǎn)。集中式和分布式是完全以數(shù)據(jù)庫(kù)架構(gòu)為出發(fā)點(diǎn),而不考慮業(yè)務(wù)需求。客戶的要求就是用盡可能低的成本、盡可能高的效率完成任務(wù),這背后是集中式還是分布式,并不重要。
這與云原生的“資源池化”和“資源解耦”能力有很大的關(guān)系。
資源池化中的典型代表是湖倉(cāng)一體。本質(zhì)是把MPP和BSP(商業(yè)資源數(shù)據(jù)庫(kù))融合起來(lái),無(wú)論是在線、離線、調(diào)度、混合負(fù)載,都可以在同一個(gè)數(shù)據(jù)湖中完成,且做到互不干擾,這是正在發(fā)生和接下來(lái)HTAP要突破的技術(shù)。
云原生1.0的資源解耦主要是存儲(chǔ)和計(jì)算的解耦,雙并行作業(yè)提高效率。而云原生2.0則是CPU、內(nèi)存、存儲(chǔ)三層解耦,更容易實(shí)現(xiàn)云上資源秒級(jí)擴(kuò)容和高可用、高可靠能力。
基于架構(gòu)的一體化,云原生2.0的另一個(gè)特點(diǎn)就是平臺(tái)化。正所謂“合久必分、分久必合”,一個(gè)數(shù)據(jù)庫(kù)“打天下”解決所有問(wèn)題的時(shí)代已經(jīng)結(jié)束了,取而代之的是用平臺(tái)化的思維構(gòu)建多個(gè)引擎,基于平臺(tái)提供一站式的能力和解決方案,這是平臺(tái)化的核心。
2023040615112355
總的來(lái)說(shuō),云原生2.0時(shí)代,不再是簡(jiǎn)單的節(jié)省成本,而是基于云原生架構(gòu)的廣袤空間,對(duì)當(dāng)下的云數(shù)據(jù)庫(kù)進(jìn)行根本性的改造,從而適應(yīng)越來(lái)越快的數(shù)據(jù)時(shí)代。

三、國(guó)產(chǎn)數(shù)據(jù)庫(kù)換道超車

從整個(gè)數(shù)據(jù)庫(kù)行業(yè)來(lái)看,把握住了云原生趨勢(shì),也就抓住了國(guó)產(chǎn)數(shù)據(jù)庫(kù)換道超車的最佳機(jī)會(huì)。
據(jù)中國(guó)信通院發(fā)布的《數(shù)據(jù)庫(kù)發(fā)展研究報(bào)告2021》統(tǒng)計(jì),2025年中國(guó)的數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模將達(dá)到688億元,5年年復(fù)合增長(zhǎng)率達(dá)23.4%。目前,海外巨頭仍占據(jù)國(guó)內(nèi)數(shù)據(jù)庫(kù)市場(chǎng)較大份額,但國(guó)產(chǎn)數(shù)據(jù)庫(kù)經(jīng)歷多年沉淀,已經(jīng)具備較強(qiáng)的競(jìng)爭(zhēng)力。
全球范圍內(nèi)的競(jìng)爭(zhēng)潛力,都在“云原生數(shù)據(jù)庫(kù)”這匹黑馬上。Gartner預(yù)測(cè),到2023年,75%的數(shù)據(jù)庫(kù)都要跑在云平臺(tái)上,且從2019年開(kāi)始,Gartner便不再將傳統(tǒng)數(shù)據(jù)庫(kù)的性能納入評(píng)價(jià)指標(biāo)。
2023040615113840

2022-2021全球數(shù)據(jù)庫(kù)廠商排名變化

在這張紛繁復(fù)雜的排名變化圖中,透露了幾個(gè)重要信號(hào)。
從2011年-2021年,數(shù)據(jù)庫(kù)十年變局分為三個(gè)重要階段:
(1)2011年-2013年,傳統(tǒng)數(shù)據(jù)庫(kù)幾乎壟斷了整個(gè)市場(chǎng),Oracle、IBM、SAP等傳統(tǒng)廠商一騎絕塵;
(2)2013年開(kāi)始,以AWS為首的云廠商殺入,云數(shù)據(jù)庫(kù)進(jìn)入了一段高速增長(zhǎng)期。2014年阿里云進(jìn)入、2015年華為云進(jìn)入、2016年騰訊云和Snowflake進(jìn)入,至2018年,云廠商們陡坡逆行,從小透明突破到前十的位置;
(3)2018年之后,進(jìn)入了一段穩(wěn)定增長(zhǎng)期,直至2020年,微軟搶占了Oracle長(zhǎng)達(dá)近10年的霸主地位;2021年,AWS也領(lǐng)先Oracle成為了第三名,前五名中,有三名均是云廠商;前十名中,有7名均是云廠商。
Gartner報(bào)告顯示,云數(shù)據(jù)庫(kù)現(xiàn)在創(chuàng)造了392億美元的收入,占所有數(shù)據(jù)庫(kù)的49%以上。
而以云廠商為代表的云原生數(shù)據(jù)庫(kù)增長(zhǎng)速度之快、突破力之強(qiáng),在短短五年內(nèi)徹底打亂了傳統(tǒng)數(shù)據(jù)庫(kù)的市場(chǎng)格局,同時(shí)也保持了較強(qiáng)的持久力。
以谷歌為例,其整體市場(chǎng)增長(zhǎng)率幾乎翻了三倍,取代了IBM和SAP,成為了全球第四大數(shù)據(jù)庫(kù)提供商。Snowflake從誕生起便采用了云原生架構(gòu),即便在2016年才剛剛問(wèn)世,也一路突圍,目前僅次于騰訊,成為了云數(shù)據(jù)庫(kù)中市值最高的獨(dú)角獸企業(yè)。
國(guó)際市場(chǎng)云原生數(shù)據(jù)庫(kù)的突破力在國(guó)內(nèi)市場(chǎng)同理。據(jù)IDC統(tǒng)計(jì),2021年H2,本地部署數(shù)據(jù)庫(kù)格局仍以O(shè)racle為首,但云部署已經(jīng)打開(kāi)局面,且呈現(xiàn)了更加多樣化的競(jìng)爭(zhēng)格局。
2023040615120643
種種數(shù)據(jù)表明,云數(shù)據(jù)庫(kù)已經(jīng)從趨勢(shì)成為了既定事實(shí)和發(fā)展前提,也是未來(lái)國(guó)產(chǎn)數(shù)據(jù)庫(kù)“去O”的關(guān)鍵手段。
而在智能化時(shí)代,數(shù)據(jù)庫(kù)走過(guò)了第一階段又立刻向第二階段啟航,以阿里云、華為云、騰訊云數(shù)據(jù)庫(kù)為代表的,更強(qiáng)的云資源、云能力、云平臺(tái)支撐下數(shù)據(jù)庫(kù),一方面帶領(lǐng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)換道超車,另一方面也在為智能化的爆發(fā),做全面準(zhǔn)備。

本文來(lái)自投稿,不代表增長(zhǎng)黑客立場(chǎng),如若轉(zhuǎn)載,請(qǐng)注明出處:http://allfloridahomeinspectors.com/quan/94824.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2023-04-06 20:29
下一篇 2023-04-07 07:18

增長(zhǎng)黑客Growthhk.cn薦讀更多>>

發(fā)表回復(fù)

登錄后才能評(píng)論