TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

小紅書使用 TiDB 歷史可以追溯到 2017 年甚至更早,那時(shí)在物流、倉庫等對新技術(shù)比較感興趣的場景下應(yīng)用,在 2018 年 5 月之后,我們就開始逐步鋪開,延展到其他適合 TiDB 的場景中去。截止目前,小紅書使用的 TiDB 節(jié)點(diǎn)數(shù)在 200+ 個(gè),未來也有更大擴(kuò)展空間。

本文根據(jù)近兩年 TiDB 在小紅書的落地過程,和大家一起探討一下,小紅書在新數(shù)據(jù)庫選型的考慮因素、以及 TiDB 從場景分類的角度是如何考量及逐步推廣使用的。具體包括以下內(nèi)容:

  1. 目前小紅書數(shù)據(jù)服務(wù)整體架構(gòu),以及從數(shù)據(jù)流角度如何對不同數(shù)據(jù)庫服務(wù)進(jìn)行定義和劃分。
  2. 從基本功能、數(shù)據(jù)同步、部署管理、運(yùn)維、二次開發(fā)及優(yōu)化、安全等多個(gè)維度解讀小紅書在數(shù)據(jù)庫選型的考慮因素及思考。
  3. TiDB 的適用場景

一、小紅書數(shù)據(jù)服務(wù)整體架構(gòu)

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

如圖 1 所示,小紅書數(shù)據(jù)服務(wù)整體架構(gòu)最上層是在線應(yīng)用層(online app),應(yīng)用層往下肯定會(huì)依賴一些離線(offline)或者在線(online)的 database(其實(shí)它更多的意義應(yīng)該算存儲(chǔ),比如 Redis 也被我們理解為 database,所以稱之為“數(shù)據(jù)服務(wù)”可能會(huì)更好),這些在線數(shù)據(jù)服務(wù)(online database)會(huì)有兩條線:

通過實(shí)時(shí)數(shù)據(jù)流(dataflow)將數(shù)據(jù)導(dǎo)入到離線數(shù)據(jù)庫(offline database)支撐離線分析以及實(shí)時(shí)展示的場景,也就是圖 1 最下層的展示類服務(wù)(presentation)和數(shù)倉(data warehouse)。

這些數(shù)據(jù)還可能會(huì)回灌到線上其他 database 上,有些是離線,有些是實(shí)時(shí)。

圖 1 藍(lán)框中的部分基本上都由我們團(tuán)隊(duì)負(fù)責(zé)。我們首先需要保證在線數(shù)據(jù)庫(online database) 的穩(wěn)定性、安全性以及性能優(yōu)化等,其次我們的多種數(shù)據(jù)庫數(shù)據(jù)同步服務(wù)(database to database replication) 有點(diǎn)像阿里提出的 data replication center 這個(gè)概念,這部分也基本上由我們團(tuán)隊(duì)全權(quán)負(fù)責(zé)。

二、小紅書數(shù)據(jù)服務(wù)組件選型 RoadMap

對于一個(gè)新的數(shù)據(jù)庫或數(shù)據(jù)服務(wù)組件選型(如 TiDB),我們該從哪些方面去入手搞清楚它的特性?下面分享一下我們的經(jīng)驗(yàn)。

  1. 產(chǎn)品的基本功能

第一步,我們需要考察該數(shù)據(jù)服務(wù)/組件的基本功能,首先,我們要了解它的讀寫場景,包括點(diǎn)查、批量獲?。╞atch get)、范圍掃描(range scan)、過濾查詢(filter query)、聚合查詢(aggregation)等等。然后我們看看它是否符合響應(yīng)時(shí)間(latency) 以及帶寬(bandwidth,即能承接多少并發(fā))的要求。最后我們會(huì)關(guān)注可擴(kuò)展性,比如 TiDB 可能最大的特點(diǎn)就是擴(kuò)展性非常好。這幾點(diǎn)是大家都會(huì)想到的最基本的要求,這里我就一筆略過。

  1. 數(shù)據(jù)同步與處理相關(guān)解決方案

第二部分是數(shù)據(jù)同步與處理相關(guān)解決方案。這里我們有以下 4 點(diǎn)考慮:

首先考慮這個(gè)數(shù)據(jù)服務(wù)組件的數(shù)據(jù)同步是同構(gòu)或異構(gòu)的場景,同構(gòu)的同步比如 Redis to Redis、MongoDB to MongoDB,異構(gòu)的同步比如 TiDB 到 Kafka 等等。這個(gè)情況基本上大家也會(huì)遇到,因?yàn)橐粋€(gè)數(shù)據(jù)服務(wù)很難同時(shí)支持兩種或更多的場景,不同的數(shù)據(jù)服務(wù)之間的數(shù)據(jù)要保持一致,就會(huì)產(chǎn)生數(shù)據(jù)同步的問題。

接下來考察離線導(dǎo)出,比如如果我們依賴 Hive、 Spark 做離線分析,那么可能要放在 HDFS、S3 等對象存儲(chǔ)上,就需要離線導(dǎo)出,一般是每天導(dǎo)出一次。

第三點(diǎn)是實(shí)時(shí)導(dǎo)出,即在實(shí)時(shí)場景下可能需要導(dǎo)出到消息中間件,比如 Kafka、RocketMQ 等。

第四點(diǎn)是離線導(dǎo)入,導(dǎo)入的場景一般是在離線的引擎計(jì)算的結(jié)果,作為評估的指標(biāo)再寫入線上的 database 提供數(shù)據(jù)服務(wù)。

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用
  1. 產(chǎn)品的部署及管理

部署其實(shí)非常重要,它涵蓋以下 5 個(gè)方面。

第一點(diǎn)是組件管理界面。當(dāng)集群多到一定程度時(shí),如果你沒有一個(gè)很好的管理界面,會(huì)連自己用的是什么集群都記不清楚。所以管理界面非常必要,而且最初可能是 1 個(gè)集群 1 個(gè)管理界面,然后是 100 個(gè)集群 1 個(gè)管理界面。

第二點(diǎn)是選版本和機(jī)型。在版本選擇方面,不同版本提供的功能不一樣,同時(shí)也要考慮版本升級的成本。在機(jī)型的選擇方面,無論是自建機(jī)房、用云主機(jī),還是使用最近推出來的新概念“Bare-Metal”(裸金屬),機(jī)型選擇都是非常痛苦的事情,但同時(shí)機(jī)型選擇對存儲(chǔ)來說至關(guān)重要。我們目前絕大多數(shù)都是部署在騰訊云和 AWS 上,并且開始慢慢嘗試在 Bare-Metal 上的應(yīng)用。

第三點(diǎn)是監(jiān)控、報(bào)警、日志收集。我將這個(gè)問題分為三個(gè)級別:機(jī)器級、應(yīng)用級和業(yè)務(wù)級。機(jī)器級指機(jī)器主機(jī)上的問題,包括如何做監(jiān)控、報(bào)警、日志收集,雖然這點(diǎn)與該數(shù)據(jù)服務(wù)組件沒有太大關(guān)系,但是我們?nèi)匀恍枰P(guān)注;應(yīng)用級指該數(shù)據(jù)服務(wù)組件的報(bào)警、監(jiān)控、日志收集具體是怎么做的;業(yè)務(wù)級指特定的業(yè)務(wù)有特定的報(bào)警需求,例如一個(gè)訂單表突然有幾十萬的 QPS 寫入,在平時(shí)屬于異常的情況,這種異常是需要自定義的,甚至需要我們在某些特定位置埋點(diǎn)并輸出結(jié)論,因?yàn)槿绻魂P(guān)注這些異常情況,就很可能導(dǎo)致這三件事用三種不同架構(gòu),最后部署的集群極其復(fù)雜繁瑣,三個(gè)級別用了三個(gè)不同的監(jiān)控工具,看到三個(gè)不同的監(jiān)控界面,導(dǎo)致運(yùn)維成本增加。

第四點(diǎn)是跨區(qū)/跨云部署。這一點(diǎn)可能是互聯(lián)網(wǎng)公司的比較大的需求。在遇到跨區(qū)/跨云的部署的時(shí)候,需要考察該數(shù)據(jù)服務(wù)組件是否天生支持跨區(qū)/跨云。如果不支持,需要再考慮是否需要再啟動(dòng)數(shù)據(jù)同步。

第五點(diǎn)是考察附屬組件,也就是與該數(shù)據(jù)服務(wù)組件強(qiáng)綁定的其他組件,比如 zk、lb、jmx_exporter 等等,這些組件的部署成本也需要考慮。我們需要減少 OPS 成本,或者說,一個(gè)好的整體架構(gòu)設(shè)計(jì)能夠防止業(yè)務(wù)瘋狂上線時(shí)很多意外的出現(xiàn)。

  1. 運(yùn)維的易用性

運(yùn)維包括擴(kuò)容、縮容、遷移,其中遷移可能要考慮跨區(qū)遷移、機(jī)型升級遷移等。在使用維護(hù)某個(gè)組件的時(shí)候會(huì)產(chǎn)出“XX 組件的運(yùn)維手冊”,這樣下次遇到問題的時(shí)候,可以先去看看運(yùn)維手冊里它是否是一個(gè)已知問題,有沒有現(xiàn)成的解決方案。在公司人員變動(dòng)比較頻繁或者業(yè)務(wù)方直接介入到這個(gè)場景的時(shí)候,如果沒有運(yùn)維手冊,有些項(xiàng)目很難落地。

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用
  1. 產(chǎn)品可優(yōu)化的空間

優(yōu)化部分基本上分為配置調(diào)優(yōu)、客戶端代碼調(diào)優(yōu)、二次開發(fā)、三次開發(fā)。其中二次開發(fā)就是在現(xiàn)有的開源產(chǎn)品上再開發(fā),修復(fù) bug 或者自己實(shí)現(xiàn)某些新增功能/工具,未來可能還會(huì)貢獻(xiàn)給社區(qū);而三次開發(fā)則是自己寫一個(gè)和某些組件類似的東西,直接替換掉。在小紅書內(nèi)部,二次開發(fā)是比較主流的,三次開發(fā)很少,畢竟從零開始自研一個(gè)組件到適應(yīng)特定業(yè)務(wù)場景,其實(shí)是跟不上我們的業(yè)務(wù)上線節(jié)奏的,所以三次開發(fā)至少眼下不適合作為我們主要的攻堅(jiān)方向。

  1. 其他考慮因素

未來在小紅書數(shù)據(jù)服務(wù)組件系統(tǒng),我們會(huì)做很多完善工作,比如安全、審計(jì)、服務(wù)化、容器化等方面的事情。譬如我們目前在部署一個(gè)組件的時(shí)候,容器化還沒有在討論范圍之內(nèi),也就是需要用容器部署就容器部署,需要在虛擬機(jī)上部署就在虛擬機(jī)上部署,并沒有一個(gè)明確的結(jié)論傾向。當(dāng)然,我個(gè)人認(rèn)為未來容器化是一個(gè)主流趨勢。

以上就是小紅書的數(shù)據(jù)服務(wù)組件選型的 RoadMap,看起來跟接下來要講的“TiDB 在小紅書多場景下的應(yīng)用”沒有太大的關(guān)系,但我認(rèn)為在做應(yīng)用之前應(yīng)該先把上面列舉的這些方向思考清楚,這樣會(huì)對未來落地工作的投入產(chǎn)出比產(chǎn)生非常大的影響,比如我們最近按照上面的方向調(diào)研 Tidis 和 TiFlash 的時(shí)候速度就快很多。

三、TiDB 在小紅書多場景下的應(yīng)用

場景 1:展示類業(yè)務(wù)

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

TiDB 在小紅書的第一個(gè)應(yīng)用場景是展示類業(yè)務(wù),它的 pipeline 如圖 4 中紅色部分所示,線上一般是 MongoDB 或者 MySQL,通過一條實(shí)時(shí)數(shù)據(jù)流(realtime dataflow) 連接 Redis 或者 TiDB,最后實(shí)現(xiàn) presentation 功能。接下來介紹這類場景下的兩個(gè)具體項(xiàng)目。

項(xiàng)目 1:大促實(shí)時(shí)看板

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

第一個(gè)項(xiàng)目是大促實(shí)時(shí)看板,在去年雙十一期間上線,當(dāng)時(shí)我們的節(jié)奏也比較快,7、8 月開始調(diào)研,11 月就上大促業(yè)務(wù)。

當(dāng)時(shí)該項(xiàng)目下一共有 8 個(gè)實(shí)時(shí)報(bào)表,QPS 寫入均值 5K,大促活動(dòng)開始時(shí) QPS 峰值接近 200K/秒,每過 2s 會(huì)有較大的聚合查詢 query,聚合結(jié)果還需要寫入 Redis 再 pop 到 TiDB,集群規(guī)模方面只用了 10 個(gè) TiKV 和 3 個(gè) PD。還有一點(diǎn)值得提一下,當(dāng)時(shí)每個(gè)節(jié)點(diǎn)掛了 3.5T * 4 塊的 NVME SSD,但是后來事實(shí)證明這個(gè)選型是有問題的,因?yàn)榇蟠俚臅r(shí)候我們?nèi)巳硕荚诙⒅?,磁盤壞了會(huì)立刻得到解決,所以即使把四塊盤做了 raid0,然后上線了,根本無法確定 NVME 盤出問題的概率是多少,后來差不多每個(gè)月會(huì)出現(xiàn)一兩次類似的故障,故障率很高,雖然我相信未來 NVME 會(huì)做得更好,但這樣高的故障率從設(shè)計(jì)角度來看,這個(gè)選型就未必是最合適的。

在實(shí)現(xiàn)上,我們遇到的第一個(gè)問題是保證最終一致性的寫入。我們做了多線程寫入,每個(gè)線程寫入特定的記錄,保證線程之間不會(huì)沖突。除此之外,我們還做了一些調(diào)優(yōu)工作,我們發(fā)現(xiàn)每一個(gè)事務(wù)的 batch insert size 設(shè)置為 100 時(shí)能達(dá)到吞吐、延遲綜合最優(yōu)的要求。最初業(yè)務(wù)側(cè)設(shè)置的 batch size 非常大,后來發(fā)現(xiàn)事務(wù)之間沖突的概率、響應(yīng)的時(shí)間等等都會(huì)出現(xiàn)一些問題,但 batch size 設(shè)置為 1,那么并發(fā)又會(huì)成為一個(gè)問題。所以經(jīng)過了一段時(shí)間的調(diào)優(yōu),最后得到了前面的結(jié)論。這個(gè)參數(shù)大家可以根據(jù)需求自己調(diào)整,用二分法/折紙法試驗(yàn)就可以得到。

這個(gè)項(xiàng)目最終全程寫入和查詢在大促期間保持穩(wěn)定,寫入時(shí)延小于 20ms,查詢時(shí)延小于 1s,因?yàn)槲覀冃枰?2s 做一次查詢,這個(gè)響應(yīng)時(shí)間是能滿足要求的。

項(xiàng)目 2:實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)展示

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

這個(gè)項(xiàng)目背景有兩點(diǎn):

第一,我們業(yè)務(wù)方有實(shí)時(shí)分析的需求,需要實(shí)時(shí)觀測線上庫寫入內(nèi)容,可能是針對某個(gè)用戶做一些查詢,還可能是一個(gè)非常大的 query,比如需要快速看到新上線功能的效果,尤其是在實(shí)驗(yàn)以及風(fēng)控等項(xiàng)目上響應(yīng)時(shí)間要求非常高。

其次需要作為離線 ETL 任務(wù)的數(shù)據(jù)源,同時(shí)需要預(yù)備改為線上服務(wù)。盤算一下業(yè)務(wù)量,總共支持需要超過一百個(gè) MongoDB 或 MySQL 數(shù)據(jù)庫的實(shí)時(shí)展示,峰值總讀寫 QPS 超過 500K,現(xiàn)在的業(yè)務(wù)需求大概這個(gè)量級,未來可能會(huì)更高。

我們當(dāng)前考慮是按業(yè)務(wù)線去拆分集群,部分核心表一式多份。比如用戶表可能有多個(gè)業(yè)務(wù)依賴,比如社區(qū)業(yè)務(wù)、訂單物流業(yè)務(wù)等等,但如果按照業(yè)務(wù)線拆分集群之后,就無法做 Join 了,這也是我們不能接受的,所以對核心表會(huì)以一式多份的形式存在。實(shí)際使用場景下,大部分都是點(diǎn)查,比如查特定用戶、特定訂單的線上狀態(tài),同時(shí)有少量的單表聚合查詢和跨表 Join 查詢。換句話說,可以認(rèn)為是一個(gè)實(shí)時(shí)的數(shù)據(jù)倉庫,但又不做復(fù)雜 ETL,更多依賴線上真實(shí)數(shù)據(jù)。

我們的設(shè)計(jì)方案是把 TiDB 作為一個(gè) MySQL/MongoDB 的從庫,但對于 MongoDB 來說可能還要做一點(diǎn)同步任務(wù)的數(shù)據(jù)改造工作?,F(xiàn)在規(guī)模是 10 節(jié)點(diǎn) TiKV + 3 節(jié)點(diǎn) PD 的集群總共有 3 個(gè),后面可能會(huì)按需求擴(kuò)增。

在實(shí)踐細(xì)節(jié)上,首先我們會(huì)基于 Canal 去做 oplog/binlog 的實(shí)時(shí)同步。其次,目前我們對加列之外的 DDL 支持得不夠好,這部分還需要 DBA 手工介入,但在未來會(huì)有一些改進(jìn)。最后是多租戶問題,比如判斷某個(gè)部門的同事是否有權(quán)限訪問另一個(gè)部門的數(shù)據(jù)庫,這件事在線上會(huì)非常頭疼,現(xiàn)在在接入層解決這個(gè)問題,我們內(nèi)部有一個(gè)叫 venus 的展示平臺(tái),將上層全鏈控制、認(rèn)證等事情去掉,所以我們就不用關(guān)注這件事了,至少眼下不用關(guān)注。這個(gè)項(xiàng)目已經(jīng)開始逐步上線,基本上架構(gòu)已經(jīng)確定。

場景 2:分析類業(yè)務(wù)

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

分析類業(yè)務(wù)的 pipeline 如圖 7 所示,最后的 data warehouse 構(gòu)建在 AWS 上。

項(xiàng)目 3:分庫分表 MySQL ETL

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

這個(gè)場景下的第一個(gè)項(xiàng)目是做分庫分表的 MySQL ETL。以最大的表為例,上游 10 節(jié)點(diǎn)的MySQL,共計(jì) 10000 個(gè)分表,存量數(shù)據(jù) 1000 億條左右,每日增量 10 億+,QPS 寫入均值 3000 條/s,峰值接近 10000 條/s,平臺(tái)促銷活動(dòng)對這部分影響也不大,甚至反而會(huì)降低,因?yàn)榛顒?dòng)主要是電商部門在做,社區(qū)的查詢需求反而變少。我們在 TiDB 離線庫保留了大約 30 天增量監(jiān)控?cái)?shù)據(jù),全量數(shù)據(jù)存在 S3 上,每日夜間(白天偶爾)會(huì)有基于 sqoop 的抽數(shù)任務(wù)觸發(fā)。集群規(guī)模方面,目前使用 10 節(jié)點(diǎn) TiKV + 3 節(jié)點(diǎn) PD。

在實(shí)踐細(xì)節(jié)方面,首先我們對 MySQL 自增 ID 進(jìn)行了處理,然后對 sqoop 進(jìn)行了一些基于 TiDB 的細(xì)節(jié)上適配,最后調(diào)整 TiDB 的 max transaction size 以優(yōu)化抽取率。除此之外,還有一個(gè)值得一提的事情,因?yàn)閷?shí)體數(shù)據(jù)(用戶/筆記/訂單數(shù)據(jù)等)不宜硬刪除,但是在 MySQL 關(guān)系表做軟刪除是非??膳碌氖虑?,最后可能會(huì)因?yàn)閿?shù)據(jù)量太過于龐大造成雪崩。但 TiDB 不一樣,我們把線上的硬刪除變成了 TiDB 的軟刪除,這對于數(shù)倉來說是非常有價(jià)值的事情。對于每天全量抽數(shù)的表來說,無論軟硬刪除,第二天數(shù)倉里的數(shù)據(jù)總是對的。但是對于大數(shù)量的場景,全量抽數(shù)代價(jià)過高,就會(huì)采取增量抽取的方式,即設(shè)置一個(gè)條件,一般是 update_time 為今天。這時(shí)候硬刪除就存在問題了:上面的 query 條件無法判斷一條記錄究竟是被刪除了,還是在當(dāng)天沒有被更新。而前面又提到,關(guān)系表上是不適合做軟刪除的。所以我們在做 ETL 的時(shí)候,線上做 delete 的操作,我們在 TiDB 上會(huì)新增一個(gè) is_deleted 字段,并將其設(shè)置為 true。這個(gè)時(shí)候有一個(gè)小細(xì)節(jié),刪除這個(gè)操作的時(shí)間戳怎么設(shè)置。刪除這個(gè)操作時(shí)的時(shí)間戳是跟普通寫入的時(shí)間戳不一樣的。普通的寫入,時(shí)間戳就是線上庫的 update time,但是刪除的時(shí)候是不會(huì)帶上線上的 update_time 的,所以因?yàn)檫@條記錄被硬刪除了,時(shí)間戳都找不到了,這時(shí)我們只能用收到這條消息的 update_time 去做它的時(shí)間戳,這時(shí)就會(huì)有些小問題,當(dāng)然這個(gè)問題我們還沒有完全解決掉,假設(shè)大家有類似的需求的話,我們可以私下交流討論。目前這個(gè)項(xiàng)目已經(jīng)上線,運(yùn)行穩(wěn)定。

項(xiàng)目 4:MySQL 歸檔

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

項(xiàng)目 4 MySQL 歸檔是基于項(xiàng)目 3 的演進(jìn)。業(yè)務(wù)背景方面,以最大的表為例,主要為物流倉儲(chǔ)部門的訂單及衍生信息,存量非常非常大,每月進(jìn)行歸檔到 TiDB 的數(shù)據(jù)有數(shù)十億,但對 QPS 要求不是很高,與業(yè)務(wù)方討論之后暫定,過去一年半的記錄存放在 TiDB 供業(yè)務(wù)方查詢,更久遠(yuǎn)的記錄歸檔到 S3/Cos 上。

項(xiàng)目 4 與項(xiàng)目 3 代碼相比處理的場景更復(fù)雜一些,因?yàn)樗?MySQL 的分庫分表邏輯不像項(xiàng)目 3 那些清晰,集群規(guī)模也會(huì)相對大一些,目前是 25 個(gè) TiKV 節(jié)點(diǎn) + 3 個(gè) PD 節(jié)點(diǎn),未來可有擴(kuò)容的需求。實(shí)現(xiàn)細(xì)節(jié)上,項(xiàng)目 4 和項(xiàng)目 3 類似,這里就不贅述了。

場景 3:線上服務(wù)

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

TiDB 接入實(shí)時(shí)數(shù)據(jù)寫入服務(wù)的業(yè)務(wù)有以下四個(gè)考慮:

第一點(diǎn)是代碼更改成本,這一項(xiàng)成本已經(jīng)比較低了,因?yàn)榛旧隙际?jdbc 連接,但多多少少會(huì)有一些變更。

第二點(diǎn)是數(shù)據(jù)遷移成本,對于已經(jīng)上線的業(yè)務(wù)來說,遷移數(shù)據(jù)都是一件非常費(fèi)勁的事情,尤其是我們還要求不停服務(wù)進(jìn)行熱遷移的話。

第三點(diǎn)是運(yùn)維成本,從原本的 MySQL 切換到我們自己維護(hù) TiDB ,其實(shí)無形中增加了運(yùn)維成本,尤其是在掛盤率比較高的場景下。

第四點(diǎn)是技術(shù)棧成本,因?yàn)橛行┤藢?TiDB 不熟悉,會(huì)比較害怕接觸和使用,絕大部分人更愿意用自己熟悉的東西,所以需要有一個(gè)知識學(xué)習(xí)的過程,這也是一個(gè)成本。

現(xiàn)在我們已經(jīng)有一部分線上業(yè)務(wù)從 Hive 離線導(dǎo)入到 TiDB 做 T+1 級別數(shù)據(jù)服務(wù),而且我們新上線業(yè)務(wù)的關(guān)系型數(shù)據(jù)庫選型已經(jīng)開始傾向于 TiDB,主要是因?yàn)樗臄U(kuò)展性為我們節(jié)省了很大的時(shí)間成本,尤其是業(yè)務(wù)增長比較快的情況下,選擇 MySQL 分庫分表其實(shí)是一件代價(jià)極其大的事情。

我記得之前有同事問了一個(gè)問題,說這個(gè)場景用別的東西也可以做,為什么一定要用 TiDB 呢?為什么要用牛刀來殺一只雞呢?我回答他:有種情況是你找不到一只牛來殺,只能先“殺雞”成功了,未來才有“殺?!钡臋C(jī)會(huì),但是大家不要認(rèn)為“殺雞用牛刀”是一件很蠢事情,這可以理解為一個(gè)鑒定或者測試的過程。

四、未來 TiDB 在小紅書的接入計(jì)劃

TiDB 在小紅書從 0 到 200+ 節(jié)點(diǎn)的探索和應(yīng)用

最后分享一下 TiDB 未來在小紅書的接入方向。

首先在 ETL 方面,TiDB 的事務(wù)隔離性對某些場景來說有點(diǎn)高,我們希望能自定義事務(wù)隔離需求,比如兩個(gè)事務(wù)有沖突,但我們實(shí)際的寫入需求只要最終一致性。但是從目前 TiDB 的設(shè)計(jì)來說,這個(gè)需求可能比較困難,但是也不排除將這個(gè)事情 raise 起來的可能性。

第二個(gè)很重要的事情是跨數(shù)據(jù)中心的部署,這是我們未來會(huì)重點(diǎn)關(guān)注的方向,可能最終會(huì)得到一個(gè)通用的解決方案,目前的規(guī)劃還不是特別明晰,因?yàn)槲磥順I(yè)務(wù)可能在不同的云會(huì)有不同的形態(tài),我們也希望能找到成本相對更低的解決方案。

第三點(diǎn)是自動(dòng)化運(yùn)維,目前是往 TiDB + K8s 的方向推動(dòng),更好的解決集群部署問題,因?yàn)樵谔摍C(jī)上部署還是比較痛苦的。

最后,我們已經(jīng)有同事負(fù)責(zé)調(diào)研 TiFlash、Tidis,但目前還沒有線上應(yīng)用在依賴。同時(shí)我們也在做 CK 和 TiFlash 的對比調(diào)研,目前 CK 已經(jīng)在線上提供服務(wù),未來如果 TiFlash 的調(diào)研結(jié)論是比較優(yōu)秀的,肯定也會(huì)有計(jì)劃替換。

文:張俊駿 @PingCAP

PS:本公司承接小紅書關(guān)鍵詞排名,下拉推薦,熱門搜索,達(dá)人種草,代寫代發(fā),金冠薯,數(shù)據(jù)優(yōu)化等業(yè)務(wù);

咨詢微信:139 1053 2512 (同電話)

首席增長官CGO薦讀小紅書推廣

更多精彩,關(guān)注:增長黑客(GrowthHK.cn)

增長黑客(Growth Hacker)是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度,梳理整合產(chǎn)品發(fā)展的因素,實(shí)現(xiàn)低成本甚至零成本帶來的有效增長…

本文經(jīng)授權(quán)發(fā)布,不代表增長黑客立場,如若轉(zhuǎn)載,請注明出處:http://allfloridahomeinspectors.com/mcn/xiaohongshu/24237.html

(1)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2019-08-29 19:51
下一篇 2019-08-31 19:01

增長黑客Growthhk.cn薦讀更多>>

發(fā)表回復(fù)

登錄后才能評論