火山引擎ByteHouse：如何提升云原生架構(gòu)下的數(shù)據(jù)導(dǎo)入能力？

近期，火山引擎ByteHouse技術(shù)專家受邀參加DataFunCon2023（深圳站）活動，并以“火山引擎ByteHouse基于云原生架構(gòu)的實時導(dǎo)入探索與實踐”為題進(jìn)行了技術(shù)分享。在分享中，火山引擎ByteHouse技術(shù)專家以Kafka和物化MySQL兩種實時導(dǎo)入技術(shù)為例，介紹了ByteHouse的整體架構(gòu)演進(jìn)以及基于不同架構(gòu)的實時導(dǎo)入技術(shù)實現(xiàn)。

隨著企業(yè)降本增效、智能化數(shù)據(jù)決策需求的增強(qiáng)，傳統(tǒng)的商業(yè)數(shù)據(jù)庫已經(jīng)難以滿足和響應(yīng)快速增長的業(yè)務(wù)訴求。在此背景下，云原生數(shù)據(jù)庫成為大勢所趨。云原生數(shù)據(jù)庫基于云平臺構(gòu)建、部署和分發(fā)，具有高可用性、高性能、高可靠等特點，可以幫助企業(yè)更好地實現(xiàn)數(shù)據(jù)智能化決策。

火山引擎ByteHouse是基于開源ClickHouse進(jìn)行技術(shù)優(yōu)化和升級的一款云原生數(shù)據(jù)倉庫。ClickHouse原有的分布式架構(gòu)具有無中心多主節(jié)點以及存儲方便的優(yōu)勢。但它也存在節(jié)點故障處理成本高、讀寫沖突、擴(kuò)容成本高以及一致性欠缺等架構(gòu)痛點。基于此，ByteHouse在社區(qū)分布式架構(gòu)基礎(chǔ)上，演進(jìn)并開源了ClickHouse新型云原生架構(gòu)。并且ByteHouse在新架構(gòu)下也做了實時導(dǎo)入技術(shù)的設(shè)計與實現(xiàn)。

不同架構(gòu)實時導(dǎo)入技術(shù)比較(Kafka)

據(jù)介紹，火山引擎ByteHouse云原生架構(gòu)分為三層：第一層是云服務(wù)入口，負(fù)責(zé)承接所有的用戶請求；第二層是執(zhí)行層，主要負(fù)責(zé)查詢和導(dǎo)入的功能，實現(xiàn)讀寫分離；第三層是數(shù)據(jù)存儲層，支持多種云存儲組件。在云原生架構(gòu)下，ByteHouse不僅具有運維成本和門檻低的架構(gòu)優(yōu)勢，還通過讀寫分離等手段解決了查詢高峰導(dǎo)致導(dǎo)入停滯等問題，并且得益于架構(gòu)優(yōu)勢引入了彈性擴(kuò)縮容能力以及高可用性。

火山引擎ByteHouse云原生架構(gòu)圖

由于云原生架構(gòu)的應(yīng)用，面對字節(jié)跳動內(nèi)部激增的業(yè)務(wù)量以及處理龐大數(shù)據(jù)量的需求，ByteHouse在實時導(dǎo)入技術(shù)方面進(jìn)行了相應(yīng)的優(yōu)化升級。目前，ByteHouse以Kafka和物化MySQL作為實時導(dǎo)入的主要數(shù)據(jù)源。

在Kafka導(dǎo)入實現(xiàn)中，ByteHouse可以實現(xiàn)秒級數(shù)據(jù)延時和單表GiB級吞吐，支持絕大部分在線實時分析業(yè)務(wù)場景。相比社區(qū)版本，其優(yōu)勢在于高可用性和容錯機(jī)制，并支持Exactly-Once消費語義，保證數(shù)據(jù)的可靠性和完整性。

物化MySQL是一種將MySQL數(shù)據(jù)庫中的數(shù)據(jù)按庫級別同步到ByteHouse中的能力，主要工作流程為基于MySQL數(shù)據(jù)庫創(chuàng)建一個物化庫引擎，該引擎初始化時從MySQL拉取指定庫的所有存量數(shù)據(jù)，后續(xù)通過binlog同步回放的方式持續(xù)同步增量數(shù)據(jù)。其優(yōu)勢在于，不僅保證數(shù)據(jù)的一致性和完整性，還可以對數(shù)據(jù)實時分析和處理，提高處理的速度和效率。

目前，火山引擎ByteHouse云原生架構(gòu)已經(jīng)全面服務(wù)內(nèi)、外部多種業(yè)務(wù)場景，實時導(dǎo)入已支持超過2500個服務(wù)節(jié)點，每天實時導(dǎo)入數(shù)據(jù)規(guī)模超過30PB。未來，火山引擎ByteHouse團(tuán)隊還將持續(xù)探索更通用的實時導(dǎo)入技術(shù)解決方案，進(jìn)一步提升數(shù)據(jù)導(dǎo)入的性能和通用性。