向量數(shù)據(jù)庫(kù)，為什么是大模型的最佳拍檔？

文｜郝 ?? 鑫

編｜劉雨琦、王一粟

在決定做向量數(shù)據(jù)庫(kù)之前，騰訊云也糾結(jié)過(guò)。

“是選擇走RAG（檢索增強(qiáng)生成）技術(shù)路線，還是做向量數(shù)據(jù)庫(kù)”，“向量數(shù)據(jù)庫(kù)會(huì)不會(huì)被大模型所替代”，“向量數(shù)據(jù)庫(kù)究竟有沒(méi)有未來(lái)”……

4月份，就連OpenAI也沒(méi)有做出選擇，同時(shí)在RAG和向量數(shù)據(jù)庫(kù)兩個(gè)方向進(jìn)行探索。

一個(gè)多月深入行業(yè)調(diào)研過(guò)后，騰訊云發(fā)現(xiàn)，從向量化到部署，企業(yè)在構(gòu)建向量數(shù)據(jù)庫(kù)過(guò)程中困難重重。

大模型公司百川智能相關(guān)負(fù)責(zé)人表示，在沒(méi)有向量數(shù)據(jù)庫(kù)之前，我們用的是一些開(kāi)源工具。比如向量索引，它作為內(nèi)核是可以用的，但是一旦當(dāng)數(shù)據(jù)量到達(dá)一定規(guī)模后，牽扯到分布式數(shù)據(jù)、分布式系統(tǒng)的問(wèn)題，就會(huì)遇到瓶頸。

“做！市場(chǎng)有需求，集團(tuán)內(nèi)部有訴求，為什么不做？”，騰訊云向量數(shù)據(jù)庫(kù)產(chǎn)品負(fù)責(zé)人鄒鵬給出了肯定的建議。

5月立項(xiàng)，8月正式上云提供服務(wù)，11月功能升級(jí)，騰訊云向量數(shù)據(jù)庫(kù)行駛在了快車(chē)道上。

技術(shù)無(wú)好壞，只有路徑選擇之分，能不能真正用起來(lái)還得等待市場(chǎng)的檢驗(yàn)。但現(xiàn)在，更為重要的是，站在分岔路口，有沒(méi)有堅(jiān)定落子的勇氣。

大模型時(shí)代，云廠商不僅僅是MaaS服務(wù)的提供商，更是基礎(chǔ)設(shè)施的構(gòu)建者。

要想讓大模型真正用起來(lái)，僅有算法、算力還遠(yuǎn)遠(yuǎn)不夠，必須有高效、低成本的數(shù)據(jù)使用方法。

“AGI時(shí)代，也需要智能化的數(shù)據(jù)調(diào)度范式，向量數(shù)據(jù)庫(kù)就是數(shù)據(jù)的中樞”，騰訊云數(shù)據(jù)庫(kù)副總經(jīng)理羅云道。

但要成為一個(gè)堅(jiān)實(shí)的底座，并不容易。國(guó)產(chǎn)大模型飛奔了一年，仍然以修煉內(nèi)功為主。

大模型應(yīng)用到現(xiàn)在不能完全落地，一個(gè)重要的原因是，大模型能力雖然已經(jīng)獲得了突飛猛進(jìn)的增長(zhǎng)，但關(guān)于數(shù)據(jù)的技術(shù)還停留在原地。

而這種滯后和空缺，對(duì)國(guó)內(nèi)廠商來(lái)說(shuō)也是巨大的機(jī)會(huì)。無(wú)論從大模型的行業(yè)應(yīng)用，還是未來(lái)Agent構(gòu)建與落地都在倒逼著數(shù)據(jù)技術(shù)的進(jìn)一步升級(jí)和產(chǎn)品化落地。

向量數(shù)據(jù)庫(kù)，大模型的“最佳拍檔”

“記憶、幻覺(jué)、新鮮度和數(shù)據(jù)安全”，大模型在實(shí)際落地的時(shí)候，還存在著四大主要問(wèn)題。

要想解決這四大問(wèn)題，需要數(shù)據(jù)的優(yōu)化與模型精調(diào)一起進(jìn)行，這時(shí)候，海量的數(shù)據(jù)如何存儲(chǔ)？如何調(diào)?。烤统蔀橐淮箅y題。

羅云認(rèn)為，“計(jì)算和存儲(chǔ)一定是分開(kāi)的。大模型是計(jì)算引擎，改變的是計(jì)算方式，存儲(chǔ)需要其他產(chǎn)品來(lái)做，我們認(rèn)為是向量數(shù)據(jù)庫(kù)”。

這好比大模型是計(jì)算器，向量數(shù)據(jù)庫(kù)是賬本，一個(gè)會(huì)計(jì)先拿計(jì)算器算賬，再拿賬本謄抄記錄。

向量數(shù)據(jù)庫(kù)+大模型，兩者就是“最佳拍檔”。

向量數(shù)據(jù)庫(kù)本身就是大模型的“外腦”，大模型有上下文token的限制，雖然擅長(zhǎng)推理和內(nèi)容生成，但是缺乏長(zhǎng)期的記憶能力。外接向量數(shù)據(jù)后，大模型就有了記憶，能夠記住用戶對(duì)話的歷史內(nèi)容，還能越過(guò)多輪對(duì)話進(jìn)行分析、推理。

在大模型存在“幻覺(jué)”上幾乎已經(jīng)達(dá)成了共識(shí)，盡管大模型通過(guò)預(yù)訓(xùn)練積累了大量的知識(shí)，但還遠(yuǎn)遠(yuǎn)不夠，面對(duì)一些細(xì)分領(lǐng)域的問(wèn)題仍然嚴(yán)重不足。有了向量數(shù)據(jù)，大模型就能瞬間被灌輸各種專(zhuān)業(yè)知識(shí)，劃定問(wèn)題答案的范圍。

大模型對(duì)數(shù)據(jù)的更新速度也相當(dāng)滯后，GPT-4 Turbo也只更新到了2023年4月，而有了向量數(shù)據(jù)庫(kù)，大模型就聯(lián)上了網(wǎng)，可以隨時(shí)更新動(dòng)態(tài)。

數(shù)據(jù)安全是企業(yè)最看重的事情，對(duì)企業(yè)來(lái)說(shuō)，根本無(wú)法放心把核心的經(jīng)營(yíng)數(shù)據(jù)、合同文件等機(jī)密上傳到大模型上。但是，通過(guò)向量數(shù)據(jù)庫(kù)的方式，企業(yè)就可以完成本地化部署，大模型僅發(fā)揮分析處理的功能，而不會(huì)上傳、備份數(shù)據(jù)。

解決大模型問(wèn)題的方法有很多，除了外掛向量數(shù)據(jù)庫(kù)，還存在大模型微調(diào)、使用RAG技術(shù)等做法。

大模型微調(diào)方式好比供一個(gè)孩子從小學(xué)念到大學(xué)甚至研究生；向量數(shù)據(jù)庫(kù)就像開(kāi)卷考試，大模型完全不需要學(xué)習(xí)理解，只要能寫(xiě)出答案就行；RAG則是更往下落地的場(chǎng)景，需要結(jié)合向量數(shù)據(jù)庫(kù)才能發(fā)揮作用。

其中差別，高下立見(jiàn)，比起大模型微調(diào)、RAG，向量數(shù)據(jù)庫(kù)顯然速度更快，成本也更低。

更進(jìn)一步來(lái)看，基于大模型底層能力去打造AI原生應(yīng)用和構(gòu)建AI Agent，同樣離不開(kāi)向量數(shù)據(jù)庫(kù)。

正如銷(xiāo)售易所言：“有了向量數(shù)據(jù)庫(kù)，就等于先把企業(yè)的數(shù)據(jù)庫(kù)、支持文檔存在向量數(shù)據(jù)庫(kù)里做優(yōu)先預(yù)處理，解鎖完成后再和大模型結(jié)合回答用戶的問(wèn)題。在這個(gè)基礎(chǔ)下，企業(yè)的應(yīng)用才能做出，相當(dāng)于向量數(shù)據(jù)庫(kù)是企業(yè)級(jí)應(yīng)用數(shù)據(jù)的根基?！?/p>

向量數(shù)據(jù)庫(kù)如何走向產(chǎn)品化？

向量數(shù)據(jù)庫(kù)并不是一個(gè)新鮮事，但問(wèn)題在于，如何把海量非結(jié)構(gòu)化的數(shù)據(jù)，讓大模型真正用起來(lái)？

向量數(shù)據(jù)庫(kù)有兩層含義，首先是“向量”，其次是“數(shù)據(jù)庫(kù)”。

羅云認(rèn)為，“向量”是AGI時(shí)代的“中間數(shù)據(jù)格式”，“通過(guò)向量可以抹平不同數(shù)據(jù)格式之間的差異，既可以把圖片、視頻轉(zhuǎn)換成向量，也可以把歷史積累的數(shù)據(jù)利用起來(lái)，在AGI時(shí)代怎么快速識(shí)別信息、數(shù)據(jù)，也要靠向量”。

如果說(shuō)向量是中間過(guò)程，那么數(shù)據(jù)庫(kù)才是歸宿，有了存儲(chǔ)、調(diào)用數(shù)據(jù)的地方才能用起來(lái)。

“大模型+向量數(shù)據(jù)庫(kù)”的運(yùn)作過(guò)程是這樣的：先把長(zhǎng)文檔進(jìn)行拆分，各個(gè)片段進(jìn)行向量化，作為儲(chǔ)備知識(shí)存儲(chǔ)在向量數(shù)據(jù)庫(kù)中；當(dāng)用戶發(fā)生提問(wèn)，提問(wèn)內(nèi)容又會(huì)二次向量化，在向量數(shù)據(jù)庫(kù)中進(jìn)行相似性檢索，找到答案后，再由大模型輸出文本。這過(guò)程中存在最大的難點(diǎn)就是，如何減少信息的損耗，以及提升召回率。

羅馬不是一天建成的，向量數(shù)據(jù)庫(kù)也是，現(xiàn)在騰訊云向量數(shù)據(jù)庫(kù)經(jīng)歷了底座建立-內(nèi)部搜推廣業(yè)務(wù)應(yīng)用-產(chǎn)品上云開(kāi)放-迭代升級(jí)幾個(gè)階段。

據(jù)鄒鵬介紹，騰訊云向量數(shù)據(jù)庫(kù)的內(nèi)核底座早在2019年已經(jīng)成型，廣泛應(yīng)用與搜索、推薦、廣告相關(guān)業(yè)務(wù)，涉及QQ瀏覽器、騰訊視頻、騰訊新聞、騰訊地圖等多個(gè)應(yīng)用。

也就是說(shuō)，直到2023年5月，騰訊云決定正式立項(xiàng)前，向量數(shù)據(jù)庫(kù)已經(jīng)在內(nèi)部各個(gè)BG上跑了四年，這也是只花了三個(gè)月時(shí)間，就能上線和對(duì)外提供服務(wù)的原因之一。

正是基于向量化和數(shù)據(jù)庫(kù)方面累積的經(jīng)驗(yàn)，騰訊云才能直接上線企業(yè)級(jí)的向量數(shù)據(jù)庫(kù)。

在企業(yè)級(jí)能力方面，自7月份正式發(fā)布以來(lái)，騰訊云向量數(shù)據(jù)庫(kù)經(jīng)過(guò)多次迭代升級(jí)，最高支持千億級(jí)向量規(guī)模和500萬(wàn)QPS峰值能力，可用性達(dá)99.99%，相同內(nèi)存可以存儲(chǔ)5-10倍的數(shù)據(jù)。

高性能、低成本，形成了騰訊云向量數(shù)據(jù)庫(kù)在行業(yè)中的競(jìng)爭(zhēng)力。性能方面，無(wú)論是128維度還是768維度，騰訊云向量數(shù)據(jù)庫(kù)的QPS峰值能力都遠(yuǎn)高于行業(yè)平均水平，其中128維度領(lǐng)先行業(yè)平均水平四倍以上，768維度也有兩倍以上的優(yōu)勢(shì)；但具體到單QPS成本方面，騰訊云向量數(shù)據(jù)庫(kù)又把價(jià)格做到了普惠，128維度的單QPS成本只有行業(yè)的七分之一，768維度只有行業(yè)的四分之一。

同時(shí)，作為一款A(yù)I原生數(shù)據(jù)庫(kù)，從接入層、計(jì)算層、到存儲(chǔ)層都進(jìn)行了智能化的升級(jí)，核心是能夠讓企業(yè)用自然語(yǔ)言與數(shù)據(jù)產(chǎn)生互動(dòng)。

針對(duì)信息損耗和召回的痛點(diǎn)，騰訊云推出了國(guó)內(nèi)首個(gè)端到端的向量數(shù)據(jù)庫(kù)解決方案，將端到端召回率提高30%，并且縮短了數(shù)據(jù)接入AI的時(shí)間。

向量化、封裝為數(shù)據(jù)庫(kù)固然重要，但要繼續(xù)將其打造成一個(gè)產(chǎn)品化的向量數(shù)據(jù)庫(kù)，對(duì)很多廠商提出了挑戰(zhàn)。相比于新興的數(shù)據(jù)庫(kù)廠商，大廠顯然在產(chǎn)品化方面更為老練。

騰訊一直堅(jiān)持的產(chǎn)品思路是“即開(kāi)即用”，一站式產(chǎn)品化也自然成為做向量數(shù)據(jù)庫(kù)的解決思路。

羅云團(tuán)隊(duì)在調(diào)研中發(fā)現(xiàn)，企業(yè)很急迫，但根本不知道什么樣數(shù)據(jù)可以向量化，如何向量化存儲(chǔ)，如何使用向量數(shù)據(jù)庫(kù)以及如何與大模型相結(jié)合。

“最大的痛點(diǎn)在于，如何打通企業(yè)的行業(yè)know how，和AI的整個(gè)技術(shù)?！保?/strong>羅云表示。

向量數(shù)據(jù)庫(kù)發(fā)揮功能也不是一蹴而就的，客戶的數(shù)據(jù)加工流程非常復(fù)雜，要解決分段、向量化、二次向量化等各種問(wèn)題。

基于此，騰訊云的端到端向量數(shù)據(jù)庫(kù)解決方案中，包含了文本智能化分割、選擇向量化模型、幫助客戶建立索引、智能化排序、數(shù)據(jù)接入全流程的服務(wù)。利用騰訊云的AI智能化套件，僅用100行代碼就可快速搭建起一個(gè)企業(yè)級(jí)的本地知識(shí)庫(kù)。

百川智能表示：“向量數(shù)據(jù)庫(kù)是一站式的端到端的一套完整技術(shù)棧。第一塊就是幫助數(shù)據(jù)分片，我們每天的數(shù)據(jù)量大約是2億，在沒(méi)有騰訊云向量數(shù)據(jù)庫(kù)之前，處理會(huì)比較慢，因?yàn)椴皇且粋€(gè)并發(fā)的任務(wù)，必須只能單線程序去做。第二塊像數(shù)據(jù)導(dǎo)入、數(shù)據(jù)批量更新，速度也快了很多。”

“通過(guò)全過(guò)程的介入，不僅解決企業(yè)有的問(wèn)題，更保證了向量數(shù)據(jù)庫(kù)使用的效果”，鄒鵬這樣總結(jié)一站式的優(yōu)勢(shì)。

技術(shù)實(shí)用性大于路徑選擇

盡管向量數(shù)據(jù)庫(kù)發(fā)展仍在很早期，落地過(guò)程仍有很多問(wèn)題，離大規(guī)模復(fù)制也很遠(yuǎn)，但騰訊云做了更深層次的思考，將其擺在了戰(zhàn)略發(fā)展地位。

羅云表示：“從編程語(yǔ)言到自然語(yǔ)言，大模型重塑了算力調(diào)度方式。而AGI時(shí)代，也需要智能化的數(shù)據(jù)調(diào)度范式，AGI時(shí)代的數(shù)據(jù)平臺(tái)，向量數(shù)據(jù)庫(kù)就是數(shù)據(jù)的中樞，騰訊云向量數(shù)據(jù)庫(kù)希望成為這個(gè)數(shù)據(jù)中樞，通過(guò)企業(yè)級(jí)和智能化的能力助力各行各業(yè)一起走向AGI?！?/strong>

相對(duì)應(yīng)地，OpenAI開(kāi)發(fā)者大會(huì)引入了Assistants的新概念，取消了一部分純向量數(shù)據(jù)庫(kù)的應(yīng)用，再次強(qiáng)化了RAG的路線。

無(wú)論是向量數(shù)據(jù)庫(kù)、微調(diào)、RAG，任何一種技術(shù)路徑想要成為主流，多數(shù)情況下并不在于純技術(shù)能力有多強(qiáng)，而是在于最后有多少人在使用它。畢竟，場(chǎng)景才是技術(shù)最鋒利的磨刀石。

不過(guò)，在具體使用過(guò)程中，向量數(shù)據(jù)庫(kù)作為一個(gè)相對(duì)新的數(shù)據(jù)使用范式，也存在很多問(wèn)題：成本高昂、標(biāo)準(zhǔn)不統(tǒng)一等。

既然有戰(zhàn)略決心，想要在向量數(shù)據(jù)庫(kù)方面布局，騰訊也下了不少功夫解決實(shí)際問(wèn)題。

在價(jià)格方面，相比于國(guó)外微軟等公司從向量化環(huán)節(jié)就按美分收費(fèi)，騰訊云憑一己之力就將整體企業(yè)使用成本打了下來(lái)；時(shí)間效率方面，騰訊云實(shí)現(xiàn)了企業(yè)數(shù)據(jù)接入的一體化，從文本切分、向量化到導(dǎo)入，效率提升了10倍。

另外，騰訊云也在利用大廠的影響力，讓更多的企業(yè)用好向量數(shù)據(jù)庫(kù)。據(jù)悉，目前騰訊云向量數(shù)據(jù)庫(kù)已經(jīng)累積服務(wù)了騰訊內(nèi)部40多個(gè)業(yè)務(wù)，日請(qǐng)求量達(dá)1600億次，服務(wù)了包括博世、銷(xiāo)售易、搜狐、好未來(lái)、鏈家等在內(nèi)的超過(guò)1000家外部客戶。

例如，在SaaS領(lǐng)域，幫助企業(yè)客戶快速構(gòu)建私域知識(shí)庫(kù)、智能客服系統(tǒng)；在電商行業(yè)，使用向量數(shù)據(jù)庫(kù)來(lái)提升推薦、搜索、廣告業(yè)務(wù)的推薦效果；在出行行業(yè)，使用向量數(shù)據(jù)庫(kù)來(lái)加速自動(dòng)駕駛模型訓(xùn)練，此外，在教育行業(yè)以及文創(chuàng)等行業(yè)也有廣泛應(yīng)用。

銷(xiāo)售易表示：“未來(lái)，基于與騰訊云向量數(shù)據(jù)庫(kù)的合作，將重塑現(xiàn)有的一些核心場(chǎng)景，如銷(xiāo)售管理系統(tǒng)上的內(nèi)部知識(shí)檢索，還有潛在客戶的推薦和建日程、訂單或查詢(xún)CRM系統(tǒng)，搭建客戶機(jī)器人和智能工單系統(tǒng)。后續(xù)，還想把PaaS平臺(tái)通過(guò)智能的方式去幫助企業(yè)按需生成應(yīng)用平臺(tái)?！?/p>

大模型+向量數(shù)據(jù)庫(kù)，將為AGI 時(shí)代的應(yīng)用落地鋪設(shè)一條數(shù)據(jù)的高速公路。