百度文心一言“翻身”，騰訊、阿里該如何應(yīng)對(duì)？

撰 文丨張   遠(yuǎn)

在昨天的發(fā)布會(huì)上，李彥宏通過(guò)演示視頻展示了文心一言在文本創(chuàng)作、數(shù)理推算、中文理解與多模態(tài)生成等方面的能力，卻并未測(cè)試其在多輪連續(xù)對(duì)話、上下文語(yǔ)意理解、邏輯推理等方面的表現(xiàn)，通常這些才被認(rèn)為是ChatGPT的突破之處。因此，。

隨著越來(lái)越多內(nèi)測(cè)用戶(hù)開(kāi)始與文心一言深度互動(dòng)，這一印象似乎被進(jìn)一步加深。從眾多網(wǎng)友及文娛價(jià)值官的實(shí)際測(cè)試過(guò)程中可以看出，文心一言的in-context learning能力差強(qiáng)人意，某些時(shí)候不能正確理解用戶(hù)的提問(wèn)。同時(shí)，文心一言也并沒(méi)有熟練掌握邏輯推理鏈條，一旦用戶(hù)繼續(xù)追問(wèn)，文心一言往往顯得窮于應(yīng)付。

相比之下，文心一言在文本生成、世界知識(shí)等方面的表現(xiàn)則令人驚喜，雖然很多時(shí)候生成內(nèi)容的深度與精細(xì)程度不如ChatGPT，但更多是由于訓(xùn)練過(guò)程中語(yǔ)料質(zhì)量的限制，后續(xù)可以實(shí)現(xiàn)進(jìn)一步提升。

基于文心一言的表現(xiàn)，有業(yè)內(nèi)人士推斷它已經(jīng)具備了GPT-3的同等能力，與ChatGPT背后的GPT-3.5仍然存在代差，更不用說(shuō)OpenAI剛剛發(fā)布的GPT-4了。

盡管如此，該業(yè)內(nèi)人士依然表示文心一言超出了預(yù)期，因?yàn)樵诖酥埃瑖?guó)內(nèi)尚且沒(méi)有一款大模型能達(dá)到GPT-3的水平，文心一言至少走在了一條正確的道路上。如同GPT-3一樣，文心一言也擁有巨大的進(jìn)化潛能，后續(xù)如果像OpenAI一樣進(jìn)行代碼訓(xùn)練、指令微調(diào)和基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF），或許也能夠最終解鎖GPT-3.5所擁有的突現(xiàn)能力（Emergent Ability）。

在發(fā)布會(huì)上，百度首席技術(shù)官王海峰曾提到文心一言的模型“訓(xùn)練不夠充分”，背后的潛臺(tái)詞是：文心一言訓(xùn)練過(guò)程中使用的人工標(biāo)注數(shù)據(jù)有限，也并未充分借助RLHF這一ChatGPT背后的“秘密武器”，而更多依靠百度自身的技術(shù)積累。

在去年5月文心大模型首場(chǎng)技術(shù)開(kāi)放日直播分享中，百度技術(shù)委員會(huì)主席吳華曾提到，文心ERNIE的特色之一就是從大規(guī)模知識(shí)圖譜和無(wú)標(biāo)注、無(wú)結(jié)構(gòu)化的文本中去學(xué)習(xí)，能夠用少量任務(wù)數(shù)據(jù)取得非常好的效果。這條路徑正是針對(duì)高質(zhì)量中文語(yǔ)料稀缺，人工標(biāo)注知識(shí)門(mén)檻（需要語(yǔ)言及專(zhuān)業(yè)領(lǐng)域?qū)＜覉F(tuán)隊(duì)）及成本較高的“痛點(diǎn)”。在中文知識(shí)圖譜領(lǐng)域，百度多年以來(lái)有著深厚積累，可以用來(lái)增強(qiáng)模型知識(shí)之間的關(guān)聯(lián)，提升文本語(yǔ)義理解能力。

不僅如此，知識(shí)圖譜也有助于解決目前大語(yǔ)言模型“一本正經(jīng)胡說(shuō)八道”的問(wèn)題，對(duì)于下一代搜索引擎而言，這個(gè)問(wèn)題顯得尤為關(guān)鍵，未來(lái)大語(yǔ)言模型與知識(shí)圖譜的相互結(jié)合將是大勢(shì)所趨。

有分析認(rèn)為Bing可以借助ChatGPT與Google的知識(shí)圖譜相抗衡，但從目前New Bing的表現(xiàn)來(lái)看，盡管它可以實(shí)時(shí)搜索全網(wǎng)內(nèi)容，且提供了可供核查的信息來(lái)源，但如同ChatGPT一樣，它在專(zhuān)業(yè)領(lǐng)域無(wú)法保證正確率。一位業(yè)內(nèi)人士表示：“單純的生成式模型沒(méi)法確切的給出正確答案，尤其是當(dāng)語(yǔ)料庫(kù)本身有缺陷時(shí)。這意味著，在某些專(zhuān)業(yè)領(lǐng)域答案不應(yīng)該生成而是從知識(shí)圖譜抽取?！?/p>

因此，有了文心一言加持的百度下一代搜索引擎，在信息獲取方面的使用體驗(yàn)可能會(huì)比New Bing更為可靠，雖然可玩性上尚且存在明顯差距。

外部刺激下

騰訊大模型終于不再“各自為戰(zhàn)”

在昨天的發(fā)布會(huì)上，李彥宏一再?gòu)?qiáng)調(diào)百度是全球大廠中首個(gè)做出來(lái)對(duì)標(biāo)ChatGPT產(chǎn)品的。文心一言的率先搶跑，也必然會(huì)刺激騰訊、阿里、字節(jié)等國(guó)內(nèi)大廠的追趕步伐。

2月27日，有消息稱(chēng)騰訊方面或已針對(duì)類(lèi) ChatGPT 產(chǎn)品成立“ 混元助手（HunyuanAide）”項(xiàng)目組，目標(biāo)是聯(lián)合內(nèi)部團(tuán)隊(duì)構(gòu)建大參數(shù)語(yǔ)言模型。當(dāng)然，在此之前騰訊在大模型領(lǐng)域已經(jīng)“早有布局”，只不過(guò)之前更多是騰訊AILab團(tuán)隊(duì)的單打獨(dú)斗，目標(biāo)也是為內(nèi)部產(chǎn)品線及騰訊云客戶(hù)技術(shù)賦能，這一次則是打破部門(mén)藩籬，集聚全廠之力共同攻關(guān)。

相比百度借助于知識(shí)圖譜實(shí)現(xiàn)大模型突圍，騰訊AILab此前的著力點(diǎn)是盡可能以最小成本訓(xùn)練大模型，從而突破算力及存儲(chǔ)瓶頸。

2022年12月，騰訊對(duì)外宣布用256卡最快一天就可以訓(xùn)完萬(wàn)億參數(shù)NLP大模型，“只需要用少量的標(biāo)注數(shù)據(jù)微調(diào)，就可以取得較好的效果?！睂?shí)驗(yàn)顯示，在騰訊太極機(jī)器學(xué)習(xí)平臺(tái)自研的訓(xùn)練框架 ZeRO-Cache 上，僅需32張卡就可以實(shí)現(xiàn)GPT-3（175B）的模型訓(xùn)練。這一模型訓(xùn)練方法的著眼點(diǎn)，仍在于降低業(yè)務(wù)的使用成本。之所以在這個(gè)方向上發(fā)力，則可能是由于AILab是“業(yè)務(wù)導(dǎo)向”，自身很難獲取到高質(zhì)量的標(biāo)注數(shù)據(jù)，只能盡可能把刀磨得鋒利。

相比之下，微信AI團(tuán)隊(duì)自研的WeLM（Well-Read Language Model）雖然最大訓(xùn)練參數(shù)只有100億，卻可以采用多樣化的網(wǎng)頁(yè)、書(shū)籍、新聞、論壇、論文的10TB數(shù)據(jù)集進(jìn)行訓(xùn)練，從而能夠先于ChatGPT低調(diào)上線。

不過(guò)，WeLM 并不是聊天機(jī)器人，而只是一個(gè)補(bǔ)全用戶(hù)輸入信息的生成模型。因?yàn)橛?xùn)練深度有限，WeLM 對(duì)于精準(zhǔn)提示詞的依賴(lài)性要高于ChatGPT，尚未解鎖zero-shot 泛化能力，不僅如此，有媒體測(cè)試發(fā)現(xiàn)，一旦面臨高強(qiáng)度輸出還會(huì)出現(xiàn)GPU過(guò)載問(wèn)題。當(dāng)ChatGPT橫空出世之后，已經(jīng)無(wú)人關(guān)注微信團(tuán)隊(duì)的這個(gè)實(shí)驗(yàn)品。

由此，也可以看出騰訊在大模型領(lǐng)域部門(mén)之間的“各自為戰(zhàn)”，在外力的刺激之下，“混元助手“項(xiàng)目有望打破這種割據(jù)狀態(tài)。

雖然騰訊沒(méi)有百度強(qiáng)大的知識(shí)圖譜，但微信公眾平臺(tái)被視為中文互聯(lián)網(wǎng)上質(zhì)量最高的內(nèi)容庫(kù)，微信讀書(shū)也可以扮演Project Gutenberg在ChatGPT訓(xùn)練過(guò)程中所扮演的角色，如果騰訊能不惜投入建立自己的高質(zhì)量訓(xùn)練語(yǔ)料庫(kù)，搭配那一把鋒利的“寶刀”，或許在不久的將來(lái)就能帶給我們驚喜。

前年就訓(xùn)練出“中文版GPT-3”

去年阿里卻做了“瑞士軍刀”

早在2021年4月，阿里達(dá)摩院就宣布僅用128張卡就訓(xùn)練出了“中文版GPT-3”P(pán)LUG。然而，由于訓(xùn)練參數(shù)（參數(shù)量只有270億，相比GPT-3的1750億差了一個(gè)數(shù)量級(jí)）及語(yǔ)料質(zhì)量上的差距，這個(gè)“中文版GPT-3”顯得名不副實(shí)，在當(dāng)時(shí)也并未掀起什么水花。

去年，阿里達(dá)摩院宣布實(shí)現(xiàn)大模型領(lǐng)域的“大一統(tǒng)”——模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)統(tǒng)一，從而實(shí)現(xiàn)在低資源消耗的前提下覆蓋更多行業(yè)的應(yīng)用場(chǎng)景（宣稱(chēng)落地場(chǎng)景200+），猶如一把便宜的瑞士軍刀，至于在各項(xiàng)能力上好不好用就是另一回事了。在尚未把某一把刀磨好之前，達(dá)摩院似乎已經(jīng)急于把它們組裝起來(lái)尋找買(mǎi)家了。

直到ChatGPT火遍全球之后，阿里才意識(shí)到自己兩年前就已經(jīng)“做出來(lái)了”，開(kāi)始向外曝光達(dá)摩院版的ChatGPT，只是不知道會(huì)如何把它從已經(jīng)“大一統(tǒng)”的“通義”大模型中“解放”出來(lái)，然后傾全院之力專(zhuān)注磨好這一把刀。

至于上個(gè)月才剛剛加入“大模型熱潮”的字節(jié)，雖然是大廠中動(dòng)作最晚的一個(gè)，卻也避免了如上面幾家那樣走彎路。不僅如此，字節(jié)的目標(biāo)也很明確務(wù)實(shí)：搜索部門(mén)牽頭，各個(gè)部門(mén)通力配合，將大模型與搜索、廣告等下游業(yè)務(wù)深度結(jié)合。

雖然字節(jié)在文字內(nèi)容方面缺乏積累，但在視頻、圖像方面的數(shù)據(jù)卻是上述幾家無(wú)法比擬的。當(dāng)多模態(tài)大模型未來(lái)成為主流，這將是一座難以被撼動(dòng)的壁壘。

（部分圖片來(lái)自網(wǎng)絡(luò)，如有版權(quán)問(wèn)題請(qǐng)聯(lián)系編輯）