火山引擎VeDI：A/B實驗如何應用在APP推薦系統(tǒng)中？

在移動互聯(lián)網(wǎng)飛速發(fā)展的時代，用戶規(guī)模和網(wǎng)絡信息量呈現(xiàn)出爆炸式增長，信息過載加大了用戶選擇的難度，這樣的背景下，推薦系統(tǒng)應運而生，為用戶提供個性化的內(nèi)容推薦。推薦系統(tǒng)在不斷迭代中，其算法、策略、特征、功能和用戶界面時常得到更新和優(yōu)化，其中推薦算法的調整尤為關鍵。然而，由于深度學習模型的廣泛應用，推薦算法調整后的用戶體驗和效果難以通過經(jīng)驗直接判斷。

為了更準確地評估和優(yōu)化推薦系統(tǒng)，A/B實驗成為了一個不可或缺的工具。A/B實驗能夠量化各項指標的變化，從而對推薦系統(tǒng)的效果進行科學評估，并為后續(xù)的優(yōu)化提供數(shù)據(jù)支持。本文將以火山引擎數(shù)智平臺VeDI旗下的A/B測試平臺（DataTester）為例，介紹字節(jié)跳動如何使用其能力，持續(xù)實現(xiàn)推薦系統(tǒng)的精準優(yōu)化。

推薦系統(tǒng)的本質是連接內(nèi)容和用戶，它構成了 <內(nèi)容，推薦系統(tǒng)，用戶> 的三元組，A/B實驗也圍繞此三元組展開。下方介紹了推薦系統(tǒng)三元組中，最常使用A/B測試的場景集合，企業(yè)可對應到自己的推薦系統(tǒng)中作為參考。

在字節(jié)跳動的推薦系統(tǒng)實踐中，A/B實驗在內(nèi)容側可以進行內(nèi)容池優(yōu)化、內(nèi)容打標優(yōu)化、視頻封面模型的優(yōu)化；用戶側（指產(chǎn)品的用戶應用方面）可以通過A/B實驗實現(xiàn)功能優(yōu)化、性能優(yōu)化、UI改進等；而在推薦系統(tǒng)方面，可以使用A/B實驗的維度更多，例如多路召回優(yōu)化、粗排和精排模型迭代升級優(yōu)化、模型多目標融合優(yōu)化、重排多樣性/興趣探索優(yōu)化、廣告收入優(yōu)化等等，可以說，在推薦系統(tǒng)中，萬物皆可A/B實驗。

需要指出的是，在進行推薦系統(tǒng)內(nèi)容側A/B實驗時，例如信息流產(chǎn)品可能會做作者發(fā)布視頻獎勵、視頻清晰度調整等，改變的是內(nèi)容側的屬性，但業(yè)務中通常觀察的是大盤用戶側的指標。在進行這類實驗時，注意轉化為用戶側實驗并輔助觀測內(nèi)容側指標來評估，權衡用戶側和內(nèi)容側的綜合收益后再決策是否上線。以視頻帶貨推薦為例，商家分潤規(guī)則調整僅對實驗用戶生效，通過對比實驗組與對照組的指標差異評估對大盤的影響的同時，可以創(chuàng)建并觀察商家入駐率等內(nèi)容側指標的變化。在大盤收入指標不變、商家入駐率指標有提升，甚至大盤收入指標微跌、商家入駐率顯著提升的情況下，都可以發(fā)布上線。

另一個注意點是，A/B實驗上線后，業(yè)務會頻繁地查看分析實驗指標。有的實驗在開啟后前幾天可能出現(xiàn)指標下跌，這種情況下不建議立即關閉實驗，因為在實際實踐中，遇到過很多起初指標下跌、后續(xù)慢慢回漲的情況，比如在一些信息流平臺的內(nèi)容的多樣性策略實驗中，當增強興趣探索后，短期可能會因為探索而出現(xiàn)用戶不感興趣的內(nèi)容變多，導致消費時長下跌；但從長期來看。探索到更多用戶興趣后，用戶黏性更強，用戶消費時長也會慢慢回漲，且更有益于平臺生態(tài)。因此在面對實驗開始指標下跌的情況，一般會建議繼續(xù)實驗至少一周以上，覆蓋觀察一個完整周后再進行評估會更加準確。

在查看指標時，企業(yè)可以多關注實驗指標下鉆分析結果，例如關注不同性別、不同年齡層用戶的指標變化，有的產(chǎn)品也會關注不同活躍度用戶、特別是新用戶和低活用戶的指標變化趨勢，因為這類用戶更決定了產(chǎn)品未來的增長。在DataTester中，可以借助用戶屬性過濾功能，查看指標的下鉆分析數(shù)據(jù)。

火山引擎DataTester作為火山引擎數(shù)智平臺VeDI旗下的核心產(chǎn)品，源于字節(jié)跳動長期的技術和業(yè)務沉淀。目前，DataTester已經(jīng)服務了包括美的、華泰證券、博西家電、樂刻健身等知名品牌在內(nèi)的上百家企業(yè)。這些企業(yè)通過不斷進行的A/B測試和優(yōu)化迭代，提升產(chǎn)品與服務質量，從而實現(xiàn)業(yè)務持續(xù)的優(yōu)化和增長。