某知名證券公司優(yōu)化登錄流程，采用系統(tǒng)灰度發(fā)布形式

公司簡介

作為某知名保險企業(yè)旗下重要成員，該公司于1995年10月經(jīng)中國人民銀行批準正式成立，注冊地為北京，公司總部設(shè)在深圳。憑借母公司的雄厚資金、品牌和客戶優(yōu)勢，秉承”穩(wěn)中思變，務(wù)實創(chuàng)新”的經(jīng)營理念，該公司建立了非常完善的合規(guī)和風(fēng)險控制體系，各項業(yè)務(wù)均保持著強勁的增長態(tài)勢，目前已經(jīng)成長為國內(nèi)主流券商之一。2006年，經(jīng)中國證券業(yè)協(xié)會評審?fù)ㄟ^，該公司成為“創(chuàng)新類”券商之一。在“2007世界金融實驗室年度大獎”評選中，該公司榮獲“中國最值得信賴的十大證券公司”稱號。

案例背景

為了簡化登錄流程，進一步優(yōu)化用戶操作，產(chǎn)品部門即將上線新功能，即用戶輸入賬號后，系統(tǒng)自動選擇交易類型登錄。但考慮到全量上線可能會給后臺服務(wù)器造成過大壓力，導(dǎo)致用戶體驗受到不良影響，產(chǎn)品部門決定采用 灰度發(fā)布 的形式發(fā)布新功能。

測試方案

AppAdhoc A/B Testing采用科學(xué)的試驗流量分割，使得每一組試驗對象具備一致的用戶特征。同時，平臺還支持灰度發(fā)布的功能，企業(yè)可在試驗過程中隨時調(diào)整用戶流量，在版本穩(wěn)定無bug的前提下，逐步擴大新版的使用群體，完成產(chǎn)品新功能發(fā)布的平穩(wěn)過渡。

本次試驗采用灰度發(fā)布的方式，分批導(dǎo)入用戶流量，初始分配流量5%，在保證新功能使用流暢無bug的前提下，逐步按照10%、20%、50%調(diào)整流量，直至放量給全部用戶。定義主要優(yōu)化指標(biāo)為：次日留存率、周留存率。

測試目標(biāo)

此次試驗主要用于測試新功能的用戶使用情況，檢驗新方案有無bug，并觀察主要指標(biāo)。在保證用戶使用正常的前提下，判斷新功能是否對用戶體驗有積極影響，根據(jù)數(shù)據(jù)反饋逐步調(diào)整新功能的用戶流量，最終做出產(chǎn)品功能的上線決策。

A/B測試數(shù)據(jù)反饋

本次試驗在安卓和iOS端分別運行，每個移動端對應(yīng)兩個不同的試驗版本。通過AppAdhoc A/B Testing的灰度發(fā)布功能，此次試驗在上線一個月左右之后，試驗數(shù)據(jù)結(jié)果趨于穩(wěn)定，產(chǎn)品部門在分析過后得到了他們想要的答案。

-用戶對新功能的反響很好，從試驗數(shù)據(jù)來看，用戶的次日留存率和周留存率都一定提升；

-在試驗進行過程中，新功能未發(fā)現(xiàn)顯著bug，同時服務(wù)器壓力得到了有效緩解；

-產(chǎn)品部門根據(jù)數(shù)據(jù)反饋，發(fā)現(xiàn)新功能的上線給產(chǎn)品帶來了積極的數(shù)據(jù)改變，于是決定正式上線該功能。

特別說明：由于該公司相關(guān)隱私保護要求，本案例暫不公開該公司或產(chǎn)品的具體名稱。

Growth Hacker：介于技術(shù)和市場之間的新型團隊角色~~