A/B 測試之前必須要了解的 10 件事
如今,轉化率優化(CRO)已是營銷人員必須具備的技能,并且與 ROI 直接掛鉤。但是在優化網頁的轉化率方面又有太多因素要考量,如果你已經不堪其憂,請專心做一件事—— A/B 測試。
A/B測試,即你設計的頁面有兩個版本(A和B),A為現行的設計, B是新的設計。比較這兩個版本之間你所關心的數據(轉化率,業績,跳出率等) ,***選擇效果***的版本。
1.忘掉你原本對用戶的了解
是的,人們都太容易陷入對用戶年齡,性別,位置,或收入的假設之中。曾經,“客戶分析”是與用戶接觸的***的(甚至是唯一的)方法。即便是現在,它在市場營銷中也占有一席之地。
2.建立一條基線
誠然,提高轉換率是你的近期目標,但是在你開始 A/B 測試之前,你需要建立一條基線,如果你不知道你目前的轉換率是什么,你將如何知道你未來的測試是成功的?(更多請看第5條)
3.對別人有效的方法,對你未必適用
你必須對你自己獨特的內容與你自己獨特的用戶進行 A/B 測試。當然,你可以從其他CRO人員那里套用類似方法,但不要指望能得到相同的結果。
例如,一個銷售鞋帶公司和一個銷售企業應用軟件的公司,同樣客戶都很普遍,但是購買周期完全不會一樣。前者的網頁上修改一個按鈕顏色能提高銷量,對于后者可就未必如此。
4.一次只測試一項內容
這個是不言而喻的,但值得一提,因為非常重要。在一段時間,對一個變量進行 A/B 測試,這樣的結果是可讀的。但是如果你改變你的標題在同一時間你改變你的導航,你怎么會知道哪個變量促成了最多的轉換?
5.不要急于下結論
在 A/B 測試中,統計置信指的是如果再次運行相同的測試,是否能有相同的結果。換句話說,它會告訴你測試結果是否可信。
例如,假設在購物車頁面進行 A/B 測試,其中“A”是單選按鈕而“B”是下拉菜單。于是就有了結論,“B”提高了75%的轉換率。顯然,B更好,是這樣嗎?
不一定。因為有三個事實需要考慮:
樣本容量
還是上面的例子,如果你的樣本量為4人,這意味著只有3人喜歡下拉菜單。當然,這是一個良好的開端,但在1000的樣本量仍是這一結果的可能性極低;因此,本次測試的結果屬低置信度。
容錯率
例如,在樣本大小為500時,99%的客戶傾向于下拉菜單,你可以相當肯定的是,你的誤差率較低。如果,49%的用戶喜歡下拉菜單,51%的用戶喜歡單選按鈕,那么隨機性就不得不考慮進來了,你應該繼續運行測試,直到一個更高的置信度。
用戶規模
如果你的整個用戶群體的規模是25萬,你的樣本量為25人,這樣產生測試結果也不具有高置信水平。
6.路要一步一步走
老生常談的一名話了。隨著客戶的看法和期望的發展,CRO永遠是一個不斷前進的目標。不怕犯錯,從中練習,你就會成為一個 A/B 測試的高手。
7.多收集一些意見
用戶測試從未像現在這樣重要,也從未如此簡單!即使你沒有這樣一個部門去專門做用戶測試,也選擇一些免費和低成本的服務。
Peek by UserTesting
Peek 是一個超級簡單,快捷的方式,收集有關您的網站的定性反饋。
優點:信息反饋一般是公正的,詳細的,而且免費!
缺點:不能在其目標受眾之外測試接口。此外,費時較長。
Amazon Mechanical Turk
優點:一般比較廉價,可擴展,定量,你可以預先選擇標準。
缺點:這通常是通過調查引擎,可以引入人為的過濾器。
底線:有反饋總比沒有反饋強!
8.實際用戶表現可能和用戶調查數據相左
用戶調查會引入人員誤差,而原始用戶表現統計數據則不會有這些問題。
例如,你現在急著去開會,要打印文件卻發現打印機沒墨了,你會怎么做呢?
也許你會說,很簡單啊,換個新墨盒打印完唄。如果這是一個用戶調查,我會接受你的回答。
但是如果是在用戶測試環境,我會記下你敲了打印機4下,清除卡紙,又狂按“取消”按鈕7次,再換下墨盒。整理文件時你又打翻了咖啡,灑在了衣服上,于是只好重新安排會議時間。
在調查中,你確實沒有說謊,你也確實換墨盒了,只是會忽略前前后后那么多行為。
9.明確定義你成功的標準
不要忘記初衷: CRO 是要提高轉化率。不是打開率,點擊率,轉發率,好評率,或固定率。(除非你的網站就是做這個的)
底線:心中有一個目標,優化周圍的目標,你的內容。一切是一個關鍵績效指標(KPI)。
10.不要去測試無關緊要的因素
用你的常識去測試你的直覺,直接測試高影響因素。