本文轉載自微信公眾號「巡山貓說數據」，作者巡山貓。轉載本文請聯系巡山貓說數據公眾號。

你好，這里是巡山貓編輯部，我是巡山貓。

我們經常遇到產品需要加一個新功能，當功能上線后，產品經理總會找我們建立指標體系，分析相關產品效果。

那么問題來了：我們應從哪幾個角度去入手，才能更好地評估一個功能的具體效果呢?

整體來說，需要從三個層次來度量產品效果：

• 從大盤出發，度量該功能對整體產品的一個貢獻
• 從產品本身出發，分析產品本身的效果
• 從技術層面出發，為了保證技術層面的服務不受影響，建立護欄指標

大盤貢獻

首先要明確，我們做一個產品，或者說頁面/功能時，我們一定有一個明確的業務目標，是提升用戶在產品上的什么效果。

比如我們在京東中增加了秒殺板塊，是為了讓用戶感受到某些產品更便宜，從而提升用戶的購買次數，從而提升整體的 GMV。

所有的這些功能，我們都需要有一些明確的指標來衡量，產品對大盤的貢獻。最基礎的就是這個功能的 UV 在大盤中的占比。

但是這只是縱向的貢獻，我們還要從橫向上來度量對大盤的貢獻，也就是我們要基于這個功能的核心目的(如搜索次數、被查看次數、GMV等)，建立與大盤上該指標的聯系，才能更好地衡量該功能對大盤的貢獻。

切忌不要張口就說，提升用戶滿意度。

首先，什么是滿意度，我們沒有一個明確的指標來度量，因為用戶滿意度是使用次數增加還是停留時間增加?或者是后期的留存率提升?無法定義就無法度量。

其次，我們沒有定義出什么是滿意度，沒有具體的指標映射到產品上，我們如何去做產品迭代?

所以，我們在大盤貢獻這一層，要基于功能的目標，非常清晰地構建與大盤的聯系，這個聯系一定是某些可度量的指標上的聯系。

比如：

UV上的指標，與大盤的聯系可以是 UV 滲透率

PV 上的指標的聯系可以是 PV 占比

停留時長上的聯系可以是該功能的停留時長在整體 App 停留時長上的占比

功能效果

整理完對大盤的貢獻，我們還需要評估項目本身。

那一般來說，一個功能的效果該從哪些角度來評估呢?我們來看下面這個圖

從圖中我們可以看到，當一個功能被增加，那一定會在用戶的使用鏈路上體現出來。 那相應地，縱向的指標就很好確定了：當前功能的 UV、PV，對比上一層的漏斗(滲透率)以及留存率相關的指標。 橫向指標又需要哪些呢?從圖中我們可以看到，一個功能從開始使用到使用完成，經過的過程是進入該功能→在功能中停留、點擊、消費、跳轉→最后又退出該功能。 那相應的功能指標也需要將這一些動作包含進去。比如常見頁面的 CTR、頁面停留時長、頁面跳出率等。 這里的目的是度量出用戶在整體功能中的操作的步驟，查看用戶的消費情況。

整體說下來，關于功能本身的效果評估，我們可以：縱向上度量功能本身的流量的大小和留存的情況;橫向上去根據整體功能的操作路徑，建立功能上的消費指標。 橫向和縱向結合，就能比較清楚地了解當前功能的效果。

護欄指標

可能看到 “護欄指標” 這幾個字會比較懵，會疑惑什么是護欄指標。

這個通俗來說，是一種對效果評估補充的服務層指標。

舉個例子，我們上線了某功能，但是該功能占用的服務器內存特別大，雖然功能效果很好，但是經常會導致 App 白屏或者崩潰。

這時候，我們就需要從服務器層面，去監控比如“XX失敗率”這樣的指標。而這些指標就是護欄指標。

護欄指標的意義在于，我們不僅能從大盤貢獻和功能效果層面去評估某個功能的價值，還可以從服務層面保證用戶的體驗沒有下降(比如打開某頁面等待時長沒有從 1s 上漲至 5s)。

因為往往很多時候，功能有沒有效果還不是那么重要，如果我們從最直接的交互上損害了用戶的體驗而導致用戶流失，反而是最得不償失的。

但是也不需要緊張，并不是所有頁面和功能都需要護欄指標。

比如常見視頻的播放、頁面的加載、活動的下發，這幾種往往需要監控一些失敗率及大盤上的加載效率。而一些小功能的添加，我們就監控一下最基礎的頁面白屏率就可以了。

總結

綜合以上的三個層次，我們可以總結出來，當一個新功能需要評估時，我們可以按照以下步驟來進行評估。

1、確定功能目標

確定所需要度量的功能的目標是什么，是做一個活動頁面短期刺激用戶量，還是做一個功能長期提升用戶留存率。這個其實就是最基礎的兩個目的，我們也可以從這兩個目的出發，開始我們的第二個步驟。

2、梳理整體指標

上文我們說到，評估功能需要有三個層次去考慮。

第一：從大盤的角度出發，根據當前功能的核心目的，建立當前功能與大盤的聯系，拆解出對大盤指標的貢獻;

第二：從功能本身出發，縱向查看功能流量，橫向度量功能消費情況;

第三：從服務層面出發，保證用戶在一系列的交互使用上體感良好。

這也就是第二步梳理整體指標。

3、對比功能效果

最后，我們建立了度量的指標，整體有了量化的標準。還需要一件事：對比。

沒有對比就沒有結論，我們可以用當前使用該功能的用戶對比未使用該功能的用戶，或者用當前功能的數據對比類似功能的數據效果。當然我們如果能拿到競品數據，對比競品數據更好了。