如何做好一場NPS調(diào)研?
?我們在工作中經(jīng)常遇到的一個詞,那就是“產(chǎn)品NPS調(diào)研”。當部分項目缺少專業(yè)的用研人員時,設(shè)計師、產(chǎn)品經(jīng)理則經(jīng)常會接受上級的要求,投身于NPS調(diào)研工作。
筆者也曾在2022年的某天突然接到一款產(chǎn)品年度NPS調(diào)研的任務(wù)。那么,NPS調(diào)研究竟該怎么做?下面將根據(jù)筆者的個人經(jīng)歷復(fù)盤,帶領(lǐng)大家重溫NPS的調(diào)研方法。
1、NPS基礎(chǔ)知識
1.1 什么是NPS?
NPS的核心就是:調(diào)研用戶對你產(chǎn)品的忠誠度。
1.2 NPS的計算規(guī)則
如何計算NPS值?我們一般通過詢問用戶“是否愿意向朋友推薦我們的產(chǎn)品和服務(wù)?”來獲得評分,并根據(jù)評分將用戶分為三類:
9~10分的是推薦者, 是產(chǎn)品忠實地用戶;
7~8分的是被動者,他們很容易被競品吸引走;
0~6分的是貶損者,他們更有可能去傳播產(chǎn)品的負面信息。
NPS最終的分值等于“推薦者占比”減去“貶損者占比”。
2、設(shè)計NPS問卷
想要做NPS問卷調(diào)研,一定要確保它結(jié)果的科學(xué)合理性,這樣才能在匯報時經(jīng)得起別人的挑戰(zhàn)。接下來我們來看一看需要注意哪些點。
2.1 問卷回收數(shù)量
2.1.1 需要回收多少問卷?
對于一次問卷調(diào)研,如果回收的數(shù)量太小,那么最終得到的評分也不足以客觀的評價產(chǎn)品的真實體驗。那么,我們需要回收多少份問卷才能夠達標呢?
具體的詳情規(guī)則就不一一細說了,感興趣的童鞋可以去搜一下“樣本數(shù)量計算”的相關(guān)資料。在樣本的計算公式中需要我們填寫3個數(shù)值,大家可以通過輸入下面的數(shù)據(jù)快速計算出樣本:
總體數(shù)量:也就是我們的用戶總數(shù),如果很大或者你不知道是多少時可以為空
置信水平:一般通用值填寫95%
置信區(qū)間:一般通用值填寫5%
通過以上公式計算出的樣本數(shù)量,就是你本次問卷需要回收的最小數(shù)值。當時產(chǎn)品的用戶體量為2W,那么問卷至少需要回收376份,才可以相對準確的保障本次問卷結(jié)論合理有效。
可是回顧這款產(chǎn)品歷史問卷的回收量,居然沒有一次的數(shù)量能夠達標。那么,麻煩的問題又來了,我們該如何回收到376份問卷呢?
2.1.2 如何提升問卷回收量?
為了提升問卷回收量,我開始查找資料、咨詢用研老師、對比歷史問卷數(shù)據(jù),尋找能夠使問卷回收量達標的辦法。
- 精簡提煉問題,降低問卷跳出率
縱觀歷史數(shù)據(jù),發(fā)現(xiàn)在前幾次調(diào)研中,存在一個普遍的現(xiàn)象,就是問卷的跳出率一直很高,持續(xù)在70%~80%之間,是什么導(dǎo)致了這種情況呢?
最重要的一點就是:問卷的題目太多、內(nèi)容過于復(fù)雜。用戶點進問卷后,發(fā)現(xiàn)填寫過于麻煩,便直接退出了。
所以問題的精簡提煉是優(yōu)化的第一步,結(jié)合產(chǎn)品2022年的大目標,剔除掉歷史問卷中關(guān)聯(lián)度較低的問題設(shè)置,逐漸將NPS的調(diào)研題目縮短至兩題:NPS值評分&開放式反饋。
在精簡至這一步的時候,我們也遭到了許多質(zhì)疑:只有2兩道題,能支撐起NPS的數(shù)據(jù)統(tǒng)計嗎?
現(xiàn)在就來答疑解惑一下,按照NPS的問卷調(diào)研要求,核心問題必須具備三大塊:“篩選目標用戶、NPS評分&分支維度、補充型問題”。
首先,由于我們用的推送渠道是服務(wù)號,這基本就可以確定填寫者都是產(chǎn)品的用戶;問卷通過企業(yè)openID登陸,我們可以通過后臺的用戶使用頻率進行篩選,既可以區(qū)分用戶層級,又可以篩查出久未使用的用戶問卷,所以“篩選目標用戶”的題目便被后臺處理所取代。
其次,我們將NPS的“分支維度題”&“補充型問題”作了結(jié)合,合并成一道針對NPS具體得分設(shè)置的三類評分用戶各自專屬的開放式反饋題:
9~10分的推薦者:感謝您的評分,您愿意推薦我們的主原因是什么?我們還有哪些需要改進的地方?
7~8分的被動者:我們在哪些方面優(yōu)化會增強您推薦的意愿呢?
0~6分的貶損者:很抱歉給了您不好的體驗,請問您不愿意推薦我們的原因是什么?
通過以上三條分支的后續(xù)追問,我們就可以得到”用戶推薦的亮點”,“可優(yōu)化的改進點”和“不滿意的缺點“,便于接下來的分析與優(yōu)化。
- 選擇合適的推送渠道
完成問卷內(nèi)容的制作之后,接下來就是推送渠道的選擇。當前公司常見的問卷渠道有:站內(nèi)信、應(yīng)用banner、郵件、服務(wù)號等,選擇一個曝光力度最大的渠道,會使關(guān)注到問卷邀約的用戶大幅增加,那么回收率也會相應(yīng)提升。
從不同渠道的問卷回收歷史數(shù)據(jù)來看,服務(wù)號的曝光度是最大的,最近一次的服務(wù)號推送回收數(shù)據(jù)達到了180份。所以,本次的問卷發(fā)放渠道仍然選定服務(wù)號來完成,但180份這個數(shù)據(jù)值距離我們的目標還差得遠,接下來則是調(diào)整推送時間。
- 選擇干擾性較小的推送時間
選擇一個合理且干擾性較小的時間段發(fā)出問卷邀約,用戶才會更可能的接受本次調(diào)研。通過調(diào)研周圍同事的工作習(xí)慣、以及詢問其它產(chǎn)品服務(wù)號的反饋數(shù)據(jù)對比,我們得出了最佳的時間點:5:45PM。在此時間段的問卷邀約,會得到最大的反饋率。
增加獎品吸引,提升用戶填寫意愿
經(jīng)過上述的優(yōu)化調(diào)整之后,我們?nèi)匀辉趽膯柧砟芊窕厥盏?76這個數(shù)字。畢竟在大家日常生活及工作中,所接觸到的信息干擾越來越多。對于各方產(chǎn)品投來的問卷邀請,測評邀約等,可能已很大程度上使用戶形成了厭煩心理,這樣的情況會導(dǎo)致用戶遇到你的問卷推送時,大概率選擇“無視”、甚至“取關(guān)”。
針對可能出現(xiàn)的這種情況,我們增加了關(guān)鍵的一項“刺激因素”:獎品吸引。通過獎品運營,讓用戶重拾填寫的興趣,增加問卷參與者。
2.2 問卷調(diào)研頻率
除了問卷的回收數(shù)目要求之外,我們還需要注意問卷的調(diào)研頻率。
產(chǎn)品在2022年度是按季度展開調(diào)研活動的,但是我們從中發(fā)現(xiàn)了一些問題。由于版本的發(fā)布時間不固定,按照季度來定期調(diào)研可能會導(dǎo)致新功能還未被用戶充分體驗的情況,不僅無法收獲更多有效信息、浪費資源,還會使被調(diào)研者有一種“反饋不被重視”的感覺。
對此我們重新調(diào)整了調(diào)研頻率規(guī)劃,按照“版本覆蓋率”&“反饋消化程度”來合理觸發(fā)新一輪的NPS調(diào)研。確保每次調(diào)研的前提條件一定是上一個版本覆蓋率高于70%,且上一次問卷反饋已基本處理完畢后,才可以開啟下一次的調(diào)研。
3、NPS結(jié)論分析
經(jīng)過上面的問卷優(yōu)化調(diào)整,產(chǎn)品2022年度NPS的問卷回收數(shù)達到576份,達到了最小回收數(shù)376份的目標。接下來,最重要的階段,則是如何通過回收到的問卷,來正確的分析出結(jié)果、提出關(guān)鍵性結(jié)論為產(chǎn)品提升質(zhì)量了。那么我們該如何分析問卷數(shù)據(jù)呢?
3.1 過濾無效樣本
回收問卷后的第一步,就是需要對問卷數(shù)據(jù)進行預(yù)處理,檢查是否存在無效問卷、異常反饋等。例如:問卷題目大量漏填、相似答案過多、答題速度過快……這些問卷都應(yīng)該被算作“無效樣本”被作廢處理。如果不做這一層數(shù)據(jù)清洗的準備,那么得到的結(jié)果就很容易被這些無效樣本所影響。
產(chǎn)品曾經(jīng)在2022年Q3的一次線下活動中發(fā)起了NPS問卷調(diào)研的邀請活動,并搭配上獎品獎勵。但由于周圍有很多其它公司內(nèi)產(chǎn)品攤位都增設(shè)了獎品激勵的內(nèi)容,造成參與者產(chǎn)生“速戰(zhàn)速決”的心態(tài)。問卷NPS值一度飆升至70+,卻多為無效反饋,導(dǎo)致此次調(diào)研只能作廢重來。
3.2 問卷數(shù)據(jù)分析
過篩掉“無效樣本”后,接下來我們就需要對問卷數(shù)據(jù)進行具體分析了。
3.2.1 NPS得分
NPS的分值肯定會是大家最關(guān)心的數(shù)據(jù),當這個數(shù)字出來之后,我們需要與歷史值做一下對比,是提升還是下降,這將會是一個很直觀的趨勢對比。如果沒有歷史值比較,那就按照一個大致的區(qū)間評估范圍:
低于0分:貶損者超過推薦者,用戶滿意度堪憂;
0~30分之間:產(chǎn)品不錯,但仍有改進空間;
30~70分之間:產(chǎn)品在用戶滿意度方面做得很好;
高于70分:太棒了,你的大多數(shù)用戶都是產(chǎn)品擁護者!
當然,我們不能僅憑一個分值去主觀的斷定該產(chǎn)品的好與壞,還需要關(guān)注該產(chǎn)品所在行業(yè)的均值。也就是各年度的行業(yè)凈推薦值基準,將自己的分值與行業(yè)基準分數(shù)比較之后,才能得到一個更加客觀的評分。
3.2.2 反饋數(shù)據(jù)整理
問題的分類整理是調(diào)研結(jié)論的核心工作,公司內(nèi)部常用的問卷平臺,例如:小易問卷、網(wǎng)易定位等,它們會幫助我們進行很多基礎(chǔ)類的整理分類,這將會節(jié)省很多人力成本。
對于反饋梳理,我們也可以嘗試不同的角度,來助力大家快速定位核心問題所在:
- 站在用戶層面看反饋
站在不同用戶群體的層面去看總反饋的占比,比如:問卷的全部用戶、推薦者用戶、被動者用戶、貶損者用戶;這四個用戶群他們的高頻關(guān)鍵字都是什么?
高頻的負面反饋當然是團隊未來需要投入優(yōu)化的具體項;那么對于一些正面反饋,例如在問卷中,我們發(fā)現(xiàn)大量推薦者提到“VPN功能更加快捷、穩(wěn)定”,這一點就可以成為我們未來增長、運營的發(fā)力點。可以通過VPN功能的宣傳推廣,吸引更多用戶轉(zhuǎn)化為產(chǎn)品的擁護者。
- 站在反饋層面看用戶
查閱具體問題的用戶占比是為了更快的抓住產(chǎn)品核心痛點與爽點,如果出現(xiàn)某一類問題明顯在“某一類用戶”占比偏大,那就需要格外關(guān)注了。
在調(diào)研中我們發(fā)現(xiàn)了用戶反饋的“XXX問題”的“貶損者”占比超過80%,這就證明該問題一旦出現(xiàn),用戶大概率會直接放棄使用我們的產(chǎn)品,這一反饋是值得產(chǎn)品團隊注意的痛點。
(3)用戶后續(xù)跟進
完成了問卷的總結(jié)分析之后,這些數(shù)據(jù)還有進一步的利用價值。
通過NPS的反饋評論,結(jié)合產(chǎn)品后臺用戶行為數(shù)據(jù)分析,就能快速定位出那些對產(chǎn)品使用與調(diào)研具有強烈參與意愿的用戶了,而他們就是產(chǎn)品珍貴的建議者。
我們要學(xué)會充分利用這些“珍貴用戶”,大膽的邀請他們加入產(chǎn)品的后續(xù)互動:問題回訪、用戶訪談或者新功能內(nèi)測體驗等等……他們大概率不會拒絕我們的邀約,而且后續(xù)的互動會更加提升他們的參與感,為產(chǎn)品獲得更多的擁護者。?