在用戶研究中，對于用戶群選取樣本量進行分析是一項很重要的工作。對于調研樣本量的選取背後也有很大的學問，是不是樣本量越大就越有可信度呢？可用性測試到底多少人才是最恰當的呢？這些都是用戶研究調研中應該注意的問題。

用研工作中我們經常跟同事（非用研）說XX的樣本量就夠了，可是為什麼呢？

如何決定樣本量，其實是一個老生常談的話題了，也有很多相關介紹文章。但是翻看相關文章後，就會發現介紹選多少合适的挺多的，而介紹為什麼這麼選就合适的卻比較少。

相信很多用研同學都聽過或就對其他人說過這句著名的話：

“根據尼爾森關于可用性測試的經典理論，6-8人便可以找到産品80%以上的可用性問題。”

但是……為啥呢？

當有“無知的”地球人問：為什麼6-8人就能發現80%以上的問題時，難道我們要理直氣壯的說：“因為是尼爾森就是說的麼……”

在樣本量選擇上，似乎有一些“約定俗成”的規定，比如：可用性測試5-8人，問卷調研大約200-500份等等……

但是，當需要和地球人理論時，單單的“約定俗成”卻沒有足夠的說服力。不如讓我們一起來看看這些“約定俗成”背後的科學道理，讓自己更有底氣。

一、為什麼說可用性測試5-8個人就夠

俗話說“8個用戶可以發現80%的問題”，其實這句話并不完整，完整的說法應該是：“8個人可以80%的概率發現發生可能性大于18%的問題。”

這話太繞了，嘗試用人話解釋一下：如果某個APP中存在一個BUG，100個人用，50個人用都會遇到，那麼我們至少有80%的可能性發現。隻要可能遇到的人大于18個（發生可能性大于18%），我們都至少有80%的可能性發現。但如果這個BUG隻有5個人可會遇到，那麼能發現的概率就要低于80%了。

之所以這麼說，背後的原理是這樣一個公式：

（P（X≥1）是在n次嘗試中事件至少發生1次的概率，p是某事件的概率）

前輩們根據這個公式總結出了下表：

資料來源：《用戶體驗度量》Jeff Sauro，James R.Lewis著，機械工業出版社。

P134-135從表中可以看出：決定樣本量涉及到兩個因素：一個是确定程度，一個是問題發生的概率。

再來具體看一看我們常說的“8個人”：

當選擇8個人進行測試時，可以100%發現發生概率大于50%的問題，90%的可能性發現發生概率大于25%的問題，73%的可能性發現發生概率大于15%的問題。

就好像天氣預報員說：100%的确定明天的降水概率大于50%，90%的确定明天的降水概率大于25%。

等等，這樣的話會不會被質疑：8個人隻能90%發現發生概率大于25%的問題，那發生概率低于25%的問題怎麼辦？就不重要了麼？

不我們再來看看尼爾森介紹的一個關于釣魚的比喻：

假設你有好多個池塘可以釣魚，一些魚比另一些魚更容易抓到。

所以，如果你有10小時，你會花10個小時都在一個池塘裡釣魚，還是花5個小時在一個池塘上、花另外的5個小時在另一個池塘上呢？

為使抓到的魚數量最大化，你應該在兩個池塘上都花一些時間，以便從每個池塘裡都釣到容易釣的魚。

一次何必找那麼多用戶，少做幾個用戶先把發生率高的問題解決了，版本更新以後再繼續找用戶去解決發生率高的問題，省時省力效果佳。

這樣基本上就可以完整的證明我們可用性測試做5-8個人就基本可以的觀點了。

二、問卷調研，樣本量選多少

在做問卷調研的時候，如何估計樣本量？

——衆所周知有一個公式：

但是，這個公式存在一個問題：我要是連總體方差（CV2）都能知道，還做個毛線調研。

如果想估算總體方差，需要先選取一批人進行測試，得到一個樣本方差，用樣本方差代替總體方差，這在現實工作中顯然難以實現。

于是為了便于計算，偉大的前輩對公式進行了轉換：

資料來源：《社會研究方法》仇立平著，重慶大學出版社，P137作者說這一轉換是根據“推論總體比例或百分比的原理”進行的。

姑且不去管這個轉換原理是什麼，這個公式我們可以這樣來理解：當p=0.5的時候，總體的差異性最大。因為p=0.5表示兩種情況出現的概率是相等的，比如：一個群體中男生和女生出現的概率都是0.5，說明男女人數相等。這種情況下，這個群體的性别差異是最大的。

由于總體差異越大，需要的樣本量就越大。我們面對任何總體的時候，都可以假設“這是一個差異性最大的總體”，來計算我們所需要的樣本量。因此，把p=0.5代入，就簡化出了一個可以供我們輕松計算樣本量的公式。

如果想看到總體不同差異所對應的樣本量，前人還總結了這樣一個表：

資料來源：《社會研究方法》仇立平著，重慶大學出版社，P137

因此假設總體差異性最大的情況下，在習慣使用的5%誤差檔，300多的樣本也就可以了。

當然，在具體使用過程中，并不用查表那麼麻煩。有一個著名的計算樣本量的網站，直接去算就OK了。

計算樣本量的網站傳送門>>>

三、用戶量越大，需調研人數越多嗎

首先，總體規模會對樣本量有影響。當總體規模比較小的時候，對樣本量影響較大。但是當總體規模達到一定程度以後，對樣本量增加的需求是較小的。

我們往往調查所涉及到的總體不是無限總體，産品的用戶人數都是一個有限的數量。因此，在計算所需樣本量的時候，為了更精确可以加入變量“總體規模”，公式大概長成這個樣子：

然而，這不是重點，重點是通過這個公式可以計算出，不同總體規模所需要的樣本量大緻如下：

由此可以看出：當總體規模在1萬以下時，随着總體規模上升，所需樣本量增加比較大。但是，當總體規模在1萬以上時，規模再變大，所需樣本人數的增長變得緩慢。

為了得到更準确的答案，我們不妨用計算樣本量的網址自己來算一下。

假設置信區間為±5個标準差。計算結果如下：

如果再有人說：我們是億級的産品，1000人怎麼能代表我們的用戶？

就可以理直氣壯的告訴他：“總體規模10萬以上和10萬所需要的樣本量并沒有什麼區别呢。”

樣本量選多少合适，對于調研本身而言或許不是個問題。但是，當我們想推動調研結果的時候，樣本量卻很容易遭到對方質疑。

可能是幾百個人的答案看起來容易讓人覺得不靠譜，也可能因為樣本量是最容易質疑的一個因素……

無論如何，多了解一些背後的原因，讓自己更有底氣，或許才能更好地說服别人。

原作者：陳聆帙@NetEase電商設計中心 ,筆者根據自己工作需要部分内容稍作調整。歡迎交流！

本文由 @黑眼鏡的貓 發布于人人都是産品經理。未經許可，禁止轉載

題圖來自Unsplash，基于CC0協議

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部