tft每日頭條

 > 生活

 > 問卷調查的信度和效度如何檢驗

問卷調查的信度和效度如何檢驗

生活 更新时间:2024-08-22 14:55:41

編輯導語:問卷因為有着低成本、高匿名、高效率的特點,所以在用戶研究中被廣泛地使用。那麼如何做好問卷調查呢?本文從調查方式以及調查數據等幾方面出發深入剖析了如何做好問卷調研。推薦想要了解問卷調研的童鞋閱讀。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)1

在以往的問卷調研中,有的同學總會問到兩個關鍵性問題:

Q1.“做問卷調研,需要多少的目标用戶?”

Q2.“調研的目标用戶難以觸達,隻有X份問卷數量夠嗎?”(問卷數量少,不足百份)

通常來說,用戶研究員的建議是根據調研要回答的問題,至少能回收384份有效問卷,有條件的話可以在此基礎上提高回收量。那麼“384”這個數字是怎麼得出來的?問卷調研的回收量一定要達到這個标準嗎?如果達不到這個标準,對調研的結果有什麼影響?要回答這些問題,我們首先需要了解問卷調研是什麼。

一、問卷調研

1. 問卷調研适用場景

問卷調研指的是調查者運用統一設計的問卷向被選取的調查對象了解情況或征詢意見的調查方法(源自百度詞條“問卷調查”)。與其他的用戶研究方法相比,問卷具有低成本、高匿名、高效率的特點,因此在調研中被廣泛使用。

問卷調研的适用場景包括收集被調查者的個人信息、了解被調查者的觀點态度、行為習慣等。問卷可以通過一系列精心設計的問題,幫助研究者達成摸底、評估、預測的研究目的。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)2

圖1 問卷調研的适用場景

2. 普查與抽樣調查

根據抽樣原則的不同,問卷調研可分為普查和抽查。

普查是指對所有的目标群體進行調查。例如我們想要了解北京居民的收入水平,采用普查的方式就需要對北京市的所有居民做調查。對,你沒有看錯,是“北京市的所有居民”,嚴格地說不能有遺漏。

這樣做的好處是所有人都能被調查到,收集到的資料非常全面不會有偏差性。但缺點也顯而易見,龐大的工作量需要投入大量的人力物力,調研周期也很長。目前我國的人口普查采用的就是這種方式,由全國各地的調查人員,深入到每家每戶進行核查。受制于普查耗時耗力的特點,實際的調研中幾乎不會采用這種方法,使用更普遍的方法是抽樣調查。

抽樣調查是從調研的全部目标群體中抽取一部分人,根據這部分人的調研結果對整個群體的狀況做估計和推斷。其中全部的目标群體稱為總體,抽取的一部分人稱為樣本。延續上面的例子,我們想要了解北京居民的收入水平,用抽樣調查的方法僅需要從北京市的居民中選取一部分人做調查。在這裡,全體北京居民是總體,抽取的部分居民就是樣本。根據抽取居民的調研結果,可以推論整個北京市的居民收入水平。

這樣做的好處是方便快捷,僅需要調研一部分人就能推測整個群體的狀況。而它的缺點也非常明顯,由于無法覆蓋所有的調研對象,調研結果會存在一定的偏差性。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)3

圖2普查與抽樣調查的區别

如何保障抽樣調研的可靠性,減少結果的偏差呢?這就需要降低樣本的代表性誤差。

二、代表性誤差

在上一部分我們已經知道,抽樣調查的目的是“窺一斑而知全豹”,即從調研的目标總體中抽取樣本,用樣本的調查結果推論總體的狀況。而推論結果的可靠性取決于樣本是否具有代表性,是否可以将樣本的調研結果推論到總體。因此代表性誤差指的就是由樣本數據向總體數據做推論時産生的誤差。代表性誤差主要受抽樣方式和樣本數量的影響。

1. 抽樣方式的随機性

抽樣的随機性要求總體中的每個個體都有均等的機會被抽取到,沒有傾向性或主觀性。如果抽樣方法的随機性無法保證,就會導緻抽取的樣本有偏差,從而得出錯誤的調研結論。

典型案例就是火車票購買難度的調查:記者想要了解春運的火車票是否難買,于是随機選擇了一列春運火車做采訪。采訪結束後,記者發現火車上的乘客都買到了票,于是得出結論春運火車票很好買。這個調查的纰漏在于記者選取的調研樣本有問題,存在很大的偏差。記者隻調查了購買到車票的群體,遺漏了沒有買到車票的群體,因此得出的結論是錯誤的。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)4

圖3抽樣偏差推論出錯誤的調研結論

随機抽樣主要有四種方式:簡單随機抽樣、整群抽樣、分層抽樣、系統抽樣。目前平台使用的調研大多采用簡單随機抽樣,确定調研的目标人群後,向這部分用戶定向推送調研問卷。圖4簡單總結了四種方式的操作流程和各自的優缺點,具體内容不在此做詳述,感興趣的同學可以自行深入學習。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)5

圖4 随機抽樣的四種方式

2. 調研樣本的數量

除了抽樣方法的随機性外,調研的樣本數量也會影響代表性誤差。樣本量越大,代表性誤差越小,樣本的調研結果也就越接近總體結果

為了更好的理解樣本量對結果的影響,我們用一個案例來做說明:

某校共有5000名學生,在一次英語考試中5000名學生的平均成績為76.4分(百分制)。按照抽樣調查的思路,可以從5000名學生中随機抽取一部分學生,用他們的考試成績推測總體情況。結果如圖5所示,抽取的樣本量越大,結果越接近總體均分76.4。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)6

圖5 樣本量與調研結果

因此,問卷調研對于樣本量的要求實質上是為了保證結果的可靠性,即讓調研結果更接近總體的真實情況。雖然樣本量越高,調研結果會越趨近于真實狀況,但出于回收成本的考慮,也需要控制樣本量的上限,減少不必要的人力物力浪費。

三、确定樣本量的方法

說了這麼多理論性的内容,最關鍵的問題還沒有回答,用研建議的384份樣本量到底是怎麼得來的?在這一部分,我們将回答這個問題,通過了解三種确定樣本量的方法,進一步明确如何确定問卷調研所需要的樣本量。

1. 經驗值估計

這種方法最為簡單粗暴,完全依照研究者個人的過往經驗決定,樣本量的數字也大相徑庭。有的人用30作為标準,有的人用50作為标準,也有的人用100甚至是300作為标準……你看,這樣拍腦袋式的估算不僅無法達成統一,更重要的是缺乏理論依據,科學性難以保證。

2. 公式推算

利用計算公式(公式見圖6)可以求出問卷調研所需要的樣本量。其中n代表樣本量;Z代表置信水平的統計量,統計檢驗中一般設置95%的置信水平,對應的統計量是1.96,置信水平越高,得出的結論可信度越高;p代表的是選項的可能性,調研中可取0.5;e代表抽樣誤差,一般取5%,抽樣誤差越小,得出的結論可信度越高。

計算後得到的結果是384,所以用研一般建議根據調研要回答的問題,至少能有384份有效問卷,這是保證調研結果可信的最低要求。需要注意的是,有時調研會有精确的細緻需求,例如在全國的數據中看某個城市或某個區域的調研結果。如果要回答這類細緻的問題,該類樣本的數量也需要達到384的要求。

當然,如果我們想要進一步提高調研結果的信度,也可以通過提高置信水平或是降低抽樣誤差來實現,但這也意味着需要更多數量的調研問卷(見圖6)。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)7

圖6 不同置信水平和抽樣誤差所需要的樣本量

3. 檢驗效力分析

随着統計學的發展,嚴謹的學術研究對于樣本量的計算提出了更加精确的要求。通過檢驗力分析,研究人員能計算出更加精确的計算出需要的樣本量。簡單來說,在樣本量(sample size)、效應量(effect size)、顯著水平(Alpha)、檢驗力(test power)四個統計量之間,知其三可推斷另一個。

具體的使用場景主要是兩個,一個是在研究前計算所需要的樣本量;另一個是在研究結束後,計算研究的效應量。一些軟件已經能夠提供相應的計算功能(如G*Power),并有較好的可視化展示。

問卷調查的信度和效度如何檢驗(問卷調研結果的可信度)8

圖7G*Power繪制的所需樣本量曲線

四、結語

得益于低成本、高匿名、高效率的特點,問卷在用戶研究中被廣泛地使用。樣本的代表性是問卷調研結果是否可信的關鍵因素,通過随機抽樣、增加樣本量可以提高樣本的代表性,從而得出更接近真實總體狀況的調研結論。384份有效問卷是保證調研結果可信的最低樣本量要求,如果回收量無法保證,在推導結論時就需要考慮與真實情況存在偏差的風險。條條大路通羅馬,能夠達成目的、解決問題的就是好的調研方法。

作者:艾露尼,公衆号:貝殼KEDC

本文由 @貝殼KEDC 原創發布于人人都是産品經理。未經許可,禁止轉載

題圖來自 Unsplash,基于CC0協議。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved