定量研究其實沒那麼難,本文筆者通過對量化研究方法的一些最常見用例的介紹,以及對每個實例的成本和難度進行估計,來幫大家更好地去找我定量研究的方法。
你是否需要有關産品用戶體驗的數字數據, 但卻不确定應該如何做?
許多從事用戶體驗及研究的專業人士傾向于定性方法論, 而這也這被廣泛認為比定量 (量化) 研究更容易。但不得不承認,定性研究可能回避了較大的樣本規模和量化相關的統計數據問題。
而量化方法卻是經驗豐富的用戶體驗研究員的工具包中應當包含的重要組成部分。
量化方法允許你:
定量研究,首要确定的是:到底需要哪種量化研究方法?
在此,我們介紹一些目前最流行的量化研究類型:
每種方法都産生有價值的數量數據, 但這些技術在所收集的數據類型,以及所需的資源和工作量方面差别很大。
本文列出了這些方法的最常見用例,并估計了每個實例的成本和難度。此外,應該知道,這些方法中都需要不同的最小樣本量來确定統計意義。
雖然不經常使用,但定量可用性測試(有時稱為可用性基準測試)很像定性可用性測試——用戶被要求使用産品執行實際任務。
兩者之間的主要區别在于,可用性測試優先考慮觀察,例如識别可用性問題。相比之下,量化可用性測試側重于收集任務或成功時間等指标。
一旦你收集了具有相對較大樣本量(大約 35 個參與者或更多)的指标,你就可以使用它們跟蹤産品的可用性随時間推移的進度,或者将其與競争對手産品的可用性進行比較。
你選擇的可用性測試類型(面對面,遠程主持或遠程未經調度)将影響成本,由于定量和定性可用性研究的目标不同,測試的結構和使用的任務也需要不同。
分析數據描述了人們對你的實時産品做了什麼:他們去哪裡、他們點擊了什麼、他們使用了什麼功能、他們來自哪裡,以及他們決定離開網站或應用程序的頁面。
此信息可以支持各種用戶體驗活動。特别是它可以幫助你監控産品中各種内容:UI 或功能的性能,并确定哪些是真的不起作用。
雖然你可以使用分析指标來監控産品的性能,但你也可以創建實驗來檢測不同的 UI 設計如何通過 A / B 測試或多變量測試來更改這些指标。
在 A / B 測試中,團隊創建同一 UI 的兩個不同的實時版本,然後将每個版本顯示給不同的用戶,以查看哪個版本的性能最佳。
例如,你可以創建相同号召性用語按鈕标簽的兩個版本:“獲取定價”與“了解更多信息”,然後,你可以跟蹤按鈕在兩個版本中收到的點擊次數。
多變量測試類似,但涉及一次測試多個設計元素(例如,測試可能涉及不同的按鈕标簽,排版和頁面上的位置。)
這兩個基于分析的實驗都非常适合決定同一設計的不同變體,并且可以結束團隊關于哪個版本最佳的争議,但這種方法的一個主要缺點是它經常被濫用。
在卡片分類研究中,參與者被給予内容項目(有時字面上寫在索引卡片上),并要求以對他們有意義的方式對這些項目進行分組和标記。
該測試既可以親自進行,也可以使用實體卡進行,也可以使用卡片分類平台進行遠程測試。
這種方法為你提供了進入用戶信息空間的心理模型的機會。他們使用什麼術語?他們如何在邏輯上将這些概念組合在一起?對創建類似分組的參與者的百分比進行定量分析可以幫助确定大多數用戶可以理解哪種分類方法。
在樹測試中,參與者嘗試僅使用你站點的類别結構來完成任務。它本質上是一種評估你的信息架構的方法,通過将其與 UI 的所有其他方面隔離開來。
假設你的産品是寵物用品網站,這是你的頂級層次結構,你可能會要求參與者完成一項任務——找到狗項圈。
樹測試結果的定量分析将顯示人們是否能夠在信息層次結構中找到該項目的正确路徑,以及有多少參與者選擇了錯誤的類别。此方法可用于識别 IA 結構,标簽和展示位置是否符合人們的期望。
調查是一種靈活的用戶研究工具。你可以在各種環境中管理它們:在實時網站、電子郵件或可用性測試之後進行短暫攔截調查等。
它們可以産生定量和定性數據的組合——評級,多項選擇題中每個選項的答案比例,以及開放式答案。你甚至可以将對調查的定性響應轉換為數值數據。
你可以創建自己的自定義調查,也可以使用許多已建立的問卷中的一個(例如,系統可用性量表或淨推薦值得分)。調查問卷的一個優點是,你通常可以将結果與行業或競争對手的分數進行比較,以了解你的工作情況。
即使你創建自己的自定義調查問卷,也仍然可以跟蹤你的平均分數以監控産品改進。
這種技術不是數據收集方法,而是更多的定性數據分析方法。
它涉及根據共同主題對來自定性研究(例如日記研究、調查、焦點小組或訪談)的觀察進行分組。如果你有大量觀察結果,則可以計算提及特定主題時的實例數。
例如,假設你進行日記研究,要求參與者每次在日常生活中使用你的産品并進行一周報告,目的是了解他們在何種環境中使用你的産品。
此方法可以識别特定主題或情況的普遍性或頻率,例如,用戶投訴的頻率或 UI 問題。這種方法是從大量定性信息中挖掘數值數據的好方法,但它可能非常耗時。
定量可取性研究試圖量化和衡量産品的某些質量,例如美學吸引力、品牌強度、語調。
這些研究可以根據你的研究問題進行定制,但通常包括首先将參與者暴露給你的産品(通過向他們展示靜止圖像或要求他們使用實時産品或原型)。
然後,你将要求他們通過從描述性詞彙列表中選擇選項來描述設計。随着樣本量越來越多,一些趨勢則開始出現。 例如:你可能有 84% 的受訪者将設計描述為“新鮮”。
眼球跟蹤研究需要特殊的設備,來跟蹤用戶在界面上移動時的眼睛。 當許多參與者(30 個或更多)在同一界面上執行相同的任務時,有意義的趨勢開始出現,你可以通過一些可靠性告訴頁面的哪些元素會吸引人們的注意力。
眼動測試可以幫助你确定需要強調或強調哪些界面和内容元素,以使用戶能夠實現其目标。
運行眼球跟蹤研究的一個主要障礙是高度專業化、極其昂貴且有些不穩定的設備以及需要大量的培訓才能使用。在嘗試确定使用哪種定量方法引導你的研究問題時,你需要了解什麼?
例如:
對于這些類型的問題你可能希望使用定量可用性測試、網站分析或調查。
當你想要回答更具體的問題時,或許其他方法更佳。 例如:
對于這些研究問題,你可能希望使用 A / B 測試、卡片分類、樹木測試、編碼定性評論,可取性研究或眼球跟蹤。
但是,這些建議中有一些灰色地帶。 例如:出于安全或技術原因,A / B 測試可能不是貴公司的選項。
如果是這種情況,你可以進行面對面的量化可用性研究來比較兩個原型。但是,這不是定量可用性測試的典型用法,所以沒有在這裡讨論它。
在研究問題之後,選擇方法的第二個最有影響力的因素是成本。
這些方法的成本會有很大差異,具體取決于你實施研究的方式。你使用的工具、你擁有的參與者數量以及研究人員花費的時間都将影響最終成本。
低預算團隊将依賴數字方法——遠程可用性測試、在線卡片分類平台、如 OptimalSort、A / B 測試以及 Web 或應用程序分析。
根據經驗,現場方法(例如:面對面的可用性測試,面對面的卡片種類)往往更昂貴,因為它們需要更多消耗研究人員更多的時間。
此外,他們可能需要旅行和設備租賃。眼動測試是這裡列出的最昂貴的方法,應該隻有具有大預算和研究問題的團隊才能使用它。
一旦選擇了方法,就要了解它,并确保你獲得有用的成果。
警告:不能隻收集指标并開始做出決策而不進行任何統計分析。僅收集來自 5 個用戶的評級規模響應,取平均值并繼續前進是不夠的。
對于此處讨論的每種方法,都建議最小樣本量以獲得可靠的數據并确定統計顯着性。如果你不這樣做,你無法保證你的發現不隻是僥幸。
無論你選擇哪種方法,一定要考慮研究相關統計概念所需的時間。我保證,定量研究不像它看起來那麼難,對于你的定量數據來說非常值得。
作者:研如玉,神策數據·用戶行為洞察研究院 公衆号(ID:SDResearch)
本文作者:Kate Moran
文章來源:Nielsen Norman Group
本文由 @研如玉 翻譯發布于人人都是産品經理,未經許可,禁止轉載
題圖來自Unsplash,基于CC0協議
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!