一份合格問卷的編制思路
本篇文章整理分享了編制問卷和分析資料的思路，一份合格的問卷都包含了哪些內容呢？
作為一枚社科類專業出身的網際網路狗，編制過用於學術研究的問卷，也在工作中使用過問卷去了解使用者，問卷編制不是憑感覺羅列問題的過程，更像一個設計過程，不斷權衡問題的去留、邏輯和形式。在此把編制問卷和分析資料的思路整理出來，共兩篇，交流討論。
問卷調研大部分是抽樣調研，且填答質量在很大程度上依賴填答者/執行者的認真程度，因此得結論時很容易被diss：“你問卷那麼長誰會來答、使用者都是故意瞎填的不可信、使用者根本沒思考都是用腳在答、答問卷的都是專家使用者不能代表全體”等等。
一份合格的問卷會盡量避免這些問題以得到客觀的結論。希望讀完本文可以找到一些答案。
問題編制會受制於問卷的投放渠道，所以我們先從問卷投放開聊。
一、問卷投放
1.1 確定調研目的和投放人群
調研方法有很多，尤其是在網際網路環境下，收集資料的手段變多了，問卷調研的優勢在哪裡，什麼情況下應該使用問卷調研呢？問卷的優點是：可以在短時間內蒐集大量的資料，且人力成本較低。在網際網路領域，使用問卷調研的場景主要有以下幾種：
（1）驗證需求強度和場景以設計出更合理的功能
工作中通過其他方式發現了一些需求點，邏輯推導可行，繼而通過問卷做個定量調研，瞭解需求的場景輔助設計。
如：地圖上線騎行導航之前有很多使用者提建議要求上線騎行功能，但是哪些功能優先順序更高？最核心使用者群是誰是外送人員麼？使用者最關心什麼資訊？這些光靠猜是不夠的，通過問卷可以得到更切實的結論。
如keep在18年5月份的時候提前調研使用者對於短視訊的態度，10月的時候上線了該功能，最近又在調研live打賞功能，調研結果如何就看之後會不會上線了。
不過在功能上線之前做調研可能會涉及到保密問題，能否做調研還需要結合整體環境來判斷。
（2）主動收集使用者的感受，不依賴於反饋系統
1. 有些功能沒有明顯的反饋渠道，使用者有想法但不知道去哪裡反饋，當設計者想要了解使用者使用情況時會缺乏參考資料；
2. 產品有明顯反饋渠道，但使用者遇明顯的痛點才來反饋，只有一丟丟不爽的時候，一般都懶得反饋，可設計者需要了解這些“小不爽”來打磨產品；
3. 有時候產品剛上線或經過幾輪迭代，設計者不僅需要看資料，也需要了解使用者對產品的主觀感受，感知到功能沒、用過沒、喜不喜歡。
如：華為每次更新新系統後都會發送小調研收集問題，兩個題目，一個是滿意度，一個期望改進的建議，簡單直接快速。
（3）通過問卷招募使用者
想做使用者調研（焦點小組、深訪等），如果不通過外包公司招募，就需要自己設計招募問卷，篩選符合要求的使用者。如之前高德地圖招募使用者，主要說明活動具體事宜和關鍵的篩選因素。
（4）瞭解行為和場景，在大資料無法體現或獲取資料的成本太高時用
設計者需要了解使用者是在什麼樣的環境下怎麼用產品，為後續的設計提供依據，但有些資訊很難在資料上體現；比如騎行導航剛上線時，設計者期望知道使用者是怎麼用地圖的，看螢幕為主還是聽語音為主。系統的息屏資料和靜音資料很難拿到，因此用問卷的方式來獲取。
（5） 瞭解行業、市場的情況（ 這類調研通常與第三方公司合作進行，國內調研公司的官網上有很多例項報告，不詳述了）
調研目的確定後，調研群體也就明確了，關鍵是如何觸達這些使用者呢？
1.2 找到觸達使用者的方法
生活中會在各種地方遇到問卷調研：體檢單上附帶著紙質的滿意度問卷；收到航空公司的電話回訪；逛商場有人拿著iPad請你回答品牌偏好問卷；買了冰箱到貨後上面貼著滿意度調研的二維碼；郵箱裡還會收到一些網站的調研。
當用戶與服務有觸點時，可以抓緊這些觸點邀請使用者參與調研，此外還可以通過使用者留下的聯絡方式邀請使用者，對於網際網路產品也不例外。
（1）在APP/網站內投放問卷（最普遍）
1. APP內有運營位，可以在這些位置上投放傳統的問卷邀請（純文字的、banner+文字的都可以）
優點：回收量大；使用者對本APP的印象鮮活； 可以通過後臺篩選投放的使用者群體 ，比如通過人口學資訊/裝置資訊圈定人群，或通過行為經驗圈定人群（如：最近三個月使用過騎行導航的使用者）
缺點:低活躍群體的觸達率特別低。
2. 還有一種短小快速的調研方式，在某個行為之後觸發調研模組，很適合收集特定場景的資訊。不過該方法需要在包裡新增程式碼，實現成本高。如搜狗地圖導航結束頁，keep中途退出課程，都會彈出調研模組
（2）通過聯絡方式投放，簡訊、郵件傳送邀請連結；qq、微信群、論壇發起問卷調研
1. 大量的簡訊投放有一定的費用成本，而且對使用者有打擾，在投放前可以先“預投放一輪”，估計一下回收量。
2. 郵件投放可能會被遮蔽為“垃圾郵件”，因此投放出去之後要觀察一段時間，確保有回收率，如果回收率非常低，則需要考慮其他渠道。
3. 在產品的qq群、論壇投放，來填答問卷的很可能是產品的深度使用者，該類使用者與普通使用者對產品的熟悉程度有差異，需考慮到樣本偏差。
（3）購買/置換三方渠道：
僅通過產品自身的渠道，很難接觸到沉默和競品使用者，購買第三方的渠道是常規方式，市調公司、問卷公司都有自己的問卷廣場和使用者社群，大部分都有該類服務。
此外還可以擴充套件多樣的渠道合作（和投放廣告是一個道理，找準目標群體），比如想了解足球使用者的特點喜好，可以在足球類的視訊網站上掛問卷；比如招募學生群體可以去高校的BBS上發帖；如某奢侈品APP想了解大眾對各奢侈品牌的印象，找FT網合作投放了問卷。
1.3 確定投放時間和樣本量
（1）投放時間
投放多久主要是看渠道的回收量，等收回量夠了就可以停止了，通過聯絡方式投放等待的時間比較長，（在做調研規劃的時候要考慮到時間成本）。
如果是APP內投放，儘量選APP日活高的時候投回收更快，比如抖音明顯在節假日期間使用量更高，投放問卷就可以選週末，兩天回收量就夠了。如果問卷複雜，可以選在半夜上線問卷，在後臺監控收上來的問卷資料有無漏洞，因為半夜使用APP的人少，即使有問題還有補救的機會。
還需要注意的一點，有些APP的使用人群與時間強相關，就要考慮到投放時長。比如在地圖內投問卷，有很多是凌晨半夜填答的，一開始我就納悶什麼使用者大半夜的跑來答問卷啊，後來分析了資料發現兩類使用者：國外使用者、夜車司機。所以在地圖內投放的問卷，如果晚上發出去，早晨一看資料量夠了就暫停了，那樣本一定是偏的。
（2）樣本量
如果只是定性收集資訊，問卷量沒有標準多多益善，如果涉及定量調研需要考慮到樣本量。
1. 只是通過問卷看大概的趨勢和分佈，只做描述性的統計，200份一般就可以分析了。比如想了解：大部分騎行使用者對於天橋、地下通道這些設施的態度，做小樣本的調研結果就比較明朗了。
2. 如果要研究細分群體的情況（如：對於設施的態度與騎行工具有關，所以要分別瞭解騎自行車和騎電動車的使用者群），那麼要保證細分群體樣本量大於100，這樣做差異檢驗的條件都滿足。
3. 如果要根據樣本推斷總體就更復雜些。最直觀的感覺是：樣本量越大，誤差就越小，但樣本越大成本越高，所以在保證誤差範圍和可信度的情況下，我們可以根據公式計算出最小樣本量。
以樣本推測總體有兩種情況，一種是 根據樣本值估計總體值 （如：通過問卷調研，得到自行車使用者平均騎行距離是3km，通過總體推測整體的距離），這種在問卷調研中使用的非常少；另外一種是 根據樣本比例估計總體比例 （如：問卷中10%的騎行使用者是起摩托車，以此推論整體摩托車使用者的佔比），這種推斷使用的較多，最小樣本量計算公式如下（重複抽樣和非重複抽樣的公式不同，當總體N很大時，差異很小，這裡寫的是重複抽樣的公式，裡面各字母代表的資訊隨便找本統計書都有）:
實際情況中，調研又不是發表論文，不需要給出精確的樣本量和置信區間，通常都會多收集一些；大概的樣本量和置信度對比如下，做參考即可：
需要了解的一點是 ，推斷公式是基於隨機抽樣（包括隨機重複抽樣、隨機不重複抽樣）得到的，要使用該公式計算最小樣本量， 前提是問卷採用隨機抽樣的方式發放 ，既：研究總體中每個個體都有相同的機會回答問卷。
如果不是隨機抽樣，即使達到最小樣本量也不可以進行推斷統計，在朋友圈裡或論壇裡發的調研不是隨機抽樣不能做推斷統計，在APP內發放問卷從嚴格意義上來講也不是隨機抽樣，理論上講，使用者看到問卷的概率是相同的，但在填答意願上有差異，之前的經驗發現某些人群特質的使用者確實更愛答問卷。所以使用推斷統計要慎重，儘量分析那些與填答意願無關的內容。
（2）樣本代表性 ：
我們要研究的問題很可能與某些因素強相關，因此在做調研時希望樣本與總體儘量接近，以避免樣本偏差導致結論偏差。如果我們已知某些因素與研究的問題有關，也可以通過一些手段去調整。
分桶發放 ：
如果已知總體的分佈，並完全按照整體分佈抽取樣本，就是分層抽樣。比如調研使用者對全國旅遊景點的滿意度，按照旅遊景區的等級、型別等比例隨機抽樣即可。
但是網際網路環境下，很難做到隨機抽樣，叫分桶投放更合理。比如研究使用者在騎行過程中，對天橋、地下通道的態度，性別會有影響，那麼在投放前就可以區分性別投放。如果後臺不支援，則可以在問卷中增加該問題，方便後續分析。
實際調研中影響因素可能會有很多個，不能一窩蜂的都考慮，分桶成本太高，僅考慮強相關的影響因素，1~2個即可。
統計方法調整 ：
前期無法按照比例投放，分析資料的時候可以做加權校正（後續再聊）。
二、問卷編制
2.2 設計問卷整體結構
（1）編制問卷首先得了解問卷可以問什麼，總結起來如下幾類：
- 定性收集使用資訊 ，如使用產品遇到的問題、對產品的建議、期望改進點、使用場景等。
- 定量了解使用情況， 如知曉度、使用頻率、熟悉度、使用深度、使用習慣、操作路徑。
- 定量解使用者內心的想法， 如滿意度、功能期望、方案偏好、價格接受度、行為原因等。
- 定量蒐集人口資訊 ，常見：年齡、性別、地域、消費水平、教育程度等，不做詳述。
- 定量收集使用環境資訊， 如硬體裝置，天氣資訊、使用環境等。
（2）在設計問卷之前先做前期研究
如果是做定量研究，各內容之間可能有相關或因果關係，比如使用頻率和滿意度，性別和方案偏好等等，所以， 在設計問卷之前先看資料、看外部相關調研、做快速的定性調研收集資料 ，以此提出一些假設，根據這些假設去設計問卷框架，這樣後續得到的結論更豐富，也避免遺漏掉重要的現象和關係。
如較早之前做過一次調研，整體來看使用者對於某方案的偏好差異不大，但交叉分析後發現越年輕越偏愛A方案，能看到很明顯的趨勢。考慮到年級大使用者在整體使用者中的佔比較小，所以後續做決策的時候主要考慮了年輕使用者的選擇（後來進一步研究發現是因為年輕使用者和年老使用者的關注點不同導致的，也很有意思）。
此外投放的群體並不一定是目標使用者，所以需要通過問卷題目來篩選，並喚起使用者的回憶。我的郵箱裡曾收到過百度統計的調研，我自己對於百度統計只是註冊過，沒用過印象非常淺。但是該問卷上來就問使用者對百度統計的感受，缺少了篩選項，導致填答者優點懵，也可能會受到不合格的問卷。
總結起來，我自己設計問卷結構的思路：
- 確定問卷調研的核心點，一般控制在1—3個，了使用情況、想法態度、人口資訊、環境資訊等。
- 設定篩選題目，適合回答核心題目的使用者，全體使用者、使用過某功能的使用者（使用者篩選也可以通過後臺配置）
- 設定衍生題目，通過前期研究或經驗發現，那些可能會影響核心題目的因素，方便更多的分析和探索
2.2 題目編制與設計
有了框架才真正開始編問卷，大部分問卷平臺都提供多種題型，還有樣本模板，很好用。以下是我自己的總結的一些點：
（1）題目篩選。問卷要儘量保持短小，按照問卷結構把想問的問題都錄入後，就開始刪題目。
檢查每個問題，問自己還有其他方式獲得該類資料嗎，如果有就刪掉問題。
檢查每個問題，是否容易回答，在看完題乾和選項之後，是否能在3秒內給出答案，如果不能就刪掉吧
檢查開放題目（填空、問答）是不是太多了，一方面問答題給使用者更大的心裡壓力，導致完成率低；另一方面問答題的答案不好分析，大部分需要人工編碼，耗時。
（2）題目樣式。題目樣式就是要儘可能清楚的表達出要問題的內容。在用語上且無誘導，無隱私、無態度。此外在編制問題的時候，有時候還會用到以下技巧：
①文字不容易描述的時候，考慮 用圖片 ，圖片上要標準清晰視覺焦點。
②有些概念不容易描述的時候，可以先 構建一個場景或例子，避開概念 ，幫助使用者理解/帶入我們說的事情。
如想要找到那些上報過路況的使用者，但是很多使用者分不清上報路況（事故、封路之類的）和反饋錯誤（新增地點，道路等），所以不要直接問使用者有沒有上報過路況，可以先問使用者向地圖反饋過哪些型別的問題，然後針對那些選擇了路況型別的使用者提問。
③有些問題形式較新穎，比如排序題，滑動條等。可以 設計一些輔助題目 幫助使用者熟悉填答方式。
④如果有較長的題幹，通過顏色突出重點詞，引導使用者的視覺焦點並防止閱讀疲勞。
2.3 自檢&稽核
問卷編寫既考驗邏輯思維又考驗文學功底，實在是很多細節要打磨。所以問卷設計好之後，自己要一遍遍的調整，並請其他同事幫忙稽核。我在自檢或稽核問卷時，主要會注意以下細節：
1. 檢查有無遺漏題目（比如設定了抽獎，記著留下使用者的聯絡方式或賬號，有無設定測謊題目等）
2. 檢查邏輯跳轉，該隱藏的題目是否隱藏了（防止沒體驗過的使用者遇到無法回答的問題）
3. 需要使用者回憶的，選項是否需要“記不清了”（避免使用者忘記了瞎選）
4. 沒有窮舉的選項是否設定了“其他”（避免沒有使用者的選項，只能瞎選）
5. 應該互斥的選項是否設定了互斥（比如“以上均無”選項與其他項互斥）
6. 設定的選項之間是是否有交叉（防止選項交叉，導致使用者沒法選）
7. 填空題目是否設定了驗證（如手機號、填數字要明確單位，如果有必要使用例子說明）
8. 檢查用詞是否太“術語”，對使用者而言有沒有歧義（避免使用者理解歧義）
9. 檢查單選題目是否有單一答案，區分”最主要“和”主要“的差異（前者是單選、後者是多選）
10. 慎用“排序”等高階題目（因為使用者的認知成本太高，可能導致髒資料）
11. 檢查選項是否需要隨機（避免順序效應）
此外還有錯別字、語氣詞、標點符號等等……
2.4 預投放
當問卷通過了自檢和稽核就可以投放了，如果有方式，最好做一輪預投放，看一下回收率和完成率，在真實使用者那裡檢驗一遍是否還有漏洞。
問卷是成熟的調研方式，應用在各行各業，問卷調研的編制是非常大的命題，我僅整理了手機app的調研思路，且以to C 的產品為主，冰山一角。
本文由 @喬北一 原創釋出於人人都是產品經理。未經許可，禁止轉載
題圖來自 Unsplash，基於 CC0 協議