英國廣播公司(British Broadcasting Corporation，縮寫為BBC)，是世界最大的公共廣播公司，長期以來聲譽卓著。2002年11月，BBC對英國境內高達百萬名的聽眾與觀眾，票選有史以來最偉大的10位英國人。結果曾任首相的邱吉爾(Winston Leonard Spencer Churchill，1874-1965)排名第一，獲得壓倒性約44.7%的票。著名科學家牛頓(Issac Newton，1643-1727)，則排名第六。隔年8月，BBC又對英國境外重新票選，結果牛頓竄升至第一，獲得約21.6%的票。邱吉爾得票率則降至約16%，落居第二。即使樣本數多達百萬，同一家廣播公司的聽眾與觀眾，在英國境內與境外，其看法之差異，有可能會很大。人就是如此。民調裡往往會做交叉分析，正是為了比較不同屬性者，包含性別、年齡、教育程度，及政黨傾向等，其意見是否有所不同。對人的調查可說一向不容易，不要說不同族群，即使同一批人，隨著情況的改變，或某些事件的發生，都可能影響其中部分人的想法。甚至不見得要有具體的原因，同一個人若接受兩次調查，對同一件事的看法，有可能完全相反。所以才常有人對於民調，以不太有敬意的口吻說，“聽聽就好，不用太認真”。
事實上，有些票選結果，真的無法太認真看待，因其設計有可能是讓人自由填寫。如此樂於助人、意見較強，或有特別偏好者，填寫率可能較高。於是收集到的，常是偏差的樣本。另外，有些調查，如“新世界 7大自然奇景”網路票選，亦可能被有心人操控，以得到想要的結果。一項調查結果，若追求能有較高之參考價值，其過程便要有很好的設計，使樣本能儘量客觀。
舉個簡單的例子。假設想知道某班50個學生的平均體重。一個辦法是經由簡單隨機抽樣，抽出10位學生，量其體重，然後求取平均值，以此當做全班平均體重的估計值。會不會抽出的10位學生，剛好是全班最重的10位？當然有可能。無可諱言，即使隨機抽樣，仍有可能得到相當偏差的樣本，這時估計的誤差便很大。但會取到很極端樣本的機率並不高。所以只要是採簡單隨機抽樣，“大部分的時候”，其估計並不會太離譜。
底下給一取材自Freedman et al. (1991)(亦見黃文璋(2010))一書之著名的選舉實例，以再度說明對人的調查之不易精準。
西元1936年值美國總統大選，現任民主黨籍的羅斯福(Franklin D. Roosevelt，1882-1945)準備競選連任，對手是代表共和黨的候選人，堪薩斯(Kansas)州的州長蘭登(Alfred Landon，1887-1987)。此時美國正從經濟大蕭條(Great Depression)中復甦，雖全國仍有900萬失業人口，人民的實際收入比1929-1933年那段時期少了約三分之一，但情況正開始好轉，人民對未來，逐漸有信心起來。蘭登提出政府經濟計畫的政見，而羅斯福則為其財務赤字而辯護。
大部分的政治觀察家，均預測羅斯福可輕易地連任，但文學文摘(Literary Digest)雜誌，卻力排眾議，預測蘭登會以57%比43%的懸殊比數，大勝羅斯福。他們依據的是高達約240萬份回收問卷的統計。文學文摘並非省油的燈，他們在美國總統選舉的預測，素負聲望。自1916年開始做預測以來，從未失手，只是這回卻栽了個大跟斗。選舉結果揭曉，羅斯福以62.5%比37.5%，獲得壓倒性的勝利。
文學文摘何以會犯這麼大的錯？要知那幾乎可說是有史以來所做最大的一次民調，回收的問卷數也很多。那時蓋洛普(Gallup)公司才剛於前一年(1935)成立，僅使用了約5萬個樣本，便正確地預測羅斯福會贏，雖然得票率方面的估計有些誤差(預測羅斯福會得56%的票)。我們先來看文學文摘是如何挑選樣本。我們已一再強調，在抽樣調查裡，樣本的產生必須很公正，才能獲得有效的資料。若在選樣過程中，有排除(或多取)某一類樣本的傾向，便稱“選擇偏差”(selection bias)。文學文摘共寄出約1千萬份的問卷，姓名及地址的來源是他們的訂戶、電話簿，及一些俱樂部的會員。訂閱他們雜誌者，顯然是一群特定的人。又在1936年，電話尚非那麼普及(平均每4戶才有一具)。此外，沒有參加任何俱樂部者也被排除了。換句話說，抽樣過程中，有排除窮人的傾向。在1936年以前，這種選擇偏差，對於預測的影響還不算大，因當時富人與窮人投票行為之差異並不太大。但在1936年，因經濟的因素，造成選民的政治傾向有很大的分野：窮人較多選擇羅斯福，而富人則傾向支持蘭登。選擇偏差，是造成文學文摘這回的預測，會謬以千里的主因。這樣的錯誤一次便夠了，因選後不久，文學文摘就破產了。
切記：當有選擇偏差時，樣本數再多也可能無用。
文學文摘還犯了另一嚴重的錯誤：一旦決定了受訪名單，就要儘量去獲得他們的意見，這部分工作卻一向是高難度。當取出的樣本中，有過多沒有回覆或拒絕受訪，將可能造成一嚴重的扭曲，我們稱之“不回答的偏差”(non-response bias)。有時不回答者與回答者的意見，可能有很大的差異。舉例而言，文學文摘在芝加哥所發出的問卷數240萬，大約是當時芝加哥選民的三分之一，不可謂不多。但其中回覆者才約20%！回收問卷中，支持蘭登的超過半數。但選舉結果，羅斯福在芝加哥獲得約三分之二的選票。文學文摘對全國所發出的1千萬份問卷中，只有比例不高的24%的回覆。這24%回覆者的意見，不見得能代表全部被挑選出來之選民。所以文學文摘既犯了選擇偏差，又犯了不回答的偏差兩種做民調時的大忌，調查結果會準確才是奇怪。
一般而言，低收入與高收入者，不回答問卷之比例較高。也就是回收問卷中，來自中收入者，往往超過該有之比率。而中收入者的意見，與高收入或低收入者，並不見得會相同。由於有這種不回答的偏差，現代民意調查機構，對於重大或較敏感的議題，在時間及經費允許下，傾向採用面訪，而非郵寄問卷。面訪成功率通常可達65%以上，而郵寄問卷之回收率常不到25%。不過即使採用面訪，不回答的偏差之問題仍然存在。那些面訪時不在家者，與面訪時在家者之習性，如工作類別、家庭狀況、社會背景等，可能會有很大的差異，想法因而將大不同。拒絕受訪者的情況也類似。好的抽樣調查設計，會正視不回答偏差的問題，而採用較巧妙的方法，以設法降低不回答率。
抽樣調查設計，不單純只是統計上的問題，還要結合諸如心理學、社會學，及經濟學等方面的知識。
參考文獻
1. 黃文璋(2010). 抽樣調查. 黃家小館(http://huang.nuk.edu.tw/cindex.htm).
2. Freedman, D., Pisani, R., Purves, R. and Adhikari, A. (1991). Statistics, 2nd ed. W. W. Norton Company, New York.
