媒體上常會公佈各種民調的結果，人會替數據說話，於大做文章後，文末常會有類如底下的一段附註(取自民國103年9月5日中國時報A9版)：
本次調查由艾普羅民調公司執行，針對台灣地區22縣市20歲以上的成人進行電話訪問，於8月20、21日晚間進行，以中華電信住宅電話簿為抽樣清冊，分層隨機抽號，再將末兩碼以亂數取代，成功訪問1,078份有效樣本，資料並依照台灣民眾性別、年齡與縣市結構進行樣本代表性檢定與加權，在95%的信心水準下，抽樣誤差為正負3%。
抽樣清冊就是抽樣底冊。至於分層隨機抽號，可能是依各縣市分層，但亦可能是依年齡或性別，由報導中看不出來。末兩碼為何以亂數取代？並未解釋。只是現代人慣用手機，有些人家裡已不裝電話了，光用電話簿做抽樣底冊恰當嗎？在95%的信心水準下，抽樣誤差為正負3%？很多人對此可能會一頭霧水。這背後有其原理，此處暫表不提。拒訪率的高低，亦是一有用的訊息，故這類補充說明，通常會附上拒訪率，不過此報導卻沒有。“加權”也是學問。有些民調機構有特定立場，有時會被懷疑是否藉加權時動手腳。雖大部分的讀者，對背後的理論，興趣不見得很大，我們還是得做個提醒。由於採分層隨機抽樣的關係，可能會使理想狀態下的誤差，變得更大。對人的調查向來已不易，因人並不像球或銅板，可任你拿捏。故雖有套理論在那裡，但若做民調者，未太在意其中的規範，調查過程不夠嚴謹，則造成的誤差，將很可能遠遠超過所引用理論裡，預設的3%上下。這樣做出的民調，若被質疑可信度，並不足為奇。
有沒有可信度較高的民調公司？有人說“實踐是檢驗真理的唯一標準”，我們姑且便以成敗來論英雄。
蓋洛普公司，於1935年由喬治蓋洛普(George Gallup，1901-1984)所創立，是一家全球性的績效管理諮詢公司。成立後次年(1936)，蓋洛普便成功地預測羅斯福會擊敗蘭登連任美國總統，自此名氣大噪。今日大部分的人，都以為這家公司只做民意調查。
美國總統大選每4年一次，從1936至2012年，共20次選舉，蓋洛普的預測，錯了3次。第一次是那有名的1948年，由杜魯門(Harry Truman，1884-1972)對決杜威(Thomas Dewey，1902-1971)。蓋洛普預測杜威將以49.5%比44.5%獲勝(相加不到100%，因另有兩位候選人)。結果是差不多反過來，杜魯門以49.5%比45.1%獲勝。第二次蓋洛普預測錯誤，是1976年的卡特(James Earl Carter, Jr.，1924-)挑戰在位的福特(Gerald Rudolph Ford, Jr.，1913-2006)。蓋洛普預測福特會以49.0%比48.0%獲勝。結果卡特以50.1%比48.1%打敗福特。這是一場差距很小的選舉，不能太苛責。第三次犯錯，發生在近期的2012年。蓋洛普預測羅姆尼(Willard Mitt Romney，1947-)會以50%比49%，險勝尋求連任的歐巴馬(Barack Obama，1961-)。但實際結果是歐巴馬以51.1%比47.2%順利過關。這次蓋洛普對得票率預測的誤差，比很多民調公司都大，選後被批評了一番。表1給出從1936至2012年的二十屆美國總統大選，蓋洛普對各候選人得票率的最後一次預測、實際得票率，及四捨五入後之差異。
20次預測中了17次，命中率其實不算低，且得票率預測的差異，大致來說並不大。錯的3次，1976與2012年那兩次，兩候選人算是勢均力敵，預測不準，尚情有可原。但1948年是怎麼回事？事實上，那次選舉，在競選過程中，在位的杜魯門一直不被看好。當時幾家主要的民調公司，包含蓋洛普在內，均預測挑戰者杜威，將贏杜魯門5%以上。有家報紙在選前還以“DEWEY AS GOOD AS ELECTED, STATISTICS CONVINCE ROPER”(統計說服羅波相信杜威已當選)為新聞標題。羅波(Elmo Burns Roper, Jr.，1900-1971)是當時一位以預測精準著稱的民調專家。他預測杜威將以52.2%對37.1%大勝。投票當天，有家報紙已迫不及待地刊登一篇標題為“Harry S. Truman: A Study of a Failure”的文章。投票還未截止，有家報社已將隔天的頭版印好了，標題是“DEWEY DEFEATS TRUMAN”。
眾民意調查機構究竟犯了什麼錯？難道不該被統計說服嗎？原來當時的民調公司，大都採“配額抽樣”的方式以產生樣本。配額抽樣的原意，是想讓抽出的樣本，像是母體的一個縮影，本是一不錯的想法。但在1948年那次總統選舉，顯然是一個失敗的經驗。怎麼會這樣？
以蓋洛普為例。他們一位在聖路易斯(St. Louis)城的訪員要訪問13位選民，其中要包含：
(i) 6位住郊區，7位住城裡；
(ii) 7位男性，6位女性。
這7位男性中(對女性也有類似要求)：
(iii) 3位在40歲以下，4位超過40歲；
(iv) 1位黑人，6位白人。
6位白人每月房租要滿足：
(v) 1位超過44元，3位超過18元未超過44元，2位不超過18元。
對樣本有這麼多限制，當然不能再要求樣本得以隨機的方式產生了。於是訪問那些人，完全由訪員自行決定，只要各類配額皆達到即可。
蓋洛普希望樣本結構能忠實反映全部投票者，所以才會顧慮各個主要會影響投票行為的特性。但其中卻有一罩門，即無法對共和黨黨員及民主黨黨員給出配額。要知美國只要選前登記黨籍即可，初選想投那一黨就登記那一黨，每次可以不同，而登記那一黨，就是支持該黨候選人。只是政黨黨員比例，正是民調公司所不知道，試圖藉由民調來獲知。精密給出各特性之配額，不過是一間接的手段，企圖使樣本經調查後，能讓全國選民政治傾向的比例浮現。影響投票的因素其實很多，遠超過民調公司所能掌握的。由於訪問誰，讓訪員自由挑選，但人的選擇，就是很難避免偏差。試想如果有學生工讀，在街頭發問卷，難道不是優先找看起來較順眼的人嗎？那些外貌有如角頭大哥型的，將避之惟恐不及，豈會發問卷給他們？又在時間壓力下，若遇一家人若都願意填寫，有時也就不太在乎同質性過高的問題了。在1948年，多數訪員挑出的面訪樣本裡，便有過多的共和黨黨員。一般而言，共和黨黨員較富有，且教育程度較高。因此電話擁有率也較高(注意那是1948年)，較多人有固定的地址，也較多人住在比較好的區域，導致他們較容易被訪問到。在此情況下，大部分的訪員，都可能在無意之下，訪問了過多的共和黨黨員。
事實上從1936至1948年的總統選舉，蓋洛普的訪員都有訪問過多共和黨黨員的傾向。只是在1936至1944年那3次，民主黨的候選人羅斯福的實力，均高出對手一大截，因此樣本中共和黨黨員過多造成的偏差，尚能被掩蓋過去(表1顯示共和黨候選人的實際得票率均較預測值低，民主黨則提高)，而使蓋洛普的預測誰當選依然正確。但1948年，兩位候選人旗鼓相當，因此樣本的偏差，便影響到預測結果。
有了1948年的失敗經驗後，自此美國差不多所有的民調機構，皆以機率抽樣的方式產生樣本。只是美國幅員廣大，人口眾多(有三億多人口)，採簡單隨機抽樣，難度極高。不要說不易拿到選民的底冊，就算有，抽出的選民分散在全美各地，要進行訪問，困難且耗極成本。“叢聚抽樣”遂為一常採的作法。黃文璋(2010)一文簡述蓋洛普的作法。較詳細的介紹，可參考Freedman et al. (1991)。
一直到1980年代中期，蓋洛普對總統選舉的民調，都採面訪方式，但逐漸困難起來。一方面成本愈來愈高；一方面基於治安的考量，民眾愈來愈不情願讓訪員進到家裡。但最主要的是，面訪極耗時間，當進入資訊在比誰更快速取得的時代，面訪便不再具優勢了。幸好電話日益普及，一般家庭都至少擁有一部電話。於是到了1980年代末期，蓋洛普的全國性民調，主要都採用電話訪問了。之後手機時代來臨，自2008年起，蓋洛普的民調方式，除電話外，已納入手機了。隨著通訊方式的多元，民調管道也將愈來愈多樣。又為了顧及老派人士，以手填寫的問卷，也仍然存在。
總之，民調要具參考價值，便得對母體有充分的了解、樣本須更有代表性、訪員的訓練要更紮實。而最不能忽視的一點是，問卷的設計要更下功夫。
參考文獻
1. 黃文璋(2010). 抽樣調查. 黃家小館(http://huang.nuk.edu.tw/cindex.htm).
2. Freedman, D., Pisani, R., Purves, R. and Adhikari, A. (1991). Statistics, 2nd ed. W. W. Norton Company, New York.
