一項調查是否能成功，首先要有好的調查計畫。從調查的目的、母體為何、底冊的選擇、樣本的設計、調查方式(面訪、電訪或郵寄問卷)、訪員訓練及挑選，及資料的分析，都要妥善規畫。此外，負責執行調查計畫者，除了技術層面，尚要具備清晰的邏輯概念，隨時判斷過程是否有誤？是否合理？但不論再嚴謹，對隨機現象，誤差就是難免。媒體上公佈的民調結果，文末的附註中，便常有諸如底下的一句：
此次調查，成功訪問n份有效樣本，在95%的信心水準下，抽樣誤差為正負d %。
視不同的樣本數n，而有不同的誤差d值。只是d又如何求出？這說起來有些複雜。底下我們給一簡單的說明，取材自黃文璋(2014)一文。
人們常在估計，像是想估計某銅板出現正面的機率p。一個簡單的估計法就是反覆投擲，經n次投擲後，若得到X個正面，很自然地，便以X/n來估計p。這是所謂點估計，即以一個點(或說一數)來估計某一未知的量。因p總是很難剛好等於X/n，有時會想知道p究竟落在那個範圍內？給個範圍，好像比只給一個點更安心，或說對此估計更有信心。這時便可考慮採用區間估計。例如，給一個以X/n為中心，半徑為d之區間，也就是(X/n - d，X/n + d)，且附上p落在此區間之機率。這區間便是p之信賴區間(confidence interval)，伴隨的機率，則稱為信心水準(常以百分比表示)，而d就是估計誤差，或稱抽樣誤差，或只簡單地說誤差。
這一套步驟說來容易，實際操作卻有些困難。假設銅板的各次投擲為相互獨立，也就是互無影響，則n次投擲後，所得的正面數X，由排列組合知，有參數n及p的二項分佈(binomial distribution)，而X落在某區間之機率為一串機率值的和，並不易化簡。尤其為了讓估計更精準些，通常n會取得較大，此時那一串和就更複雜了。在給定一信心水準下，利用著名的中央極限定理(Central limit theorem)，以常態分佈(normal distribution)來近似二項分佈，可求出p之一近似的信賴區間。由於過程中用到幾道近似，所得到的誤差d，當然也是近似的。
以選舉為例。想估計選民對某候選人的支持率，便可利用上述想法。只是以以簡單隨機抽樣取出選民，問其意見，來取代投擲銅板，看出現那一面。一般在做民調時，信心水準通常取成95%，抽樣誤差d則預定為3%，換算出成功訪問的樣本數n約為1,068。實際調查後，n不一定剛好是1,068，由所得到的n，利用近似公式d=0.98/n1/2，可換算出近似的抽樣誤差d。不妨驗算看看。將n以1,068代入上式，得d =2.998…%，四捨五入取到小數第一位，的確是3%。可看出若n大於1,068，抽樣誤差便小於3%，否則大於3%。即若樣本數愈多，則誤差愈小，反之便愈大。例如，某次民調結果，n=1,000，則d約為3.1%。又假設兩候選人的支持率分別為36.3%及39.8%，因此支持率的信賴區間分別約為(33.2%，39.4%)，及(36.7%，42.9%)。兩候選人的支持率雖有3.5%的差異，看起來不小，但因信賴區間的長度達6.2%，導致兩信賴區間有重疊。此時遂說兩候選人的支持率，在誤差範圍內。換句話說，因有誤差的關係，即使表面上領先，但究竟那一位真的領先，仍屬未定之天。
但以民調來得到候選人的支持率，與經由投擲，來估計銅板出現正面的機率，有極大的差別。首先，銅板可反覆讓人投擲，毫不厭倦，所以各樣本可假設相互獨立。因此n次投擲後，得到幾個正面，說有二項分佈是合理的。但做民調時的簡單隨機抽樣，乃屬取出後不放回。因要讓人願意回答問卷都已不容易了，總不能稍後告訴受訪者，你又被抽中了，再答一遍。但取出後不放回，雖合理，只是各樣本間便不獨立了(想想公司尾牙摸彩的情況，有人中獎，其他人的機會便少了)，此時成功數有超幾何分佈(hypergeometric distribution)，而非二項分佈。若要利用中央極限定理來近似，便又產生一項誤差，也就是更不準了。不僅於此，人可不像銅板，投擲後得那一面相當清楚。人會拒訪、不見得會誠實回答問題，且會改變看法。由於上述這些原因，一般民調公佈的結果，所給的誤差，僅是參考用，不能過分相信。執行民調者，更要有此體認，不能以為其中的誤差值，能像數學中的數字，放諸四海而皆準。
只是不少人，常有意無意地忽視民調裡誤差的涵義。因此看似很嚴謹、很專業，將誤差運用自如，其實是走火入魔，將誤差玩弄於股掌之間。
民國103年9月初，“天下雜誌”555期推出的2014縣市調查結果，共分為三大部分：一、縣市安全指數；二、縣市首長施政滿意度；三、幸福城市五力評比。在“縣市長施政分數計算方式”項下，有如下說明：
將民眾與專家對縣市長施政表現的調查結果進行加權，加權比例為民眾80％、專家20％。其中，民意調查分總體施政滿意度(30％)與五力施政面向滿意度(50％，每一面向各佔10％)；專家評比分總體施政滿意度(10％)與分項施政滿意度(10％)，共同構成《天下》縣市長施政分數。
總分100，於算出各縣市分數後，“天下雜誌”給出“縣市長施政滿意度排行榜”，從第1排至第22。又說明：
本項調查進行時間為2014年7月9日至8月13日，調查對象為居住在台閩地區年滿20歲以上之居民。總成功樣本數為16,007位。調查方法是以台閩地區為調查母體進行分層隨機抽樣電話調查，為符合縣市代表性，各縣市需完訪樣本數依縣市人口數，從553至1,187個。當信心水準在95％時，每個縣市的抽樣誤差為正負2.8至4.2個百分點(連江縣訪問202人，抽樣誤差為正負6.9個百分點)，台閩地區的抽樣誤差為正負0.8個百分點。所有資料依性別、年齡及教育程度進行統計代表性檢定與加權處理。
這份評比中有一些根本的爭議，導致雖似花了不少功夫做，但價值可能不高。那些縣市長的心驚膽跳，可能是白驚白跳了。
假設某大學應用數學系大一的課程中，有微積分及計算機概論兩科。某生的學期成績單裡，微積分75分，計算機概論80分，問那一科表現較佳？你必會覺得無從比起。不要說兩科教師不同，就算是同一位教師，課程屬性不同，也沒辦法比。況且，由於有重修生等因素，兩班修課學生並不盡相同。連同一學系的同一班都無法比了，如果是不同學系的微積分成績，你當然更覺沒什麼好比。而且，恐怕再好事者，也不想做此比較。如今22個縣市的居民(及專家？)，各對其地方首長打分數，然後放在一起評比，真令人莫名所以。但這點就不提了，因硬要說西瓜跟香蕉可評比，我們也無可奈何。不過，有關樣本數的設計，及誤差之計算，這應較有原理可依循的，卻更是荒腔走板。由網路上知，“天下雜誌”這一調查，始自民國93年，已進行了多年。只是不只未精益求精，且似無太大長進。
首先，依各縣市的人口數，設計不同樣本數，這種並非“天下雜誌”宣稱的“分層隨機抽樣”。要針對同一議題(如都問對總統施政表現的意見)，則各縣市依人口數的多寡，給定不同樣本數，這才是“分層隨機抽樣”。如今其實是做22個調查，為了有較一致的精準度，不分人口數，各縣市宜都設定1,068個左右的成功樣本數，而不是從553至1,187個，差異很大。各縣市明明各自調查，不知與“為符合縣市代表性”有何關連？各縣市樣本數相差懸殊，導致誤差也因此有小至2.8%(0.98/1,1871/2)，亦有大至4.2%(0.98/5531/2)。甚至連江縣僅訪問202人，造成誤差大到6.9%(0.98/2021/2)。豈看過這麼大的民調誤差？何以人口少的縣市，事先設定的誤差便較大？完全沒有道理。更糟的是0.8%那一數字，居然代表台閩地區的抽樣誤差。很少人看過這麼小的民調誤差吧！“天下雜誌”說，這是由全部成功樣本數16,007，所換算出來的(0.98/16,0071/2)。總誤差居然可比單一縣市的誤差都小，且小很多，真是對誤差亳無概念。不過，如果是對全台閩地區，調查有關總統施政表現的看法，則當總樣本數為16,007，說抽樣誤差為正負0.8個百分點，就還有些道理。雖因分層，誤差算法其實不太一樣了，但便不挑剔了，反正就是近似。
這樣說好了，假設有某天文學系的學生，量測地球到火星的距離，其間得經幾十道程序。量測誤差難免，此生報告裡給出每道程序所產生的誤差，從1至3%都有。如果先翻閱那份求距離報告的最後，看到所給總誤差才0.1%，比過程中每道步驟的誤差都小，那份報告誰還會有興趣讀？
參考文獻
1. 黃文璋(2014). 在誤差範圍內？科學人. 147期(2014年5月號): 26.
