調查法的設計與應用
兼論:測量方法與民意調查的目標
命題一般稱為「問卷設計」,此處則強調「題」作為測量人類行為基本單位的意義,而不僅是問卷格式上的設計程序。
「題」即研究者要調查的主題,通常是受訪者對人物或事件的態度、行為反應。
本文作者建議,取得應變項的方法,可以概分為兩類:請受訪者自我「報告」,或由研究者「測量」受訪者。
譬如,如果研究者想了解某班學生的數學程度,他可以請學生「報告」自我的程度是「好」「壞」「很好」「非常好」…。他也可以出一張50個題目的考卷請學生做答,內容包括加、減、乘、除、三角、幾何…微積分,從「測量」中了解學生的程度。
受訪者自我「報告」,就是「直接詢問法」。
研究者「測量」受訪者,則可包括各種:態度行為測量法、與預測模式法。
另外,開放式(open-ended)的問卷,即請受訪者自由申論的問題,因涉及一種特別的「內容分析」量化方式,故不在此討論。
非科學目標的一般民意調查,面對的是大眾,具備必須「容易處理」的特性。因此,坊間民調機構採用的調查,通常都是「直接詢問法」式的調查。
直接詢問法
直接詢問法的特徵,就是以單一或極少數的項目,來詢問一個主題。直接詢問法也是當前最常見的問卷命題方法,它值得注意的問題如下。
國際「研究方法」領域的研究已發現:直接詢問法容易在以下4因素產生引導或混淆作用:
1個客觀因素:虛擬量與物理量設計。
3個主觀因素:直述句與條件句、修辭與表達方式、主詞與人稱。
科學調查、追求真實資訊的調查,必須預防產生對此4因素的「被動誤解」。
相對的,戰術調查、如競選組織的負面競選手段,也會充分利用對此4因素製造「主動誤導」。
虛擬量與物理量設計
以前述調查某班學生數學程度的個案為例,獲得的「好」「壞」「很好」「非常好」…等資料,在方法學上稱為「虛擬量」(vague quantifiers,
或稱模糊量),因為它無法在物理世界中確切比較大小,分辨出某甲的「很好」真正強過某乙的「好」,說不定事實上某乙的「好」反而強過某甲的「很好」。
受訪者對問題的觀感原來是一種抽象的感覺,我們用比較的方式轉化為「量」,在這樣的量化過程中,多少有一種勉強的性質,也缺欠客觀的標準,因此Chase ,
Pepper認為這種虛無數值並不足為憑。Wind et al.發現由虛擬量的預測能力不夠好。
但是Jones , Mosier
卻指出少數受訪者之間的比較也許很不客觀,但是當受訪者很多以後,各種觀點又會符於常態分配的性質,彼此「截長補短」、修正歪曲了,以此而給予「虛擬量」理論的基礎。
Bradburn 以實證資料發現:受訪者對「虛擬量」到底代表多大,認定的變異量很大,頗缺乏共同的觀感。
本文作者因此建議謹慎使用「虛擬量」,並且儘可能把「抽象的量」換成「具體的量」,譬如作「家長對兒童觀看電視的調查」與其問「贊不贊成兒童看電視?贊成?很贊成?非常贊成?不如問「贊成兒童每天看多久的電視?半小時?一小時?還是兩小時?」
又如調查是否贊成調整被選舉權年齡,與其問「贊成?很贊成?非常贊成?」不如問「贊成被選舉權年齡訂定為滿18歲?滿20歲?還是滿25歲?」
也就是說,應盡量以詢問行為資料代替態度資料。
直述句與條件句
問卷中的文字也十分值得注意,其中直述句與條件句的處理最容易發生「誘導」的效果。條件句的標準格式,就是以:「為了」開頭。
以下這句是直述句:
「您認為應不應該增稅?」
政府某一研究單位,最近在執行民意調查時,同時希望宣導政府增加稅源的政策,於是採用了以下的條件句,以期增加認同:
「為了擴大社會福利,是否應該再提高所得稅?」
「為了推動公共建設,是否不應該再減稅?」
相同的,反對者可以依樣畫葫蘆,改為誘導向反對的條件句:
「為了促進政府施政效率,應該再減稅?」
在問卷中設計「為了」「普遍真理」的條件句,通常其後任何結論都較容易受到支持。這種句型其實比較偏向廣告文案,譬如:「為了展現新生代的理念,請喝萬事可樂。」聞之令人一振,但仔細想一想,「新生代」和「可樂」實在是扯不上關係。
民意調查的文字不是完全不能用「為了」,而是處理條件句時,應將正反條件均提示出來,並配合完整的訪問技術,執行上有許多的考量。
修辭與表達方式
同樣一個問題,卻可能有好幾種修辭來形容,也可能有多種表達方式來切入問題。在探討國民黨與新黨的關係上,幾個民意調查,有的用「毀黨」、有的用「改革」來形容新黨對國民黨的影響,結果在獲得受訪者的同情程度上,就發生了差異。
美國曾經發生:調查相同的一件事,只因為修辭或表達不同,造成民意數字「完全逆轉」的個案更多,以下是幾個著名的例子:[26]
『是否應提出憲法修正案,「禁止墮胎」?』--是:29% ,否:67%∕『是否應提出憲法修正案,「保護胎兒」?』--是:50% ,否:39%
『是否應管制槍枝「要求購槍者接受身家調查」?』--是:91%,否:6%∕『是否應「投入等於目前5分之1的治安費用」,實施管制槍枝的辦法?』--是:37%
,否:61%
『是否應援助尼加拉瓜反抗軍「以阻止共產主義勢力漫延」?』--是:58%,否:29%∕『是否應援助「想要推翻尼加拉瓜政府的那幫人」?』--是:24%,否:62%。
代表性個案:2022六都市長選舉調查
台灣民意基金會在2022年六都市長選舉前,發表的調查,就是「直述句與條件句」效果,尤其是假設性條件句,再加上「修辭與表達方式」效果的充分展示。
網友問:關於侯友宜參選有2題,第一題為「關於2024台灣總統大選,侯友宜近來公開表示,不排除參選可能性。對侯友宜正在選新北市長,另一方面又不排除參選 2024
總統,您能不能接受?」第二題為「如果侯友宜當選新北市長,明年再宣佈參選 2024 總統,您支不支持他這
麼做?」2題的接受度結果不同,如何看待此現象?是否有落跑市長的負面標籤影響?
這2題的實質內容幾乎是完全一樣,但第二題加上了「假設條件」,立刻將對侯友宜不支持的比例拉高為過半。而第一題沒有「假設條件」,接受與不接受均未過半,且接受還高一點。足見「直述句與條件句」效果的威力。
第一題的「修辭與表達方式」很有深意。侯友宜現在是在選市長,但問題的破題是「選總統」。侯友宜從未主動對此議題表態,主打此議題的,均為民進黨的競爭者與助選人士。
報告中提到:『侯友宜被問及(即「被動回答」)是否參選 2024 總統時表示「勇於承擔責任、樂於接受挑戰、全力以赴、不計成敗」』。
但實際問卷中的修辭卻改為「侯友宜近來公開表示,不排除參選可能性」,很微妙的改變了被動與主動性。
報告中說:『竟有多達四成四選民可以容許像他這種民選政治人物「吃碗內,看碗外」,尤其是牽涉參選 2024 台灣總統,這是無法想像,不可能發生的事,但真的發生了。』
這是民進黨宣傳文案的直接引用,應該彰顯了研究者的立場,也解釋了這2題應用「直述句與條件句」與「修辭與表達方式」效果的原因。
國內外研究發現,各種主題:稅政、社福、軍援、醫療…的民調,均可採用「直述句與條件句」與「修辭與表達方式」效果,以誘導選民。
國外各競選組織,包括著名的「劍橋醜聞事件」,均曾充分應用。
由於韓國瑜事件未久,強推「落跑市長標籤」,是負面競選戰術必然的選擇,這2題也反映了其殺傷力。
不過,本項調查的抽樣方法不符隨機性,只有代表其樣本的參考性,而無全體推論性。且侯友宜已做完1任,與韓國瑜情境并不相同,最後影響可能沒有助選者預期得那麼高。
網友問:關於公投綁大選的問題,問題敘述提及了去年公投沒過,雖是事實陳述,不過有沒有引導了選民的選擇可能?
由於去年公投沒過為事實條件,而非假設條件,誘導力不會很大。但違背「宜避免條件句」原則。
此題原句為:「去年「公投綁大選」公投沒過,今年選舉又將同步舉行「十八歲公民權」 的修憲公投。一般說來,您贊不贊成選舉和公投應該一起舉行?」。
不知爲何中間要插入:『今年選舉又將同步舉行「十八歲公民權」 的修憲公投。』一段無關的話?報告沒有說明。
也許是原始設計者想作成一個條件句,但沒有成功。
問題設計必須簡明,當前變成2個無關的句子,在「修辭與表達方式」因素上,應屬不推薦的設計方法。
網友問:在詢問六都市長候選人的欣賞度僅列出藍綠兩大黨,遺漏了無黨參選北市長的黃珊珊,對北市選情的參考力是否存在疑慮?
這個爭點的答案為:是,也不是。
理由是:這個問題到底在問什麼?
問題核心為「六都市長候選人」自然對讀者的導向是問選情。
如果是問選情,遺漏了無黨參選北市長的黃珊珊,當然是疑慮。故答案為「是」。
但細讀報告的文字,它是在問兩黨候選人的全國性知名度,黃珊珊不在兩黨內。故答案為「不是」。
研究者似乎要以這個題目宣示:知名度上,陳其邁上升、侯友宜下降。
如果是這個目的,則研究目的和測量方法發生了嚴重扞格。
既然已經標定「六都市長候選人」,而不是「全國性候選人」,上升與下降應在「六都」內比較,同時應是與競爭對手比較。
出現這種顯然不合邏輯的問題,可能是「修辭與表達方式」客觀上的錯誤,但也無法排除可能有作「戰術調查」主觀上的意圖。
主詞與人稱
受訪者在處理「人」與「事」的邏輯時,是很值得深思的。即使是聲譽卓著的調查機構,也會發生大意的情形。一個著名的例子是:美國
CBS和紐約時報,曾經合作一次調查,詢問:
「你是否同意聯邦政府應該協助民眾,使民眾得到便宜的醫療服務?」
結果有81%
回答「是」。調查報告者,便根據這個數字,說民眾支持擴大政府的編制。
可是北美報業協會立刻也作了一項相同的調查,只是把問題中的「聯邦政府」改為「私人企業」,結果也有71%
的受訪者贊成這項新方案,也就是說,應該縮小政府的編制,讓民間來做。[26]
其實,民眾只是期望「便宜的醫療服務」,至於誰來負責,受訪者並無所謂,甚至毫不關心。論者因此指出,如果不分析受訪者的心理架構,就以任意的民意調查作為公共政策的依據,是十分粗糙,甚至是危險的。
除了政治性的民意調查之外,美國也有一些研究發現,調查財富的問題,會發現受訪者總認為別人的財富多、來得容易;而自己的財富少、獲得困難。在調查遵守交通規則的問題上,總認為別人不遵守容易會發生危險,而自己不遵守則較不易發生危險。所以,問卷設計在處理主詞與意見的關係時,必須非常慎重。
測量方法與民意調查的目標
調查目的如果只是粗略了解某些事實資料,或是探索性研究,直接詢問法倒不失某種程度的參考價值。但是它受到許多干擾因素的影響,它收集到的資料,爭論空間往往相當的大。
直接詢問法應視為在理想上希望接近科學,但在實務上非常難達到科學條件的命題方式。
矛盾與誤解,必然有其產生的背景,可能便與各種民意調查的目標不同有關。
不同目標的民意調查,自然會採用不同的調查方法,或對調查結論有不同的取捨。以下是測量方法與民意調查的目標包括:1、政策或儀式的目標。2、宣傳的目標:戰術調查。3、作秀的目標。4、參考的目標。5、科學的目標。前面4種幾乎必然採用直接詢問法。
1、政策或儀式的目標
不知道民意調查到底正不正確,而把它作為一種「應然」的政策,卻還沒有成為一種「必然」的信念。
譬如一家報紙曾經委託本文作者,在世新學院製作對第二屆立法委員的選舉預測,這無疑是報社管理階層一種政策的表現。[16]
但有趣的是,競選期間中在調查報導版上,始終指出候選人陳政忠從來沒有過入圍的機會;在投票前夕的另一個新聞版上,卻以頭條報導陳政忠大有希望;同一份報紙出現截然相反的預測。這說明了,報社的領導者願意推動前瞻的作法;但是編採體系,卻仍然習慣走傳統政治觀察的路線。其中的意義,實在很值得玩味。
而在其他一些地方,可能還把民意調查視為「儀式的目標」,自然更不會把民意調查當作知識的來源了。
2、宣傳的目標:戰術調查
故意讓民意調查不正確。美國稱為「戰術調查」(Tactical polling),只是假民意調查之名,企圖影響民意、操作政策而已。
「戰術調查」即根本沒作、也沒委外。就是拿個民調的範本,改填自己想要的數字。「戰術調查」也是一種假訊息,但若宣傳資源多、宣傳時間長,會有「曾子殺人」造成誤信的效果。
臺灣曾有一家著名大報社,被揭露偽稱有民調中心,虛構「戰術調查」的事實。同時,成立民調中心的成本很高,如果宣稱有民調中心,卻沒有例行性的調查報告,非常特殊。
但有些競選公司,瞭解廣告理論,把民調作為「置入行銷」工具,採用民調形式做訪問,只不過目的是洗腦,而非調查。不重視隨機性,樣本愈多愈好。
民調公司接到這種案子最開心,不必寫研究報告,但要寫行銷效果評估,以便行銷顧問因應改題。這種民調基本上是不公開的。
2010年後,由於網路與手機流行,「戰術調查」多改爲網路執行,且是「整體網路導流專案」的一環,調查完後,還有後續「標靶推播」,正如著名的「臉書劍橋醜聞」。
唯臺灣有些民調即使有此意圖,就所披露內容來看,也是土法鍊鋼、原始「宣傳注射論」的粗淺手法。
國際專業級的「戰術調查」,在訪問流程設計上,不論採用新式的UML法,或舊式的WFC法,都會有決策菱形點,即根據受訪者的反應,有3種「R_A_ID(增強、攻擊、引導)」題組,誘使受訪者有興趣繼續談下去。本案顯然沒有。
由於「戰術調查」不當使用而成為醜聞的可能性太高,我們不建議濫用「戰術調查」。可確定的是,只要取得完整問卷,應可辨識是否為「戰術調查」與其等級。
3、作秀的目標
無所謂正不正確,民意調查只是為了賺錢、造勢、出鋒頭、打知名度,或是討好某些特定群眾。
4、參考的目標
通常是非政治性的調查,達到局部正確即可。譬如企業經常舉行的市場調查,達到銷售務實目的即可。銷售不同於選舉,不需要勝負分明,不必掌握多數群眾,只要能了解特定顧客即可。
而非隨機調查、無法執行隨機方法的調查(如網路調查),只要說明研究方法,都具有「僅代表受訪者、而非全體」的參考性。 甚至有缺陷的、但原始設計為隨機的調查,只要願意公布詳細研究方法,還是可篩選出一些可觀察項目。
5、科學的目標
非常純粹的目的:企圖盡量達到確實、客觀、公正,而不摻雜其他任何因素。
不過,如何達成科學的目標,有時不是「不為」的問題,而是「不能」的結果。豬頭並不期望自己是豬頭,甚至不自覺自己是豬頭,但卻不可避免自己是豬頭的事實。
區別民意調查的科學程度,可以由政治性民意調查兩種迥然不同的方向:「政治態度」的調查,與「選情預測」來分析。
「政治態度」例如選民對某項議題的支持程度、某位政治人物的聲望…等等,基本上是種死無對證的報告。兩個不同的調查,可以針對相同的主題,得到兩種截然相反的數據,而雙方誰也不能證明對方是錯誤的。
而「選情預測」的結果,在十天後、甚至24小時後,就要一翻兩瞪眼,正誤立判,挑戰性自然極端的高。
在此民意高漲的時代,任何機構或為尊重民意,或為追逐時髦,都想要個民意調查,在市場需求下,「豬頭式」民意調查自然應運而生,反正報告政治態度的意見也沒有任何風險。
但也因為「豬頭式」民意調查橫流,形成了大眾經常對民意調查抱著不可靠、甚至懷疑它別有用心的態度。
