批踢踢評論的印證與啟示:
嚴謹與信任的互動‧
是高品質研究的基礎
1 篇批踢踢 PTT 的評論,證實了吳統雄選舉研究團隊的嚴謹與獲得成果的原因。
這篇對本團隊「2014 高雄市長選舉預測」的評論,語氣上明顯展示了是「要批、要踢」本團隊的本意;但正好因「不是捧場、而是質疑」,所以「非常客觀」的證明了以下事項:
1. 本團隊在研究理論與方法上的嚴謹與實踐上的誠信,以及與委託者的信任,形成良性互動。
2. 本團隊如何在「抽樣」與「訪問」上,達成「隨機性/等機率性」,從而可以獲得較精確推論。
3. 本團隊如何在「測量」上,面對高比例不回答者、故意誤導者,由多向面歸納技術,還是可以預測他們的選擇。
4. 本團隊為何在「2014 高雄市長選舉預測」中,是所有調查研究報告中,最接近事實結果者,差距僅0.74%,而其他11家的平均誤差是 8.62%,最少是3.21%。亦即,如果選舉差距在 3%內,其他各家將全部失準。
踢踢 PTT 評論‧陳述之內容
踢踢 PTT 作者:gonego (狗捏狗) ,看板Kaohsiung,時間 Wed Oct 1 01:04:54 2014
以:標題[閒聊] 發文如下:
|
今天接到號稱世新大學的教授吳統雄的研究的電訪,已經第二次了(第一次婉拒了),而 且聽說不是詐騙,想說要支持學術研究,就接受了。據說號碼是隨機的,電訪員不知道我家電話,但掛下電話又接到第三通電訪!? 但裡面的問題完全不中立,例:氣爆捐款超過39億,市府已經花35億,您覺得市府是謹慎 小心還是草率?登革熱病例全台總共五百多例,高雄佔了97%,您覺得市府是否有責任一 類的誘導性文字。聽了,真的很怒。 比較中立的問題:楊秋興接到市民投訴陳菊氣爆當時在按摩,陳菊聲稱按摩師在待命、並沒有按摩,您相信哪一方的說法。 最後基本資料的問題:您是哪裡人?台灣閩南/台灣客家/中國各省/原住民(僅有4選項) 還有一個很糟糕的問題:您覺得台灣人是否屬於中華民族?(為什麼沒有接著問原住民是否屬於南島語系民族) 總之,這問卷的效度有極大的問題、極度偏頗,導向他想要的答案。非常懷疑到底是學術 研究還是引導式民調,在電訪中抹黑對手。很糟糕。我還寧願接詐騙集團電話,至少可以 玩玩安麗梗。 |
如何在「抽樣」與「訪問」上,達成「隨機性/等機率性」
本團隊長期指出,統計推論必須「過 5 關」,第 1 關就是必須達成「隨機性/等機率性」。
樣本隨機抽出並不困難,但「不能更換」,否則就損失「隨機性/等機率性」。
然而,訪問實務上,受訪者不會都在家等電話、或願意回答電話,臺灣幾乎所有其他調查機構都會因此更換樣本。
只有本團隊堅守「隨機性/等機率性」原則,一定要訪問到被抽出的樣本。
踢踢 PTT 作者 gonego (狗捏狗),是在接到第 3 次電話(可能另外還有沒接到的次數),才肯回答的,見證了「不答」的普遍性,以及堅守嚴謹的困難度。
其實要感謝 gonego 的支持與配合,因為找到「隨機性/等機率性」樣本取得回答的平均次數是 7 次。亦即,本團隊僅在訪問作業上,成本與投入就是一般調查的 7 倍。
如何在「測量」上,由多向面歸納技術預測
臺灣要用一般統計技術預測選舉,有 2 大障礙:
1. 有高比例不回答投票對象,至少有 3 分之 1、甚至有時高達 3 分之 2,本團隊可能是唯一具備分析不表態者、真正選擇能力者。
2. 存在故意誤導者。臺灣有些政治組織,經常指導自己的「鐵忠選民」說反話,本團隊也可能是唯一具備過濾能力者。
本團隊的「測量」方法,發展出多向面歸納技術,也就是由多個受訪者的間接態度與行為資料,綜合預測其投票對象。
間接測量,問題必須要有區別力。
「區別力」不是「重要性」。本文作者在1983年在臺灣推動第一個政治態度調查與選舉預測時,鑑於毫無前例,所以在事前請教了許多的先進。其中包括一位在學術與政界兩方面,都有崇高聲譽的知名前輩。他非常認真的看過我擬的題庫後,極嚴肅又善意的對我說:「統雄,你竟然犯了一個大疏漏,沒有問選民『清廉』重不重要!」
『清廉』是一個不證自明的絕對價值,沒有人會認為政治人物可以不『清廉』,這種項目就缺乏區別力與測量意義。量表設計是一種科學,不是設定一種標準來考試。
gonego 的疑問〉為什麼沒有接著問原住民是否屬於南島語系民族〈,理由也是:這是選舉預測,不是歷史考試。
本研究的量表,都是為能區別投票對象而設計。由 gonego 的反應,也證明對 gonego 的投票傾向,是具備區別力的。
事實‧誘導‧面對事實卻認知為誘導
民意調查有不同類型,有「科學預測類」,也有「戰術類」,亦即 gonego 說的誘導調查。
如何判斷是「科學預測」?還是「誘導」?核心就是問題中的陳述,是否為事實。
本團隊所設計問題中之數字,全部是官方、包括高雄市政府自己所公布的數字,全部是可稽之事實。
不過,經由 gonego 轉述後,與問卷的事實原句並不相同,可能也會使讀者在「語氣」上有不同的感受。
譬如在「登革熱」題上,本團隊的事實問法是:
登革熱疫情急速擴大,幾乎全面發生在高雄市內,且可能持續至11月底。請問,高雄市登革熱病例可能達「1萬」,其他縣市僅有數十,原因是:
選項內容:
(001)高雄市運氣不好,市府沒有責任。
(002)市府在預防與防治上,有不當責任。
(070)其他(請註明)
(996)無意見
(997)不知道
(998)拒答
原問句有強調「運氣不好」的前提、也可以回答其他意見,卻被 gonego 所省略,反而有把「事實」、「誘導」為「誘導」的結果。
我並不認為 gonego 是故意扭曲,而是人類共通的「取用行為」,亦即面對事實,卻因為自己的長期經驗、與小社會相信,而認知為另外一種、甚至相反的內容。
gonego 轉述:〉最後基本資料的問題:您是哪裡人?台灣閩南/台灣客家/中國各省/原住民(僅有4選項)〈
應也是由 gonego 自己的其他經驗誤轉而來。
因為,這是本團隊研究經驗中,非常重要的特點,對於本題的問法是:
請問您的族群是? [不提示]
「不提示」才有較高預測區別力。
同時,記錄內容包括: 01 臺灣/閩南人 02 客家人 03 大陸各省人 04 原住民 05 外國人/新移民,也不是〉僅有4選項〈。
我重申,我不認為 gonego 故意誤導。但在他認知過程與回應中,即使他沒告訴我:他會投誰,我也已經知道他會投誰了。
gonego 的行為,也讓我示範了,什麼是「多向面歸納技術預測」。
研究的社會責任
標準的問卷結構與內容,是不會提到研究主持人的。gonego 指出:〉世新大學的教授吳統雄的研究〈,應是他自己主動詢問訪員的。
本團隊基於研究的社會責任,在訪員訓練的 SOP/FAQ 手冊中,明確有列誠實回答研究主持人、與用途…等等的規範。也證明,與不少戰術型、甚至假造民調的不同。
預測效度
另外,gonego 的敘述〉這問卷的效度有極大的問題〈,與已知事實相反。可能反映 gonego 把「效度」當成「閒聊」的「常識」,而未探究其專業的「知識」。
就選舉結果,本研究的「效標關聯效度」或「預測力效度」,超過 .99(最高為1),是極不容易達成的成果,而本團隊「選舉預測研究系列」的此種效度,三十餘年來均約維持在 .98 以上的水準。請參見「態度與行為研究的信度與效度:理論、應用、反省」。
本團隊的嚴謹與委託者的信任,形成良性互動
本團隊的嚴謹與實踐標準,如以上不更換受訪者…等,舉例只是百中之一。這些品質要求,都必須反映在成本上,所以本團隊從來不作商業服務,僅接受願意作科學預測--用流行話,就是「不為自嗨」--的委託者。
本團隊在作業過程中,雖然安排了「監看、監聽系統」,歡迎委託者到場指導,但歷年來,委託者鮮少來監督,完全信任本團隊的執行。
踢踢 PTT 這篇嫌煩的抱怨,恰巧證明本團隊不在被監督之下,也堅守最高實踐標準。本團隊的嚴謹與委託者的信任,形成良性互動,是能夠持續完成高品質研究與預測的最重要精神基礎。
踢踢 PTT 評論之截圖




