在前述美國網路研究結論的介述中,顯示了不同的研究方法。如何統合不同研究大異其趣的部分,在報告本研究的設計方法之前,以下將先建議提出衡量抽樣準確率的「代表性4率」。
樣本代表性「檢定的指標」是什麼?它是一般調查者幾乎都沒有注意到的問題。
在調查報告中常看到的「完成率」、「有效率」、「成功率」…到底是什麼意義?彼此的異同為何?具體的操作定義為何?似乎仍然基於各研究者的自由心證。
一如Dillman[28] , Kuiz[36] 指出,「電訪問完成率」迄今尚無統一的定義,常用的電話調查完成率定義為:
完成率 =回應訪問樣本/(總樣本-未曾接通電話的樣本)
亦即:
=回應訪問樣本/(回應樣本+拒絕樣本)
這項定義不僅過於簡化,而且容易引起語意混淆,無法清楚區別什麼是「完成」樣本。
第一、樣本的結果不僅於回應、拒絕、未接通。
Cochran [23]指出,一項調查可能還因以下原因而無法完成:
(1) 樣本戶中無人。
(2) 沒有適當人選。
(3) 樣本拒絕受訪。
Cochran反映的還是傳統造府調查的問題,卻仍然無法涵蓋因為社會演變、新技術發展而產生實務上會面臨的各種問題。譬如:採用隨機尾數抽樣而產生的空號,家庭調查時接到工商電話,工商調查的對象已結束營業或行方不明,一個樣本戶卻有多個號碼,接到答錄機、傳真機或語音信箱等。
第二、逕行排除「未曾接通電話的樣本」會導致重大誤差。
如果受訪者為個人,許多研究已經證明,「未曾接通的樣本」-亦即不容易找到的受訪者,在人口特徵和社經地位上,和容易找到的受訪者往往有顯著的不同。把這種樣本從比率的分母剔除,實際上會降低樣本代表性。
借鏡上述經驗,如果受訪者為企業,亦應有相同考量。尤其在正常上班時間一再連繫都找不到的企業,其組織行為一定與正常企業不同,也許是一人公司;也許是公司已經實質結束,但電話仍然保留;也許是其他我們任何不知道的原因。但從研究「保守優先」的態度,當不能確認為無效樣本時,還是要歸為「未曾接通的樣本」。
「未曾接通的樣本」應包括:經由查證障礙臺、查號臺,仍無法證明為無效之樣本(無效樣本之定義詳後),而始終無人接聽,或無適當人選,超過時效仍然無法連繫者。沒有找到受訪者是調查者的責任,也是誤差的重大來源。
本研究者建議:找到受訪者稱為「連繫樣本」,「未曾接通的樣本」稱為「失連樣本」。
第三、把「拒絕」視為「未完成」是詮釋上的疏失。
「拒絕」表達的是:受訪者接到了訪員的電話,或是見到了訪員,但是知道是某些調查之後,不願意回答就掛斷了電話、關上了門。這個動作,事實上,已經表達了他的態度,我們必須認識「拒絕」就是一種態度:消極的、沒興趣的、或是沒意見的態度。在全體受訪者的態度結構中,他們的代表性,是值得分析的。他們不應該被視為未完成、失敗的樣本。
吳統雄曾經指出:人類的本性,本來就不是對所有事情都有興趣的;民意結構中,占最大比例的就是「疏離者」。觀察拒絕的數字,可以看出積極民意,如何以少數引導多數;追蹤拒絕數字的消長,可以經由分析疏離者被動員的程度,預測危機事件的滋生與發展。
第四、沒有考慮與處理樣本的更新(或替代)問題。
「抽出的樣本不可替代」是一個統計理論的鐵則,卻也是在實務上經常被忘記的事實。許多調查在很難找到受訪者,或被受訪者拒絕後,就逕行以其他樣本替代,導致真正的「未接通」與「拒絕」的數字混淆。
但在一種特殊的情形:由於母群清冊不明、或錯誤,包括:空號、電話中的行號已結業、行方不明、電話故障經長期連繫依然不通(顯然違背正常企業經營型態)…等。
本研究者建議:發生上述特殊情形的樣本稱為「無效樣本」。
樣本歸類為「有效」或「無效」必須經過查證確認,無法確認為無效者,均為「有效樣本」。如果發生「無效樣本」,研究者應可根據資源的有無,決定是否「更新(update)」無效樣本,以避免樣本數因無效樣本而減少。更新無效樣本無損樣本的代表性。
「無效樣本」切不可與「失連樣本」混淆,如果逕行「替代(replace)」失連樣本,將有損樣本的代表性。
第五、未釐清「回應」與「拒絕」的界限
受訪者回答所有的問題才算「回應」嗎?實務上,這樣的比率有限。回答幾題算回應?超過百分之50嗎?回答完應變項,沒有答覆自變項算嗎?什麼又是「拒絕」?一開始就掛斷是拒絕嗎?答了1題、2題、3題…以後掛斷呢?
本研究者建議:調查者應該在問卷中自訂一個-或一組核心問題(項目)作為「回應標準」,有答的算「回應」,未答的計「拒絕」。這樣不致膨脹回應率,使得核心的資料低於表面數字;也不致於嚴苛,浪費了資料。
第六、沒有考量合格-「過濾問題」的狀況。
在某些調查中,受訪者如果回答了核心問題,但是基於某些原因說謊,反而會誤導資料與分析結果。這時就要考慮實施「過濾問題」技術:如在選舉行為調查中,過濾受訪者行政區與選區的配合。
本研究者建議:在實施「過濾問題」技術時,通過「過濾問題」的稱為「合格樣本」,未通過的則為「不合格樣本」。
本研究者依據以上的討論,建議將定義不清楚的「完成率、成功率」視為籠統的概念,而將樣本分析分作具體精確的「4率」,其標準與操作定義如下:
|
無效樣本 |
由於母群清冊不明、或錯誤而產生的樣本 |
|
有效樣本 |
不能證明為無效之樣本,均為有效樣本 |
|
更新樣本 |
更新無效樣本 |
|
總樣本數 |
﹦原始抽出樣本數(+更新樣本數) |
|
有效率 |
﹦有效樣本數/總樣本數 |
|
連繫樣本 |
找到受訪者 |
|
失連樣本 |
找不到受訪者 |
|
連繫率 |
﹦連繫樣本數/有效樣本數 |
|
回應樣本 |
回答核心問題 |
|
拒絕樣本 |
未回答核心問題 |
|
回應率 |
﹦回應樣本數/有效樣本數 |
|
合格樣本 |
通過過濾問題 |
|
失格樣本 |
未通過過濾問題 |
|
合格率 |
﹦合格樣本數/有效樣本數 |
以上的4率,連繫率、回應率、合格率,應與樣本代表性有關,有效率則與調查的成本效益有關。其意義如下:
1、連繫率
是影響樣本代表性最重要的指標。
連繫率高表示高比例的受訪者都經過最起碼的調查與測量;而未能連繫到的樣本,產生的誤差,只能歸咎於調查者。
2、回應率
表示獲得可量化資料的程度。同時,反映受訪者中積極、對問題參與性高的比例。
值得注意的是,有些調查是以「回應樣本數」作為報告數字的分母,在某些調查主題中,會產生膨脹數字的效果,甚至會將極少數的積極民意膨脹為優勢民意。
3、合格率
反映通過過濾問題,獲得較誠實、可信資料的程度。
這個指標是當有設計過濾問題時,才會產生。
4、有效率
當發生無效樣本時,一定會浪費連繫的成本,甚至會再增加更新樣本的成本,所以與調查的成本效益有關。有效樣本數,則應作為其他指標的分母。
有效率(注[1])也可以反映母群清冊的良窳。
二、研究設計
(一)抽樣設計
1、母群範圍:
臺灣地區之企業(依行政院主計處的分類為原則)。
2、抽樣方法:已知團體隨機抽樣
共分作兩部分,第一部分為「全體產業」,根據資策會轉請經濟部商業司提供之母群清冊與樣本;第二部分為「資訊及半導體產業」,根據資訊業電子化B計畫的連線供應商名冊以及半導體公會名單。合計抽出有效樣本2000份,第一部分約占4分之3,第二部分約占4分之一。
唯本研究採用電話訪問,而母群清冊中有些企業沒有電話號碼,如果抽出的樣本恰好沒有電話號碼,另抽出更新樣本,這是本研究的一大限制。
3、訪問對像:
企業中有資格回答相關問題的主管或有代表性的專業人員。
4、誤差控制:
抽樣出入與抽樣把握設計,根據研究預算與吳統雄[12] 的設計方法。約在95%的把握下,出入在3%至5%之間。
5、不可替換樣本/延長訪問時間
本研究基於樣本代表性的考量,嚴格限制不得替換樣本。
鍥而不捨,預訂達到連繫率達到90%以上,即連繫樣本1800以上。
樣本選定之後不能輕易更換,但是電話訪問不免會遇到打不通的情形,過去(以及現在)的許多調查,便逕行替換部分樣本。這個作法其實會傷害資料的品質。會發生打不通的原因,存在於兩個程序:
抽樣:抽出來的電話號碼變動了,如產生空號。
訪問:沒有人接聽電話,或找不到適當受訪者。
因抽樣所發生的空號問題,屬於抽樣效率、作業成本的問題,空號的電話其實原來並不在母群清冊範圍之內,所需要的是更新、補正式的替換,在理論上來說,並不影響樣本數與代表性的關係。
而在訪問過程中,如果只因為找不到而替換,就影響了原始樣本平均受訪的機會,從而降低抽樣隨機性。Deming[28] 指出:替換樣本有增大樣本數的效果,卻不能完全避免因為替換引起的誤差,更不能代替原始樣本。所以非不得已時--譬如經費考量,或調查重視的是「只分析樣本」,而非「推論母群」--最好不要更換樣本。
譬如說,抽出了1000個樣本,隨後替換了500個樣本,最後訪問了1000個樣本。這並不表示達成了1000個樣本數代表性的100%,而只是1500個樣本數的66%。
從統計來說,高受訪率、高品質的小樣本,代表性往往可能高於低受訪率、低品質的大樣本。可是對非專業研究人員而言,往往很難體會,而以為樣本數愈大愈好。一遇到找不到受訪者,立刻就要替換樣本。同時,不可替換樣本法,由於必須鍥而不捨的追蹤,在人力、時間、經費…等成本上,比可替換樣本法要高出許多。對非專業研究人員而言,也往往沒有機會深思:為何小樣本比大樣本的經費還高。(注[2])
委託單位經常以為投入了費用,就要看到源源不斷的樣本,事實上,化時間、經費去追蹤很難找到的樣本,效果可能更好。
另外,有的調查機構,對訪員採取論件計酬制,如果管理不善,訪員遇到難找的受訪者,也有可能任意替換樣本。
本研究以延長訪問時間、增加訪問時段、連續追蹤不易找到的受訪者的方式來提高連繫率,而不以增加替代樣本來腫大樣本數。
6、樣本數
影響樣本數的因素有兩類,第一類是數理統計的因素,包括:抽樣出入、抽樣把握、母群變異數和樣本資料型態。當樣本為隨機抽出,在某一臨界樣本數(依據人文社會科學的研究經驗,通常是3000)以下時,樣本數愈大,代表性愈能明顯提高。不過,其間並不呈直線正比關係。同時,超過此一臨界樣本數後,樣本數即使再大,代表性提高的程度卻極微小。
決定樣本數的第二類因素,則是研究經費與調查成本的因素。
本研究故依據RFP規定,規畫預訂達成有效樣本數為2000。
(二)測量與問卷設計
1、問卷結構
調查問卷包括:
參考前節文獻研究中,各國的企業應用調查主題,歸納為兩大部分。第一部分是我國企業整體引用行為,包括:連網普及率、應用程度、應用網路的方式、費用,並專節訪問發展電子商務的現況與未來。
第二部分則是企業的應用態度,包括意願、推力、阻力、應用瓶頸及社會環境需求。
連網與未連網的企業,分別經由不同的訪問流程。對兩者均訪問適當的自變項。
2、預試、訪員訓練、訪員手則(FAQ)
問卷草案先召開專家會議審議、修訂。
再挑選進行小型的預試,根據預試受訪者的反應,再次修訂問卷。
其次執行兩次訪員訓練,熟悉訪問的目的、流程、問題與解決。
將訪訓過程中發現的歧議與共同解決方案,整理成「訪員手則(FAQ)」,以提升訪員信度。
(三)訪談
方法:電話訪談
監察:執行線上監聽,以確認訪問者按照規範作業。
訪問期間:2001年8月30日起至10月19日止。
許多企業調查為了省事與便利而採用「函件訪問」,這是極大的謬誤。由於「函件訪問」回收率必然極低,幾無隨機性、代表性可言。同時也無法控制受訪者身份,可能無法獲得企業訪問時,特別需要的深度資料。
在各種訪問方法的比較方面,洪永泰[6]
曾從調查資料的人口「分析」結果,對造訪、電訪、和函訪作一比較。本研究者願從調查設計者的角度,從「抽樣、測量、訪問、研究作業」4類指標,將造訪、電訪、函訪與網路訪問的比較,簡單歸納如表 1 。
表中的評比分為三等:
佳:如果遵循正確的調查規範,配合嚴謹的研究態度,應該不致產生太大的誤差,可以獲得水準以上的成果。
可:可能因為調查主題、參與人員、作業條件、以及當時社會環境影響產生誤差的程度。調查成果有賴於研究主持人的設計、管理、詮釋能力。
劣:受限於實施的條件,外在的環境,非常難以達成的理想目標,或非常不易排除的重大誤差。會使調查的可推論性顯著降低。
一般說來,電訪和造訪在抽樣、測量、訪問等方面的效果較接近,適合以追求資料品質、有推論母群必要的調查。而函訪、網訪則在研究作業上佔成本優勢,適合經費有限、尋找初級參考的調查,但應十分謹慎,避免作對母群的推論。
電訪最容易接觸到受訪者,連繫、回應率比較高,也比較容易防弊,更可快速知道研究結果,尤其適於與電腦連線處理資料的作業方式。需求經費中等,成本亦有可接受性。在當前、與可見的未來,電話訪問特別適合作為:商品市場調查、廣告效力調查、制訂公共政策的民意調查、以及需要長期追蹤受訪者以探討變易情形的各種調查。1993年的縣市長選舉中,國民黨已首度使用電話調查作為提名的參考數據之一。到1997年以後,民進黨更常態性的將電話調查作為提名依據的百分之50。電訪已是大眾較認可的訪問方式。
造府訪問則特別適用於電話不夠普及的地區,或是題目太長、太多,題意很複雜的調查。不過,造訪所需的人力、物力規模也最大。尤其如果想擴大樣本的分散性,在實務上很不容易實施。
函件訪問的連繫率、回應率通常偏低,收集所得的資料缺乏代表性,適於作正式研究之前瞭解解概況的斥侯調查(pilot study或稱前測),或是純粹將資料引為參考,而不適於推論、估計、預測或是作決策的調查。不過,當想要大致知道一些特別敏感的問題,或是經費特別侷促時,函訪也不無可取之處。
網訪當前的優缺點和函訪很接近,但因當前網路普及率偏低,合格網路使用者更少,網訪的樣本代表性比函訪更不足,甚至連以小團體為範圍的母群,其成員都可能沒有網路帳戶,使得清冊取得更難。同時,函訪具備可匿名的特性,往往作為訪問敏感問題的工具,在網訪時受訪者便難以遁形,失去了這項優點。不過,網訪是在電腦上執行,在處理複式問題-即需要依據受訪者選項而跳到不同題目時,可以自動化處理,避免人為錯誤,遠優於函訪。由於成本低與作業資源需求少,在當前與可預見的未來,網訪依然是作非科學性調查時的一項簡易工具。
表 1.各種訪問方法的綜合比較
|
項目 |
電訪 |
造訪 |
函訪 |
網訪 |
|
(一)抽樣 |
|
|
|
|
|
實質母群清冊完整性 |
|
|
|
|
|
同質小團體 |
佳 |
佳 |
佳 |
可-劣 |
|
公眾 |
劣 |
劣 |
劣 |
劣 |
|
實質母群清冊取得性 |
|
|
|
|
|
同質小團體 |
佳 |
佳 |
佳 |
可-劣 |
|
公眾 |
可 |
劣 |
劣 |
劣 |
|
母虛擬群清冊完整性 |
|
|
|
|
|
公眾 |
佳 |
佳 |
劣 |
劣 |
|
虛擬母群清冊取得性 |
|
|
|
|
|
公眾 |
佳 |
可 |
劣 |
劣 |
|
樣本數決策參數 |
佳 |
佳 |
劣 |
劣 |
|
抽樣方法設計-分散性 |
佳 |
劣 |
佳 |
劣 |
|
(二)測量-問卷 |
|
|
|
|
|
問題的多寡 |
可 |
佳 |
可 |
可 |
|
命題的型式 |
|
|
|
|
|
題意複雜性 |
劣 |
佳 |
可 |
可 |
|
複式問題(跳題) |
佳 |
可 |
劣 |
佳 |
|
開放式問題 |
佳 |
可 |
劣 |
劣 |
|
測量工具 |
|
|
|
|
|
直接詢問 |
佳 |
佳 |
佳 |
佳 |
|
態度-心理測量 |
佳 |
佳 |
可 |
可 |
|
(三)訪問 |
|
|
|
|
|
受訪樣本代表性 |
|
|
|
|
|
連繫率 |
佳 |
可 |
劣 |
劣 |
|
回應率 |
佳 |
可 |
劣 |
劣 |
|
合格率 |
不一定 |
不一定 |
不一定 |
不一定 |
|
資料填答正確性 |
佳 |
佳 |
可 |
可 |
|
敏感性問題(匿名性) |
可 |
可 |
佳 |
劣 |
|
防止訪員偏差 |
佳 |
可 |
- |
- |
|
收集觀察資料 |
可 |
佳 |
劣 |
劣 |
|
(四)研究作業 |
|
|
|
|
|
時間 |
佳 |
劣 |
劣 |
劣 |
|
經費 |
可 |
劣 |
佳 |
佳 |
|
作業場所 |
佳 |
劣 |
佳 |
佳 |
|
電腦連線作業 |
佳 |
劣 |
劣 |
佳 |
|
研究人員士氣 |
佳 |
可 |
- |
- |
作為一個將提供政府參考的調查研究,故本研究者建議以不採用函訪、而以電腦輔助電話訪問為宜。
(四)分析
將根據企業之各式屬性,進行各種交叉統計分析。
(注[1])在應用統計上,在分析某一變項時,其中某一樣本的變項值如果不為「迷失值(missing data)」,則此樣本稱為「有效個案(valid case)」,有效個案占所有樣本的百分比亦稱為「有效率」。
「迷失值」的產生原因有二:第一、人工登錄資料發生錯誤;其次、問卷設計階段考慮不周全,發生了沒有預期的回應資料。如果在具備知識管理能力的資訊系統協助之下,「迷失值」將不再可能產生。故本研究者建議放棄「有效率」舊有的內涵與定義,而採用本文的定義。
(注[2])這種情形在調查實務上,問題特別大。譬如,作者所發展的選情預測方法,在1993年的縣市長選舉中,已廣為各民意調查機構所採用。國民黨並在這次選舉後,開始採用民意調查作為提名的依據之一,其所委託的研究機構主持人,就是擔任本研究者從前協同研究的同儕,亦聘請本研究者擔任顧問,協助建立調查系統,並以本研究的架構為參考對象。
本文作者在校內所主持的公益研究,依然獲得準確的結果;但是,黨部的委託機構卻無法獲致相同的成果,發生了「複製力」的問題。也就是在理論架構之外,還有研究方法與研究執行的問題。其中最大的問題之一,就是替換樣本。
因為訪問的第一輪,當時運氣最好的訪員,大概也只能接觸到半數的受訪者,按照調查規範,訪員就要停工準備第二輪。在場觀察的委託單位代表,便覺得不滿意,認為是受託單位不夠努力,而有所抱怨。在這種壓力下,只好不斷替換樣本,打不通就換,愈換愈多,其實也就愈來愈不準。