信度和效度如何區分?怎麼做信度和效度的檢驗?

文章來源:

微信公眾號【我看人看我】

信度和效度是優良的測量工具必備的條件,是評估所測量資料的可靠性和有效性的基本尺度。只有保證測量工具的信度和效度,才有可能獲得可靠、正確的資料。

一、信度和效度的概念

信度,即可靠性或一致性,指的是測量結果經得起重複檢驗,即測量工具能否穩定地測量到它想要測量的資料。

信度反映了測量中的隨機誤差大小,信度高,那麼意味針對同一事物進行多次測量的結果可以保持一致,說明該測量工具可靠、穩定;缺乏信度,則前後測量的結果就會出現不一致,說明該測量工具有問題。

效度,即切實性,指的是測量工具確實能夠測出其所要測量的內容。

效度高,說明測量結果能很好地反映測量物件的真實特徵,能夠保證不同研究人員對某一研究變數的意義和內內涵有一致的理解;缺乏效度,則說明測量工具沒有正確地獲取反映真實特徵的資料。比如農村貧困,代表政府對貧困進行測量的人對貧困的理解和農民對貧困的理解是不一樣的,前者根據的是可量化的指標,後者關心的是自己的實際生活感受,以及與他人的比較。

二、信度和效度的關係

信度和效度的關係可用以下四幅圖來表示。

黑點表示測量結果,靶心表示測量目的,離靶心越近,表示測量結果越準確。

信度和效度如何區分?怎麼做信度和效度的檢驗?

a 圖:

黑點均集中在一個小區域,說明多次測量比較穩定、一致,即信度高;但黑點均遠離靶心,說明多次測量結果都沒有切合測量目的,測量結果準確性較差,即效度低(高信度低效度);

b 圖:

黑點分散各處,說明多次測量的結果很不穩定,即信度低;而且大部分黑點都遠離靶心,說明測量結果的準確性交叉,即效度低(低信度低效度)。

c 圖:

黑點分散在一側,且大部分都遠離靶心,說明測量結果穩定性不足,且準確性也不行,即低效度低信度。

d 圖:

黑點均集中於靶心附近,說明測量結果既穩定又準確,即高信度高效度。

由這四幅圖所表示的關係,我們可知:

(1)信度低,效度不可能高。如果收集的資料不可信、不可靠,那麼它肯定是不能真實反映研究物件的真實特徵;

(2)信度高,效度不一定高,效度有可能很低。比如,即使測量出某個人的經濟收入,但未必能夠說明他的消費水平;

(3)效度低,信度有可能高;

(4)效度高,信度必然也高。

因此,信度是效度的必要條件,但不是充分條件,無信度必然無效度,但有信度未必有效度;效度是信度的充分條件,但不是必要條件,有效度必然會有信度,但無效度卻未必無信度。

三、信度和效度的檢驗

問卷、量表是調查研究常用的測量工具,而信度和效度是衡量測量工具質量高低的重要指標。因此,在問卷設計、量表設計時,需要對問卷、量表進行信度和效度的檢驗,以判斷透過它們獲取的資料的可靠和有效程度,保證所收集到的資料真實、可靠、有效。這裡我們以檢驗量表的信度和效度的檢驗為基礎進行介紹。

(一)信度的檢驗

信度反映了測量中的隨機誤差大小,由於造成測量隨機誤差的來源有多種,因此信度檢驗的方法也有多種,主要包括內在信度檢驗和外在信度檢驗。

1. 內在信度的檢驗

內在信度所檢驗的是量表的內部一致性,一致性程度越高,那麼測量資料就越準確,評估結果的可信度就越強。

內部一致性主要有兩層意思:一是考察量表的所有題目測量的是否是同一個概念,一般來說,量表的作用是要測量某個單一的現象/心理特質;二是量表中的所有題目得分之間是否存在較高的正相關。為什麼量表的題目會存在相關?有兩種可能:第一種是題目之間有因果關係;第二種是量表各題目存在一個共同的因。大多數情況下,第一種原因是不存在的,更多的是第二種可能使量表的專案之間存在一定程度的相關性。如果量表的內在信度不高,說明測量結果可能反映的是多個概念/心理特質的綜合反映,這種結果就會比較難解釋,對此,我們可以把一次測量分解為多個具有一致性的分測量,再進行解釋。

檢驗量表內部一致性的方法有多種,包括Cronbach-α、協方差矩陣、多專案量表的協方差矩陣、α與協方差矩陣。

最常用的是Cronbach-α。

(1)Cronbach-α

Cronbach-α 是量表信度最常用的檢驗方法。

Cronbach-α 係數的範圍在0~1之間,越接近1,信度越好,其判斷標準為:

係數在0。9以上,表明該測量工具即量表的信度很好;0。8-0。9,表明信度較好;0。7-0。8,可以接受,但量表的某些內容需要修改;0。7以下,說明量表的某些內容需要重新編寫。

使用SPSS來計算

Cronbach-α

係數的操作路徑為:【分析】-【度量】-【可靠性分析】

信度和效度如何區分?怎麼做信度和效度的檢驗?

2. 外在信度的檢驗

外在信度的檢驗主要考察的是時間、測量形式等外在因素的變化是否會對對測量結果的穩定性和一致性產生影響。

常用的外在信度分析方法有:重測信度法、複本信度法、折半信度法。

(1)重測信度

用同一個量表對同一批被調查者前後調查兩次,再根據調查結果計算相關係數,即可得到重測信度。兩次調查間隔的時間要適當,間隔太短,被調查者會記得上一次調查的答案;間隔太久,可能會因為發生一些事情影響他們的態度。

(2)複本信度

在一項調查中,針對同一批被調查者,先使用A量表進行測量,再用A量表的複本進行測量,然後根據調查結果計算其相關係數。A量表的複本需在題數、形式、內容、難度等方面與A量表一致,僅只在問法、用詞方面不同。複本的調查可連續進行調查,也可以隔一段時間再進行調查。連續實施調查的複本信度又稱為等值係數,相隔一段時間再進行復本調查所得到的複本信度又稱為穩定與等值係數。

(3)折半信度

將調查結果,按題目的單雙數或者前半部分和後半部分劃分為相同的兩份進行計分,再根據每個樣本的兩部分的總分,並計算其相關係數,該係數即為折半信度係數。

(二)效度的檢驗

效度是指測量工具確實能夠測出其所要測量的內容。因此,量表是否具備效度,就要看該量表結果是否達到了此次測量的目的。比如,一個用以測量產品滿意度的量表,被用來測量使用者活躍度,那麼所得的測量結果肯定缺乏信度。即使是測量內容相同,被測量的目標群體發生了變化,效度也會大受影響。

量表的效度檢驗,主要採用以下三種方法:

1. 內容效度(content validity)

內容效度的檢驗主要是考慮所測量的內容是否很好地反映了所要研究的概念(變數)的基本內容,即策略工具實測的內容與我們想要測量的內容之間的匹配程度。

內容效度的檢驗一般採用專家評估、預調查的方法

,來評估量表是否合理、使用者是否理解量表題項,再根據結果來修正量表。

2. 結構效度(construct validity)

結構效度,也叫建構效度

、構想效度。

結構效度的檢驗主要是考察量表的內部結構與編制量表時依據的理論假設是否相符,具體來說,即是評估量表的題項與測量維度(測量方向)是否一致。一般透過因子分析來檢驗結構效度。比如在開發者體驗調查量表中,10道題分為了易學、易用、高效三個維度的題項,那麼可以透過因子分析來評估每個維度下的題項與其所屬的維度是否一致。在使用因子分析評估結構效度,一般會同時使用探索性因子分析和驗證性因子分析進行綜合評估:

(1)探索性因子分析目的是要探索所評估現象/特質的因子結構,所得的公因子相當於量表所要測量的潛在維度,因子載荷反映了量表題項對該維度的貢獻,因子載荷越大,說明題項與該維度的關係越密切;

(2)驗證性因子分析是在已經確定因子數量、各題項和因子的對應關係的情況下,基於實際資料來擬合特定的因子模型,分析擬合優度,以驗證預設的因子結構與實際資料的匹配程度。

3. 校標效度(criterion validity)

校標效度,

也叫準則效度、校標關聯效度。

校標效度的檢驗主要是以一個公認有效的量表作為標準,考察當前量表與標準量表的測量結果的相關性,所測得的相關係數為當前量表的效度,相關係數越大表示該量表的校標效度就越好。比如將自己設計的量表所蒐集的資料與權威量表的資料進行相關分析,如果相關大,說明準則效度比較好。

四、如何提升測量工具的信度和效度

(一)信度的提升

1. 定義清楚所要測量的概念

如果對單個清楚明確的概念或概念的某個維度進行測量,可提高信度。每個測量工具只針對單獨的一個概念進行測量,就可以明確所收集的資料是針對的哪個概念或維度,而不會因為多個概念的存在導致我們無法精確判斷測量結果是針對哪一個概念,而且不同維度的測量指標之間可能會相互影響,從而影響測量結果的可靠性、準確性。這意味著,在調查研究中,我們要將概念定義清楚,不能模糊不清。

2. 提高測量層次

測量層次越高,獲取的資訊就越精確、詳細,自然信度就會越高。因此,在研究時,儘可能以最精確的測量層次來測量概念或變數。

3. 使用多重指標來測量一個變數

多重指標允許研究者對概念或變數進行更廣泛、全面的測量,自然測量結果也會更準確、穩定。比如滿意度評分,分維度的滿意度評價比總體的滿意度評價所獲取的資訊更為廣泛、細緻,讓研究者可以瞭解不同方面的滿意度情況。但並不意味測量指標越多越好,指標數量也要在合適的範圍。

4. 進行預測試,提前發現問題

正式調查前,可在小範圍內進行預測試,以瞭解問卷題項是否清楚明白,避免題項含糊不清,造成錯誤理解。

5. 問卷題項清楚且易於理解

題項要清楚明白,且能讓被調查者容易理解,不然模糊不清、難以理解會導致被調查者回答錯誤,從而影響調查的信度。

6. 問卷題項數量適當,不宜過多

問卷題項不要太多,不要佔用被調查者太多時間,如果太多,可能被調查者填答到後面就漸漸沒了耐心,回答也就變得隨意,甚至亂填。

7. 調查人員需規範操作

對於需要調查人員與被調查者面對面調查的,要求調查人員需按照程式和標準詢問被調查者,不得有意無意對被調查者施加影響,在後續的資料記錄的時候也要耐心認真,避免出錯

8. 安靜良好的填答環境

儘量給被調查者安排或者營造一個良好的填答環境,避免被他人或者外界因素的干擾

9. 問卷設計規範標準

問卷設計需做到規範標準,比如價值中立、選項窮盡、題項排序等要求,都需要做好。

(二)效度的提升

1. 明確調查目的,緊緊圍繞調查目的設計問卷內容

要明確調查目的是什麼,收集該資訊點的目的是什麼,以確保題項能夠真正收集到想要測量的資料。

2. 問卷題項清楚且易於理解

題項要清楚明白,且能讓被調查者容易理解,不然模糊不清、難以理解會導致被調查者回答錯誤,從而影響調查的信度。

3. 問卷題項數量適當,不宜過多

問卷題項不要太多,不要佔用被調查者太多時間,如果太多,可能被調查者填答到後面就漸漸沒了耐心,回答也就變得隨意,甚至亂填。

4. 安靜良好的填答環境

儘量給被調查者安排或者營造一個良好的填答環境,避免被他人或者外界因素的干擾。

5. 問卷設計規範標準

問卷設計需做到規範標準,比如價值中立、選項窮盡、題項排序等要求,都需要做好。

6. 確保樣本的代表性

樣本具備代表性,意味著所調查的物件是我們實際想要了解的物件,自然所收集的資料就越準確。