認知診斷評估是新一代的心理和教育測量理論,是形成性評價、過程性評價、教育診斷干預落實的重要方法。本書從理論與實踐、認知模型與統(tǒng)計模型、進展與展望、抽象與具體、理論與通俗、學習與研究等多個不同的角度進行設(shè)計,系統(tǒng)地介紹了認知診斷評估的歷史發(fā)展和核心概念、指導認知心理學和教育測量融合的思想和例子、認知診斷測驗設(shè)計和分析的原則、診斷分類模型和參數(shù)估計、認知診斷評估的軟件實施等,本書對高校心理、教育方向?qū)I(yè)人員、中小學從事教育評價工作的人員、各學科的教研員以及廣大的一線教育工作者都是重要的參考。
以學習診斷促進學生發(fā)展是當前我國教育評價改革的政策導向與重點要求?茖W的學習診斷需要從認知診斷評估這一學科中尋求堅實的理論依據(jù),以提升學習診斷的系統(tǒng)研究與科學論證水平。本書構(gòu)建了較為科學嚴謹?shù)膶W科知識體系,注重理論方法與實踐應(yīng)用相結(jié)合,介紹了認知診斷測驗的開發(fā)以及多種認知診斷評估統(tǒng)計軟件的使用方法,以豐富的案例和數(shù)據(jù)分析為學生發(fā)展提供深層次的、普遍的認知規(guī)律,服務(wù)于我國教育評價改革與教育質(zhì)量提升的重大現(xiàn)實需求。
自 序
在本書中,我們要研究的是心理和教育評估中的認知診斷 評估,運用認知診斷評估面向中小學生開展學習診斷和教學 干 預 。
縱觀心理和教育測量理論的發(fā)展,我們可以將其分為經(jīng)典 測驗理論階段和現(xiàn)代測驗理論階段,F(xiàn)代測驗理論以潛變量模 型為核心構(gòu)建和拓展測驗的功能、分析框架,為現(xiàn)代教育評價 做出了重要貢獻。認知診斷評估是處于現(xiàn)代測驗理論階段的一 種類型的評價或測量,即通過心理測驗獲得可直接觀察的個體 測驗作答反應(yīng),然后借助心理計量學的統(tǒng)計模型,識別個體所 屬的認知技能類別(知識結(jié)構(gòu)),從而提取教學和學習的診斷信 息,以便更有針對性地促進教學和學習。認知診斷評估是一門 年輕的學科,明確提出認知診斷評估理論的研究文獻可以追溯 到20世紀80年代,雖然僅有40余年的發(fā)展歷程,但是經(jīng)過不 斷發(fā)展和研究積累,該領(lǐng)域已經(jīng)形成了一個學術(shù)共同體,以及 相對全面的、系統(tǒng)的、精細的、跨學科的專業(yè)知識內(nèi)容和結(jié)構(gòu)。 認知診斷評估運用的機制是認知心理學和心理計量學模型的有 機結(jié)合,因此近年也被稱為新一代心理測驗理論。
自21世紀初期以來,認知診斷評估這一領(lǐng)域的研究開始在 我國興起。我國在認知診斷評估40余年的發(fā)展歷程中的作用不 容忽視。國內(nèi)研究者在認知診斷模型的開發(fā)、參數(shù)估計方法、 模型—數(shù)據(jù)擬合評價,以及實踐應(yīng)用等方面做出了重要的研究 貢獻。目前,全國范圍內(nèi)多所高等院校紛紛開始將認知診斷評 估作為一門研究生課程。幫助學生建立系統(tǒng)全面的專業(yè)基礎(chǔ)知 識、科學嚴謹?shù)难芯窟壿嫛⑶罢扒把氐难芯恳曇,需要豐富和 提升學生接受的教育內(nèi)容和教育質(zhì)量,而教材建設(shè)是關(guān)鍵。我 們通過文獻資料檢索可以發(fā)現(xiàn),近10年來由我國研究者編著的 各類認知診斷評估理論和實踐教材不斷涌現(xiàn),如《教育認知診斷 評估:理論與技術(shù)研究》《認知診斷評價:理論基礎(chǔ)》《高級認知
2
中小學生認知診斷評估
診斷》《認知診斷理論、方法與應(yīng)用》《英語閱讀能力的認知診斷研究》等。但是, 這些教材傳遞的學科知識內(nèi)容在新的學科發(fā)展階段和背景下,還有進一步的發(fā)展 空間。教材的質(zhì)量提升應(yīng)該立足于認知診斷評估的深厚歷史、龐大的學科群體、 精細的學科體系之中。鑒于國內(nèi)外認知診斷評估社會歷史發(fā)展條件的變革、學科 研究體系的不斷拓展,認知診斷評估相關(guān)教材仍有必要在認知診斷評估的理論基 礎(chǔ)、技術(shù)方法和軟件應(yīng)用的深入講述之外,全面系統(tǒng)總結(jié)認知診斷評估本身的歷 史發(fā)展脈絡(luò)、認知診斷模型的開發(fā)方法、常用的統(tǒng)計軟件實施,以及認知診斷評 估的理論演進趨勢。
第一,正如美國《不讓一個孩子落后法案》對認知診斷評估這一學科發(fā)展的影 響,近年我國教育政策關(guān)于課堂教學與評價改革方面的新變化,對推動我國認知 診斷評估的學術(shù)研究和學科發(fā)展產(chǎn)生了重要影響。2019年6月,中共中央、國務(wù) 院印發(fā)的《關(guān)于深化教育教學改革全面提高義務(wù)教育質(zhì)量的意見》提出“精準分析 學情,重視差異化教學和個別化指導”的要求。2020年10月,中共中央、國務(wù)院 印發(fā)的《深化新時代教育評價改革總體方案》提出“完善評價結(jié)果運用,綜合發(fā)揮 導向、鑒定、診斷、調(diào)控和改進作用”的要求。借鑒國際上認知診斷評估這一研 究領(lǐng)域的發(fā)展趨勢和特征,將認知診斷評估的理論和實踐研究與國家教育政策、 課程、教學和評價深度融合,是全面提高義務(wù)教育質(zhì)量的一個重要途徑,有必要 在新的社會歷史發(fā)展條件下,深化相關(guān)的理論和實踐研究,以促進學科發(fā)展和提 高教育質(zhì)量。我國基礎(chǔ)教育發(fā)展現(xiàn)實需求的深刻變化不僅促使學科研究的深化, 而且對于高等院校人才培養(yǎng)也提出了更高的要求。因此,更高質(zhì)量的教材建設(shè)成 為當前的重要需求。教材建設(shè)是我國認知診斷評估學科發(fā)展的重要基礎(chǔ),高質(zhì)量 的教材是培養(yǎng)高質(zhì)量學生的必備條件,也是教師高質(zhì)量教學的重要參考?梢娊 材建設(shè)對設(shè)立認知診斷評估課程、培養(yǎng)教育評價專門人才具有重要意義。
第二,國際上認知診斷評估的學科發(fā)展高度重視多元化的教材建設(shè)、發(fā)展和 完善。在認知診斷評估學科發(fā)展的不同歷史階段,國際學界都重視教材建設(shè)以加 強認知診斷評估的學科地位,引起廣泛的積極討論共建,總結(jié)系統(tǒng)的領(lǐng)域發(fā)展成 果等。當前,國際學界公開出版了多種相關(guān)的專業(yè)課程教材,各有側(cè)重并形成了 比較全面的體系。早期的認知診斷評估教材是關(guān)于研討會的理論和實踐匯編,雖 然還較少地真正把認知模型、測驗任務(wù)和心理計量學模型結(jié)合起來進行系統(tǒng)研 究,但是對于加強認知診斷評估的學科地位,引起廣泛的深入研究,明確學科的 發(fā)展方向起著積極的推動作用。隨著認知診斷評估理論的不斷發(fā)展,出現(xiàn)了更多 以測驗為中心的傳統(tǒng)意義上的認知診斷評估教材。有的教材側(cè)重以“認知”為中 心,構(gòu)建認知診斷評估的理論和方法體系;有的教材側(cè)重以“認知診斷模型”為中 心,構(gòu)建基于模型的認知診斷評估方法,并將認知診斷評估與更大的潛變量模型 框架進行整合,全面介紹認知診斷模型和軟件實施,以推動實踐應(yīng)用的深入發(fā) 展;還有教材以認知診斷評估理論和實踐的研究發(fā)展為主要內(nèi)容,以該學科中形 成的重要研究主題和領(lǐng)域為組織脈絡(luò),系統(tǒng)總結(jié)該學科當前重要的研究內(nèi)容、研
究方法、研究成果和實踐應(yīng)用,為在比較成熟的框架體系下的學科未來發(fā)展提供 了重要的系統(tǒng)梳理,扮演著這一學科的指向標和百科全書的重要角色。
鑒于上述情況,我們提出了學習和借鑒國內(nèi)外當前使用頻率較高的教材,編 寫綜合性的、以實踐應(yīng)用為中心的通識教材的計劃,希望將大容量的學科專業(yè)知 識體系,以更具歷史發(fā)展縱深的線索,更具理論和實踐結(jié)合性的體系進行全面的 梳理總結(jié),體現(xiàn)新材料的增加、思考層次的深入和方向上的重大轉(zhuǎn)變,提高認知 診斷評估教材的可讀性和通俗性,強化其知識體系的系統(tǒng)性,促進認知診斷評估 與國家教育政策、課程、教學和評價重要需求的深度融合。為此,我們在教材的 內(nèi)容選擇、寫作方式上盡力做到認知模型、心理計量學模型、模型—數(shù)據(jù)的擬合 評價、測量學軟件實施、實踐應(yīng)用,以及前沿進展等重要方面的全面總結(jié)和系統(tǒng) 梳理,力求實現(xiàn)理論和實踐的深度融合,在實踐中認識理論的價值,并用理論指 導實踐的發(fā)展。通過我們的努力和這套教材的推廣,我們期望能夠為我國認知診 斷評估的學科課程建設(shè)盡綿薄之力。
然而,面對認知診斷評估這一學科的迅速發(fā)展、高度專業(yè)的交叉學科知識體 系,將認知診斷評估的全貌和新貌準確、通俗地介紹給廣大的心理和教育測量的 理論研究和實踐從業(yè)人員,是寫作過程中面臨的極大挑戰(zhàn),這不僅在于需要收集 大量全面的、系統(tǒng)的文獻資料,而且在于專業(yè)內(nèi)容的閱讀、理解、把握、準確表 達,以及加工呈現(xiàn),還在于編排整理、圖表制作等大量的編輯方面的工作。囿于 知識和精力有限,雖然竭盡全力反復校對、修訂,但是書中難免存在一些疏漏, 懇請讀者們不吝指正,幫助我們將這本書進一步完善,在此我們表示衷心的 感 謝 。
感謝北京師范大學出版社的編輯老師在體例、排版、校對、圖表等諸多方面 的細致工作和大力支持與幫助,他們使得本書不斷完善,得以出版。本書得到國 家社會科學基金的大力支持,在此表示深深的感謝。
田偉 辛濤
2024年12月于北京師范大學
田偉,北京師范大學中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心副教授
目 錄
第 一 章 認 知 診 斷 評 估 導 論
第一節(jié) 走進認知診斷評估 1
一 、心理診斷評估的理念方法 1
二、認知診斷評估的概念界定 1
三 、認知診斷評估的研究內(nèi)容 3
四 、認知診斷評估的學科性質(zhì) 5
五、認知診斷評估的主要作用 6
第二節(jié) 認知診斷評估的學科發(fā)展 8
一 、三個主要社會驅(qū)動因素 8
二、三個歷史發(fā)展階段及其特征 10
第三節(jié) 認知診斷評估的實踐實施 14
一 、認知診斷評估實施的基本過程 14
二、認知診斷評估實施的研究支持 19
三、認知診斷評估實施的研究資源 21
第 二 章 測驗導向的認知理論基礎(chǔ)
第一節(jié) 認知模型的概念基礎(chǔ) 24
一 、認知模型的意義、作用和必要性 24
二、認知模型的定義和類型 25
三、屬性層級關(guān)系 26
四、認知模型的粒度 28
第二節(jié) 認知模型的開發(fā)和驗證 29
一 、認知模型開發(fā)和驗證過程 30
二、認知模型效度驗證的方法 30
三、認知模型的開發(fā)和驗證實例 37
第三節(jié) 不同學科領(lǐng)域的測驗任務(wù)認知模型 42
一 、數(shù)學領(lǐng)域 43
二、科學領(lǐng)域 48
2 中小學生認知診斷評估
三、語言測試領(lǐng)域 50
第 三 章 Q 矩 陣 理 論 及 其 關(guān) 鍵 問 題
第一節(jié) Q矩陣的理論和實踐基礎(chǔ) 53
一 、Q矩陣的概念基礎(chǔ) 53
二、Q矩陣的開發(fā) 54
三 、Q矩陣的錯誤標定 56
第二節(jié) Q矩陣理論及其關(guān)鍵作用 56
一 、Q矩陣理論中的核心概念 56
二、Q矩陣理論的關(guān)鍵作用 59
第三節(jié) Q 矩 陣 設(shè) 計 64
一 、可達矩陣R 的重要作用 65
二 、Q矩陣設(shè)計的主要考慮因素 65
三、Q矩陣設(shè)計和認知診斷模型可識別性 66
第四節(jié) Q矩陣驗證和估計的統(tǒng)計方法 67
一 、Q矩陣的驗證 67
二 、Q矩陣的估計 70
第 四 章 認 知 診 斷 測 驗 開 發(fā)
第一節(jié) 傳統(tǒng)測驗開發(fā) 72
一 、傳統(tǒng)測驗開發(fā)的邏輯 72
二 、傳統(tǒng)測驗開發(fā)的過程 73
三 、傳統(tǒng)測驗開發(fā)的特點 77
第二節(jié) 原則性方法在認知診斷評估中的應(yīng)用 79
一 、教育評估是一種證據(jù)論證過程 79
二 、原則性方法的核心共同要素 81
三 、認知診斷評估中的原則性方法 84
四 、證據(jù)中心設(shè)計的實踐應(yīng)用 86
第三節(jié) 認知診斷測驗開發(fā) 91
一 、認知診斷測驗的質(zhì)量評價標準 91
二 、認知診斷測驗開發(fā)的五個步驟 101
三 、認知診斷測驗開發(fā)的主要成分 102
第四節(jié) 認知診斷測驗的效度驗證 106
一 、測驗效度的概念內(nèi)涵 107
目 錄 3
二、效度理論的發(fā)展變化 107
三、構(gòu)念效度的驗證框架 110
四、構(gòu)念效度的驗證方法 116
第 五 章 認 知 診 斷 模 型
第 一 節(jié) 認知診斷模型概述 118
一 、認知診斷模型的主要特征 118
二、認知診斷模型的廣義框架 120
三、認知診斷模型的實踐選擇 121
第二節(jié) 具體的認知診斷模型 122
一 、非參數(shù)認知診斷模型 122
二、結(jié)構(gòu)化的項目反應(yīng)理論模型 124
三、參數(shù)化的認知診斷模型 125
第三節(jié) 認知診斷模型的整合 129
一 、三種認知診斷模型整合框架 129
二、廣義模型和具體模型的關(guān)系 132
第 六 章 認知診斷模型的參數(shù)估計
第 一 節(jié) 項目反應(yīng)理論模型的參數(shù)估計方法 135
一 、項目反應(yīng)理論的參數(shù)估計情形 135
二、潛在特質(zhì)“填補”的參數(shù)估計方法 136
三 、潛在特質(zhì)“填補”方法的三個階段 138
第二節(jié) 認知診斷模型的參數(shù)估計方法 140
一 、參數(shù)估計方法的原理 141
二、題目參數(shù)的估計方法 141
三 、題目參數(shù)估計的影響因素 143
四、參數(shù)估計方法的不斷發(fā)展 143
第三節(jié) 知識狀態(tài)的參數(shù)估計方法 143
一 、知識狀態(tài)的估計方法 144
二、知識狀態(tài)估計的信度 146
第 七 章 認知診斷評估數(shù)據(jù)分析
第 一 節(jié) 基 于R 軟件的數(shù)據(jù)分析 148
一 、R軟件的安裝和使用 148
二 、R軟件的數(shù)據(jù)分析程序包 154
三、認知診斷評估數(shù)據(jù)分析 160
第二節(jié) 基 于Mplus 軟件的數(shù)據(jù)分析 209
一 、Mplus 軟件的安裝和基本模塊 209
二、Mplus 軟件的語法結(jié)構(gòu)和核心命令 210
三、Mplus 軟件中認知診斷模型的設(shè)定 213
四、認知診斷評估數(shù)據(jù)分析 218
第三節(jié) 基 于 flexMIRT 軟件的數(shù)據(jù)分析 234
一 、flexMIRT 軟件的安裝和核心功能 234
二 、flexMIRT 軟件的程序和命令簡介 235
三 、認知診斷模型與其程序設(shè)定 244
四 、認知診斷評估數(shù)據(jù)分析 245
第 八 章 認知診斷評估的理論演進趨勢
第一節(jié) 認知診斷評估的研究拓展 253
一 、認知模型的開發(fā)和驗證 253
二 、認知診斷測驗開發(fā) 256
三 、認知診斷模型拓展 258
四 、認知診斷評估的應(yīng)用 266
第二節(jié) 融入屬性層級關(guān)系的縱向認知診斷模型 267
一 、融入屬性層級關(guān)系的認知診斷模型 267
二、面向縱向數(shù)據(jù)的認知診斷模型 268
三、融入屬性層級關(guān)系的縱向認知診斷模型 270
四 、融入屬性層級關(guān)系的縱向認知診斷模型應(yīng)用 273
參考文獻 275