第一节规则空间方法
被试在解决问题的过程中,如作答数学题目,有时会因为其未理解或未掌握相关的概念,从而错误地应用解题规则。导致问题解决失败的错误规则可能有很多种,正确解决问题也并不一定就意味着被试应用了正确的解题规则,可能是碰巧。当然,正确地应用解题规则肯定可以成功地解决问题。
规则空间方法(rulespacemethod,Tatsuoka,1983)用于分析被试在某个认知领域中的错误规则发生的可能性、诊断被试发生的错误规则并清晰地描述这种错误规则应用的状况。
一、规则空间建立
在规则空间方法架构下进行认知诊断分析,首先需要建立规则空间。规则空间是由被试潜在特质水平(θ)和偏离警戒指标(ζ)构成的二维空间。
被试的潜在特质水平θ是由项目反应理论模型定义的变量。研究者可以选择单、双、三参数逻辑模型中任一合适的模型来估计被试特质水平θ的值,如双参数逻辑模型定义特质水平为θ的被试正确作答项目的概率为:
ζ是一个基于被试潜在能力水平的警戒指标变量,它表示能力水平为θ的被试,其实际测验项目作答反应模式偏离该能力水平对应的理想项目反应模式的程度。
将f(X)重写为X的线性函数形式:
对于能力值为θi的被试,函数f(X)的期望为0,其方差为:
于是,警戒指标ζ就定义为函数f(X)的标准化形式:
ζ的作用主要有三个方面:①构建一个与IRT中的θ变量成正交关系的变量,共同组成一个分类规则空间;②有了该指标,就能够大大降低分类空间的维度,从维度为测验题目数降低到只有两个维度的分类空间;③将指标值相近的作答模式聚集到某个规则点周围。
变量θ和ζ组成了规则空间方法中的分类规则空间(rulespace)。由这两个变量组成的规则空间有两个优势:①规则空间中的两个变量均是连续变量,很容易计算马氏距离平方(squaredMahalanobisdistance)指数;②规则空间中的两个变量之间是不相关的,更容易进行分类分析。
二、被试属性掌握模式分类
建立了规则空间之后,下一步就是如何将被试观察作答反应模式进行归类,并判断其对应的属性掌握模式。
记理想项目反应模式为R,对应的知识状态为πR,能力水平IRT估计值为θR,警戒指标记为ζR;记实际观察的项目反应模式为X,能力水平IRT估计值为θX,警戒指标记为ζX。
实际观察的项目反应模式可能存在各种作答失误,由此估计得到的θ和ζ值将会与由(潜在的)理想反应模式估计得到的值存在一定的差异。在这种情况下,观察的项目反应模式应该归类到哪一种理想反应模式中呢?
I(θ)为测验信息函数,对于双参数逻辑模型:
记X′=(θX,ζX)为观察反应模式X在规则空间中对应的一个点。于是可以计算马氏距离平方:
根据观察反应模式与所有理想反应模式之间计算的马氏距离,取马氏距离最小的理想反应模式对应的属性掌握模式,作为该观察反应模式的最佳属性掌握模式。
这里有一个需要指出的重要问题是,我们将观察反应模式通过马氏距离指标归类到某个特定理想反应模式,其实就是为该观察反应模式选择了一个比较合理的归属总体。然而,这个归类过程可能会出现误差,即Ⅰ型误差(type1error)和Ⅱ型误差(type2error)。另外,该方法的归类过程是两两进行距离比较的过程,这与同时和多个总体进行比较是不同的。本书深入讨论这些问题似乎没有必要,但读者需要了解这些问题的存在。