复杂决策规则下测验分类一致性评估方法探讨

划分的准确性和公正性，分类一致性作为一种评估测验信度和有效性的关键指标，得到了广泛关注。如何在多测验、多评分标准的情况下提升分类一致性，成为了现代教育评估和心理学测量中亟待解决的一个重要问题。因此，探索如何在不同情境下准确评估分类一致性并采取有效措施提升其水平，是当前研究的重点方向。因此，本文通过两个研究探索提升多测验多分类下分类一致性的方法，第一个研究适用于观察分数，第二个研究适用于潜在特质，希望能对提升信度质量有所帮助。

研究一提出了一种基于观察分数的多测验多分类下分类一致性评估方法。该方法考虑融合多测验观察分数的补偿决策规则，引入卡方分布并结合测量误差协方差矩阵，提出一种基于多测验观察分数的分类一致性估计方法。在多测验多分类和多分类的情境下，SMDC方法利用误差协方差矩阵计算得分差异的卡方统计量，实现对分类一致性的精准评估。通过模拟研究探讨了不同样本量、测试长度、切割分数等因素对SMDC方法和重测方法分类一致性结果的影响。对比实验结果，SMDC方法在所有实验条件下的分类一致性与重测方法差异较小，无论是样本量、题目数量、评分点数量还是切割分数条件，SMDC方法与重测方法相差0.01-0.02左右。在Range、CV和SD等稳定性指标上，SMDC方法显著优于重测方法，结果的波动性更低。这些实验结果表明，SMDC方法能够提供更加稳定和可靠的分类一致性评估。

参考文献（略）