小論文試験や面接試験,パフォーマンステストなどに基づく能力評価には,採点者ごとの評価点の甘さ辛さやその散らばりの程度,日間変動といった採点者側のバイアス,および受験者への期待効果,採点の順序効果,文字の美醜効果などの受験者側のバイアス要因の双方が影響することが知られている。本論文ではMuraki(1992)の一般化部分採点モデルを応用して,能力評価データにおけるこれら2種類のバイアス要因の影響を同時に評価するための多値型項目反応モデルを提案した。また,母数の推定については,MCMC法(Markov Chain Monte Carlo method)に基づくアルゴリズムを利用し,その導出も行った。シミュレーション実験における母数の推定値の収束結果から推定方法の妥当性を確認し,さらに高校生が回答した実際の小論文評価データ(受験者303名,採点者4名)を用いて,本論文で提案した多値型項目反応モデルの適用例を示した。

It is generally known that evaluation of abilities through essay tests, interviews, and performance assessments may entail both rater biases, such as severity, dispersion of scores, and daily fluctuations, and examinee biases, such as expectation effects, order effects, and beauty of handwriting. In the present article, an item response model is proposed for such data, based on the Generalized Partial Credit Model (GPCM; Muraki, 1992) for polytomous responses. Effects of rater and examinee biases can be estimated directly and simultaneously through the proposed model. Parameter estimation was performed via the Markov Chain Monte Carlo (MCMC) method, which is becoming acknowledged as an effective tool for item response models. A simulation study indicated stable convergence of estimates. Additionally, actual essay test data, in which 4 raters evaluated the essays written by 304 high school students, were analyzed; the results showed the efficacy of the proposed model.