コラム

IRTと等化を組み合わせることで，どの試験版を受験しても公平な試験を実現することができます。試験を長期的に運用していくことで，等化された試験問題の集まり（アイテムバンク）を作成し，さらに試験問題の漏えいに強く，公平性の高い試験を実施することができます。

IRTには，CTTの信頼性に似た考え方として，試験の測定精度という考え方があります。測定精度とは同じ試験を繰り返し受けた時に個人の能力値が平均的にどのくらいばらつくのかを表した指標です。IRTでは受験者の能力レベルごとに詳細な測定精度を知ることができます。仮に等化されていても，版の間で難易度の開きが大きいと，この測定精度にもばらつきが出ることがあります。一定の範囲内で，測定精度が等しくなるような試験版を複数作ることができれば，より平等な試験であると言えます。IRTにおける測定精度はテスト情報量と呼ばれる数直線上のカーブで数値化されるため，適当な基準を定めて，カーブが近くなるようにアイテムバンクから問題を選び取ることで，より公平な試験版を作成できます。

また，1つの試験には複数の単元や出題分野と呼ばれるような試験問題のかたまりが設定されることが多いです。単に測定精度が等しいだけでなく，単元ごとに問題数のバランスも考慮して試験版を作成することも，公平な試験にとっては重要でしょう。試験の測定精度と単元ごとの問題数だけを満たすという条件では，常に同じような試験問題ばかりが出題されてしまい，最終的には試験問題のほとんどが受験者に対策されてしまうリスクがあります。したがって，測定精度と単元ごとの問題数に加えて，同じ問題がどれくらい使用されたか（露出率）を適切にコントロールしながら試験を運用することも重要です。プロメトリックではLinear On the Fly Testing (LOFT) と呼ばれる試験運用方法を提案しています。LOFTでは受験者が解答を始める瞬間に，解答すべき試験問題がランダムにアイテムバンクから選択されます。この際，測定精度・単元ごとの出題数・露出率，すべてのバランスの取れるように，最適化されたアルゴリズムが用いられています。

近年のCBTでは，受験者の解答状況に応じて出題する問題を最適化する，適応型テストと呼ばれる方法が主流になりつつあります。適応型テストでは短時間で，精度の高い試験を実現できると期待されていますが，膨大なアイテムバンクが必要になるため，試験開発費用も高くなる傾向があります。LOFTは比較的小規模のアイテムバンクでも利用でき，公平性も高いため，コストパフォーマンスに優れた試験方式であるとも言えます。

プロメトリックでは，試験問題品質評価やIRT，等化，LOFTといった信頼性の高い技術を用いて，CBT試験の品質を高め，受験者にとって公平で，試験運用団体にとっても最適な試験分析サービスを提供しています。