コラム

テストのデジタル化：CBTの進展とその利点

私たちの生活のまわりには，ある特定の能力を測定するための様々な「テスト」が存在しています。学生であれば，教科の学力を測定するために定期試験や入学試験を受けてきたでしょうし，特定の内容に関する知識を測定する資格試験は，社会人になった後にも受ける機会があるかもしれません。こうした「テスト」は，伝統的に紙とペン（紙筆式：Paper Based Testing [PBT]などと呼ばれる）によって実施されてきました。

しかし社会においてコンピュータが不可欠となった現代では，資格試験をはじめとした様々なテストも紙筆式からコンピュータ上での実施に移行することが多くなっています。近年ではCBT(Computer Based Testingの略称)という呼び方を聞いたことがある方も多いでしょう。CBTはその名の通り，試験の実施に関する各プロセス（問題の表示，解答の記録，採点，結果のフィードバックなど）の一部または全部がコンピュータ上で行われる試験形態です。PBTと比較すると，CBTには様々なメリットがあることが知られています。一例を挙げると，答案用紙の印刷・輸送コストやデータ入力および採点等の人件費等の削減や，まるで視力検査のように正誤状況に合わせて最適な難易度の問題を個人ごとに選択する技術（適応型テスト），動画等の多様な情報を用いたよりリアリティの高い問題の出題などが，CBTによって実現可能となっており，すでに海外では大規模な公的試験にCBTの技術が導入されています(Alrababah & Molnár, 2021)。

情報通信技術が今ほど発展していなかった21世紀はじめごろまでは，資格試験や入学試験など，試験結果が重要な意味を持つハイステークス[1]な試験をコンピュータ上で実施する場合には，大学のコンピュータ室やテストセンターなどに受験者を集め，試験監督が同席した状態（proctored）で行う形式が当然でした。これは，一般的に試験はハイステークスになるほど不正行為（cheating; test fraud）などのリスクも大きくなるためです。すなわち，CBTには基本的に受験場所を自由に選べないという大きな制約が残されていました。現在でもCBTを受験する場合は通常，受験者は指定された会場に直接行かなければなりません。近年ではテストセンターも全国各地に設置されるようになりましたが，それでも地方では，会場まで片道1時間以上かかるケースは珍しいことではありません。また特に近年のコロナ禍や自然災害は，一つの会場に多くの受験者を集めることが難しくなるリスクを顕在化させたと言えるでしょう。実際に2020年には国家試験である情報処理技術者試験が，新型コロナウィルス感染症の影響により試験を中止する事態に陥りました(情報処理推進機構, 2020)。他にも，普段と異なる環境での受験を強制されるCBT（あるいは伝統的な紙筆式試験）では，強い試験不安によって本来のパフォーマンスを発揮できない受験者がいる可能性も指摘される(e.g., Butler-Henderson & Crawford, 2020; Stowell & Bennett, 2010)など，CBTでもまだ解決しきれていない課題が残されています。

 

インターネットを活用したテストの革新：IBT

CBTが抱えるこうした課題を解決する技術として近年注目を集めているのが，IBT (Internet Based Testing)です[2]。IBTでは，問題の配信・解答の記録がインターネットを介して行われ，受験者は会場に行かずとも好きな場所でテストを受けることができます。もしもIBTを適切に実施できるようになれば，上述のような受験者にとってのメリットだけでなく，主催者側も端末・場所代のコストダウンや受験申込者数の増加など，様々な効果が見込まれます。

ただし前述の通り，受験者を会場に集めないIBT，とくに試験監督のいない（unproctored）IBTでは不正行為のリスクが非常に大きくなります。そのため，かつてのIBTは，試験結果が重要な意思決定には利用されないローステークスな試験や，試験の練習のときにしか使えないものと考えられていました(Parshall et al., 2002)。しかし近年では，パソコンに内蔵されたカメラを用いたリモート試験監督や，不正の疑いのある行為をAIによって自動検出する技術の発達により，ハイステークスな試験をIBTで実施することも現実味を帯びてきています。実際に，例えばカナダでは，医学部卒業のための試験の一部 (The Medical Council of Canada Qualifying Examination) において，リモート試験監督による自宅等での受験を選択できるようになっています。また2022年には，国家試験の一つである基本情報技術者試験と情報セキュリティマネジメント試験がIBTへの移行を視野に入れた実証実験を行いました(情報処理推進機構, 2022)。

ハイステークスな試験をIBTで実施する際の最重要検討課題は，不正行為への対策です。Noorbehbahani et al. (2022)は，IBTに関する近年の研究で観察された不正行為を分類・列挙しています。その中には，教科書を盗み見る・検索するといった従来の試験でも見られた不正に加えて「顔や声を偽装した替え玉受験(Vegendla & Sindre, 2019)」や「スマートグラス・極小ワイヤレスイヤホンの利用(Srikanth & Asmatulu, 2014)」といった，IBT特有の不正行為も報告されています。IBTにおいて想定されるこうした不正行為を抑制するために有効な方法は，オンライン試験監督システム（OPS: online proctoring system）の導入です。一般的にOPSでは，Webカメラによって受験者を監視するだけでなく，本人確認，受験中のコンピュータの機能制限，遠隔での管理（怪しい受験者を即座に切断できるなど），レポートの生成（怪しい受験者にフラグを立てるなど），など複合的な機能により，テストのセキュリティを高めています(Hussein et al., 2020)。また受験中のコンピュータの機能を制限しIBTをセキュアに実施するためには，ロックダウンブラウザの利用が不可欠となります。一般的なロックダウンブラウザでは，試験実施中に全画面表示を強制し，試験以外のソフトウェアの使用やキーボードによる特定の操作を無効化することで不正行為のリスクを減らしています。もちろん不正行為のパターンもより高度化しているため，2022年に国際テスト委員会 (International Test Commission) が示した試験実施ガイドラインでは，仮想マシン (VM)，リモートデスクトップ，マルチモニター，仮想カメラ，仮想マイクなど様々な機能を制御できることが求められています。こうした高度な要求を満たすOPSシステムの設計は容易ではないため，実際にIBTを導入する場合には，専門的なベンダーの協力がほぼ不可欠といえます。

　また近年ではOPSに加えて，AIの技術を活用した試験監督システム（AIPS）の利用も増えています。通常のOPSでは受験者の怪しい行動をチェックするために，試験監督は全ての受験者の様子をリアルタイムで観察し，また録画を利用した事後チェックを行うのが一般的でした(Noorbehbahani et al., 2022)。しかし一度に多くの受験者が受験する状況では，人力でのチェックはすぐに限界を迎えてしまいます。そこでAIの技術を利用して自動的に怪しい受験者にフラグを立てることが可能なAIPSを導入するベンダーも増加しています。AIPSでは，例えば録画された受験者の顔の動き(e.g., Indi et al., 2021; Yulita et al., 2023)やマウスカーソルの軌跡 (e.g., Hassan Hosny et al., 2022; Li et al., 2021) を用いて，機械学習・ディープラーニング等の手法に基づいて不正行為の検出を行うことが多いようです。このようにテクノロジーの発達によって，不正行為検出のクオリティは日進月歩で向上しています。もちろんその一方で，不正行為自体の技術レベルも同時に高度化しているため，IBTが不正行為を（会場で実施される）CBTと完全に同レベルまで防ぐことはまだ難しいかもしれません。しかし適切な技術を導入することで，IBTのセキュリティを実用可能なレベルまで高めることはすでに現実的だと言えるでしょう。

　

IBTの実用化と普及に向けて

もちろん，すべてのテストがIBTに適しているとは考えていません。例えば大学入試等の公的なハイステークステストでは，IBTに対して技術的だけでなく心理的なハードルも想定されます。というのも特に日本では，同じ会場に受験者を集めて，同日同時刻に同じ問題を受けさせることがテストの公平性を担保している，という考え方が根強く，場合によっては「どこでも受験できる」というIBTのメリットそれ自体が「公平性を損ねている」と捉えられてしまう可能性もあるためです。

またセキュリティの問題を度外視または解決したとしても，IBTに関する研究はまだ歴史が浅く，多くの論点・懸念点に対して現時点では明確な結論はまだ出ていません。例えば本コラムの前半ではIBTの利点として「試験不安の軽減」を挙げましたが，実際にはIBTには「受験中に接続が切れないか」「解答はきちんと記録されているか」といった，IBTに特有の（技術的）不安要因があることが指摘されています(e.g., Conijn et al., 2022; Dikmen, 2022)。またオンライン・AIによる試験監督では，事前に受験者の周囲の環境（部屋や机上）を映してもらう，受験者のコンピュータに専用のソフトウェアなどをインストールさせる，受験中の様子や操作ログなどの様々な情報を収集・記録するなど，様々な介入を行う必要があります。しかし受験者は基本的に，様々な情報にアクセスすることを快く思っていないようです(Terpstra et al., 2023)。近年では全世界的に個人情報保護の動きが高まっていることから，こうしたデータ利用に関するプライバシー保護について法的・倫理的側面の議論も重要となっていくでしょう。

このように，IBTには未だ様々な課題は残されているものの，これまでに紹介してきたように，すでにIBTはすでに実用的な段階に達しており，事実として海外では多くの試験のIBT化が進んでいます。これから新規にIBT形式の試験を実施しようと考える際には，まず専門家などを通じてIBTにまつわる様々な現状や課題について十分理解したうえで，「（特にセキュリティ面において）本当にIBTでも実施できそうか」「CBTではなくIBTにすることによるメリットは何か」をよく考えてみると良いかもしれません。

Alrababah, S. A., & Molnár, G. (2021). The evolution of technology-based assessment: Past, present, and future. International Journal of Learning Technology, 16(2), 134–157. https://doi.org/10.1504/IJLT.2021.117765

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (Eds.). (2011). Standards for educational and psychological testing. American Educational Research Association.

Butler-Henderson, K., & Crawford, J. (2020). A systematic review of online examinations: A pedagogical innovation for scalable authentication and integrity. Computers & Education, 159, Article 104024. https://doi.org/10.1016/j.compedu.2020.104024

Conijn, R., Kleingeld, A., Matzat, U., & Snijders, C. (2022). The fear of big brother: The potential negative side‐effects of proctored exams. Journal of Computer Assisted Learning, 38(6), 1521–1534. https://doi.org/10.1111/jcal.12651

Dikmen, M. (2022). Test anxiety in online exams: Scale development and validity. Current Psychology. https://doi.org/10.1007/s12144-022-04072-0

Hassan Hosny, H. A., Ibrahim, A. A., Elmesalawy, M. M., & Abd El-Haleem, A. M. (2022). An intelligent approach for fair assessment of online laboratory examinations in laboratory learning systems based on student’s mouse interaction behavior. Applied Sciences, 12(22), Article 22. https://doi.org/10.3390/app122211416

Hussein, M. J., Yusuf, J., Deb, A. S., Fong, L., & Naidu, S. (2020). An evaluation of online proctoring tools. Open Praxis, 12(4), 509–525. https://doi.org/10.5944/openpraxis.12.4.1113

Indi, C. S., Pritham, V., Acharya, V., & Prakasha, K. (2021). Detection of malpractice in e-exams by head pose and gaze estimation. International Journal of Emerging Technologies in Learning, 16(08), 47–60. https://doi.org/10.3991/ijet.v16i08.15995

Li, H., XU, M., WANG, Y., WEI, H., & QU, H. (2021). A visual analytics approach to facilitate the proctoring of online exams. CHI ’21: Proceedings of the CHI Conference on Human Factors in Computing Systems, Yokohama, May 8-13, 1–17. https://doi.org/10.1145/3411764.3445294

Noorbehbahani, F., Mohammadi, A., & Aminazadeh, M. (2022). A systematic review of research on cheating in online exams from 2010 to 2021. Education and Information Technologies, 27, 8413–8460. https://doi.org/10.1007/s10639-022-10927-7

Parshall, C. G., Spray, J. A., Kalohn, J. C., & Davey, T. (2002). Practical considerations in computer-based testing. Springer New York. https://doi.org/10.1007/978-1-4613-0083-0

Srikanth, M., & Asmatulu, R. (2014). Modern cheating techniques, their adverse effects on engineering education and preventions. International Journal of Mechanical Engineering Education, 42(2), 129–140. https://doi.org/10.7227/IJMEE.0005

Stowell, J. R., & Bennett, D. (2010). Effects of online testing on student exam performance and test anxiety. Journal of Educational Computing Research, 42(2), 161–171. https://doi.org/10.2190/EC.42.2.b

Terpstra, A., De Rooij, A., & Schouten, A. (2023). Online proctoring: Privacy invasion or study alleviation?: discovering acceptability using contextual integrity. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 1–20. https://doi.org/10.1145/3544548.3581181

Vegendla, A., & Sindre, G. (2019). Mitigation of cheating in online exams: Strengths and limitations of biometric authentication. In A. V. S. Kumar (Ed.), Biometric authentication in online learning environments (pp. 47–68). IGI Global. https://doi.org/10.4018/978-1-5225-7724-9.ch003

Yulita, I. N., Hariz, F. A., Suryana, I., & Prabuwono, A. S. (2023). Educational innovation faced with COVID-19: Deep learning for online exam cheating detection. Education Sciences, 13(2), Article 2. https://doi.org/10.3390/educsci13020194

情報処理推進機構. (2020). プレス発表　4月19日（日）実施予定の情報処理技術者試験・情報処理安全確保支援士試験の取りやめについて. https://www.ipa.go.jp/archive/press/2019/press20200324.html

情報処理推進機構. (2022, August 4). 基本情報技術者試験と情報セキュリティマネジメント試験でインターネットによる実証試験を実施. https://www.ipa.go.jp/news/2022/shiken/topic_2022_ibt.html