Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems:  A Case Study

Ali Kürşat ERÜMİT; İsmail ÇETİN; Mehmet KOKOÇ; Temel KÖSA; Vasif NABİYEV; Emine Selin AYGÜN

doi:https://doi.org/10.17569/tojqi.506439

Article Details

Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

Authors:

Ali Kürşat ERÜMİT | İsmail ÇETİN | Mehmet KOKOÇ | Temel KÖSA | Vasif NABİYEV | Emine Selin AYGÜN

Publisher:

Abdullah KUZU

Main Topics:

Sociology and anthropology

Journal:

Turkish Online Journal of Qualitative Inquiry 2019 Vol.10 Issue 1, pp.141-179

Document Type:

Article

Publication Date:

1/2019

Document Language:

English

Document ID (Org No.):

2000838832

Frequency:

Quarterly

eISSN:

1309-6591

DOI:

https://doi.org/10.17569/tojqi.506439

Keywords:

Abstract:

 


This
study aims at examining the usability evaluation process of ArtiBos, an
adaptive intelligent tutoring system specifically designed for teaching of
problem solving, and proposing usability evaluation recommendations
accordingly. The study group consists of 90 students selected from 3 different secondary
education institutions and 30 experts from the fields of Computer Education and
Instructional Technology and Mathematics Teaching. The usability of ArtiBos is
evaluated according to the criteria of effectiveness, efficiency, and
satisfaction included in the definition of usability by the International
Standards Organization (ISO). In this study, quantitative and qualitative data
were used for triangulation. Study data included users’ screenshots during
performance of the instructed tasks in ArtiBos, sound recordings taken from the
think aloud technique, interviews with students, and opinions of experts. The
study elaborates the procedure of usability tests of ArtiBos and makes
suggestions for usability evaluation processes of similar systems. The results
are expected to guide researchers planning to carry out similar systems’
usability studies


.

 

Bu
çalışmanın amacı, problem çözme öğretimi için tasarlanmış bir uyarlanabilir
zeki öğretim sistemi olan ArtiBos’un kullanılabilirlik değerlendirmesi sürecini
incelemek ve benzer sistemlerin kullanılabilirlik değerlendirmesi süreçlerine
yönelik öneriler sunmaktır. Çalışmaya, 3 farklı ortaöğretim kurumundan seçilen
90 öğrenci ile Bilgisayar ve Öğretim Teknolojileri Eğitimi-Matematik Eğitimi
alanlarından 30 uzman katılmıştır. ArtiBos’un kullanılabilirliği, Uluslararası
Standartlar Enstitüsü (International Standards Organization – ISO) tarafından
yapılan kullanılabilirlik tanımında yer alan etkililik, verimlilik ve
memnuniyet kriterlerine göre değerlendirilmiştir. Çalışmada veri çeşitlemesi
sağlanarak nicel ve nitel veriler birlikte kullanılmıştır. Kullanıcıların
ArtiBos’da istenen görevleri gerçekleştirme süreçlerindeki ekran görüntüleri,
sesli düşünme tekniği (think aloud) sırasında alınan ses kayıtları,
öğrencilerle yapılan görüşmeler ve uzmanların görüşleriyle veriler elde
edilmiştir. Çalışmada, ArtiBos’un kullanılabilirlik testleri süreci detaylı bir
şekilde açıklanmış ve kullanılabilirlik değerlendirme süreçlerine yönelik
öneriler sunulmuştur.  Elde edilen
sonuçların benzer sistemlerin kullanılabilirlik çalışmasını yapmayı planlayan
araştırmacılar için yol gösterici olması hedeflenmektedir.

Article Details

Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

Authors:

Ali Kürşat ERÜMİT | İsmail ÇETİN | Mehmet KOKOÇ | Temel KÖSA | Vasif NABİYEV | Emine Selin AYGÜN

Publisher:

Abdullah KUZU

Main Topics:

Sociology and anthropology

Journal:

Turkish Online Journal of Qualitative Inquiry 2019 Vol.10 Issue 1, pp.141-179

Document Type:

Article

Publication Date:

1/2019

Document Language:

English

Document ID (Org No.):

2000838832

Frequency:

Quarterly

eISSN:

1309-6591

DOI:

https://doi.org/10.17569/tojqi.506439

Kullanılabilirlik

zeki öğretim sistemleri

uzman temelli değerlendirme

deneysel değerlendirme

Issues

Article Details

Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

Authors: Ali Kürşat ERÜMİT | İsmail ÇETİN | Mehmet KOKOÇ | Temel KÖSA | Vasif NABİYEV | Emine Selin AYGÜN

Publisher: Abdullah KUZU

Main Topics: Sociology and anthropology

Journal: Turkish Online Journal of Qualitative Inquiry 2019 Vol.10 Issue 1, pp.141-179

Document Type: Article

Publication Date: 1/2019

Document Language: English

Document ID (Org No.): 2000838832

Frequency: Quarterly

eISSN: 1309-6591

DOI: https://doi.org/10.17569/tojqi.506439

Kullanılabilirlik

zeki öğretim sistemleri

uzman temelli değerlendirme

deneysel değerlendirme

Issues

Authors:

Ali Kürşat ERÜMİT | İsmail ÇETİN | Mehmet KOKOÇ | Temel KÖSA | Vasif NABİYEV | Emine Selin AYGÜN

Publisher:

Abdullah KUZU

Main Topics:

Sociology and anthropology

Journal:

Turkish Online Journal of Qualitative Inquiry 2019 Vol.10 Issue 1, pp.141-179

Document Type:

Article

Publication Date:

1/2019

Document Language:

English

Document ID (Org No.):

2000838832

Frequency:

Quarterly

eISSN:

1309-6591

DOI:

https://doi.org/10.17569/tojqi.506439