Reliability Analysis of the Feedback Scale of a Course with Classical Test Theory and Generalizability Theory

Giray KOLCU; Mukadder İnci BAŞER KOLCU

Article Details

Reliability Analysis of the Feedback Scale of a Course with Classical Test Theory and Generalizability Theory

Authors:

Giray KOLCU | Mukadder İnci BAŞER KOLCU

Publisher:

Mümin POLAT

Main Topics:

Promotion of health

Journal:

Turkish Journal of Health Science and Life 2020 Vol.3 Issue 2, pp.20-24

Document Type:

Article

Publication Date:

10/2020

Document Language:

Turkish

Document ID (Org No.):

2000637527

Frequency:

Tri-annual

eISSN:

2687-2730

pISSN:

2687-2730

Abstract:

 

Introduction: For the development of medical education within the framework of the concept of accountability, the preferred measurement tools for program evaluation should be reliable Reliability refers to the consistency of scores obtained with a certain measurement tool.
Objective: In this study, we aimed to evaluate the internal consistency reliability analysis of the qualitative research course feedback with classical test theory (Crohnbach alpha) and generalizability theory (G coefficient).
Method: In this study, feedback data of 46 participants from qualitative research courses implemented by the researcher were evaluated. The descriptive analyzes of the data of the feedback scale and reliability coefficients were determined according to the classical test theory and generalizability theory.
Results: In the evaluation of feedback by classical test theory, Crohnbach's alpha coefficient was calculated as 0.947 in the evaluation of the 20-item instrument of 47 participants. In the evaluation of the scale with generalizability theory,were estimated for predicting the single-surface crossed patterned variance components. G coefficient was calculated as 0,95.
Discussion: Reliability analysis of measurement tools preferred as data collection tools for program evaluation is important for accountability. In the literature, 0.70 and above is accepted as the universal reliability standard in reliability analyzes. In the reliability analysis of the scale in our study, it was considered acceptable according to the classical test theory and generalizability theory. We believe that the feedback scale evaluated in the scope of our study can be used as a reliable measurement tool in the evaluation of this training program.

 

Giriş: Mezuniyet öncesi tıp eğitimi programlarının hesap verebilirlik kavramı çerçevesinde gelişimleri için program değerlendirme için tercih edilen ölçüm araçlarının güvenirliğinin yüksek olması gerekmektedir. Güvenirlik belirli bir ölçme aracıyla elde edilen puanların tutarlı olmasını ifade etmektedir.
Amaç: Çalışmamızda nitel araştırma kursu geribildirimlerinin klasik test kuramı (Crohnbach alfa) ve genelllenebilirlik kuramı (G katsayısı) ile iç tutarlılık güvenirlik analizlerinin değerlendirilmesi amaçlanmaktadır.
Yöntem: Bu çalışmada araştırmacı tarafından uygulanmakta olan nitel araştırma kursuna ait 46 katılımcının geribildirim verileri değerlendirildi. Geribildirim ölçeğinin verilerinin tanımlayıcı analizleri, klasik test kuramına ve genellenebilirlik kuramına göre güvenirlik katsayıları belirlendi.
Bulgular: Geribildirimlerin klasik test kuramı ile değerlendirilmesinde 47 katılımcının, 20 maddelik ölçüm aracını değerlendirmesinde Crohnbach alfa katsayısı 0,947 olarak hesaplandı. Ölçeğin genellenebilirlik kuramı ile değerlendirilmesinde tek yüzeyli çaprazlanmış desenli varyans bileşenlerinin kestirilmesinde 0,95 olarak hesaplandı
Tartışma: Program değerlendirme için veri toplama aracı olarak tercih edilen ölçüm araçlarının güvenirlik analizlerinin yapılması hesap verebilirlik açısından önemlidir. Literatürde güvenirlik analizlerinde 0.70 ve üzeri evrensel güvenirlik standardı olarak kabul edilmektedir. Çalışmamızdaki ölçeğin güvenirlik analizlerinde klasik test kuramı ve genellenebilirlik kuramına göre ölçek “kabul edilebilir” olarak değerlendirildi. Çalışmamız kapsamında değerlendirilen geribildirim ölçeğinin bu eğitim programının değerlendirilmesinde güvenirliği yüksek bir ölçüm aracı olarak kullanılabileceği kanaatindeyiz.

Article Details

Reliability Analysis of the Feedback Scale of a Course with Classical Test Theory and Generalizability Theory

Authors: Giray KOLCU | Mukadder İnci BAŞER KOLCU

Publisher: Mümin POLAT

Main Topics: Promotion of health

Journal: Turkish Journal of Health Science and Life 2020 Vol.3 Issue 2, pp.20-24

Document Type: Article

Publication Date: 10/2020

Document Language: Turkish

Document ID (Org No.): 2000637527

Frequency: Tri-annual

eISSN: 2687-2730

pISSN: 2687-2730

Issues

Authors:

Giray KOLCU | Mukadder İnci BAŞER KOLCU

Publisher:

Mümin POLAT

Main Topics:

Promotion of health

Journal:

Turkish Journal of Health Science and Life 2020 Vol.3 Issue 2, pp.20-24

Document Type:

Article

Publication Date:

10/2020

Document Language:

Turkish

Document ID (Org No.):

2000637527

Frequency:

Tri-annual

eISSN:

2687-2730

pISSN:

2687-2730