A Comparison of Partial Knowledge Scoring Method Quality: A Development of Modified Number Right–Elimination Scoring Method
Article Sidebar
Main Article Content
Abstract
The purposes of this research were to develop a modified number right–elimination scoring method; and to compare difficulty index, discriminant index, construct validity, reliability coefficient, test information function, and accuracy in estimating examinees’ ability among using the modified Coomb’s method, the number right–elimination method (NRE), and the modified number right–elimination method (M-NRE) with 4 choices and 5 choices. Research subjects were 1,251 tenth grade students from secondary schools in Bangkok. Research instrument was covalent bond tests with 40 multiple-choice items comprising 20 items for 4 choices and 20 items for 5 choices. Data analysis was conducted by using the following programs: IRTPRO 4 Student for analyzing difficulty index, discriminant index and test information function; Mplus for analyzing construct validity; and SPSS for analyzing reliability coefficient which was then compared by using the Feldt test.
Research results revealed that (1) different scoring methods result in different difficulty index of the test at the .05 level of statistical significance. The modified Coomb’s method yielded the highest difficulty index. In addition, partial knowledge scoring method and number of choices affect different discriminant index at the .05 level of statistical significance. The discriminant index of the modified Coomb’s method was the highest, while there was no statistically significant difference between the NRE method and the M-NRE method; (2) The modified Coomb’s method, the M-NRE method with 4 choices and 5 choices and the NRE method with 5 choices had construct validity, whereas the NRE method with 4 choices had no construct validity; (3) Among the 3 methods, there was no difference in reliability when the test had 4-5 choices. However, the M-NRE method with 4 choices had the highest reliability; (4) The NRE method with 5 choices had the highest information function in low ability group. The M-NRE method with 4 choices had the highest information function in moderate ability group, and all of the 3 methods had close information function in high ability group. The M-NRE method with 4 choices had the highest accuracy in estimating examinees’ ability, and (5) The M-NRE method with 4 choices had the highest quality followed by the M-NRE method with 5 choices.
Downloads
Article Details
บทความ ข้อความ ภาพประกอบ ตารางประกอบ ที่ตีพิมพ์ในวารสารเป็นความคิดเห็นและความรับผิดชอบของผู้เขียนแต่เพียงผู้เดียว ไม่เกี่ยวข้องกับมหาวิทยาลัยสุโขทัยธรรมาธิราชแต่อย่างใด
บทความที่เสนอพิจารณาในวารสาร e-JODIL ต้องเป็นบทความที่ไม่เคยส่งไปลงพิมพ์ เผยแพร่ หรืออยู่ระหว่างการพิจารณาของวารสารอื่น
กองบรรณาธิการขอสงวนสิทธิ์ในการพิจารณาและตัดสินการตีพิมพ์บทความในวารสาร
References
กระทรวงศึกษาธิการ. (2551). หลักสูตรแกนกลางการศึกษาขั้นพื้นฐาน พุทธศักราช 2551.
โชติกา ภาษีผล. (2554). การสร้างและพัฒนาเครื่องมือในการวัดและประเมินผลการศึกษา. กรุงเทพฯ: จุฬาลงกรณ์มหาวิทยาลัย.
โชติกา ภาษีผล ณัฏฐภรณ์ หลาวทอง และกมลวรรณ ตังธนกานนท์. (2558). การวัดและประเมินผลการเรียนรู้. กรุงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
รณิดา เชยชุ่ม. (2551). การเปรียบเทียบคุณภาพของข้อสอบและแบบสอบหลายตัวเลือก ที่มีรูปแบบตัวเลือกแตกต่างกัน. กรุงเทพฯ: คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย.
รัตนา ไชยตรี. (2546). การเปรียบเทียบคุณภาพและอัตราความคลาดเคลื่อนของการกำหนดเกรดแบบอิงกลุ่ม และอิงเกณฑ์ เมื่อใช้แบบสอบเลือกตอบที่มีการตอบ และการตรวจให้คะแนนความรู้บางส่วนด้วยวิธีแตกต่างกัน. (วิทยานิพนธ์ปริญญาดุษฎีบัณฑิต). บัณฑิตวิทยาลัย จุฬาลงกรณ์มหาวิทยาลัย. กรุงเทพฯ
ศิริชัย กาญจนวาสี. (2556). ทฤษฎีการทดสอบแบบดั้งเดิม (Classical Test Theory). กรุงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
สุพจน์ เกิดสุวรรณ์. (2545). การพัฒนาการวัดความรู้บางส่วนของผู้ตอบแบบสอบเลือกตอบ. (วิทยานิพนธ์ปริญญาดุษฎีบัณฑิต). บัณฑิตวิทยาลัย จุฬาลงกรณ์มหาวิทยาลัย. กรุงเทพฯ.
สุรางค์ โค้วตระกูล. (2548). จิตวิทยาการศึกษา. กรุงเทพฯ: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
อานุภาพ เลขะกุล. (2559). การสร้างข้อสอบแบบเลือกตอบ (Multiple choice question).
เอมอร จังศิริพรปกรณ์. (2545a). การเปรียบเทียบคุณภาพของแบบสอบเลือกตอบเมื่อตรวจด้วยวิธีการให้คะแนนความรู้บางส่วนกับวิธีประเพณีนิยม. กรุงเทพฯ: จุฬาลงกรณ์มหาวิทยาลัย.
เอมอร จังศิริพรปกรณ์. (2545b). การให้คะแนนความรู้บางส่วนทำได้อย่างไร. วารสารครุศาสตร์, 23, 21-32.
เอมอร จังศิริพรปกรณ์. (2546). การเปรียบเทียบคุณภาพของแบบสอบเลือกตอบเมื่อตรวจด้วยวิธีการให้คะแนนความรู้บางส่วนกับวิธีประเพณีนิยม. วารสารครุศาสตร์, 31, 24-40.
Bahrami, G. G. (2011). The Role of Number of choices on the Parameters, Item's Goodness of Fit and Information Function of the Items in Different Levels of Ability in Multiple Choice Tests. Elsevier Ltd., 1305-1311.
Chang, S.-H., Lin, P.-C., & Lin, Z.-C. (2007). Measures of Partial Knowledge and Unexpected Responses in Multiple-Choice Tests. Educational Technology & Society, 10(4), 95-109.
Frey, A. S. (1989). A test validation study for capturing partial information in multiple-choice questions using polychotomous scoring. (PH.D Dissertation). University of San Francisco.
Lau, P. N. K., Lau, S. H., Hong, K. S., & Usop, H. (2011). Guessing, Partial Knowledge, and Misconceptions in Multiple-Choice Tests. Educational Technology & Society, 14(4), 99-110.
Lau, S. H., Hong, K. S., Lau, P. N. K., & Usop, H. (2014). Robustness of number right elimination testing (NRET) scoring method for multiple-choice items in computer adaptive assessment system (CAAS). Research and Practice in Technology Enhanced Learning, 9(2), 283-300.
Ma, X. (2004). An investigation of alternative approaches to scoring multiple response items on a certification examination. (PH.D Dissertation). University of Massachusetts.
MacCann, R. G. (2004). RELIABILITY AS A FUNCTION OF TttE NUMBER OF ITEM OPTIONS DERIVED FROM THE "KNOWLEDGE OR RANDOM GUESSING" MODEL. The Psychometric Society, 69, 147-157.
McMillan, J. H. (2014). Classroom Assessment .Pearson Education, Inc.
Muraki, E. (1992). A Generalized Partial Credit Model : Application of an EM Algorithm. APPLIED PSYCHOLOGICAL MEASUREMENT, 16, 159-176.
Nitko, A. J. (2004). Educational Assessment Of Students. Pearson Education, Inc.: Kevin M. Davis.
Pande, S. S., Santosh, P. R., Vrushali, P. R., Archana, N. P., & Sushil, A. H. (2013). Correlation between difficulty & discrimination indices of MCQs in formative exam in Physiology. Original Research Paper, 7.
Rodriguez, M. C. (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research. Educational Measurement: Issues and Practice.
Sim, S. M., & Rasiah, R. I. (2006). Relationship between item difficulty and discrimination indices in true/false-type multiple choice questions of a para-clinical multidisciplinary paper. ResearchGate, 35, 67-71.
