การเปรียบเทียบผลการวิเคราะห์การทำหน้าที่ต่างกันของข้อสอบ ในแบบทดสอบ O-NET ชั้นมัธยมศึกษาปีที่ 6 ระหว่างวิธี IRT-LR กับวิธี SIBTEST
คำสำคัญ:
การทำหน้าที่ต่างกันของข้อสอบ, ทฤษฎีการตอบสนองข้อสอบ, แบบทดสอบ O-NET, วิธี IRT-LR, วิธี SIBTESบทคัดย่อ
การวิจัยนี้มีวัตถุประสงค์เพื่อวิเคราะห์คุณภาพของข้อสอบ (a, b และ c) ฉบับก่อนตัดกับฉบับหลังตัดข้อสอบที่ทำหน้าที่ต่างกันออกจากแบบทดสอบตามทฤษฎีการตอบสนองข้อสอบแบบ 3 พารามิเตอร์ ตรวจสอบความเที่ยง ความตรงเชิงโครงสร้าง ของแบบทดสอบฉบับก่อนและหลังตัด DIF ตรวจสอบการทำหน้าที่ต่างกันของข้อสอบระหว่างวิธี IRT-LR กับ วิธี SIBTEST และเปรียบเทียบอัตราความคลาดเคลื่อนประเภทที่ 1 และ 2 ของการทำหน้าที่ต่างกันของข้อสอบ ในแบบทดสอบ O-NET ชั้นมัธยมศึกษาปีที่ 6 ทั้ง 8 กลุ่มสาระการเรียนรู้ ผลการวิจัยปรากฏว่า 1)แบบทดสอบ O-NET ฉบับก่อนตัดและฉบับ DIF ตามหลักทฤษฎีการตอบสนองข้อสอบแบบ 3 พารามิเตอร์ ทั้ง 8 กลุ่มสาระการเรียนรู้ มีค่าอำนาจจำแนกของข้อสอบ (a) และ ค่าความยากของข้อสอบ (b) แตกต่างกัน ส่วนค่าโอกาสการเดาของข้อสอบ (c) ไม่เกิน 0.3 โดยมีค่าความเที่ยงแตกต่างกัน การตรวจสอบความตรงเชิงโครงสร้าง พบว่า 2 กลุ่มสาระการเรียนรู้ มีความสอดคล้องกับข้อมูลเชิงประจักษ์ 2)การตรวจสอบการทำหน้าที่ต่างกันของข้อสอบ ในแบบทดสอบ O-NET ฉบับก่อนตัด DIF จำนวนทั้งหมด 430 ข้อ พบว่า วิธี IRT-LR ตรวจพบ DIF จำนวน 256 ข้อ คิดเป็นร้อยละ 59.53 วิธี SIBTEST ตรวจพบ DIF จำนวน 79 ข้อ คิดเป็นร้อยละ 18.37 3) การเปรียบเทียบผลตรวจสอบการทำหน้าที่ต่างกันของข้อสอบ วิธี IRT-LR ตรวจพบ DIF มากกว่าวิธี SIBTEST คิดเป็นร้อยละ 41.86 และพบ DIF ตรงกัน ทั้ง 2 วิธี จำนวน 65 ข้อ คิดเป็นร้อยละ 15.12 (p < 0.05) อัตราความคลาดเคลื่อนประเภทที่ 1 และ 2 มีความแตกต่างกัน
เอกสารอ้างอิง
Choranong, C., Wongnam, P., Lila, S. & Anusartsananan, S. (2010). Efficiency of model and detecting differential multidimensional items functioning by nested confirmatory factor analysis. Journal of education, 22(1), 23-35. (in Thai)
Ellis, B. B., & Mead, A. D. (2002). Item analysis: Theory and practice using classical and modern test theory. In S. G.
Rogelberg (Ed.), Handbook of research methods in industrial and organizational psychology (pp. 324-343). Malden, MA: Blackwell Publishing, Inc.
Elosua, E., & Wells, C. S. (2013).Detecting DIF in Polytomous Items Using MACS, IRT and Ordinal Logistic Regression. International Journal of Methodology and Experimental Psychology, 34(2), 327-342.
Gulliksen, H. (1950). Theory of mental tests. Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Kanchanawasri, S. (2013). Classical Test Theory. 7th Edition. Bangkok, Chulalongkorn University. (in Thai)
Kose, A. I., & Demirtasli, C. N. (2012). Comparison of unidimensional and multidimensional models based on item response theory in terms of both variables of test length and sample size. Procedia - Social and Behavioral Sciences, 46 (2012), 135-140.
Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley.
Loevinger, J. (1957). Objective tests as instruments of psychological theory. Psychological Reports, 3, 635-694.
Mark, J. G., Andrea, G. & Keith, A. B. (2004). Performance of SIBTEST When the Percentage of DIF Items is Large. Applied Measurement in Education, 17(3), 241-264.
Mellenbergh, G. J. (1982). Contingency table models for assessing item bias. Journal of Educational Statistics, 7(2), 105-118.
Narayanan, P., & Swaminathan, H. (1996). Identification of items that show nonuniform DIF. Applied Psychological Measurement, 20(3), 257-274.
Peak, I., & Han, K. T. (2012). IRTPRO 2.1 for Windows (Item Response Theory for Patient Reported Outcomes). Applied Psychological Measurment, 37(3), 242-252.
Phanphueg, S. (2014). Handout in Development of Competencies in the measurement of learning outcomes. National Institute of Educational Testing Service (PublicOrganization). (in Thai)
Roussos, L. A., & Stout, W. F. (1996). Simulation Studies of the Effects of Small Sample Size and Studied Item Parameters on SIBTEST and Mantel-Haenszel Type I Error Performance. Journal of Educational Measurement, 33(2), 215–230.
Suriart, P. & Tuksino, P. (2016). Developing Global Awareness in 21st Century Skills for Lower Secondary School Using Situation Scale : An Application of Differential Item Functioning. Journal of Education Khon Kaen University (Graduate Studies Research), 10, 94-100. (in Thai)
Wiboonsri, R,Y. (2013). Measurement and achievement test construction. 11th Edition. Bangkok, Chulalongkorn University. (in Thai)
ดาวน์โหลด
เผยแพร่แล้ว
รูปแบบการอ้างอิง
ฉบับ
ประเภทบทความ
สัญญาอนุญาต
"บทความวิชาการในวารสารฉบับนี้ ถือเป็นความรับผิดชอบของผู้เขียนเท่านั้น"
สงวนลิขสิทธิ์ตามพระราชบัญญัติลิขสิทธิ์
