Analysis of the English Test Level A (PRETCO) for Vocational Students in Yunnan, China PR
Article Sidebar
Main Article Content
บทคัดย่อ
This study analyzes the content of the English Test Level A (PRETCO), a standardized vocational English assessment in China. The analysis applies Messick’s (1996) Validity Framework and Bachman’s (1996) Communicative Language Ability Model to examine PRETCO test papers from 2021 to 2023. A mixed-method approach is employed, combining thematic analysis, grammatical analysis, and content validity assessment. Item-Objective Congruence (IOC) is used to measure the degree of alignment between test items and vocational English competencies. The findings address both research objectives. First, the content analysis reveals that the Listening and Reading sections align well with vocational English tasks, while the Translation and Writing sections show inconsistencies in task design and scoring reliability. Grammatical analysis indicates a strong focus on basic structures such as noun forms and verb tenses, with limited integration of complex grammatical constructs. Second, the content validity assessment shows that PRETCO-A achieves a moderate-to-high level of construct alignment (IOC = 0.78), indicating that the test reasonably reflects communicative competence required in vocational settings, though further improvement is recommended (Messick, 1996). These results support the enhancement of PRETCO-A and provide guidance for educators and policymakers to align vocational English instruction with assessment standards.
ผลการวิจัยระบุว่า ข้อสอบส่วนการฟังและการอ่านมีความสอดคล้องกับสมรรถนะทางภาษาอังกฤษ เพื่อการอาชีพ การวิเคราะห์ไวยากรณ์แสดงให้เห็นว่าข้อสอบเน้นความสาคัญของโครงสร้างไวยากรณ์ระดับ ประโยคขั้นพื้นฐาน ได้เแก่ การใช้คานามและกาลของคากริยา ส่วนโครงสร้างไวยากรณ์ที่ซับซ้อนมีใช้ในการ ออกแบบข้อสอบน้อย การวิเคราะห์ความเที่ยงตรงของเนื้อหาพบว่าข้อสอบ PRETCO-A มีระดับความ สอดคล้องของโครงสร้างในระดับปานกลางถึงสูง (IOC = 0.78) ซึ่งบ่งชี้ว่าความเที่ยงตรงของข้อสอบอยู่ใน ระดับที่ยอมรับได้และยังสามารถพัฒนาให้ดีขึ้นได้เพื่อให้ข้อสอบมีความสอดคล้องเหมาะสมกับความสามารถ ทางภาษาสื่อสารเพื่อการอาชีพมากขึ้น ผลการศึกษานอาจนาไปใช้เพื่อสนับสนุนการพัฒนาการทดสอบ ภาษาอังกฤษเพื่อการอาชีพให้มีความสอดคล้องกับความต้องการด้านการสื่อสารในบริบทอาชีวศึกษามากยิ่งขึ้น
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
บทความที่ได้รับการตีพิมพ์เป็นลิขสิทธิ์ของวารสารมหาวิทยาลัยราชภัฎเชียงราย
ข้อความที่ปรากฏในบทความแต่ละเรื่องในวารสารวิชาการเล่มนี้เป็นความคิดเห็นส่วนตัวของผู้เขียนแต่ละท่านไม่เกี่ยวข้องกับมหาวิทยาลัยราชภัฎเชียงราย และคณาจารย์ท่านอื่นๆในมหาวิทยาลัยฯ แต่อย่างใด ความรับผิดชอบองค์ประกอบทั้งหมดของบทความแต่ละเรื่องเป็นของผู้เขียนแต่ละท่าน หากมีความผิดพลาดใดๆ ผู้เขียนแต่ละท่านจะรับผิดชอบบทความของตนเองแต่ผู้เดียว
เอกสารอ้างอิง
Alderson, J. C. (2000). Assessing reading. London: Cambridge University Press.
Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice: Designing and developing useful language tests. London: Oxford University Press.
Baidu. (2024). Search engine results for PRETCO-A test papers (2021–2023). Retrieved from https://www.baidu.com
Canale, M., & Swain, M. (1980). Theoretical bases of communicative approaches to second language teaching and testing. Applied Linguistics, 1(1), 1–47.
Chang, C.-S., & Lin, H.-L. (2021). Aligning vocational English curriculum with workplace language needs: A Taiwanese case study. Asian ESP Journal, 17(4), 120–141.
Chen, X., & Zhang, Y. (2021). English proficiency and vocational training in China: Implications for employability. Journal of Language and Education, 7(2), 45–61.
Chen, Y. (2022). PRETCO: An English test for vocational and technical college students. International Journal of TESOL Studies, 4(1), 213–227.
Fulcher, G., & Davidson, F. (2007). Language testing and assessment: An advanced resource book. New York: Routledge.
Harding, L. (2014). Communicative language testing: Current issues and future research. Language Assessment Quarterly, 11(2), 186–197.
Hymes, D. H. (1972). On communicative competence. In J. B. Pride & J. Holmes (Eds.), Sociolinguistics (pp. 269–293). London: Penguin.
Ismail, F. K. M., & Zubairi, A. M. (2022). Item objective congruence analysis for multidimensional items: Content validation of a reading test in Sri Lankan university. English Language Teaching, 15(1), 106–115.
McNamara, T. (1996). Measuring second language performance. Singapore: Longman.
Messick, S. (1996). Validity and washback in language testing. Language Testing, 13(3), 241–256.
Ministry of Education of the People’s Republic of China. (2023). Statistical report on China’s educational achievements in 2023. Retrieved from https://en.moe.gov.cn/news/press_releases/202403/t20240311_1119782.html
Rovinelli, R. J., & Hambleton, R. K. (1977). On the use of content specialists in the assessment of criterion-referenced test item validity. Dutch Journal of Educational Research, 2(2), 49–60.
Salmani Nodoushan, M. A. (2020). The validity of ESP tests in technical colleges: A content-based approach. Journal of English for Academic Purposes, 46, 100881.
Taylor, L., & Geranpayeh, A. (2021). Validating high-stakes language tests in changing contexts: A framework for quality assurance. Language Testing, 38(1), 3–26.
TESOL Union. (2021). PRETCO: An English test for vocational and technical college students in China. Retrieved from https://www.tesolunion.org
Turner, R. C., & Carlson, L. (2003). Indexes of item-objective congruence for multidimensional items. International Journal of Testing, 3(2), 163–171.
Weir, C. J. (2005). Language testing and validation: An evidence-based approach. London: Palgrave Macmillan.
