Tài liệu Xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan kỹ năng đọc hiểu cấp độ 3 theo khung năng lực ngoại ngữ việt nam tại học viện an ninh

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC GIÁO DỤC NGUYỄN THỊ BẮC XÂY DỰNG BỘ CÂU HỎI CHUẨN HÓA TRẮC NGHIỆM KHÁCH QUAN KỸ NĂNG ĐỌC HIỂU CẤP ĐỘ 3 THEO KHUNG NĂNG LỰC NGOẠI NGỮ VIỆT NAM TẠI HỌC VIỆN AN NINH LUẬN VĂN THẠC SĨ NGÀNH ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC HÀ NỘI – 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC GIÁO DỤC NGUYỄN THỊ BẮC XÂY DỰNG BỘ CÂU HỎI CHUẨN HÓA TRẮC NGHIỆM KHÁCH QUAN KỸ NĂNG ĐỌC HIỂU CẤP ĐỘ 3 THEO KHUNG NĂNG LỰC NGOẠI NGỮ VIỆT NAM TẠI HỌC VIỆN AN NINH LUẬN VĂN THẠC SĨ NGÀNH ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC CHUYÊN NGÀNH: ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC Mã số: 60140120 Ngƣời hƣớng dẫn khoa học: Tiến sĩ Tô Thị Thu Hƣơng HÀ NỘI – 2017 LỜI CAM ĐOAN Tôi xin cam đoan luận văn với tiêu đề“Xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan kỹ năng Đọc hiểu cấp độ 3 theo Khung năng lực ngoại ngữ Việt Nam tại Học viện An ninh nhân dân" hoàn toàn là kết quả nghiên cứu của cá nhân tôi và kết quả của đề tài chƣa đƣợc công bố ở bất kỳ công trình nghiên cứu của ngƣời khác. Các số liệu, kết quả đƣợc trình bày trong luận văn là sản phẩm nghiên cứu của cá nhân tôi. Các thông tin tham khảo đều đƣợc trích dẫn rõ nguồn gốc theo đúng quy định. Tôi xin chịu trách nhiệm về tính trung thực của số liệu và các nội dung khác trong luận văn của mình. Hà Nội, ngày 10 tháng 11 năm 2016 Tác giả luận văn (Ký và ghi rõ họ tên) Nguyễn Thị Bắc i LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn chân thành nhất tới TS Tô Thị Thu Hƣơng, ngƣời đã trực tiếp hƣớng dẫn và dìu dắt em trong suốt tiến trình thực hiện đề tài. Em xin chân thành cảm ơn các Thầy/Cô thuộc Bộ môn Đo lƣờng và Đánh giá trong giáo dục, trƣờng Đại học Giáo dục, Đại học Quốc Gia Hà nộiđã theo sát, nhắc nhở chúng em trong quá trình học tập cũng nhƣ hoàn thiện luận văn. Đặc biệt, xin gửi lời biết ơn sâu sắc đến cha mẹ, gia đình, bạn bè và đồng nghiệp đã động viên và giúp đỡ em trong suốt thời gian thực hiện luận văn tốt nghiệp. Trong quá trình hoàn thành luận văn mặc dù đã cố gắng rất nhiều, tuy nhiên do khả năng, kiến thức còn hạn hẹp nên không tránh khỏi sai sót, hạn chế do đó em rất mong tiếp tục nhận đƣợc sự góp ý, tƣ vấn để hoàn thiện hơn bản luận văn này cũng nhƣ trong các công trình nghiên cứu khoa học tiếp theo. Hà Nội, ngày 10 tháng 11 năm 2016 Học viên Nguyễn Thị Bắc ii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT HVAN : Học viện An ninh TNKQ : Trắc nghiệm khách quan Khung NLNN VN : Khung năng lực ngoại ngữ 6 bậc của Việt Nam MCQ : Câu hỏi nhiều lựa chọn iii DANH MỤC CÁC BẢNG Bảng 1.1: So sánh 2 loại tiếp cận cơ bản trong thiết kế đề thi (nguồn NormanEGronlund ) Bảng 1.2: Báng phán bổ xác suất tự nhiên trong câu hỏi dạng MCQ Bảng 1.3: Nguồn lựa chọn bài đọc Bảng 1.4. Bảng mô tả đặc tính của một bài đọc Bảng 1.5 Bảng tóm tắt các mức nhận thức theo quan niệm của Bloom Bảng 1.6. Bảng mô tả kỹ năng đọc cấp độ 3 theo Khung NLNN 6 bậc Bảng 1.7. Bảng mô tả mức độ tương thích giữa Khung CEFR và Khung NLNNVN Bảng 2.8. Bảng mô tả dạng thức đề thi B1 áp dụng tại HVAN Bảng 2.9. Bảng mô tả nội dung kiểm tra của từng phần trong đề thi Bảng 2.10. Bảng mô tả ma trận bài thi Bảng 2.11. Bảng mô tả ma trận nhận thức theo Bloom Bảng 2.12. Bảng hỏi tham khảo ý kiến giảng viên về bộ câu hỏi trắc nghiệm và đề thi. Bảng 3.13. Độ khó của câu trắc nghiệm Part 1 Bảng 3.14: Độ khó của câu trắc nghiệm Part 2 Bảng 3.15: Độ khó của câu trắc nghiệm Part 3 Bảng 3.16: Độ khó của câu trắc nghiệm Part 4 Bảng 3.17: Độ phân biệt Part 1 Bảng 3.18: Độ phân biệt Part 2 Bảng 3.19: Độ phân biệt Part 3 Bảng 3.20: Độ phân biệt Part 4 Bảng 3.21: Bảng thống kê các câu có độ phân biệt kém Bảng 3.22: Bảng thống kê các phương án sai kém chất lượng Bảng 3.23: Thống kê kết quả phân tích câu hỏi thử nghiệm lần thứ hai Bảng 3.24: Bảng thống kê độ khó các câu hỏi trong đề thi 01 Bảng 3.25: Các phương án sai không hấp dẫn đề thi 01 Bảng 3.26: Độ phân biệt của câu hỏi thi trong đề thi đề thi 01 Bảng 3.27: Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi đề thi 01 Bảng 3.28: Sự phù hợp của câu hỏi thi với mô hình Rasch đề thi 01 Bảng 3.29. Thống kê những câu hỏi đạt/chưa đạt chất lượng iv 4 8 10 10 20 32 33 38 39 40 41 46 50 51 52 53 53 54 54 55 56 56 61 61 63 64 65 66 79 DANH MỤC CÁC SƠ ĐỒ, BIỂU ĐỒ, MÔ HÌNH Sơ đồ 1.1: Mối quan hệ giữa Kiểm tra, Đo lường và Đánh giá 5 Sơ đồ 1.2: Quy trình xây dựng bộ câu hỏi trắc nghiệm khách quan 12 Hình1.3:Môhìnhđơngiảnvềvaitròcủakiểmtraphântíchtrìnhđộhọcsinh(nguồnNormanEGronlund) 21 Hình 1.4: Mô hình đơn giản của bài kiểm tra tiến độ(nguồnNormanEGronlund) 23 Hình 1.5: Mô hình đơn giản của bài kiểm tra cuối quá trình đào tạo(nguồn Norman E 24 Gronlund) Hình 1.6: Sơ đồ mối quan hệ ngược của kết quả 27 Hình 1.7 Sơ đồ năng lực ngôn ngữ 28 Hình 1.8 Sơ đồ các yếu tố của quá trình hiểu văn bản 30 Biểu đồ3.9: Biểu đồ phân bố độ khó 50 Biểu đồ3.10: Biểu đồ phân bố độ khó Part 2 51 Biểu đồ3.11: Biểu đồ phân bố độ khó Part 3 53 Biểu đồ3.12: Biểu đồ phân bố độ khó Part 4 53 Biểu đồ 3.13: Biểu đồ phân bố độ phân biệt Part 1 54 Biểu đồ3.14: Biểu đồ phân bố độ phân biệt Part 2 54 Biểu đồ3315: Biểu đồ phân bố độ phân biệt Part 3 55 Biểu đồ3.16: Biểu đồ phân bố độ phân biệt Part 4 56 Sơ đồ 3.17: Sự phù hợp của câu hỏi thi với mô hình Rasch đề thi 01 67 Biểu đồ 3.18. Biểu đồ phân bố độ khó câu hỏi thi và năng lực thí sinh đề thi 01 67 v MỤC LỤC Lời cam đoan Lời cảm ơn Các ký hiệu, các chữ viết tắt Danh mục các bảng Danh mục các sơ đồ, biểu đồ, mô hình Mục lục MỞ ĐẦU 1. Lý do chọn đề tài 2. Mục đích nghiên cứu của đề tài 3. Giới hạn, phạm vi nghiên cứu 4. Câu hỏi nghiên cứu, giả thuyết nghiên cứu của đề tài 5. Khách thể nghiên cứu và đối tƣợng nghiên cứu 6. Phƣơng pháp nghiên cứu 7. Bố cục của luận văn CHƢƠNG 1: CƠ SỞ LÍ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU 1.1 Tổng quan tình hình nghiên cứu 1.1.1. Tình hình nghiên cứu tại Việt Nam 1..1.2. Tình hình nghiên cứu ở nước ngoài 1.2. Lý thuyết về đo lƣờng và đánh giá trong giáo dục 1.2.1. Một số khái niệm về đo lường và đánh giá trong giáo dục 1.2.2Quy trình thiết kế câu hỏi TNKQ kỹ năng đọc hiểu tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam 1.3 Cơ sở lý luận của phân tích câu hỏi thi và đề thi 1.3.1. Mục tiêu của phân tích câu hỏi thi 1.3.2. Vị trí vai trò của phân tích câu hỏi thi 1.4. Nội dung hoạt động của phân tích câu hỏi thi 1.4.1. Độ khó của câu hỏi thi 1.4.2. Các khả năng nhầm đáp án 1.4.3.Chất lượng của các phương án sai (phương án sai) 1.4.4. Độ phân biệt của câu hỏi thi vi i ii iii iv v vi ix ix xi xi xi xii xii xiii 1 1 1 1 3 3 10 13 14 14 14 15 15 16 16 1.4.5. Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi 1.4.6. Độ tin cậy của đề thi 1.5. Phân loại các mục tiêu dạy học và các mức độ của lĩnh vực nhận thức 1.5.1 Mục tiêu dạy học 1.5.2. Các mức độ của lĩnh vực nhận thức 1.5.3. Mục đích của kiểm tra đánh giá 1.5.4. Ý nghĩa của việc kiểm tra, đánh giá 1.6. Đánh giá năng lực đọc hiểu 1.6.1. Năng lực ngôn ngữ 1.6.2. Kỹ năng đọc hiểu 1.7. Khung năng lực ngoại ngữ Việt Nam và Nội dung Kỹ năng Đọc hiểu cấp độ 3 Tiểu kết Chƣơng 1 CHƢƠNG 2: PHƢƠNG PHÁP NGHIÊN CỨU 2.1. Chƣơng trình tiếng Anh cấp độ B1 tại Học viện An ninh 2.2. Tổng quát về định dạng đề thi 2.3. Quy định về cách tính điểm bài thi 2.4. Phân bố nội dungkiểm tra và ma trận bài thi kỹ năng Đọc hiểu tiếng Anh bậc 3 theo Khung NLNN Việt Nam 2.5. Xây dựng câu hỏi thi 2.6. Lấy ý kiến tham khảo của các giảng viên về bộ câu trắc nghiệm 2.7. Thực nghiệm sƣ phạm 2.7.1. Ý nghĩa của việc thực nghiệm sư phạm 2.7.2. Cách thức tiến hành Tiểu kết Chƣơng 2 CHƢƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ KHUYẾN NGHỊ 3.1. Phân tích 324 câu hỏi thi 3.1.1. Phân tích câu hỏi thi lần thứ nhất 3.1.2. Phân tích câu hỏi thi lần thứ hai 3.2. Phân tích đề thi 3.2.1. Độ khó của câu hỏi thi 3.2.2. Các khả năng nhầm đáp án vii 17 17 17 17 18 20 24 27 27 29 31 34 35 36 37 39 39 41 45 47 48 49 50 51 51 58 61 61 3.2.3. Chất lượng của các phương án sai (phương án sai) 3.2.4. Độ phân biệt của câu hỏi thi 3.2.5. Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi 3.2.6. Sự phù hợp của câu hỏi thi 3.2.7. Sơ đồ phân bố độ khó câu hỏi thi và năng lực thí sinh 3.2.8. Các chỉ số thống kê của câu hỏi 3.3. Độ tin cậy của đề thi 3.4. Hạn chế của nghiên cứu và gợi ý các hƣớng nghiên cứu tiếp theo KHUYẾN NGHỊ TÀI LIỆU THAM KHẢO PHỤ LỤC viii 63 64 65 66 66 68 69 71 73 75 91 MỞ ĐẦU 1. Lý do chọn đề tài Căn cứ Quyết định số 1400/QĐ-TTG ngày 30 tháng 9 năm 2008 về việc phê duyệt Đề án “Dạy và học ngoại ngữ trong hệ thống giáo dục quốc dân giai đoạn 2008 – 2020”, việc dạy và học tiếng Anh đã đƣợc xác định đóng một vai trò quan trọng trong sự nghiệp giáo dục “Đổi mới toàn diện dạy và học ngoại ngữ trong hệ thống giáo dục quốc dân, triển khai chƣơng trình dạy và học ngoại ngữ mới ở các cấp học, trình độ đào tạo nhằm đến năm 2015 đạt đƣợc một bƣớc tiến rõ rệt về trình độ, năng lực sử dụng ngoại ngữ của nguồn nhân lực nhất là đối với một số lĩnh vực ƣu tiên; đến năm 2020 đa số thanh niên Việt Nam tốt nghiệp Trung cấp, Cao đẳng và Đại học có đủ năng lực ngoại ngữ sử dụng độc lập, tự tin trong giao tiếp, học tập, làm việc trong môi trƣờng hội nhập, đa ngôn ngữ, đa văn hóa; biến ngoại ngữ trở thành thế mạnh của ngƣời dân Việt Nam, phục vụ sự nghiệp công nghiệp hóa, hiện đại hóa đất nƣớc.”; Căn cứ Quyết định số 43/2007/QĐ-BGDĐT của Bộ trƣởng Bộ Giáo dục và Đào tạo quy định đào tạo theo hình thức tín chỉ thì sinh viên là trung tâm, ngoài kiến thức giảng viên truyền đạt trên lớp thì sinh viên phải tự học, tự nghiên cứu thêm tài liệu. Việc tự học của sinh viên giữ vai trò vô cùng quan trọng trong quá trình học đại học, là nhân tố trực tiếp nâng cao chất lƣợng đào tạo ở các trƣờng đại học. Bên cạnh đó còn góp phần nâng cao hoạt động trí tuệ của sinh viên trong việc tiếp thu và hiểu tri thức mới, rèn luyện cho sinh viên có cách suy nghĩ, giải quyết các vấn đề khó khăn một cách độc lập, giúp sinh viên tự tin hơn trong việc lựa chọn cuộc sống của mình, và thúc đẩy lòng ham học, ham hiểu biết, vƣơn tới đỉnh cao của khoa học, sống có hoài bão, có ƣớc mơ. Sinh viên tự học có thể chủ động đƣợc quỹ thời gian, có thể học bất cứ lúc nào. Thêm nữa, việc tự học còn nâng cao tinh thần trách nhiệm trong công tác, làm việc theo nhóm, nâng cao tính sáng tạo trong tƣ duy và linh hoạt nhạy bén trong suy nghĩ, rèn luyện kỹ năng phân tích tình hình và đƣa ra quyết định, đây là một yếu tố cần và đủ để ix sau này khi rời khỏi ghế nhà trƣờng sinh viên sẽ không bỡ ngỡ khi làm việc ở môi trƣờng thực tế. Qua khảo sát sơ bộ của ngƣời nghiên cứu tại các trƣờng Công an nhân dân cho thấy hiện nay tình trạng tự học nói chung và ngoại ngữnói riêng của sinh viên chƣa phát huy đƣợc hiệu quả, sinh viên thiếu kiến thức tiếng Anh cơ bản cũng nhƣ chuyên ngành phục vụ chuẩn đầu vào và đạt chuẩn đầu ra về ngoại ngữ cụ thể là môn tiếng Anh đang chiếm tỉ lệ rất cao mặc dù đã có nhiều đổi mới trong phƣơng pháp dạy và học ở cáchọc viện, đại học và cao đẳng trong ngành Công an. Đây cũng là thực trạng mà sinh viên HVAN đang phải đối mặt, qua khảo sát tại trƣờng, tỷ lệ sinh viên theo chuẩn đầu ra phải có trình độ tiếng Anh cấp độ 3 (B1) theo Khung năng lực ngoại ngữ Việt Nam không đạt chuẩn cũng nhƣ các học phần tiếng Anh trong chƣơng trình đào tạo còn chiếm tỷ lệ cao 45%1, sinh viên phải học và thi đi thi lại nhiều lần, gây tâm lý nặng nề, ám ảnh và áp lực không hề nhỏ tới sinh viên. Do đặc thù của ngành, ngoài thời gian học tập trên lớp, sinh viên HVAN phải tham gia rất nhiều các hoạt động rèn luyện ngoài giờ khác nhƣ: tập điều lệnh, tập võ, lao động nghĩa vụ….Hơn nữa theo quy định đào tạo đại học chính quy theo hình thức tín chỉ thời gian tự học chiếm tỉ lệ lớn do đó sinh viên rất cần nguồn tƣ liệu tham khảo sẵn có phong phú, đa dạng dễ dàng tiếp cận trong quá trình tự học, ôn luyện chủ động lĩnh hội kiến thức, xây dựng ý thức học tập suốt đời. Ngoài ra, thông tƣ ban hành Khung năng lực ngoại ngữ Việt Nam cũng mới đƣợc Bộ Giáo dục và Đào tạo ban hành năm 2014 và HVAN áp dụng Thông tƣ này cho việc đánh giá năng lực ngoại ngữ theo chuẩn đầu vào và chuẩn đầu ra các hệ, loại, đối tƣợng đào tạo tại Học viện vì vậy những tài liệu tham khảo, các bộ câu hỏi đã đƣợc chuẩn hóa và tƣơng ứng phù hợp với bảng 1 nguồn từ Trung tâm Ngoại ngữ, Tin học-HVAN x mô tả từng cấp độ theo Khung năng lực ngoại ngữ Việt Nam trên thị trƣờng hầu nhƣ chƣa có, còn tại HVAN cũng chƣa có bất kỳ nguồn tài liệu nào nhƣ trên. Là giáo viên giảng dạy tiếng Anh tại Trung tâm Ngoại ngữ, Tin học đồng thời cũng là cán bộ của phòng Khảo thí và Đảm bảo chất lƣợng đào tạo HVAN, đứng trƣớc những câu hỏi, trăn trở của các em sinh viên làm sao tìm cách học, ôn thi và thi chứng chỉ tiếng Anh cấp độ 3 (B1 theo CEFR)hiệu quả nhất trong thời gian ngắn nhất, tôi lựa chọn đề tài “Xây dựng bộ câu hỏi chuẩn hóa trắc nghiệm khách quan kỹ năng Đọc hiểu cấp độ 3 theo Khung năng lực ngoại ngữ Việt Nam tại Học viện An ninh nhân dân" Kết quả nghiên cứu của luận văn sẽ là một nguồn tài liệu đã đƣợc chuẩn hóa theo lý thuyết đo lƣờng, đánh giá hiện đại để giảng viên sử dụng đánh giá trong lớp học và giúp sinh viên tự ôn luyện kỹ năng Đọc hiểu tiếng Anh hiệu quả đáp ứng chuẩn đầu ra cấp độ 3 (B1) theo Khung NLNN Việt Nam, đồng thời là nguồn bổ sung vào ngân hàng câu hỏi trắc nghiệm khách quan môn tiếng Anh mà HVAN đang triển khai xây dựng. 2. Mục đích nghiên cứu của đề tài Nghiên cứu xây dựng 180 câu hỏi TNKQ kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam. 3. Giới hạn, phạm vi nghiên cứu Đề tài nghiên cứu, xây dựng bộ câu hỏiTNKQ nhiều lựa chọn phục vụ việc ôn luyện và thi kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam cho những hệ, loại, đối tƣợng đào tạo tại HVAN phải đạt chuẩn trình độ tiếng Anh bậc 3 (B1) theo Khung NLNN Việt Nam. 4. Câu hỏi nghiên cứu, giả thuyết nghiên cứu của đề tài 4.1. Câu hỏi nghiên cứu. - Cơ sở khoa học để xây dựng bộ câu hỏi chuẩn hóa TNKQ kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam là gì? xi - Kết quả thử nghiệm bộ câu hỏi trắc nghiệm và đề thi nhƣ thế nào? 4.2. Giả thuyết nghiên cứu - Việc xây dựng, thử nghiệm và phân tích câu hỏi TNKQ kỹ năng đọc hiểu môn tiếng Anh dựa trên cơ sở khoa học đo lƣờng đánh giá sẽ góp phần xây dựng đƣợc ngân hàng câu hỏi thi. - Có thể sử dụng bộ câu hỏi này để xây dựng đề kiểm tra đánh giá quá trình và đề thi cấp chứng chỉ B1 tại HVAN. 5. Khách thể nghiên cứu và đối tƣợng nghiên cứu 5.1. Khách thể nghiên cứu Sinh viên hệ cao học, liên thông tại HVAN phải đạt chuẩn đầu ra môn tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam. 5.2. Đối tượng nghiên cứu. Cơ sở khoa học và quy trình xây dựng bộ câu hỏi chuẩn hóa TNKQ và đề thi kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam. 6. Phƣơng pháp nghiên cứu 6.1. Nghiên cứu lý thuyết - Nghiên cứu văn bản của Bộ Giáo dục và Đào tạo, Bộ Công an và HVAN về đào tạo đại học theo hình thức tín chỉ, quy định chuẩn ngoại ngữ tại Học viện, Khung NLNN Việt Nam, quy định về dạng thức đề thi cấp độ 3 theo khung tham chiếu chung châu Âu và Việt Nam. - Nghiên cứu các tài liệu về đo lƣờng, đánh giá trong giáo dục liên quan tới vấn đề nghiên cứu. - Nghiên cứu các Chƣơng trình đào tạo, Đề cƣơng chi tiết môn học, giáo trình, tài liệu tham khảo môn tiếng Anh của HVAN. xii 6.2. Nghiên cứu thực nghiệm - Quan sát: quan sát quá trình tự học, phƣơng tiện và trang thiết bị hỗ trợ việc tự học, quá trình thử nghiệm xây dựng bộ câu hỏi chuẩn hóa TNKQ. - Thực nghiệm: cung cấp thêm một phƣơng tiện và nguồn tài liệu tham khảo trong quá trình tự học cho sinh viên thông qua việc thiết kế và thử nghiệm công cụ đánh giá: thiết kế câu hỏi TNKQ, đề kiểm tra TNKQ, đánh giá câu hỏi TNKQ. - Phân tích và tổng kết kinh nghiệm - Phƣơng pháp chuyên gia: tiếp thu ý kiến của các chuyên gia, đồng nghiệp, sinh viên trong quá trình thiết kế, thử nghiệm, phân tích, đánh giá câu hỏi TNKQ. 6.3. Phương pháp thống kê toán học - Sử dụng phần mềm SPSS phân tích số liệu thống kê mô tả - Sử dụng phần mềm chuyên dụng Quest phân tích các thông số kỹ thuật của bộ câu hỏi nhƣ độ khó, độ phân biệt, độ tin cậy… 7. Bố cục của luận văn Ngoài phần Mở đầu, các phụ lục và danh mục tài liệu tham khảo, luận văn gồm 3 chƣơng: Chƣơng 1: Cơ sở lý luận và tổng quan nghiên cứu. Chƣơng 2: Phƣơng pháp nghiên cứu. Chƣơng 3: Kết quả nghiên cứu và khuyến nghị. xiii xiv CHƢƠNG 1 CƠ SỞ LÍ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU 1.1 Tổng quan tình hình nghiên cứu 1.1.1. Tình hình nghiên cứu tại Việt Nam Nội dung, quy trình xây dựng bộ câu hỏi chuẩn hóa TNKQ hoàn toàn giống nhƣ xây dựng ngân hàng câu hỏi trắc nghiệm khách quan do vậy đề tài liên quan đến xây dựng hoặc đánh giá ngân hàng câu hỏi cũng đã đƣợc nhiều học viên nghiên cứu, ứng dụng nhƣ đề tài: “Nghiên cứu, xây dựng ngân hàng câu hỏi trắc nghiệm khách quan dùng để kiểm tra đánh giá kết quả học tập môn Toán lớp 12 tại trƣờng THPT Bến Tre, Vĩnh Phúc” của học viên Tạ Thị Thu Hiền, 2008 hoặc đề tài "Góp phần nghiên cứu, xây dựng ngân hàng câu hỏi trắc nghiệm khách quan dùng để kiểm tra đánh giá môn Hóa học 12 ban KHTN trƣờng THPT Yên Lạc II-tỉnh Vĩnh phúc" của học viên PhạmThị Thủy, 2008 hay đề tài "Đánh giá chất lƣợng thƣ viện câu hỏi trắc nghiệm khách quan môn giải phẫu sinh lý tại trƣờng cao đẳng y tế Phú Thọ" của học viên Nguyễn Thị Hòa, 2014 …Các đề tài này đều đề xuất đƣợc các bƣớc tiến hành xây dựng câu hỏi thi và ngân hàng câu hỏi thi của từng môn học khác nhau thông qua nghiên cứu, ứng dụng lý thuyết khảo thí cổ điển và hiện đại. Tuy nhiên việc xây dựng bộ câu hỏi chuẩn hóa dùng để tự ôn luyện cũng nhƣ kiểm tra đánh giá kỹ năng đọc hiểu tiếng Anh tƣơng đƣơng cấp độ 3 theo Khung NLNN Việt Nam (B1 theo CEFR) thì dƣờng nhƣ chƣa đƣợc đề cập, nghiên cứu. 1..1.2. Tình hình nghiên cứu ở nước ngoài Trên thế giới có rất nhiều nghiên cứu về việc học ngoại ngữ từ rất lâu đời. Nằm trong những nghiên cứu về năng lực và kiểm tra đánh giá là nghiên cứu của Bachman (1990); Boddy và Langham (2000). Trong đó, các tác giả đề cập đến thành phần năng lực của ngôn ngữ, bao gồm: năng lực tổ chức sử dụng cấu trúc ngữ pháp và ngôn từ; và năng lực ngữ dụng và ngôn ngữ trong giao tiếp xã hội. Cụ thể hơn, năng lực ngôn ngữ đƣợc định nghĩa nhƣ là một cụm các thành 1 tố đƣợc sử dụng trong giao tiếp thông qua ngôn ngữ, đồng thời một lần nữa tái khẳng định tác động của hình thức kiểm tra đánh giá với kết quả và quá trình học tập. Trong các cuốn sách nhƣ “Materials for the guidance of test item writers”của Hiệp hội các đơn vị khảo thí châu Âu (ALTE) năm 1995; “A Short Guide to Writing Effective Test Questions” của tác giả Ben Clay năm 2001; “Constructing achievement tests” của Norman E Gronlund (1982)…các tác giả nghiên cứu và đƣa ra những hƣớng dẫn, lời khuyên hữu ích về viết câu hỏi thi nói chung cũng nhƣ cách viết các dạng câu hỏi TNKQ khác nhau trong tiếng Anh nhƣ dạng câu hỏi nhiều lựa chọn (multiple choices), câu hỏi Đúng – Sai (True-False), điền khuyết (cloze items), Nối (Matching)… Đặc biệt trong công trình nghiên cứu khoa học "An empirical investigation of the process of writing Academic Reading test items for the International English Language Testing System", hai tác giả Anthony Green và Roger Hawkey (2007) đã mô tả và phân tích chi tiết quá trình 02 nhóm viết câu hỏi thi kỹ năng đọc hiểu cho bài thi IELTS của ETS. Một nhóm bao gồm các chuyên gia viết câu hỏi thi dày dặn kinh nghiệm, nhóm kia là các giáo viên giảng dạy tiếng Anh, có kinh nghiệm ôn luyện IELTS. Tác giả so sánh và phân tích tỉ mỉ, khoa học sự khác nhau giữa hai nhóm trong nguồn tìm bài đọc, lựa chọn văn bản, cắt, chỉnh sửa văn bản, thời gian hoàn thành, những điểm mạnh điểm yếu, chất lƣợng các câu hỏi thi…Đây là nguồn tài liệu tham khảo có giá trị thực tiễn đối với giáo viên cũng nhƣ ngƣời viết câu hỏi thi. Tóm lƣợc lại, các nghiên cứu ở trong và ngoài nƣớc đều đã đề cập đến nhiều khía cạnh của việc học, đánh giá môn ngoại ngữ cũng nhƣ việc xây dựng đề thi TNKQ. Tuy nhiên, chƣa có một đề tài nào nghiên cứu về xây dựng bộ câu hỏi chuẩn hóa kỹ năng đọc hiểu cấp độ 3 theo Khung NLNN của Việt Nam do đó, trong luận văn này, tác giả muốn đi sâu nghiên cứu, xây dựng bộ câu hỏi chuẩn hóa kỹ năng đọc hiểu tiếng Anh áp dụng cho các đối tƣợng sinh viên tại 2 HVAN phải đạt chuẩn ngoại ngữ là cấp độ 3 theo Khung NLNN Việt Nam, kết quả nghiên cứu sẽ là tài liệu cho giáo viên sử dụng để kiểm tra thƣờng xuyên và định kỳ trên lớp, sinh viên sử dụng để tự ôn luyện làm quen với dạng thức bài thi thật nhằm đạt đƣợc kết quả cao nhất trong kỳ thi cấp chứng chỉ theo chuẩn do Học viện tổ chức và cũng là nguồn câu hỏi bổ sung vào ngân hàng câu hỏi TNKQ môn tiếng Anh hiện Học viện đang trong quá trình triển khai xây dựng. 1.2. Lý thuyết về đo lƣờng và đánh giá trong giáo dục 1.2.1. Một số khái niệm về đo lường và đánh giá trong giáo dục Trong các khâu của quá trình dạy học thì kiểm tra đánh giá kết quả học tập là một khâu quan trọng trong quá trình đào tạo, là một kênh giúp định lƣợng đƣợc một khái niệm mang tính định tính là chất lƣợng đào tạo, giúp ngƣời học và các bên liên quan biết đƣợc ngƣời học và ngƣời dạy đang ở mức độ nào. Kiểm tra đánh giáđƣa ra điểm số và kết luận về trình độ của ngƣời học từ đó có những cải tiến, điều chỉnh cho phù hợp để đạt đƣợc mục tiêu đào tạo đề ra ban đầu ngoài ra điều quan trọng hơn là kiểm tra đánh giá phải khuyến khích, động viên ngƣời học và cung cấp thông tin điều chỉnh quá trình dạy - học nhằm giúp cho ngƣời học đạt đƣợc kết quả tốt hơn cả dự kiến ban đầu. - Đo lƣờng (Measurement): Theo Nitko và Brookhart (2007) đo lƣờng trong giáo dục là một thủ pháp gán điểm số (cho điểm) cho một thuộc tính/đặc tính, đặc điểm cụ thể nào đó, theo một cách thức mà điểm số mô tả/biểu hiện đƣợc mức độ một cá nhân sở hữu đặc tính hoặc đặc điểm đó. Còn theo Peter W. Airasian (1997) đo lƣờng là quá trình xác định số lƣợng hoặc gán một con số cho việc thể hiện kỹ năng. Nguyễn Công Khanh (trƣờng Đại học Sƣ phạm Hà nội) đã khái quát đo lƣờng liên quan đến việc sử dụng các con số vào quá trình lƣợng hóa các sự kiện, hiện tƣợng hay thuộc tính. Đo lƣờng trong khoa học giáo dục sử dụng hai loại tham chiếu: tham chiếu theo chuẩn (norm reference) và tham chiếu theo tiêu chí (criterion 3 reference). Tham chiếu theo chuẩn đƣợc hiểu là so sánh kết quả của ngƣời này với ngƣời khác còn tham chiếu theo tiêu chí là so kết quả đạt đƣợc của thí sinh với mục tiêu, yêu cầu của môn học. Bảng 1.1: So sánh 2 loại tiếp cận cơ bản trong thiết kế đề thi (nguồn NormanEGronlund ) THIẾT KẾ ĐỀ THI THEO KIỂU THIẾT KẾ ĐỀ THI THEO KIỂU "norm-reference" "criteria-reference" Nguyên tắc sử dụng Điểm nhấn chính Giải thích kết quả Nội dung bao trùm Kế hoạch kiểm tra Quy trình thu thập câu hỏi Thiết kế điều tra Thiết kế cho mức độ thành thạo Đo sự khác biệt về thành tích của mỗi cá nhân Miêu tả những nhiệm vụ học sinh có thể thực hiện So kết quả với chuẩn nội dung cụ thể Tập trung vào những nhiệm vụ học tập cụ thể Miêu tả nội dung cụ thể đƣợc sử dụng Bao gồm tất cả những câu hỏi cần thiết để miêu tả đầy đủ kiến thức, kỹ năng. Không cố gắng tăng độ khó của câu hỏi hoặc bỏ đi các câu hỏi dễ nhằm tăng sự thay đổi về điểm số So với kết quả các học sinh khác Những kiến thức rộng Bảng đặc tả thƣờng đƣợc sử dụng Các câu hỏi đƣợc dùng nhằm có đƣợc độ phân biệt tối đa giữa các học sinh. Các câu hỏi dễ bị loại ra ngoài - Kiểm tra (Testing): Theo Từ điển giáo dục, kiểm tra là bộ phận hợp thành của quá trình dạy - học nhằm nắm đƣợc thông tin về tình trạng và kết quả học tập của học sinh, về những nguyên nhân cơ bản của thực trạng đó để tìm ra những biện pháp khắc phục những lỗ hổng, đồng thời củng cố và tiếp tục nâng cao hiệu quả của hoạt động dạy - học. Yêu cầu và nội dung kiểm tra phải bám sát từng giai đoạn học tập để không bỏ sót những điều cơ bản, đồng thời cũng không vƣợt qua phạm vi quy định của chƣơng trình. Theo Wikipedia, kiểm tra thƣờng đƣợc thực hiện trên giấy hoặc trên máy tính để đo kiến thức, kỹ năng, năng khiếu…của ngƣời dự kiểm tra. Qua các định nghĩa trên, Cấn Thị Thanh Hƣơng (Đại học Quốc gia Hà nội) đã khái quát khái niệm kiểm tra đƣợc hiểu nhƣ sau: Kiểm tra là công việc nhằm đo hay xác định mức độ về kiến thức, kỹ năng và thái độ mà ngƣời học đạt đƣợc sau một quá trình học tập. 4