Tài liệu Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến

Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến Luận văn Thạc sĩ CNTT Người thực hiện: Nguyễn Thị Thắm Người hướng dẫn khoa học: GS.TSKH. Đinh Dũng MỤC LỤC MỤC LỤC ......................................................................................................................... i DANH MỤC CÁC TỪ VIẾT TẮT ............................................................................... iii DANH MỤC CÁC HÌNH VẼ ....................................................................................... iv DANH MỤC CÁC BẢNG BIỂU ................................................................................... v MỞ ĐẦU .......................................................................................................................... 1 CHƢƠNG 1 TỔNG QUAN VỀ TRẮC NGHIỆM ....................................................... 6 1.1. Trắc nghiệm và phân loại trắc nghiệm .................................................6 1.1.1. Trắc nghiệm (Test) là gì? ..............................................................6 1.1.2. Phân loại trắc nghiệm ...................................................................7 1.1.3. So sánh giữa trắc nghiệm khách quan và tự luận........................10 1.2. Trắc nghiệm trực tuyến ......................................................................14 1.3. Tình hình phát triển và ứng dụng trắc nghiệm ...................................17 1.3.1. Tình hình phát triển và ứng dụng trắc nghiệm trên thế giới .......17 1.3.2. Tình hình phát triển và ứng dụng trắc nghiệm ở Việt Nam ........18 CHƢƠNG 2 LÝ THUYẾT TRẮC NGHIỆM ........................................................... 22 2.1. Nhắc lại một số khái niệm trong xác suất thống kê ...........................23 2.2. Lý thuyết trắc nghiệm cổ điển (Classical Test Theory) .....................25 2.2.1. Xác định tham số của câu hỏi, thuộc tính của bài trắc nghiệm ..26 2.2.2. Ưu điểm của CTT .......................................................................32 2.2.3. Nhược điểm của CTT .................................................................32 2.3. Lý thuyết ứng đáp câu hỏi (Item Response Theory) ..........................33 2.3.1. Các tiên đề...................................................................................33 2.3.2. Đường cong đặc trưng của câu hỏi .............................................34 2.3.3. Ước lượng các tham số của câu hỏi ............................................39 2.3.4. Ước lượng năng lực thí sinh .......................................................46 2.3.5. Ước lượng đồng thời các tham số câu hỏi và năng lực thí sinh .53 2.3.6. Điểm thực của bài trắc nghiệm ...................................................58 2.3.7. Ưu, nhược điểm của IRT ............................................................60 2.4. Lý thuyết ứng đáp câu hỏi nhiều chiều ..............................................64 i CHƢƠNG 3 NGÂN HÀNG CÂU HỎI ...................................................................... 66 3.1. Một số dạng câu hỏi trắc nghiệm .......................................................66 3.2. Đặc tả QTI cho câu hỏi, bài trắc nghiệm ...........................................70 3.2.1. Giới thiệu chung về đặc tả QTI...................................................70 3.2.2. Các tài liệu trong đặc tả QTI .......................................................71 3.2.3. Các đối tượng cơ bản nhất trong QTI ........................................72 3.2.4. Ví dụ minh hoạ biểu diễn câu hỏi theo đặc tả QTI .....................74 3.3. Quy trình xây dựng ngân hàng câu hỏi ..............................................78 3.3.1. Xác định các đặc điểm năng lực mà câu hỏi sẽ đo .....................78 3.3.2. Viết câu hỏi .................................................................................79 3.3.3. Xem xét lại câu hỏi đã viết (review) ...........................................81 3.3.4. Thử nghiệm (pilot test) ...............................................................82 CHƢƠNG 4 ỨNG DỤNG LÝ THUYẾT IRT TRONG HỆ THỐNG TRẮC NGHIỆM CỦA VIỆN CNTT – ĐHQGHN................................................................. 84 4.1. Hệ thống trắc nghiệm của Viện CNTT ..................................................84 4.2. Thử nghiệm ước lượng các tham số câu hỏi và năng lực thí sinh ..........86 KẾT LUẬN .................................................................................................................... 94 TÀI LIỆU THAM KHẢO ............................................................................................ 96 PHỤ LỤC ....................................................................................................................... 99 ii DANH MỤC CÁC TỪ VIẾT TẮT Stt Từ hoặc cụm từ Từ viết tắt Từ Tiếng Anh IRT Item Response Theory 1 Lý thuyết ứng đáp câu hỏi 2 Lý thuyết trắc nghiệm cổ điển CTT Classical Test Theory 3 Lý thuyết ứng đáp câu hỏi MIRT nhiều chiều Multidimentional Item Response Theory 4 Trắc nghiệm trực tuyến iBT internet Based Testing 5 Đào tạo trên Web WBT Web Based Training 6 Đặc tả về tính khả thi tương IMS QTI IMS Question & Test tác giữa câu hỏi và bài trắc nghiệm của tổ chức IMS Global Interoperability Specification 7 Trắc nghiệm thích nghi CAT iii Computer Adaptive Test DANH MỤC CÁC HÌNH VẼ Hình 1.1: Các phương pháp trắc nghiệm ...............................................................8 Hình 2.1: Ví dụ đồ thị của phân bố chuẩn (0, 1) ...............................................25 Hình 2.2: Đường cong đặc trưng của một câu hỏi ................................................35 Hình 2.3: Đường cong đặc trưng của câu hỏi và thể hiện tham số .......................36 Hình 2.4: Đường ICC của 3 câu hỏi có cùng độ phân biệt, khác độ khó .............38 Hình 2.5: Biểu diễn các điểm ước lượng xác suất trả lời đúng câu hỏi theo từng nhóm thí sinh ........................................................................................................41 Hình 2.6: Đường cong đặc trưng của câu hỏi nhận được sau ước lượng tham số 43 Hình 2.7: Một hàm thông tin của bài trắc nghiệm 10 câu hỏi .............................50 Hình 2.8: Một đường cong đặc trưng của bài trắc nghiệm có 10 câu hỏi ...........60 Hình 2.9: Các tham số câu hỏi ước lượng được thông qua trả lời của nhóm có năng lực thấp .........................................................................................................61 Hình 2.10: Các tham số câu hỏi ước lượng được thông qua trả lời của nhóm thí sinh có năng lực cao ..............................................................................................61 Hình 2.11: Đường cong đặc trưng của câu hỏi tìm được .....................................62 Hình 3.1: Câu hỏi nhiều lựa chọn dùng radio button ...........................................67 Hình 3.2: Câu hỏi nhiều lựa chọn dùng combo box .............................................67 Hình 3.3: Câu hỏi nhiều phương án trả lời ...........................................................67 Hình 3.4: Câu hỏi điền thông tin ..........................................................................68 Hình 3.5: Câu hỏi ghép đôi ...................................................................................68 Hình 3.6: Câu hỏi lựa chọn điểm hoặc vùng trên ảnh ..........................................69 Hình 3.7: Câu hỏi dùng thanh trượt ......................................................................69 Hình 3.8: Câu hỏi lựa chọn một phương án..........................................................74 Hình 4.1: Mô hình hệ thống trắc nghiệm trực tuyến của Viện CNTT .................84 Hình 4.2: Ví dụ kết quả trả lời bài thi của các thí sinh .........................................87 Hình 4.3: Sơ đồ thuật toán ước lượng đồng thời câu hỏi và năng lực thí sinh .....88 iv DANH MỤC CÁC BẢNG BIỂU Bảng 1.1: So sánh giữa Trắc nghiệm khách quan và Tự luận ..............................11 Bảng 2.1: Ví dụ kết quả trả lời bài thi 8 câu hỏi của 10 thí sinh ..........................28 Bảng 3.1: Ví dụ về một bảng yêu cầu ...................................................................80 Bảng 4.1: Kết quả ước lượng các tham số a, b, c cho 40 câu hỏi .........................89 Bảng 4.2: Kết quả ước lượng năng lực của 30 thí sinh đầu tiên trong danh sách 91 v Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến MỞ ĐẦU Trong những năm gần đây trắc nghiệm trực tuyến (Online Testing hay Internet Based Testing - iBT) được đặc biệt quan tâm bởi các ưu điểm nổi bật của nó như: dễ dàng sinh bài thi theo yêu cầu; có thể triển khai kỳ thi trên diện rộng; tích hợp với các hệ thống đào tạo từ xa e-Learning; không phụ thuộc thời gian, địa điểm tổ chức kỳ thi; ... Hầu hết các tổ chức sát hạch nổi tiếng trên thế giới đều chuyển sang phương thức trắc nghiệm trực tuyến, hai ví dụ điển hình là: tổ chức Educational Testing Service (ETS) - http://www.ets.org/ - một đơn vị chuyên tổ chức các kỳ thi sát hạch cấp chứng chỉ TOEFL, TOEIC, GRE,…- đã chuyển kỳ thi TOEFL từ trắc nghiệm trên giấy sang iBT; hoặc tổ chức International Computer Driving Licence Asia Pacific (ICDLAP) http://www.icdlap.com/ - đơn vị tổ chức các kỳ thi sát hạch kỹ năng Công nghệ Thông tin cũng chuyển sang hình thức sát hạch iBT. Cùng với sự phát triển của phương thức đào tạo qua Web (Web Based Training), trắc nghiệm trực tuyến sẽ ngày càng được quan tâm và phát triển. Trắc nghiệm trên máy tính nói chung và trắc nghiệm trực tuyến nói riêng thường gồm hai bộ phận quan trọng là: ngân hàng câu hỏi và phần mềm trắc nghiệm. Ngân hàng câu hỏi được xem là phần nội dung (content) của phần mềm trắc nghiệm. Trong trắc nghiệm trực tuyến, tất cả các câu hỏi trắc nghiệm thuộc một môn học hoặc một chủ đề nào đó được tập trung lại thành một ngân hàng câu hỏi đặt ở phía máy chủ; phần mềm trắc nghiệm làm nhiệm vụ tổ chức câu hỏi được lấy ra từ ngân hàng thành bài thi và phân phối đến thí sinh thông qua trình duyệt Web, đồng thời thực hiện phân tích các phương án trả lời của thí sinh và cuối đưa ra kết quả đánh giá năng lực thí sinh. Việc đánh giá năng lực thí sinh (qua việc làm bài thi trắc nghiệm) phụ thuộc vào một số yếu tố, trong đó đặc biệt chú ý đến: (1) ngân hàng câu hỏi trắc nghiệm có chất lượng và phù hợp mục tiêu trắc nghiệm; (2) phương thức đánh giá năng lực thí sinh khách quan và có độ chính xác cao. (1) Ngân hàng câu hỏi trắc nghiệm: Cho dù triển khai trắc nghiệm theo phương thức nào thì câu hỏi luôn thành phần cơ bản trong mỗi bài thi trắc nghiệm. Chất lượng của các câu hỏi được xem xét theo một số tiêu chí, chẳng hạn: mục đích thiết kế ra câu hỏi; nội dung câu hỏi; các tham số đặc trưng cơ bản của câu hỏi như độ khó, độ phân biệt, độ phỏng đoán (xem giải thích ý 1 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến nghĩa các tham số này trong Chương 2)... Để có được một ngân hàng câu hỏi trắc nghiệm có chất lượng cần thực hiện qua nhiều công đoạn khác nhau: từ bước lập kế hoạch; viết câu hỏi;... đến bước đánh giá câu hỏi. Mỗi công đoạn đều có những yêu cầu riêng. Để tổng hợp lại các công đoạn thực hiện trong quá trình xây dựng ngân hàng câu hỏi đồng thời giúp nâng cao chất lượng câu hỏi trắc nghiệm luận văn đề xuất ra một quy trình xây dựng ngân hàng câu hỏi trắc nghiệm được trình bày trong Chương 3 của Luận văn. Trong trắc nghiệm trực tuyến, việc tổ chức câu hỏi trắc nghiệm thành ngân hàng ngoài ý nghĩa dễ dàng sinh ra các bài thi ngẫu nhiên từ các câu hỏi có trong ngân hàng, còn có một ý nghĩa khác đó là: dễ dàng sử dụng lại hoặc chia sẻ các câu hỏi có trong ngân hàng với các hệ thống trắc nghiệm trực tuyến khác. Cũng vì lý do này mà IMS Global đưa ra một đặc tả có tên IMS QTI specification – Question and Test Interoperability (tạm dịch là: đặc tả về tính khả thi tương tác giữa câu hỏi và bài trắc nghiệm) cho các câu hỏi và bài trắc nghiệm. Đặc tả này cũng được giới thiệu ngắn gọn trong Mục 3.2 của Luận văn. (2) Phương thức đánh giá năng lực thí sinh: Thuật ngữ năng lực được hiểu như sau: Khi xét một khối kiến thức cụ thể (môn học, lĩnh vực...), mỗi thí sinh luôn sở hữu một lượng kiến thức nào đó, không phụ thuộc vào bài trắc nghiệm. Mục tiêu của bài trắc nghiệm được tổ chức ra là để đo “lượng kiến thức” mà thí sinh này sở hữu là bao nhiêu, từ đó định vị các thí sinh trên một thang đo. Thuật ngữ “năng lực” được sử dụng với hàm ý nói đến “lượng kiến thức” mà thí sinh sở hữu. Sau khi đã có được ngân hàng câu hỏi trắc nghiệm đã đánh giá được chất lượng (đã ước lượng được các tham số độ khó, độ phân biệt, độ phỏng đoán của các câu hỏi), phần mềm trắc nghiệm thực hiện chọn ngẫu nhiên (theo một tiêu chí nào đó) các câu hỏi trong ngân hàng và tổ chức thành bài thi trắc nghiệm. Từ các phương án trả lời mỗi câu hỏi trắc nghiệm của thí sinh trong bài thi, phần mềm trắc nghiệm thực hiện việc xác định năng lực thí sinh thông qua một phương thức đánh giá dựa trên một lý thuyết trắc nghiệm đã chọn. Việc đánh giá các câu hỏi và năng lực thí sinh có liên quan mật thiết với nhau và được thực hiện dựa trên cơ sở là lý thuyết trắc nghiệm. Cho đến nay, có 2 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến hai lý thuyết trắc nghiệm chính giúp thực hiện điều này, đó là: lý thuyết cổ điển (Classical Test Theory - CTT) và lý thuyết ứng đáp câu hỏi (Item Response Theory - IRT). IRT được ra đời sau CTT và đã khắc phục được hai nhược điểm lớn của CTT: (i) việc xác định các tham số đặc trưng của câu hỏi không bị phụ thuộc vào nhóm các thí sinh trong mẫu thử nghiệm; (ii) năng lực của thí sinh không bị phụ thuộc vào bộ câu hỏi trắc nghiệm dùng để xác định năng lực. Trong IRT, mối quan hệ giữa năng lực thí sinh và các tham số đặc trưng cơ bản của câu hỏi trắc nghiệm được thể hiện thông qua một hàm số. Nếu biết trước các tham số của câu hỏi có thể ước lượng được năng lực thí sinh; ngược lại, nếu biết trước năng lực của thí sinh có thể ước lượng được các tham số của các câu hỏi. Nhưng tại thời điểm ban đầu, khi mới xây dựng được các câu hỏi thì các tham số của các câu hỏi này là chưa biết trước được; đồng thời năng lực của các thí sinh lại là đại lượng đang cần đo thông qua việc thực hiện bài thi trắc nghiệm. Sử dụng IRT giúp giải quyết được vấn đề này. Nét độc đáo của IRT là nhờ áp dụng các thuật toán ước lượng trong thống kê với tập mẫu lớn mà có thể ước lượng đồng thời tham số thời năng lực thí sinh và các tham số của câu hỏi với một độ chính xác nào đó. Nếu trường hợp các tham số của các câu hỏi đã ước lượng được từ trước đó, lúc này có thể dễ dàng ước lượng được năng lực thí sinh nhờ thuật toán “Ước lượng năng lực thí sinh” được trình bày trong Mục 2.3.4. Việc ứng dụng lý thuyết trắc nghiệm, đặc biệt là ứng dụng IRT trong phân tích câu hỏi và năng lực thí sinh là yếu tố then chốt nhằm: (a) phân tích các tham số đặc trưng của câu hỏi đồng thời tìm ra những câu hỏi kém chất lượng trong quá trình thử nghiệm; (b) giúp đem lại kết quả trắc nghiệm mang tính khách quan và có độ chính xác cao. Ở Việt Nam, việc áp dụng một lý thuyết trắc nghiệm vào đánh giá kết quả trắc nghiệp chưa thực sự được quan tâm, phần lớn các hệ thống trắc nghiệm mới chỉ dừng lại ở mức tính ra điểm thô (điểm thô được tính bằng số câu trả lời đúng nhân thêm một hệ số nào đó cho mỗi câu). Năm 2005, GS. Lâm Quang Thiệp đã có bài viết “Việt Nam cần áp dụng một khoa học đo lường trong giáo dục” trên website www.vnn.vn [17]. Gần đây trên diễn đàn giáo dục của Bộ Giáo dục www.edu.net có một vài bài ngắn gọn nói về vấn đề này, nhưng cho đến nay mới chỉ dừng lại ở mức giới thiệu hết sức đơn giản. Chính vì vậy, việc tìm hiểu và ứng dụng IRT trong hệ thống trắc nghiệm trực tuyến cũng là một vấn đề được giải quyết trong luận văn. 3 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến Luận văn tập trung vào việc trình bày lý thuyết ứng đáp câu hỏi (IRT) và ứng dụng của lý thuyết này trong việc phân tích câu hỏi và năng lực thí sinh thông qua kết quả làm bài thi trên hệ thống trắc nghiệm trực tuyến của Viện Công nghệ Thông tin – Đại học Quốc gia Hà Nội. Luận văn cũng đề xuất ra một quy trình xây dựng ngân hàng câu hỏi trắc nghiệm áp dụng cho một số môn học chuyên ngành Công nghệ Thông tin nói chung và trước mắt áp dụng trong xây dựng ngân hàng câu hỏi sát hạch Kỹ năng Công nghệ Thông tin triển khai tại Viện Công nghệ Thông tin – Đại học Quốc gia Hà Nội. Trong quá trình xây dựng ngân hàng câu hỏi trắc nghiệm dùng trong hệ thống trắc nghiệm trực tuyến, luận văn đã tìm hiểu sơ bộ về đặc tả QTI – Question and Test Interoperability – một đặc tả được đưa ra bởi tổ chức IMS Global và là đặc tả phổ biến được dùng trong các hệ thống trắc nghiệm trực tuyến. Cuối cùng là phần ứng dụng lý thuyết ứng đáp câu hỏi vào phân tích bộ câu hỏi trắc nghiệm và năng lực thí sinh, đồng thời luận văn đưa ra một số kết luận và hướng phát triển trong thời gian tới. Luận văn được chia thành 4 chương với các nội dung sau: Chƣơng 1: Tổng quan về thi trắc nghiệm Giới thiệu về tình hình phát triển thi trắc nghiệm cùng với những ưu, nhược điểm của nó; giới thiệu về một số phương thức thi trắc nghiệm trên máy tính đặc biệt là thi trắc nghiệm trực tuyến; tình hình ứng dụng của phương thức thi trắc nghiệm trên thế giới và tại Việt Nam. Chƣơng 2: Lý thuyết trắc nghiệm Chương này trình bày về một số lý thuyết trắc nghiệm: lý thuyết trắc nghiệm cổ điển (Classical Test Theory); lý thuyết ứng đáp câu hỏi (Item Response Theory - IRT); lý thuyết ứng đáp câu hỏi nhiều chiều (Multidimensional Item Response Theory – MIRT), trong đó, chủ yếu tập trung vào lý thuyết ứng đáp câu hỏi với các thuật toán ước lượng các tham số câu hỏi, năng lực thí sinh. Chƣơng 3: Ngân hàng câu hỏi Mô tả một số dạng câu hỏi trắc nghiệm thường gặp; đặc tả QTI (Question & Test Interoperability) (tạm dịch: đặc tả về tính khả thi tương tác của câu hỏi và bài trắc nghiệm) – là một mô tả về phương diện kỹ thuật cho câu hỏi và bài trắc nghiệm. Bên cạnh đó trong chương này còn đề xuất về một Quy trình xây dựng ngân hàng câu hỏi trắc nghiệm cho nội dung về kỹ năng Công nghệ Thông 4 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến tin. Quy trình này đã được Viện Công nghệ Thông tin áp dụng cho quá trình xây dựng ngân hàng câu hỏi trắc nghiệm Kỹ năng Công nghệ Thông tin cho Đề án 112. Chƣơng 4: Ứng dụng lý thuyết IRT trong hệ thống trắc nghiệm của Viện Công nghệ Thông tin Giới thiệu một số chức năng của hệ thống trắc nghiệm của Viện Công nghệ Thông tin đồng thời đưa ra kết quả thử nghiệm việc ứng dụng lý thuyết ứng đáp câu hỏi (IRT) (đã trình bày trong Chương 3) vào phân tích câu hỏi và năng lực thí sinh dựa trên kết quả làm bài thi trắc nghiệm môn Tin học Văn phòng của 315 thí sinh thuộc hệ đào tạo Kỹ thuật viên thuộc Trung tâm Tin học PT – Viện Công nghệ Thông tin – Đại học Quốc gia Hà Nội. Phần kết luận đưa ra tổng kết các kết quả luận văn đã làm được và một số hướng nghiên cứu tiếp theo của luận văn. 5 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến CHƯƠNG 1 TỔNG QUAN VỀ TRẮC NGHIỆM 1.1. Trắc nghiệm và phân loại trắc nghiệm 1.1.1. Trắc nghiệm (Test) là gì? Hoạt động đánh giá đào tạo được ra đời và phát triển song song cùng với hoạt động đào tạo. Trong những năm gần đây, việc lượng giá kết quả học tập nhờ sử dụng hình thức thi trắc nghiệm (test) đã nhận được sự quan tâm của các trường đại học và nhiều cơ sở đào tạo khác. Theo Từ điển Tiếng Việt 1997: Trắc nghiệm (test) là việc sử dụng một nhóm câu hỏi hoặc bài làm để qua các lời giải đáp xác định những đặc trưng tâm sinh lý, những hiểu biết, những năng khiếu, thói quen…của những cá nhân nào đó. Trong giáo dục, trắc nghiệm được hiểu là một phương pháp đo để thăm đò một số đặc điểm năng lực trí tuệ chủa học sinh (chú ý, ghi nhớ, quan sát, tưởng tượng, tư duy năng khiếu…) hoặc để kiểm tra đánh giá một số kiến thức, kỹ năng, kỹ xảo, thái độ của các thí sinh. Theo [1], trắc nghiệm theo nghĩa rộng là một hoạt động được thực hiện để đo lường năng lực của các đối tượng nào đó nhằm những mục đích xác định, chẳng hạn, phân loại thí sinh, tìm ra thí sinh nổi trội, sàng lọc ra những thí sinh kém... Trong giáo dục trắc nghiệm được tiến hành thường xuyên ở các kỳ thi, kiểm tra hay sát hạch nhằm đánh giá kết quả học tập và giảng dạy đối với một phần của môn học hoặc toàn bộ môn học hay đối với cả một cấp học. Ngoài ra, trắc nghiệm cũng có thể được sử dụng nhằm lọc chọn một số người có năng lực cao nhất vào học một khoá học nào đó. Trắc nghiệm là một trong những phương thức lượng giá giáo dục mang tính khoa học và đặc biệt có hiệu quả trong trường hợp số lượng các thí sinh lớn. Tuy trong một số trường hợp, trắc nghiệm được xem như một phương thức quan trọng đánh giá kết quả học tập bổ sung cho phương thức truyền thống, không thay thế hoàn toàn cho phương thức truyền thống. 6 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến 1.1.2. Phân loại trắc nghiệm Có thể phân chia các phương pháp trắc nghiệm ra làm 3 loại: loại quan sát, loại vấn đáp và loại viết. a. Loại quan sát: Trắc nghiệm quan sát giúp xác định những thái độ, phản ứng vô thức, những kỹ năng thực hành trong những tình huống cụ thể và một số kỹ năng về nhận thức, chẳng hạn, cách giải quyết vấn đề trong một tình huống đang được nghiên cứu. b. Loại vấn đáp: Loại trắc nghiệm vấn đáp có tác dụng tốt khi nêu các câu hỏi phát sinh trong một tình huống cần kiểm tra. Trắc nghiệm vấn đáp thường được dùng khi tương tác giữa người chấm và người học là quan trọng, chẳng hạn cần xác định thái độ phản ứng khi phỏng vấn… c. Loại viết: Thường được sử dụng nhiều nhất vì nó có những ưu điểm sau: o Cho phép kiểm tra nhiều thí sinh một lúc; o Cho phép thí sinh cân nhắc nhiều hơn khi trả lời; o Cung cấp bản ghi rõ ràng các câu trả lời của thí sinh để dùng khi chấm; o Dễ quản lý và chấm điểm bài thi hơn. Trắc nghiệm viết, theo [1], được chia thành 2 nhóm chính: Tự luận (essay): Nhóm các câu hỏi trắc nghiệm buộc trả lời theo dạng mở, thí sinh phải tự trình bày ý kiến trong một bài viết dài để giải quyết vấn đề mà câu hỏi nêu ra. Phương pháp tự luận rất quen thuộc với hầu hết mọi người. Trắc nghiệm khách quan (objective test): Nhóm các câu trắc nghiệm mà trong đó đề thi thường gồm rất nhiều câu hỏi, mỗi câu nêu ra một vấn đề cùng với những thông tin cần thiết sao cho thí sinh chỉ phải trả lời vắn tắt cho từng câu. 7 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến Các phương pháp thi trắc nghiệm CÁC PHƢƠNG PHÁP TRẮC NGHIỆM QUAN SÁT VIẾT VẤN ĐÁP TRẮC NGHIỆM KHÁCH QUAN TRẮC NGHIỆM TỰ LUẬN (Objective tests) (Essay tests) Tiểu luận Ghép đôi Điền khuyết Trả lời ngắn Cung cấp thông tin Đúng sai Nhiều lựa chọn Hình 1.1: Các phương pháp trắc nghiệm Trong luận văn này, chúng ta chỉ xem xét đến trắc nghiệm khách quan. Trong trắc nghiệm khách quan, có thể có một số cách phân loại như sau: 1) Dựa theo cách chuẩn bị đề thi trắc nghiệm khách quan, có thể phân chia thành hai loại: trắc nghiệm tiêu chuẩn hoá và trắc nghiệm dùng ở lớp học. - Trắc nghiệm tiêu chuẩn hoá thường do các chuyên gia trắc nghiệm soạn thảo, thử nghiệm, tu chỉnh, do đó mỗi câu trắc nghiệm khách quan được gắn với các chỉ số cho biết thuộc tính và chất lượng của nó (độ khó, độ phân biệt, phản ánh nội dung và mức độ kỹ năng nào), mỗi đề thi trắc nghiệm có gắn với một độ tin cậy xác định, ngoài ra có những chỉ dẫn cụ thể về cách triển khai trắc nghiệm và giải thích kết quả trắc nghiệm. - Trắc nghiệm dùng ở lớp học (hoặc trắc nghiệm do giáo viên soạn) là trắc nghiệm do giáo viên tự viết để sử dụng trong quá trình giảng dạy, có thể chưa được thử nghiệm và tu chỉnh công phu, thường chỉ sử dụng trong các kỳ kiểm tra với số lượng học sinh không lớn và không thật quan trọng. 2) Dựa theo dạng lượng giá (assessment) giáo dục trong các khoá học, có thể chia thành một số dạng trắc nghiệm khách quan tương ứng: - Trắc nghiệm phân loại (Diagnostic Test): là bài trắc nghiệm dùng để tìm hiểu, chẩn đoán (diagnostic) đối tượng học hoặc phân lớp đối tượng, thường 8 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến dùng vào đầu quá trình giảng dạy. Thông thường bài trắc nghiệm này do chính giáo viên giảng dạy soạn thảo. - Trắc nghiệm giữa kỳ (Formative Test): thực hiện trong tiến trình (formative) giảng dạy nhằm thu được những thông tin phản hồi từ người học giúp điều chỉnh quá trình dạy và học. - Trắc nghiệm tổng kết (Summative Test): thực hiện khi kết thúc khóa học nhằm tổng kết và đánh giá kết quả dạy và học. 3) Dựa theo việc đảm bảo thời gian để làm trắc nghiệm khách quan, có thể phân chia thành hai loại: loại trắc nghiệm theo tốc độ và trắc nghiệm không theo tốc độ. - Trắc nghiệm theo tốc độ thường hạn chế thời gian (có thể hạn chế thời gian cho mỗi câu hỏi hoặc hạn chế thời gian cho cả bài), thông thường, chỉ một ít thí sinh làm nhanh mới có thể làm hết số câu của bài trắc nghiệm. Dạng trắc nghiệm này nhằm đánh giá năng lực và khả năng làm nhanh của thí sinh. - Trắc nghiệm không theo tốc độ thường cung cấp đủ thời gian cho phần lớn sinh có thể kịp suy nghĩ để làm hết bài trắc nghiệm. 4) Dựa theo phương hướng sử dụng kết quả trắc nghiệm khách quan, có thể phân chia thành: trắc nghiệm theo chuẩn (norm-referrenced test) và trắc nghiệm theo tiêu chí (criterion-referrenced test). - Trắc nghiệm theo chuẩn: là trắc nghiệm được sử dụng để xác định mức độ thực hiện của một cá nhân nào đó so với các các nhân khác cùng làm một bài trắc nghiệm. - Trắc nghiệm theo tiêu chí: là trắc nghiệm được sử dụng để xác định mức độ thực hiện của một cá nhân nào đó so với một tiêu chí xác định nào đó cho trước. 5) Dựa theo phương thức triển khai trắc nghiệm khách quan, có thể chia thành: trắc nghiệm trên máy tính (Computer Based Testing - CBT) hoặc trắc nghiệm truyền thống trên giấy. - Trắc nghiệm trên máy tính: thí sinh dùng máy tính thực hiện bài trắc nghiệm. Với dạng trắc nghiệm trên máy, có nhiều cách phân loại khác, chẳng hạn, phân thành 2 loại: bài trắc nghiệm được cài đặt trên máy tính cá nhân (Computer Based Testing - CBT); bài trắc nghiệm đặt trên máy chủ và thí sinh thực hiện bài thi thông qua trình duyệt Web (Internet Based Testing - iBT). 9 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến Ngoài ra, trắc nghiệm trên máy tính còn có thể phân ra thành hai loại: trắc nghiệm thích nghi (Computer Adaptive Test - CAT) và trắc nghiệm thông thường (Non-Apdaptive Test). Trắc nghiệm thích nghi là phương thức trắc nghiệm mà mỗi câu hỏi thí sinh nhận được trong bài trắc nghiệm phụ thuộc vào câu trả lời của thí sinh đối với câu hỏi trước đó, chẳng hạn, nếu thí sinh trả lời đúng câu hỏi có độ khó ở mức trung bình thì câu hỏi mà thí sinh nhận được sau đó độ khó sẽ tăng lên một chút, ngược lại, câu hỏi mà thí sinh nhận được sau đó sẽ dễ hơn câu hỏi trước. 1.1.3. So sánh giữa trắc nghiệm khách quan và tự luận Tự luận được xem là dạng thi "truyền thống" trong đó đề thi có thể là những câu hỏi cụ thể hoặc tổng quát và thí sinh được phép "tự do" trả lời câu hỏi theo sự hiểu biết hoặc suy nghĩ của cá nhân mình. Dựa vào các câu hỏi, đề bài được ra, thí sinh phải diễn đạt ý trả lời trên giấy hoặc gõ trên máy tính. Bài trắc nghiệm tự luận thường được chấm điểm một cách chủ quan và các điểm cho bởi những người chấm khác nhau có thể không thống nhất. Thông thường một bài trắc nghiệm tự luận gồm ít câu hỏi hơn là một bài trắc nghiệm khách quan do thí sinh phải cần nhiều thời gian để trả lời mỗi câu hỏi. Trắc nghiệm khách quan thường có nhiều phương án trả lời được cung cấp cho mỗi câu hỏi của bài trắc nghiệm nhưng chỉ có một phương án duy nhất là đúng hoặc đúng nhất, phù hợp nhất. Trước đây, bài trắc nghiệm khách quan được chấm điểm bằng cách đếm số lần mà thí sinh đã chọn được phương án trả lời đúng trong số những phương án trả lời đã được cung cấp, điểm này còn gọi là điểm thô (raw score). Tuy nhiên, sau này khi áp dụng phương thức lượng giá theo lý thuyết ứng đáp câu hỏi (item response theory), điểm thực của bài thi được tính theo cách khác (xem Chương 2). Bài trắc nghiệm được gọi là khách quan vì việc cho điểm là khách quan, không chủ quan như đối với bài tự luận. Nói chung, kết quả chấm điểm sẽ như nhau, không phụ thuộc vào việc ai chấm bài trắc nghiệm đó. Thông thường bài trắc nghiệm khách quan gồm có nhiều câu hỏi hơn bài tự luận, và mỗi câu hỏi thường có thể được trả lời bằng cách đánh dấu chọn đơn giản. Có một câu hỏi thường nảy sinh: trong hai phương pháp trắc nghiệm khách quan và tự luận, phương pháp nào tốt hơn? Cần phải khẳng định ngay rằng không thể nói phương pháp nào hoàn toàn tốt hơn; mỗi phương pháp có các ưu điểm và nhược điểm nhất định và được thể hiện cụ thể qua bảng so sánh sau: 10 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến Ƣu thế của Vấn đề phƣơng pháp TNKQ Ít tốn công ra đề thi Đánh giá được khả năng diễn đạt, đặc biệt là diễn đạt tư duy hình tượng Đề thi phủ kín nội dung môn học Ít may rủi do “học tủ” Ít tốn công chấm thi Khách quan trong chấm thi Áp dụng được công nghệ mới trong việc nâng cao chất lượng kỳ thi, giữ bí mật đề thi, hạn chế quay cóp khi thi, hạn chế tiêu cực trong chấm thi và giúp phân tích kết quả thi. Tự luận        Bảng 1.1: So sánh giữa Trắc nghiệm khách quan và Tự luận Cụ thể trong từng điểm như sau: - Ra đề thi: Ra đề thi tự luận dễ ra đề hơn ra đề thi trắc nghiệm khách quan mà biểu hiện rõ nhất là việc soạn đề thi ít tốn thời gian và công sức hơn do đề thi tự luận có ít câu hỏi. Một đề thi trắc nghiệm khách quan bao gồm rất nhiều câu hỏi và để ra được đề thi trắc nghiệm khách quan cho một kỳ thi cần phải chuẩn bị một ngân hàng câu hỏi khá hơn. Việc tạo nên mỗi câu hỏi đòi hỏi rất nhiều công sức và sự khéo léo để bao quát hết các trường hợp có thể xảy ra. Câu hỏi trong đề thi trắc nghiệm khách quan có thể trải rộng trên nhiều mức: từ đơn giản là kiểm tra khả năng nhớ bài học của thí sinh đến khả năng ứng dụng kiến thức vào thực tế vào một tình huống cho sẵn và, ở mức độ cao hơn là đánh giá một thông tin nào đó được giả định. - Đánh giá khả năng diễn đạt, tư duy hình tượng: Đề thi tự luận cho phép thí sinh có được sự tự do lớn nhất trong việc thể hiện cách trả lời những câu hỏi. Thi tự luận là cách tốt nhất để yêu cầu thí sinh thực hiện khả năng "cắt nghĩa", "so sánh", "tóm tắt", "nêu bật", "mô tả", "đánh giá",... một vấn đề. Đây cũng là cơ hội cho thí sinh thể hiện kỹ năng viết, trình bày tổ chức và thể hiện ý tưởng, các suy nghĩ sáng tạo và cảm xúc. Trong khi đó, đề thi trắc nghiệm khách quan không làm được điều này. Do vậy, với các môn học thiên về văn chương, triết học, xã hội học, ... việc áp dụng hình thức thi trắc nghiệm khách quan khó đánh giá được toàn diện các kỹ năng. 11 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến - Đề thi phủ kín toàn bộ nội dung: Một đề thi tự luận thí sinh làm trong vài giờ cũng khó có thể bao trùm hết toàn bộ kiến thức yêu cầu của môn học, hoặc của chương trình học. Trong khi đó một đề thi trắc nghiệm khách quan với hàng trăm câu hỏi, thí sinh làm trong một giờ có thể phủ kín toàn bộ nội dung môn học, chương trình học. - Tính may rủi: Do đề thi tự luận không thể bao trùm hết nội dung môn học, chương trình học nên có thể tạo ra tình trạng "học tủ", "học lệch", "học theo đề mẫu" ở một số thí sinh. Chính vì thế, tính may rủi ở thi tự luận thường cao hơn trong thi trắc nghiệm khách quan rất nhiều. Với một đề thi tự luận thí sinh rất dễ gặp may rủi do trúng tủ, lệch tủ, còn với đề thi trắc nghiệm khách quan thì sự may rủi hầu như hoàn toàn không xảy ra. Thật vậy, như đã nói ở trên, vì đề thi trắc nghiệm khách quan bao gồm hàng chục câu hỏi nhỏ phủ kín chương trình học. Nếu thí sinh nắm chắc nội dung môn học thì sẽ làm đúng phần lớn các câu trắc nghiệm. Trong trường hợp thí sinh không nắm vững một vài chi tiết của môn học thì số ít câu không làm được cũng không ảnh hưởng lớn đến kết quả của bài thi. Ngược lại, đề thi tự luận thường chỉ liên quan đến một vài chủ đề của môn học, do đó, ngoài những thí sinh học chắc thật sự, những thí sinh “trúng tủ” cũng sẽ đạt kết quả cao; còn thí sinh “lệch tủ” sẽ bị đánh hỏng, bất kể kiến thức của anh ta về phần lớn nội dung còn lại của môn học như thế nào. Như vậy câu hỏi: “liệu “số đỏ” có bao giờ đến với một thí sinh đánh dấu bừa vào bài thi trắc nghiệm khách quan mà không cần hiểu biết gì không?”. Có thể khẳng định là không bao giờ! Thật vậy, giả sử một đề thi trắc nghiệm có 100 câu hỏi nhiều lựa chọn với 5 phương án trả lời, nếu thí sinh đánh dấu hú họa vào các phương án nào đó, xác suất để anh ta làm đúng chỉ là 20%. Với số câu hỏi lớn, tần suất làm đúng của anh ta sẽ gần với xác suất, tức là bằng cách đánh dấu hú họa, số câu anh ta “làm đúng” chỉ chiếm khoảng trên dưới 20 trong 100 câu hỏi. Và theo cách chấm điểm trắc nghiệm khách quan thông thường thì đối với một bài trắc nghiệm 100 câu nếu chỉ làm đúng 20 câu thì điểm đạt được sẽ lân cận điểm không. Tuy nhiên, đề thi tự luận làm hạn chế các câu trả lời theo kiểu "đoán mò" một phương án đúng trong bài thi trắc nghiệm khách quan. - Thi và chấm thi: Việc tổ chức thi tự luận mất khá nhiều thời gian và công sức, hơn nữa, khả năng quay cóp có thể xảy ra. Tuy nhiên, việc tổ chức thi trắc nghiệm khách quanh nhanh chóng và đơn giản hơn nhiều, khả năng quay 12 Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến cóp là khó xảy ra vì: với phạm vi bao quát rộng của đề thi, thí sinh khó có thể chuẩn bị tài liệu để quay cóp; khả năng thí sinh nhìn bài của nhau cũng bị hạn chế do lượng câu hỏi trong mỗi đề thi khá lớn hơn nữa có hình thức đảo đề thi, đảo câu hỏi giữa các thí sinh nên các thí sinh ngồi gần nhau hầu như không gặp các đề thi giống nhau. Trắc nghiệm tự luận mang tính chủ quan khá cao, rất khó đảm bảo tính khách quan. Nói cách khác, nó có độ tin cậy thấp, đặc biệt là khi số lượng thí sinh càng đông. Quy trình chấm thi tự luận phải rất nghiêm ngặt. Thực tế, qua nhiều khảo sát khác nhau cũng chứng minh sự sai biệt điểm thi giữa những giám khảo khác nhau trên cùng một bài thi đáng kể. Trong khi đó, việc tổ chức thi và chấm thi trắc nghiệm khách quan đơn giản và nhanh hơn rất nhiều. Việc chấm thi trắc nghiệm khách quan là chính xác, hoàn toàn không phụ thuộc vào người chấm thi và đặc biệt có thể áp dụng công nghệ vào việc ra đề và chấm thi một cách chính xác hoàn toàn. - Áp dụng công nghệ: Trắc nghiệm khách quan dễ dàng áp dụng công nghệ (máy tính và truyền thông) trong việc ra đề thi, giữ bí mật đề thi, hạn chế hiện tượng quay cóp khi thi và dễ dàng phân tích, thống kê kết quả thi. - Chi phí cho các kỳ thi tự luận khá cao nếu xét trên bình diện xã hội. Nhiều hoạt động của phụ huynh, các nhà chức trách và nhà trường bị ảnh hưởng, mất nhiều thời gian và tiền bạc cho tính an toàn và công bằng ở các kỳ thi. Theo các chuyên gia về đánh giá về giáo dục, có thể dùng phương pháp tự luận trong các trường hợp sau: 1) Khi thí sinh không quá đông. 2) Khi muốn khuyến khích và đánh giá cách diễn đạt cũng như cách trình bày. 3) Khi muốn tìm hiểu ý tưởng của thí sinh hơn là khảo sát thành quả học tập. 4) Khi có thể tin tưởng khả năng chấm bài tự luận của giáo viên là chính xác. 5) Khi không có nhiều thời gian soạn đề thi nhưng có đủ thời gian để chấm bài. Và phương pháp trắc nghiệm khách quan nên được sử dụng trong những trường hợp sau: 1) Khi số thí sinh rất đông. 2) Khi muốn chấm bài nhanh. 3) Khi muốn có điểm số đáng tin cậy, không phụ thuộc vào người chấm bài. 13