Xây dựng ma trận cho đề kiểm tra

HỌc cách suy nghĩ phẢn chiẾu
Tôi đã học được điều gì trong hôm nay?
Tôi nên chia sẻ điều gì?
Tôi phải làm gì?
Quy trình Xây dựng Bài kiểm tra
Có
No
2. Xây dựng Mô tả tiêu chí Bài kiểm tra
Đánh giá ma trận về chất lượng
Đạt chuẩn chất lượng?
Cận cảnh về Quy trình Đánh giá Tiêu chí Bài kiểm tra
Bảng dùng cho xây dựng mô tả tiêu chí câu hỏi
Ví dụ về một Bản mô tả tiêu chí hoàn chỉnh cho môn Sinh
Cách xây dựng Bảng mô tả tiêu chí kiểm tra
XÂY DỰNG BẢNG MÔ TẢ
TIÊU CHÍ BÀI KIỂM TRA
Mục đích:
Là bước thực hiện mục đích kiểm tra đã được dự định
Một nhóm chuyên gia và những bên liên quan về nội dung
Cùng xây dựng kế hoạch kiểm tra theo các mục đích đã dự định
Những mô tả tiêu chí bài kiểm tra sẽ là định hướng để xây dựng các bài kiểm tra
Bao nhiêu câu hỏi cần cho mỗi nhóm nội dung/cấp độ tư duy
Nội dung/cấp độ tư duy nào cần thiết hơn những nội dung khác?
Bảng mô tả tiêu chí kiểm tra 2 chiều thường có các nội dung sau:
các nội dung
các cấp độ tư duy
Kèm theo % mức độ quan trọng trong mỗi ô
Bước 1. Liệt kê nội dung cần kiểm tra
Bước 1. Liệt kê danh sách cần kiểm tra
Bước 2. Viết các chuẩn cần đánh giá đối với mỗi cấp độ tư duy
Bước 2. Viết các chuẩn cần đánh giá đối với mỗi cấp độ tư duy
Bước 3. Viết tỷ lệ % của tổng điểm phân phối cho mỗi nội dung

Bước 3. Viết tỷ lệ % của tổng điểm phân phối cho mỗi nội dung

40%
10%
20%
30%
40
10
20
30
40
10
20
30
Bước 4. Quyết định ĐIỂM SỐ TỔNG của bài kiểm tra
80 điểm tổng
40
10
20
30
80 điểm tổng
Bước 5. Tính thành điểm số cho mỗi chủ đề ứng với %

40
10
20
30
80 điểm tổng
Bước 5. Tính thành điểm số cho mỗi chủ đề ứng với %
40% * 80 = 32
10% * 80 = 8
20% * 80 = 16
30% * 80 = 24
8
24
16
32
40
10
20
30
80 điểm tổng
8
24
16
32
Bước 6. Quyết định tỷ lệ % phân phối cho mỗi HÀNG với mỗi chuẩn

40
10
20
30
80 điểm tổng
8
24
16
32
20
43
36
0
0
36
43
20
80 điểm tổng
Bước 7. Tính thành điểm số tương ứng cho mỗi chuẩn
80 điểm tổng

43% * 32 = 14 điểm
20% * 32 = 6 điểm
36% * 32 = 12 điểm
Bước 7. Tính thành điểm số tương ứng cho mỗi chuẩn
80 điểm tổng
Bước 8. Tính ĐIỂM phân phối cho mỗi cột
80 điểm tổng
6
0
12
+12
30
14
8
4
+6
32
12
0
0
+0
12
0
0
0
+6
6
Bước 8. Tính ĐIỂM phân phối cho mỗi cột
80 điểm tổng
Bước 9. Tính tỷ lệ % của TỔNG điểm phân phối cho mỗi cột
80 điểm tổng
30/80 = 38%
32/80 = 40%
12/80 = 15%
6/80 = 8%
Bước 9. Tính tỷ lệ % của TỔNG điểm phân phối cho mỗi cột
Bước 10. Đánh giá lại bảng tiêu chí xem có đạt được những gì bạn dự kiến không. Bạn có thể thay đổi và sửa nếu thấy cần thiết.
Ví dụ về một Bản mô tả tiêu chí hoàn chỉnh cho môn Sinh
Lưu ý: Các định nghĩa về cấp độ tư duy khác cũng có thể được áp dụng như Bloom Taxonomy (1956), Bloom mới (2001), Dimensions of Learning (1993), Niemierko (1994)
Các ví dụ về câu hỏi kiểm tra theo các
Mức độ Tư duy khác nhau
Câu hỏi Hồi tưởng/Nhận thức
Nêu tên các nhân vật trong truyện ngắn “Rừng”.
Câu hỏi Hồi tưởng/Nhận thức
Nêu tên các nhân vật trong truyện ngắn “Rừng”.
Câu hỏi Hồi tưởng/Nhận thức
Nêu tên các nhân vật trong truyện ngắn “Rừng”.
TÓM TẮT
Kết hợp giữa kiểm tra và đối chiếu với chuẩn cần đánh giá làm tăng độ tin cậy của việc kiểm tra.
Việc kết hợp đòi hỏi phải hiểu các cấp độ tư duy mà chuẩn đang phản ánh
Sử dụng bản mô tả bài kiểm tra là một bước quan trọng trong việc lập kế hoạch kiểm tra
VIẾT CÂU HỎI MỚI
Mục đích:
Viết các câu hỏi có chất lượng theo mô tả tiêu chí bài kiểm tra
Viết câu hỏi theo mô tả tiêu chí bài kiểm tra:
Viết đủ tất cả câu hỏi cho tất cả các ô trong bảng mô tả (nhiều hơn khoảng 4 lần so với số câu hỏi cần thiết)
Đánh giá và chỉnh sửa câu hỏi
Tạo hồ sơ cho việc thử nghiệm câu hỏi
Cấu trúc của bài kiểm tra (câu hỏi dễ trước, sau đó trộn các câu hỏi)
Tổ chức việc kiểm tra (thời gian nào, cỡ mẫu vv)
Câu hỏi thử nghiệm:
Sử dụng câu hỏi với một nhóm học sinh thí điểm
Chấm điểm và bài kiểm tra
Phân tích số liệu thu được từ kiểm tra thử
Phân tích số liệu câu hỏi kiểm tra
Phân tích điểm số từ bài kiểm tra thử để đảm bảo độ tin cậy
Giải thích các số liệu và đưa ra quyết định:
Đánh giá lại thống kê các câu hỏi
Có đạt tiêu chí về thống kê không (độ khó, độ phân biệt)
Đánh giá nội dung câu hỏi với sự hỗ trợ của thống kê câu hỏi
Đánh giá nội dung
Đánh giá thành kiến/độ nhậy
Các bước kiểm soát chất lượng: (1) Giữ lại các câu hỏi có chất lượng (2) Đánh giá lại các câu hỏi có ít vấn đề và thử nghiệm lại hoặc (3) Loại bỏ các câu hỏi không đạt chất luợng
CÁC DẠNG CÂU HỎI KHÁC NHAU
Các dạng chấm bằng máy
Câu hỏi nhiều phương án lựa chọn
Câu hỏi đúng sai
Câu hỏi nhiều phương án đúng sai
Câu hỏi nhiều đáp án
Đồng thời cũng được gọi là câu hỏi nhiều phương án lựa chọn câu hỏi nhiều đáp án
Câu hỏi theo thang điểm (thang từ đồng ý đến không đồng ý)
Các dạng chấm thủ công
Câu trả lời ngắn (một số từ hoặc câu)
Câu hỏi tự luận
Cần thiết kèm theo hướng dẫn chấm điểm để chấm bài thi
VIẾT CÂU HỎI KIỂM TRA
PHÂN TÍCH VÀ GIẢI THÍCH KẾT QUẢ THỐNG KÊ CÂU HỎI
Phân tích phương án nhiễu – trắc nghiệm, đúng/sai
Tỷ lệ các phương án nhiễu
Thông báo cho người chịu trách nhiệm xây dựng bài kiểm tra về những phương án nhiễu không hiệu quả
Độ khó của câu hỏi sẽ mô tả mức độ khó của câu hỏi đối với thí sinh
Thống kê:
Tỷ lệ trả lời đúng {p-value} – trắc nghiệm, đúng/sai
Gía trị trung bình của câu hỏi – câu trả lời tự luận
Tham số định vị cho mô hình IRT
Độ phân biệt của câu hỏi – mô tả một câu hỏi có tương quan thế nào với điểm tổng
Thống kê:
Chỉ số khác biệt thuần: độ khác biệt của thí sinh điểm cao với điểm thấp trong p - value
Độ tương quan của điểm câu hỏi và tổng điểm: tương quan của câu hỏi (tính điểm kiểu nhj phân hoặc đa phân) với điểm tổng
Tương quan nhị phân - t: tương quan giữa điểm tổng và điểm nhị phân (đúng/sai) đối với câu hỏi kiểm tra
Tương quan nhị phân: tương tự như pt-biserials ngoại từ việc câu hỏi nhị phân sẽ được coi là xuất phát từ một phâ phối chuẩn của năng lực học sinh khi trả lời câu hỏi
Tương quan đa phân: tương tự như biserials ngoại trừ việc câu hỏi được tính điểm polytomously
Tham số độ phân biệt cho mô hình IRT.
VIẾT CÂU HỎI DÙNG CHO KIỂM TRA
Mục đích:
Để đo lường năng lực của học sinh như mục đích của bài kiểm tra
Thiết kế bài kiểm tra
Lựa chọn các câu hỏi kiểm tra để cho điểm
Chỉ dùng các câu hỏi có chất lượng đã được kiểm nghiệm
Đảm bảo câu hỏi sẽ đạt các tiêu chí bài kiểm tra
Đảm bảo câu hỏi sẽ đạt các tiêu chí thống kê
Tập hợp câu hỏi thành một nhóm để dùng cho kiểm tra
Kết hợp các câu hỏi đã sử dụng để tận dụng các câu hỏi đã viết và trong tương lai để sử dụng trên cùng một thang đo
Kết hợp các câu hỏi dùng cho thử nghiệm nhưng không tính điểm số
Kết hợp các câu hỏi để dùng cho các nghiên cứu sau này
e.g. Các dạng câu hỏi khác nhau để xem hiệu quả mỗi dạng như thế nào
Thiết kế quy trình quản lý kiểm tra
Thu thập dữ liệu:
Cho điểm các câu hỏi và thu thập điểm số của học sinh
Phân tích câu hỏi dùng cho kiểm tra
Nghiên cứu để đưa ra thang báo cáo
VIẾT CÂU HỎI DÙNG CHO KIỂM TRA
THỐNG KÊ TỔNG ĐIỂM
Tổng quan mức độ khó của điểm kiểm tra
Thống kê: Kiểm tra giá trị trung bình,
Tổng quan sự phân bố của điểm kiểm tra
Thống kê: Các phép kiểm tra dao động – độ lệch chuẩn, phương sai, khoảng v.v..
Kiểm tra tốc độ của bài kiểm tra
Thống kê:
Phần trăm học sinh cố gắng trả lời một vài câu hỏi cuối
Mức độ học sinh hoàn thành bài kiểm tra trong thời gian được cho
Không phải là một “kiểm tra tốc độ” nếu hơn 95% người làm bài hoàn thành bài kiểm tra kịp giờ.
Sự thống nhất của điểm kiểm tra
Thống kê:
Những chỉ số tin cậy chính
Sự thống nhất nội: Hệ số alpha
Sự tương quan với kết quả khi kiểm tra lại
Lỗi chuẩn của đo đạc
Tương quan của điểm số
Ma trận tương quan phần tử
Tương quan cao với những phương pháp tương tự nhau
Tương quan thấp với những phương pháp khác nhau
Khảo sát cấu trúc (Khảo sát các phần tử…)
TÓM LƯỢC PHẦN
Xây dựng bài kiểm tra là một quá trình kỹ thuật
Yêu cầu kiến thức của môn học
Yêu cầu kiến thức về các thao tác kỹ thuật
Yêu cầu kiến thức về các thao tác thống kê
Tám bước lớn để xây dựng bài kiểm tra
Chuẩn bị kế hoạch chung
Xây dựng các yêu cầu của bài kiểm tra
Xây dựng và xem xét cẩn thận các câu hỏi
Chọn lựa các câu hỏi sử dụng các tiêu chí thống kê
Chọn và tập hợp bài kiểm tra
Thực hiện, chấm, ghi lại điểm số
Thực hiện khảo sát trên chất lượng bài kiểm tra và báo cáo
Tính quán thời lượng của bài kiểm tra và lên kế hoạch cho những cải thiện trong bài kiểm tra tiếp theo.