GD HN: ST đánh giá trong giáo dục

Chương 5: Phương pháp và kỹ thuật trắc nghiệm khách quan
I. Các bước soạn một bài TNKQ
1. Xác định mục đích của bài TNKQ
Mục đích của bài TNKQ có thể là:
+ Nhằm kiểm tra những hiểu biết tối thiểu của một phần nào đó của chương trình
+ Nhằm cho điểm và xếp hạng học sinh cuối một chương trình học tập
+ Nhằm chẩn đoán
2. Phân tích nội dung môn học
Phân tích nội dung môn học trên 4 khía cạnh:
+ Những thông tin mang tính chất sự kiện mà học sinh phải nhớ hay nhận ra: Tìm những ý tưởng chính yếu của môn học
+ Những khái niệm và ý tưởng mà học sinh phải giải thích hay minh họa: lựa chọn những nhóm từ ngữ, ký hiệu, công thức . mà học sinh sẽ phải giải nghĩa được. Học sinh cần phải hiểu rõ các khái niệm và mối liên hệ giữa các khái niệm.
+ Những ý tưởng phức tạp cần được giải thích: cần phân loại
(1) những thông tin nhằm mục đích giải nghĩa hay minh họa và
(2) những khái luận quan trọng của môn học.

+ Những thông tin, ý tưởng và kỹ� năng cần được ứng dụng hay chuyển dịch sang một tình huống hay hoàn cảnh mới đòi hỏi học sinh phải có kỹ năng giải quyết vấn đề.
3. Xác định các mục tiêu muốn kiểm tra, đánh giá và lập bảng phân bố
a. Xác định mục tiêu: Mục tiêu kiểm tra, đánh giá cần được xác định dưới dạng những hành vi, cử chỉ, kiến thức, thái độ mà chúng ta mong muốn học sinh đạt được hay thể hiện được vào cuối chương trình học tập.
Chú ý: Chúng ta cần biết học sinh biết gì, có thể làm gì, nghĩ gì, giải quyết gì. chứ không phải giáo viên hay người khác muốn gì.
Đây là một khâu khá khó khăn vì thường thì những mục tiêu được phát biểu quá mơ hồ hoặc chung chung và giáo viên thường có xu hướng kiểm tra những mức trí năng thấp hơn là những mức cao (vì dễ viết câu hỏi).
Mục tiêu phải được phát biểu dưới dạng có thể đo lường được. Ví dụ, phải cụ thể hóa xem học sinh có thể:
+ diễn đạt những ý tưởng và nguyên tắc theo ngôn ngữ riêng của mình
+ nêu các điểm tương đồng và khác biệt về một số yếu tố chưa trình bày trong SGK hoặc giáo trình
+ nêu các mối tương quan
+ áp dụng những điều đã học vào trường hợp mới
b. Lập bảng phân bố câu hỏi (ma trận hai chiều)
4. Viết các câu hỏi TNKQ:
Nên tuân theo các qui tắc tổng quát sau:
+ Bản sơ thảo các câu hỏi phải được soạn nhiều ngày trước khi tổ chức thi.
+ Trên bản sơ thảo phải có nhiều hơn so với số câu hỏi mà giáo viên định sử dụng trong bài trắc nghiệm chính thức.
+ Mỗi câu hỏi nên liên quan đến một mục tiêu nhất định
+ Câu hỏi phải được soạn sao cho chính nội dung câu hỏi (chứ không phải dạng câu hỏi) sẽ qui định câu trả lời đúng.
+ Các câu hỏi nên có độ khó cỡ 50% đến 60% nếu muốn có một sự phân biệt thỏa đáng giữa các học sinh tham gia trắc nghiệm
II. Tổ chức thi và chấm TNKQ
1. Trình bày đề thi TNKQ
2. Chuẩn bị cho học sinh
3. Công việc tổ chức thi
4. Chấm bài TNKQ
III. Chấm điểm bài TNKQ:
1. Công thức dùng để cho điểm:
+ Công thức dùng để hiệu chỉnh điểm do đoán mò:
2. Các loại điểm dẫn xuất:
a. Điểm phần trăm đúng:
X ? 100 Đ / T
Trong đó: Đ: số điểm đạt được
T: điểm tối đa đạt được
b. Điểm chữ:



c. Thứ hạng bách phân (percentile ranks) và điểm bách phân (centiles):
Thứ hạng bách phân (THBP) của một điểm số là một số nằm trong khoảng 0-100, cho biết có bao nhiêu phần trăm trường hợp trong nhóm chuẩn nhỏ hơn hoặc bằng điểm số đó. THBP được tính theo công thức:



(Xem ví dụ ở slide kế tiếp)
Điểm bách phân là một điểm trên thang điểm số mà ở đó có một số phần trăm trường hợp nằm vào đó hoặc bên dưới nó. Các điểm bách phân đặc biệt là C25, C50 và C75 lập thành các điểm tứ phân thứ nhất, thứ hai và thứ ba.

d. Điểm chuẩn Z (Z score):
Điểm chuẩn Z được tính trực tiếp từ điểm đạt được của học sinh theo công thức:




Điểm chuẩn Z cho biết khoảng cách (tính bằng độ lệch chuẩn s ) từ điểm thô ban đầu x đến điểm trung bình x.
Điểm chuẩn Z rất có ích khi ta cần so sánh kết quả trên hai bài trắc nghiệm khác nhau khi các phân bố có dạng khá tương tự nhau.
Điểm chuẩn Z không có nhược điểm như THBP. Với điểm chuẩn, hiệu giữa hai trị số ở bất kỳ đâu trên trục số đều mang ý nghĩa như nhau (so với trị số của điểm nguyên thủy).
Nhược điểm của điểm chuẩn Z:
Có trị trung bình bằng 0 nên sẽ có điểm âm
Điểm chuẩn có phân bố từ -3 đến 3 nên phải dùng đến số lẻ.
-3
-2
-1
0
1
2
3
52
60
68
76
84
92
100
-0.5
0.5
-1.5
2.5
1.5
-2.5
72
64
56
80
88
96
Điểm ng.thủy
Điểm Z
e. Điểm chuẩn biến đổi:
Điểm chuẩn biến đổi được tính từ điểm Z và khắc phục những nhược điểm của điểm Z



Công thức tính trực tiếp điểm chuẩn biến đổi từ điểm thô:
f. Điểm chuẩn hóa:
Các bước để qui đổi điểm nguyên thủy thành điểm chuẩn hóa:
Biến đổi điểm nguyên thủy thành thứ hạng bách phân.
Dùng bảng tra các giá trị của hàm chuẩn để đổi thứ hạng bách phân thành điểm chuẩn Z.
Dùng công thức để đổi điểm Z thành điểm Zbd với trị trung bình và độ lệch chuẩn cho trước.

Một điểm chuẩn hóa hay dùng là điểm T (với trị trung bình là 50 và độ lệch chuẩn là 10).
Lưu ý: Các điểm dựa trên nhóm chuẩn được xác định dựa trên một nhóm thí sinh dùng làm chuẩn và chỉ có ý nghĩa đối với nhóm thí sinh đã chọn. Khi nói đến điểm số mà không mô tả rõ nhóm chuẩn thì điểm số đó không nói lên được điều gì cả.
IV. Đánh giá câu hỏi trắc nghiệm qua phân tích thống kê

1. Phân tích câu hỏi đối với các bài trắc nghiệm dùng để đo thành tích tương đối:
a. Độ khó của câu hỏi:
Trong bài trắc nghiệm thông thường, khi các điều kiện khác là như nhau thì các điểm số sẽ có xu hướng phân tán nếu nhiều câu hỏi của bài trắc nghiệm là ở mức độ khó trung bình.
Một cách tổng quát, nếu phần lớn các câu hỏi là quá dễ hay quá khó, các điểm số sẽ có xu hướng rất cao hoặc rất thấp và sẽ không trải đều ra. Mặt khác, nếu các câu hỏi nói chung ở mức độ khó trung bình (và dưới mức có độ phân biệt hoàn hảo) thì các điểm tổng số của bài trắc nghiệm sẽ được sắp xếp từ điểm thấp nhất đến điểm trung bình rồi đến điểm cao nhất.
Cách ước lượng độ khó của bài trắc nghiệm:


Cách ước lượng độ khó của câu trắc nghiệm:
b. Độ phân biệt của câu hỏi:
Một câu hỏi có thể gọi là phân biệt được nếu
những ai trả lời đúng câu đó sẽ có xu hướng đạt điểm cao (theo một tiêu chí) so với những người trả lời sai
những ai làm tốt toàn bộ bài trắc nghiệm cũng sẽ làm tốt câu hỏi đó hơn so với những người kém.
Nếu điểm tổng số của bài trắc nghiệm được giả định là một đại lượng có giá trị thì một câu hỏi riêng lẻ sẽ có giá trị nếu các học sinh có điểm cao (trên toàn bài) sẽ làm tốt câu hỏi đó hơn so với các học sinh đạt điểm kém.
Ví dụ:
Một câu hỏi A nào đó trong bài trắc nghiệm
được trả lời đúng bởi 75% học sinh thuộc nhóm điểm cao
chỉ được trả lời đúng bởi 25% học sinh thuộc nhóm điểm thấp.
? Câu hỏi A được coi là có độ phân biệt dương.

Ngược lại thì câu hỏi sẽ được coi là có độ phân biệt âm.
Nếu câu hỏi không phân biệt gì cả giữa các nhóm thì được gọi là không có độ phân biệt.
Một chỉ số về độ phân biệt-D:




Minh họa cách áp dụng công thức: giả thiết là
+ 27% của tổng số học sinh là 10 học sinh.
+ Đối với một câu cụ thể nào đó, 9 trong 10 học sinh của nhóm trên đã trả lời đúng
+ Cũng câu đó, có 5 trong số 10 học sinh của nhóm dưới đã trả lời đúng.
Suy ra: D=(9-5)/10 = 0.40
Các câu hỏi có chỉ số D từ 0,3 trở lên thì được coi là thỏa mãn về độ phân biệt và đôi khi các câu có D thấp đến 0,2 cũng coi là chấp nhận được
2. Phân tích câu hỏi dựa trên các tiêu chuẩn của giáo viên:
Nếu quan tâm đến sự tiến bộ của HS cũng như định hướng cho hoạt động học tập của HS thì:
+ Các chỉ số về độ phân biệt cung cấp thông tin về thành tích học tập của HS và hiệu quả của việc giảng dạy.
+ Thông tin thống kê có thể giúp cho việc sửa đổi lại kế hoạch giảng dạy. Ví dụ, một câu nhiễu cụ thể nào đó thuộc loại MCQ có thể cần phải được xem xét lại một cách kỹ lưỡng và GV thảo luận với HS để có thể tìm ra một số đầu mối cho những thay đổi về giáo trình.
2. Phân tích câu hỏi dựa trên các tiêu chuẩn của giáo viên:
+ Thông tin về độ khó của câu hỏi có thể giúp cho việc xác định xem nói chung học sinh đã đạt được những mục tiêu giảng dạy như thế nào và có thể giúp cho việc xác định những nhu cầu học tập của cá nhân học sinh. Mục đích chính để có thông tin về độ khó của câu hỏi không phải là để điều chỉnh hay loại bỏ câu hỏi mà để có được sự phản hồi này.
V. Một số cách tính độ tin cậy và cách làm tăng độ tin cậy của bài trắc nghiệm
1. Định nghĩa độ tin cậy:
Về mặt lý thuyết: Độ tin cậy có thể được xem như là một số đo về sự sai khác giữa điểm số quan sát được và điểm số thực. Điểm số thực là điểm số mà một học sinh về lý thuyết có thể đạt được nếu như không có sai số trong đo lường.
Về mặt thực tiễn: Độ tin cậy của một tập hợp điểm số lấy từ một nhóm thí sinh là hệ số tương quan giữa tập hợp điểm số ấy với một tập hợp điểm số khác thu được từ một bài trắc nghiệm tương đương, được lấy ra một cách độc lập từ cùng một nhóm thí sinh đó.
Vài nhận xét:
a. Độ tin cậy không phải là một thuộc tính nội tại của bài trắc nghiệm mà là thuộc tính của bài trắc nghiệm đó khi đem ra áp dụng với một nhóm thí sinh nào đó. Bài trắc nghiệm càng phù hợp với nhóm thí sinh ấy bao nhiêu thì độ tin cậy càng cao. Mặt khác, khả năng của các thí sinh trong nhóm càng phân tán rộng thì độ tin cậy càng cao.
b. Hệ số tương quan được sử dụng như là một số để đo lường độ tin cậy. Mà hệ số tương quan chỉ cung cấp cho ta một số đo tương đối thay vì tuyệt đối về sự tương đồng giữa hai tập hợp điểm số.

c. Cần phải có hai số đo độc lập cho mỗi phần tử trong tập hợp và số đo này được lấy từ hai bài trắc nghiệm tương đương. Việc chọn hai bài trắc nghiệm tương đương là cơ sở cho các cách tính độ tin cậy khác nhau.
2. Test-reTest
Dùng một bài trắc nghiệm 2 lần trên cùng một đối tượng học sinh để thu được hai tập hợp điểm số khác nhau.
Nhược điểm:
+ Các điểm số của học sinh trong lần kiểm tra thứ hai phụ thuộc vào điểm số của họ trong lần kiểm tra thứ nhất
+ Không thể biết được khả năng đáp ứng của học sinh với những bài trắc nghiệm khác được xem là xây dựng trên cùng một tập chính các câu hỏi

Độ tin cậy của bài trắc nghiệm được tính bằng hệ số tương quan của điểm số giữa hai lần trắc nghiệm
3. Dùng bài trắc nghiệm tương đương
Cho học sinh làm hai bài trắc nghiệm được xem là tương đương nhau rồi tính hệ số tương quan giữa hai tập hợp điểm bài làm của học sinh.
Nhược điểm: Việc soạn thảo các bài trắc nghiệm tương đương là tốn kém và phức tạp

Độ tin cậy của bài trắc nghiệm được tính bằng hệ số tương quan của điểm số giữa hai bài trắc nghiệm
4. Phân đôi bài trắc nghiệm
Bài trắc nghiệm được phân thành hai nửa:
một nửa gồm các câu chẵn và
một nửa gồm các câu lẻ.
Hai nửa này được xem là hai bài trắc nghiệm phụ và điểm số của học sinh trên hai nửa này là độc lập.
Hai nửa này được dùng để phỏng đoán độ tin cậy của bài trắc nghiệm chung: Độ tin cậy của nửa bài trắc nghiệm (rs) được tính bằng hệ số tương quan của điểm số giữa hai nửa bài trắc nghiệm
Sau đó, dùng công thức Spearman-Brown để tính độ tin cậy của toàn bài trắc nghiệm:
5. Một số công thức khác để tính độ tin cậy của bài trắc nghiệm
a. Công thức Rulon:
(Yêu cầu: bài trắc nghiệm được chia thành hai nửa nhưng không cần giả thiết phương sai của hai nửa giống nhau.)



trong đó:
sd2: phương sai của hiệu điểm số của hai nửa bài làm
st2: phương sai của điểm số toàn bài
b. Công thức Guttman:
(Đơn giản hóa công thức Rulon)





trong đó:
sa2, sb2: phương sai của điểm số mỗi nửa bài làm
st2: phương sai của điểm số toàn bài
c. Công thức Cronbach:
(Không cần chia bài làm hai nửa)



trong đó:
k: số câu hỏi của bài trắc nghiệm
si2: phương sai của mỗi câu hỏi trong bài trắc nghiệm
s 2: phương sai của tổng điểm
d. Công thức Stanley:
(Chia bài làm hai nửa)



trong đó:
d ? X - Y; s ? X+Y ;
Ds ? Tổng 27% có s cao nhất - Tổng 27% có s thấp nhất
Dd ? Tổng 27% có d cao nhất - Tổng 27% có d thấp nhất
e. Công thức Kuder-Richardson 20 (KR20):
(Trường hợp đặc biệt của công thức Cronbach khi điểm số của mỗi câu hỏi là 0 hoặc 1)



trong đó:
k: số câu hỏi của bài trắc nghiệm
s 2: phương sai của tổng điểm
pi : tỉ lệ học sinh làm đúng câu hỏi thứ i
qi : tỉ lệ học sinh làm sai câu hỏi thứ i
Chú ý: pi+qi ? 1

f. Công thức Kuder-Richardson 21 (KR21):
(Trường hợp đặc biệt của công thức KR20 khi độ khó của các câu hỏi tương đương nhau)






trong đó:
k : số câu hỏi của bài trắc nghiệm
s 2: phương sai của tổng điểm
m : giá trị trung bình của điểm số của bài trắc nghiệm