Cách thiết kế chỉ số học tập phù hợp mục tiêu

Quy trình có thể đi theo chuỗi:

Mục tiêu học tập → Kết quả đầu ra → Hành vi quan sát được → Chỉ số → Cách đo → Dữ liệu → Tiêu chí đạt

Điểm quan trọng là không đồng nhất “có dữ liệu” với “đo đúng mục tiêu”. Một bài kiểm tra có điểm số cao chưa chắc chứng minh người học đã đạt năng lực mà chương trình thực sự mong muốn.

Bắt đầu từ mục tiêu thay vì từ chỉ số

Mục tiêu học tập mô tả trạng thái người học cần đạt sau quá trình học. Chỉ số lại là cách biến trạng thái đó thành bằng chứng có thể quan sát hoặc đo lường.

Vì vậy, trước khi chọn chỉ số cần làm rõ ba câu hỏi:

1.    Người học cần biết gì?

2.    Người học cần làm được gì?

3.    Mức độ thực hiện nào được xem là đạt?

Ví dụ, mục tiêu “hiểu về phương pháp nghiên cứu” quá rộng để đo trực tiếp. Có thể chuyển thành kết quả quan sát được như “phân biệt được các phương pháp”, “lựa chọn phương pháp phù hợp với một câu hỏi nghiên cứu” hoặc “giải thích được lý do lựa chọn”.

Khi mục tiêu đã được chuyển thành kết quả đầu ra cụ thể, chỉ số mới có cơ sở rõ ràng.

Chuyển mục tiêu thành hành vi có thể quan sát

Một mục tiêu tốt cho thiết kế chỉ số cần dẫn tới một hành vi hoặc sản phẩm có thể kiểm tra.

Có thể đi theo cấu trúc:

Mục tiêu → Động từ hành động → Sản phẩm hoặc hành vi → Tiêu chí đánh giá

Chẳng hạn:

“Người học hiểu nguyên lý thống kê” → chưa đủ cụ thể

“Người học giải thích được ý nghĩa của độ lệch chuẩn bằng ví dụ” → có hành vi quan sát được

“Người học giải thích đúng ít nhất 3 thành phần và áp dụng vào một tình huống” → bắt đầu có cơ sở để thiết kế chỉ số

Điều này giúp tránh một lỗi phổ biến: dùng những từ như “hiểu”, “nắm”, “biết”, “cải thiện” làm chính chỉ số. Những từ này mô tả trạng thái nhận thức nhưng chưa cho biết phải quan sát dữ liệu nào.

Thiết kế chỉ số theo đúng loại kết quả cần đạt

Không phải mục tiêu nào cũng nên dùng cùng một loại chỉ số.

Với mục tiêu về kiến thức

Các chỉ số có thể tập trung vào:

·         Tỷ lệ câu trả lời đúng

·         Điểm đánh giá kiến thức

·         Tỷ lệ hoàn thành đúng nhiệm vụ

·         Mức độ nhớ hoặc nhận diện khái niệm

Nhóm này phù hợp khi mục tiêu thực sự là kiến thức hoặc hiểu biết có thể kiểm tra trực tiếp.

Với mục tiêu về kỹ năng

Nên đo bằng hiệu suất thực hiện thay vì chỉ đo bằng điểm bài kiểm tra.

Có thể xem xét:

·         Tỷ lệ nhiệm vụ hoàn thành đúng

·         Thời gian hoàn thành

·         Số lỗi

·         Mức độ đáp ứng tiêu chí của rubric

·         Tỷ lệ thực hiện độc lập

Ví dụ, mục tiêu là “lập được một bảng phân tích dữ liệu” thì số câu hỏi lý thuyết trả lời đúng không phải chỉ số trực tiếp nhất. Sản phẩm thực tế và các tiêu chí đánh giá sản phẩm mới phản ánh rõ hơn kết quả cần đạt.

Với mục tiêu về năng lực vận dụng hoặc giải quyết vấn đề

Chỉ số cần phản ánh khả năng chuyển kiến thức vào bối cảnh cụ thể.

Có thể đo:

·         Tỷ lệ lựa chọn phương án phù hợp

·         Chất lượng lập luận

·         Khả năng giải thích quyết định

·         Mức độ đáp ứng tiêu chí của tình huống thực tế

·         Tỷ lệ xử lý chính xác các trường hợp mới

Ở đây, chỉ số càng gần với hành vi cuối cùng mà mục tiêu yêu cầu thì giá trị đo lường càng cao.

Phân biệt chỉ số đầu vào, quá trình và kết quả

Một hệ thống đo lường học tập thường dễ bị lệch khi chỉ nhìn vào kết quả cuối cùng.

Có thể phân biệt ba lớp:

Đầu vào là những gì tạo điều kiện cho việc học, chẳng hạn thời lượng học, mức độ tiếp cận tài liệu hoặc số lần tham gia.

Quá trình phản ánh hoạt động học, chẳng hạn tỷ lệ hoàn thành nhiệm vụ, số lần thực hành hoặc mức độ tham gia phản hồi.

Kết quả phản ánh người học thực sự đạt được gì, chẳng hạn điểm năng lực, tỷ lệ thực hiện đúng hoặc mức độ đạt chuẩn của sản phẩm.

Khi mục tiêu là năng lực, chỉ số kết quả phải giữ vai trò trung tâm. Chỉ số quá trình chỉ có ý nghĩa khi giúp giải thích vì sao kết quả đạt hoặc không đạt.

Ví dụ, “90% học viên hoàn thành khóa học” là một chỉ số hoạt động. Nó không đồng nghĩa với “90% học viên đạt năng lực mục tiêu”.

Một chỉ số tốt phải có định nghĩa đo lường rõ ràng

Sau khi xác định điều cần đo, cần biến nó thành một định nghĩa có thể vận hành.

Mỗi chỉ số nên trả lời được ít nhất:

·         Đo cái gì?

·         Đơn vị đo là gì?

·         Dữ liệu lấy từ đâu?

·         Đo khi nào?

·         Ai hoặc cái gì được đánh giá?

·         Công thức tính thế nào?

·         Mức nào được xem là đạt?

Ví dụ:

Chỉ số: Tỷ lệ người học giải quyết đúng bài toán tình huống

Công thức: Số người đạt tiêu chí / Tổng số người được đánh giá × 100%

Nguồn dữ liệu: Bài đánh giá tình huống

Thời điểm đo: Cuối mô-đun

Tiêu chí đạt: Theo rubric đã xác định trước

Cách này biến một khái niệm chung thành dữ liệu có thể kiểm tra và so sánh.

Thiết kế ngưỡng đo phù hợp với mục tiêu

Có chỉ số nhưng không có ngưỡng đánh giá thì rất khó xác định kết quả có đạt hay không.

Ngưỡng có thể được thiết lập theo:

·         Chuẩn đầu ra

·         Rubric

·         Mức thành thạo yêu cầu

·         Điểm chuẩn định trước

·         Mức cải thiện so với đầu kỳ

·         Tiêu chí hiệu suất

Điều quan trọng là ngưỡng phải gắn với mục tiêu.

Ví dụ, nếu mục tiêu là “thực hiện thành thạo một quy trình”, chỉ sử dụng mức “đã hoàn thành” có thể chưa đủ. Cần xác định thêm tiêu chí về độ chính xác, lỗi cho phép, tính độc lập hoặc chất lượng sản phẩm nếu những yếu tố đó nằm trong mục tiêu.

Kết hợp nhiều chỉ số khi một mục tiêu quá phức tạp

Một mục tiêu học tập phức tạp thường không thể đại diện đầy đủ bằng một con số duy nhất.

Ví dụ, năng lực thuyết trình có thể bao gồm:

·         Độ chính xác của nội dung

·         Cấu trúc lập luận

·         Khả năng sử dụng bằng chứng

·         Khả năng trình bày

·         Khả năng trả lời câu hỏi

Khi đó có thể sử dụng một nhóm chỉ số, nhưng mỗi chỉ số phải có nhiệm vụ riêng. Không nên tạo quá nhiều chỉ số chỉ để làm hệ thống trông đầy đủ hơn.

Nguyên tắc hữu ích là:

Một mục tiêu quan trọng → một nhóm bằng chứng đủ để chứng minh mục tiêu đã đạt

Thay vì:

Một mục tiêu → thật nhiều chỉ số nhưng không chỉ số nào phản ánh trực tiếp kết quả

Đảm bảo chỉ số đo đúng thứ cần đo

Một chỉ số có thể dễ thu thập nhưng vẫn không phù hợp.

Chẳng hạn, số phút người học đăng nhập hệ thống rất dễ đo. Nhưng nếu mục tiêu là “phân tích được một vấn đề phức tạp”, thời gian đăng nhập chỉ là dữ liệu hành vi, không phải bằng chứng trực tiếp về năng lực phân tích.

Vì vậy, cần kiểm tra quan hệ:

Mục tiêu → Chỉ số → Bằng chứng

Nếu bỏ chỉ số đó đi mà vẫn không ảnh hưởng đáng kể đến khả năng kết luận người học có đạt mục tiêu hay không, chỉ số có thể không phải là chỉ số cốt lõi.

Đưa dữ liệu định tính vào đúng chỗ

Không phải mọi kết quả học tập đều nên ép thành một con số.

Một số năng lực như lập luận, sáng tạo, phản biện hoặc chất lượng sản phẩm có thể cần dữ liệu định tính thông qua rubric, phản hồi hoặc đánh giá chuyên gia.

Trong trường hợp này, điều quan trọng không phải biến mọi thứ thành một con số đơn giản, mà là xây dựng tiêu chí đánh giá nhất quán.

Ví dụ, thay vì chỉ ghi “lập luận tốt”, rubric có thể mô tả các mức độ:

·         Luận điểm rõ ràng và phù hợp

·         Bằng chứng liên quan trực tiếp

·         Mối liên hệ giữa bằng chứng và kết luận được giải thích

·         Có xem xét giới hạn hoặc phản biện

Như vậy, dữ liệu định tính vẫn có cấu trúc và có thể sử dụng để đánh giá tiến bộ.

Đừng nhầm chỉ số học tập với chỉ số quản lý đào tạo

Một hệ thống giáo dục thường có rất nhiều dữ liệu:

·         Tỷ lệ tham gia

·         Tỷ lệ hoàn thành

·         Tỷ lệ bỏ học

·         Thời lượng học

·         Mức độ truy cập hệ thống

·         Điểm kiểm tra

·         Mức độ đạt chuẩn đầu ra

Nhưng không phải tất cả đều là chỉ số học tập theo cùng một nghĩa.

Chỉ số quản lý cho biết hoạt động đào tạo đang diễn ra thế nào.

Chỉ số học tập phải giúp trả lời câu hỏi:

Người học đã thay đổi hoặc đạt được điều gì so với mục tiêu?

Hai nhóm chỉ số có thể được dùng cùng nhau, nhưng không nên dùng một nhóm để thay thế nhóm còn lại.

Có thể kiểm tra một chỉ số bằng “chuỗi bằng chứng”

Trước khi đưa chỉ số vào hệ thống, hãy kiểm tra theo chuỗi:

Mục tiêu học tập

↓

Kết quả đầu ra

↓

Hành vi có thể quan sát

↓

Chỉ số đo lường

↓

Nguồn dữ liệu

↓

Tiêu chí đạt

↓

Cách diễn giải kết quả

Nếu có một mắt xích bị đứt, chỉ số đó chưa thực sự hoàn chỉnh.

Ví dụ:

Mục tiêu: Người học phân tích được dữ liệu

→ Kết quả đầu ra: Tạo và giải thích được một phân tích dữ liệu

→ Hành vi: Xử lý dữ liệu, lựa chọn phương pháp và giải thích kết quả

→ Chỉ số: Tỷ lệ tiêu chí phân tích đạt chuẩn

→ Dữ liệu: Bài thực hành

→ Tiêu chí đạt: Đạt các tiêu chí bắt buộc trong rubric

→ Diễn giải: Xác định mức độ thành thạo thay vì chỉ nhìn vào số lần hoàn thành bài

Chuỗi này giúp chỉ số luôn quay trở lại mục tiêu ban đầu.

Một số lỗi thường gặp khi thiết kế chỉ số học tập

Chọn chỉ số vì dữ liệu dễ lấy

Dữ liệu có sẵn không đồng nghĩa với dữ liệu có giá trị.

Dùng một chỉ số cho mọi mục tiêu

Kiến thức, kỹ năng và năng lực vận dụng cần những loại bằng chứng khác nhau.

Đo hoạt động thay cho kết quả

“Hoàn thành khóa học” không tự động có nghĩa là “đạt năng lực”.

Không xác định tiêu chí đạt

Có số liệu nhưng không biết mức nào được xem là đạt thì rất khó ra quyết định.

Dùng chỉ số định tính cho một kết luận có thể đo được

Khi mục tiêu liên quan đến tỷ lệ, mức độ chính xác, hiệu suất hoặc mức đạt chuẩn, nên ưu tiên dữ liệu có thể kiểm chứng thay vì các mô tả như “tốt”, “cao” hoặc “hiệu quả”.

Có quá nhiều chỉ số

Một hệ thống quá nhiều chỉ số có thể làm mất trọng tâm và khiến việc thu thập dữ liệu trở thành mục tiêu thay vì hỗ trợ học tập.

Khung thiết kế chỉ số có thể áp dụng thực tế

Một mẫu đơn giản có thể gồm:

Một chỉ số chỉ nên được giữ lại khi toàn bộ các thành phần trên có quan hệ logic với nhau.

Về bản chất, thiết kế chỉ số học tập không phải là tìm một con số đẹp để báo cáo. Đó là quá trình chuyển mục tiêu giáo dục thành bằng chứng có thể quan sát, đo lường và diễn giải.

Cách thiết kế đáng tin cậy nhất là bắt đầu từ mục tiêu, xác định rõ hành vi hoặc kết quả đầu ra, chọn chỉ số phản ánh trực tiếp kết quả đó, quy định nguồn dữ liệu và ngưỡng đạt, rồi kiểm tra lại xem dữ liệu thu được có thực sự cho phép kết luận mục tiêu đã đạt hay chưa.