Cách diễn giải dữ liệu học tập đúng bối cảnh

Dữ liệu học tập phải được hiểu cùng với cách dữ liệu được tạo ra

Bước đầu tiên của diễn giải dữ liệu học tập là xác định dữ liệu đang đo cái gì và được tạo ra như thế nào.

Điểm kiểm tra, tỷ lệ hoàn thành bài tập, số lần tham gia lớp, thời gian học hay kết quả khảo sát không phản ánh cùng một khía cạnh của việc học. Một chỉ số có thể phản ánh kết quả đầu ra, trong khi chỉ số khác phản ánh hành vi học tập hoặc điều kiện học tập.

Vì vậy, trước khi diễn giải một con số, cần làm rõ:

·         Đối tượng được đo là năng lực, kiến thức, hành vi hay mức độ tham gia

·         Dữ liệu được thu thập từ ai và trong khoảng thời gian nào

·         Công cụ đo là bài kiểm tra, khảo sát, quan sát hay dữ liệu hệ thống

·         Điều kiện thu thập có giống nhau giữa các nhóm hay không

·         Chỉ số đang được tính theo cá nhân, lớp, trường hay một quần thể lớn hơn

Đây là bước quan trọng vì cùng một con số có thể mang ý nghĩa khác nhau trong các bối cảnh khác nhau. Ngay cả các chương trình đánh giá quy mô lớn như PISA cũng lưu ý rằng dữ liệu cần được diễn giải cùng thông tin về thiết kế mẫu, cách đo, nguồn dữ liệu và bối cảnh giáo dục; khả năng so sánh giữa các nhóm không phải lúc nào cũng hoàn toàn bảo đảm.

Một cách diễn giải tốt vì thế luôn bắt đầu từ câu hỏi: “Con số này thực sự đại diện cho điều gì?”

Không nên đọc một chỉ số như một kết luận hoàn chỉnh

Một lỗi phổ biến là biến một chỉ số thành một kết luận lớn hơn nhiều so với những gì dữ liệu có thể chứng minh.

Chẳng hạn, học sinh A đạt 6/10 và học sinh B đạt 8/10. Từ dữ liệu này có thể nói rằng B đạt điểm cao hơn A trong bài đánh giá đó. Nhưng chưa thể tự động kết luận rằng B “học tốt hơn”, “hiểu sâu hơn” hay “sẽ tiếp tục có thành tích tốt hơn”.

Lý do là mỗi phép đo chỉ quan sát một phần của hiện tượng học tập.

Để tránh suy diễn quá mức, có thể tách diễn giải thành ba tầng:

Tầng 1 — Quan sát: Dữ liệu cho thấy điều gì?

Ví dụ: tỷ lệ hoàn thành bài tập của lớp giảm từ 82% xuống 68%.

Tầng 2 — Giải thích: Điều gì có thể liên quan đến thay đổi đó?

Có thể xuất hiện thay đổi về khối lượng bài tập, lịch học, độ khó, mức độ tham gia hoặc điều kiện học tập.

Tầng 3 — Kết luận: Dữ liệu hiện có cho phép khẳng định điều gì?

Chỉ nên đưa ra kết luận trong phạm vi mà bằng chứng thực sự hỗ trợ.

Cách tách ba tầng này giúp phân biệt dữ kiện, giả thuyết giải thích và kết luận. Đây là ranh giới quan trọng để tránh biến một tương quan hoặc một chênh lệch đơn lẻ thành quan hệ nhân quả.

Cần xem xét quy mô chênh lệch và độ không chắc chắn

Không phải mọi khác biệt giữa hai nhóm đều có ý nghĩa thực tế như nhau.

Một chênh lệch nhỏ có thể xuất hiện do biến động ngẫu nhiên, sai số đo hoặc cách chọn mẫu. Ngược lại, một chênh lệch lớn có thể đáng chú ý nhưng vẫn cần kiểm tra xem các nhóm có thực sự tương đương về điều kiện hay không.

Trong dữ liệu đánh giá giáo dục, kết quả thường là các ước lượng, chứ không phải giá trị tuyệt đối không có sai số. Ví dụ, OECD lưu ý rằng kết quả PISA chịu ảnh hưởng của cả sai số lấy mẫu và sai số đo; khoảng tin cậy cần được xem xét khi so sánh các ước lượng để tránh coi một khác biệt do bất định thống kê là khác biệt thực sự.

Do đó, khi đọc dữ liệu nên kiểm tra ít nhất:

·         Mức chênh lệch tuyệt đối là bao nhiêu

·         Chênh lệch đó có đáng kể về mặt thực tế hay chỉ lớn về mặt hình thức

·         Cỡ mẫu của từng nhóm có đủ để so sánh hay không

·         Có khoảng tin cậy hoặc thông tin về sai số hay không

·         Phương pháp tính và cách lấy mẫu có tạo ra thiên lệch hay không

Ví dụ, thay vì viết:

Lớp A học tốt hơn lớp B

nên diễn giải theo hướng:

Lớp A có điểm trung bình cao hơn lớp B trong bài đánh giá này; cần xem thêm độ không chắc chắn của ước lượng, cấu trúc mẫu và điều kiện đánh giá trước khi kết luận rằng năng lực học tập của hai lớp thực sự khác nhau.

Sự khác biệt nằm ở mức độ chắc chắn của kết luận.

Muốn hiểu nguyên nhân, phải kết hợp nhiều loại dữ liệu

Một điểm số hiếm khi đủ để giải thích vì sao người học đạt kết quả như vậy.

Ví dụ, nếu một nhóm học sinh có kết quả đọc hiểu giảm, chỉ nhìn điểm kiểm tra sẽ cho biết hiện tượng, nhưng chưa cho biết cơ chế. Để hiểu sâu hơn, có thể đối chiếu với dữ liệu về chuyên cần, bài làm, lỗi thường gặp, phản hồi của giáo viên, khảo sát học sinh và các điều kiện học tập liên quan.

Khi nhiều nguồn cùng chỉ ra một xu hướng, mức độ tin cậy của diễn giải thường cao hơn so với việc dựa vào một chỉ số duy nhất. Ngược lại, nếu các nguồn mâu thuẫn, đó không nhất thiết là dữ liệu “sai”; nó có thể cho thấy các chỉ số đang đo những khía cạnh khác nhau của quá trình học.

Một quy trình hợp lý là:

Kết quả → Mô tả mẫu hình → Đối chiếu nguồn dữ liệu khác → Tìm nguyên nhân khả dĩ → Kiểm tra giả thuyết → Kết luận trong giới hạn bằng chứng

Điểm cần tránh là chọn một nguyên nhân quen thuộc rồi dùng dữ liệu để hợp thức hóa nguyên nhân đó. Dữ liệu nên được dùng để kiểm tra giả thuyết, không chỉ để xác nhận điều người phân tích đã nghĩ từ trước.

Bối cảnh của người học quyết định cách diễn giải dữ liệu

Dữ liệu học tập không tồn tại tách biệt khỏi người học.

Cùng một điểm số nhưng có thể mang ý nghĩa khác nếu một học sinh vừa chuyển chương trình, đang học ngôn ngữ thứ hai, thay đổi giáo viên, nghỉ học nhiều, chuyển trường hoặc làm bài trong điều kiện khác với nhóm so sánh.

Bối cảnh cũng quan trọng khi so sánh giữa trường, lớp hoặc khu vực. OECD lưu ý rằng dữ liệu về môi trường học tập có thể không phản ánh đầy đủ toàn bộ quá trình học tập trước đó của học sinh; việc suy rộng từ một nguồn thông tin duy nhất cho cả trường hoặc hệ thống cũng có những hạn chế nhất định.

Vì vậy, trước khi so sánh hai nhóm, nên kiểm tra:

·         Hai nhóm có cùng mục tiêu và chương trình học không

·         Thời điểm đo có tương đương không

·         Công cụ và điều kiện đánh giá có giống nhau không

·         Thành phần người học có khác nhau đáng kể không

·         Có yếu tố bối cảnh nào ảnh hưởng đến khả năng tiếp cận việc học không

Điều này đặc biệt quan trọng khi dữ liệu được dùng để đánh giá giáo viên, chương trình hoặc nhà trường. Một kết quả thấp không nên ngay lập tức được quy thành một nguyên nhân duy nhất nếu dữ liệu chưa kiểm soát đầy đủ các yếu tố bối cảnh.

Một kết luận tốt phải đi kèm điều kiện, giới hạn và hành động phù hợp

Diễn giải dữ liệu học tập đúng bối cảnh không có nghĩa là tránh đưa ra kết luận. Mục tiêu là đưa ra kết luận vừa đủ mạnh so với bằng chứng.

Có thể sử dụng khung bốn bước:

1. Nêu điều dữ liệu cho thấy

Ví dụ: điểm trung bình của nhóm giảm so với lần đánh giá trước.

2. Nêu điều dữ liệu chưa chứng minh

Chưa thể khẳng định nguyên nhân giảm điểm chỉ từ hai lần đo.

3. Nêu điều kiện cần kiểm tra thêm

Cần đối chiếu độ khó bài đánh giá, thành phần người học, mức độ tham gia và dữ liệu quá trình.

4. Chuyển kết luận thành hành động

Nếu dữ liệu cho thấy một nhóm gặp khó ở một kỹ năng cụ thể, hành động phù hợp là kiểm tra sâu kỹ năng đó và thiết kế hỗ trợ tương ứng, thay vì gán nhãn chung rằng nhóm “học yếu”.

Một diễn giải đáng tin cậy thường có dạng:

Dữ liệu cho thấy X trong điều kiện Y; bằng chứng hiện có chưa đủ để khẳng định Z; cần kiểm tra thêm A và B trước khi đưa ra quyết định C.

Cấu trúc này giúp giữ đúng ranh giới giữa dữ liệu và suy luận.

Đặc biệt, không nên nhầm ý nghĩa thống kê với ý nghĩa giáo dục. Một khác biệt có thể đạt ngưỡng thống kê nhưng không đủ lớn để tạo ra thay đổi đáng kể trong thực hành; ngược lại, một thay đổi thực tế đáng chú ý cũng cần được xem xét trong mối quan hệ với độ không chắc chắn của phép đo.

Diễn giải đúng vì thế không phải là tìm ra một câu trả lời thật nhanh từ bảng số liệu. Đó là quá trình đi từ con số → bối cảnh → bằng chứng → giới hạn → quyết định mà không bỏ qua bước nào quan trọng.

Một nguyên tắc thực hành có thể dùng là: đừng hỏi dữ liệu “nói gì” trước khi hỏi dữ liệu “được tạo ra trong điều kiện nào, đo cái gì và không đo được cái gì”.

Khi làm được điều đó, dữ liệu học tập sẽ trở thành cơ sở để hiểu người học và cải thiện hoạt động dạy học, thay vì trở thành nguồn tạo ra những kết luận thiếu căn cứ.