Dữ liệu thiếu ảnh hưởng đến đánh giá học tập thế nào?

Mức độ sai lệch phụ thuộc vào việc dữ liệu thiếu ở đâu, thiếu vì lý do gì và phần dữ liệu còn lại có đại diện cho toàn bộ người học hay không. Vì vậy, không nên mặc định rằng thiếu một vài điểm số chỉ khiến kết quả “kém đầy đủ”; trong một số trường hợp, nó còn làm thay đổi hướng đánh giá.

Dữ liệu thiếu làm thay đổi bức tranh về người học như thế nào?

Đánh giá học tập thường dựa trên nhiều quan sát nối tiếp nhau, chẳng hạn điểm kiểm tra, bài tập, thời gian tham gia, sản phẩm học tập hoặc kết quả đánh giá theo từng giai đoạn. Khi một phần quan sát biến mất, người đánh giá phải suy luận từ tập dữ liệu không hoàn chỉnh.

Vấn đề quan trọng là phần bị thiếu có thể không giống phần còn lại. Nếu dữ liệu bị thiếu hoàn toàn ngẫu nhiên, tác động chủ yếu có thể là giảm lượng thông tin và giảm độ chính xác của ước lượng. Nhưng nếu người học có kết quả thấp thường xuyên bỏ bài hoặc không tham gia một số hoạt động, dữ liệu thiếu có thể tập trung ở chính nhóm có nguy cơ thấp hơn trong kết quả đánh giá.

Khi đó, tập dữ liệu quan sát được có thể tạo ra hình ảnh quá tích cực về năng lực chung. Ngược lại, nếu người học có kết quả tốt lại ít tham gia một hình thức đánh giá cụ thể, mức năng lực quan sát được cũng có thể bị đánh giá thấp.

Vì vậy, dữ liệu thiếu cần được xem xét như một đặc điểm của quá trình thu thập dữ liệu, chứ không chỉ là một ô trống trong bảng điểm.

Vì sao dữ liệu thiếu có thể gây sai lệch kết quả đánh giá?

Cơ chế sai lệch xuất hiện khi xác suất có dữ liệu quan sát liên quan đến chính đặc điểm đang được đánh giá hoặc đến các yếu tố liên quan chặt chẽ với đặc điểm đó.

Ví dụ, một lớp có 100 người học nhưng chỉ có 80 bài kiểm tra cuối kỳ được ghi nhận. Nếu 20 người không có điểm được phân bổ ngẫu nhiên, điểm trung bình của 80 người có thể vẫn cung cấp một ước lượng hữu ích, dù độ tin cậy giảm do quy mô quan sát nhỏ hơn.

Nhưng nếu 20 người không có điểm chủ yếu là những người đã nghỉ học nhiều, thường xuyên nộp bài muộn hoặc có kết quả thấp ở các lần đánh giá trước, việc chỉ phân tích 80 người còn lại sẽ không còn tương đương với phân tích toàn bộ lớp.

Về mặt thống kê, đây là khác biệt giữa việc thiếu dữ liệu mà không làm thay đổi đáng kể tính đại diện của mẫu và việc thiếu dữ liệu có liên quan đến biến kết quả hoặc các yếu tố dự báo kết quả. Trong trường hợp thứ hai, việc loại bỏ các quan sát thiếu dữ liệu có thể tạo ra sai lệch có hệ thống.

Những khía cạnh nào của người học dễ bị đánh giá sai?

Năng lực hiện tại

Nếu dữ liệu thiếu tập trung ở một số loại nhiệm vụ, người đánh giá có thể đang đo một tập con năng lực thay vì toàn bộ năng lực cần đánh giá.

Chẳng hạn, nếu phần lớn dữ liệu còn lại là câu hỏi trắc nghiệm nhưng các bài thực hành bị thiếu, hồ sơ có thể phản ánh tốt hơn khả năng nhận biết hoặc ghi nhớ so với khả năng vận dụng.

Mức độ tiến bộ

Tiến bộ cần được nhìn qua chuỗi quan sát theo thời gian. Khi một hoặc nhiều mốc bị thiếu, có thể khó phân biệt giữa:

·         Người học thực sự tiến bộ

·         Người học tiến bộ không đều

·         Người học chỉ có một vài kết quả tốt hoặc kém nổi bật

·         Người học thay đổi hành vi học tập nhưng sự thay đổi đó không được ghi nhận

Khoảng trống dữ liệu vì vậy có thể làm đường xu hướng trở nên đứt quãng hoặc khiến một thay đổi ngắn hạn bị hiểu thành xu hướng dài hạn.

Nhu cầu hỗ trợ

Một hệ thống đánh giá thường được dùng không chỉ để xếp loại mà còn để phát hiện người học cần can thiệp. Nếu những người có nguy cơ cao thường là nhóm có dữ liệu thiếu nhiều hơn, việc chỉ dựa trên dữ liệu quan sát được có thể làm giảm khả năng phát hiện đúng nhóm cần hỗ trợ.

Đây là rủi ro thực tế vì dữ liệu thiếu không nhất thiết phân bố đều giữa các nhóm người học.

Khi nào dữ liệu thiếu làm tăng sai lệch và khi nào chủ yếu làm giảm độ chính xác?

Điểm cần phân biệt là sai lệch và độ không chắc chắn không phải một vấn đề.

Khi thiếu dữ liệu nhưng phần thiếu gần như không liên quan đến kết quả đánh giá, tác động nổi bật có thể là giảm kích thước mẫu. Khi đó, ước lượng thường trở nên kém ổn định hơn và khoảng không chắc chắn rộng hơn, nhưng hướng sai lệch chưa chắc thay đổi đáng kể.

Ngược lại, khi dữ liệu thiếu có cấu trúc, chẳng hạn một nhóm người học có xác suất bỏ bài cao hơn nhóm khác, việc phân tích phần dữ liệu còn lại có thể làm thay đổi cả mức trung bình, phân bố kết quả hoặc xếp hạng giữa các nhóm.

Do đó, không thể dùng một ngưỡng phần trăm duy nhất để kết luận rằng “thiếu dưới X% là an toàn”. Ví dụ, thiếu 5% dữ liệu nhưng tập trung gần như toàn bộ ở một nhóm có nguy cơ cao có thể đáng lo hơn thiếu 15% dữ liệu được phân bổ tương đối đồng đều.

Điều cần kiểm tra là mẫu hình của dữ liệu thiếu, không chỉ là tỷ lệ dữ liệu thiếu.

Đánh giá người học thế nào khi dữ liệu không đầy đủ?

Trước hết, cần xác định dữ liệu nào bị thiếu và dữ liệu đó thuộc khâu nào của quá trình đánh giá. Một điểm kiểm tra bị thiếu có ý nghĩa khác với việc toàn bộ chuỗi hoạt động thực hành của người học không được ghi nhận.

Tiếp theo, cần so sánh nhóm có dữ liệu thiếu với nhóm có dữ liệu đầy đủ theo những biến đã có. Những khác biệt đáng kể về điểm trước đó, mức tham gia, thời điểm nộp bài hoặc các đặc điểm liên quan có thể là tín hiệu cho thấy dữ liệu thiếu không ngẫu nhiên.

Khi tỷ lệ và mẫu hình dữ liệu thiếu đủ lớn để ảnh hưởng đến kết luận, không nên chỉ đơn giản xóa các quan sát thiếu dữ liệu rồi tính lại điểm trung bình. Cách xử lý phải phù hợp với mục tiêu đánh giá và cơ chế thiếu dữ liệu.

Cuối cùng, kết luận cần thể hiện mức độ chắc chắn tương ứng với chất lượng dữ liệu. Một nhận định dựa trên hồ sơ đầy đủ không nên được trình bày với cùng mức chắc chắn như nhận định dựa trên một hồ sơ có nhiều khoảng trống có hệ thống.

Sai lầm phổ biến khi xử lý dữ liệu thiếu trong đánh giá học tập

Một sai lầm thường gặp là coi dữ liệu thiếu hoàn toàn giống với kết quả bằng 0. Hai trạng thái này không tương đương: “không có quan sát” không tự động có nghĩa là “người học không đạt”.

Sai lầm thứ hai là chỉ nhìn vào tỷ lệ dữ liệu thiếu. Tỷ lệ là chỉ báo cần thiết nhưng không đủ để đánh giá rủi ro sai lệch. Cần xem dữ liệu thiếu xuất hiện ở ai, ở thời điểm nào và ở loại nhiệm vụ nào.

Sai lầm thứ ba là loại bỏ toàn bộ người học có bất kỳ giá trị thiếu nào mà không kiểm tra tác động của việc loại bỏ này. Cách làm đó có thể làm giảm kích thước mẫu và, quan trọng hơn, làm thay đổi thành phần của nhóm được phân tích.

Một sai lầm khác là dùng dữ liệu còn lại để suy luận quá rộng. Điểm số còn quan sát được chỉ phản ánh những khía cạnh mà dữ liệu thực sự đo được; không nên biến một hồ sơ không đầy đủ thành kết luận toàn diện về năng lực của người học.

Khi dữ liệu thiếu xuất hiện trong đánh giá học tập, rủi ro lớn nhất không nằm ở việc “thiếu vài con số” mà ở khả năng phần dữ liệu còn lại không còn đại diện cho người học hoặc quá trình học tập thực tế. Dữ liệu thiếu có thể làm giảm độ chính xác, nhưng trong những trường hợp thiếu có cấu trúc, nó còn có thể tạo sai lệch về năng lực, tiến bộ và nhu cầu hỗ trợ. Vì vậy, đánh giá đáng tin cậy cần xem xét cả mức độ thiếu, mẫu hình thiếu và điều kiện tạo ra sự thiếu đó trước khi đưa ra kết luận.