Những hạn chế của learning analytics

Các hạn chế phổ biến nhất tập trung vào chất lượng dữ liệu, khả năng giải thích kết quả, thiên lệch, quyền riêng tư và tính hữu ích của kết quả phân tích trong thực tế.

Dữ liệu không đầy đủ và không phản ánh toàn bộ quá trình học

Learning analytics phụ thuộc trực tiếp vào những gì hệ thống có thể thu thập. Dữ liệu từ LMS, nền tảng học trực tuyến, bài kiểm tra, lượt truy cập hoặc tương tác diễn đàn chỉ phản ánh một phần hành vi học tập.

Một người học có thể đăng nhập ít nhưng vẫn học hiệu quả thông qua tài liệu ngoại tuyến. Ngược lại, số lần truy cập cao không nhất thiết chứng minh người học đã hiểu bài. Khi một khía cạnh của hoạt động học tập không được ghi nhận, mô hình phân tích có thể nhìn thấy một phiên bản không đầy đủ của thực tế.

Chất lượng dữ liệu cũng là vấn đề quan trọng. Dữ liệu có thể thiếu trường thông tin, sai định dạng, trùng lặp, không đồng nhất giữa các hệ thống hoặc thay đổi cách ghi nhận theo thời gian. Khi dữ liệu đầu vào không đáng tin cậy, kết quả phân tích có thể thiếu ổn định dù thuật toán xử lý chính xác.

Một hạn chế khác là tính đại diện. Mô hình được xây dựng từ một nhóm người học, một khóa học hoặc một môi trường cụ thể không nhất thiết hoạt động tương tự trong bối cảnh khác. Vì vậy, kết quả từ learning analytics cần được hiểu trong phạm vi dữ liệu và bối cảnh mà nó được tạo ra.

Kết quả phân tích dễ bị diễn giải quá mức

Một trong những hạn chế quan trọng của learning analytics là dữ liệu thường cho thấy mối liên hệ, nhưng không tự động chứng minh nguyên nhân.

Ví dụ, hệ thống có thể phát hiện rằng người học ít tương tác với tài liệu thường có kết quả thấp hơn. Điều này không đồng nghĩa với việc ít tương tác là nguyên nhân trực tiếp dẫn đến kết quả thấp. Có thể tồn tại các yếu tố khác như nền tảng kiến thức, điều kiện học tập, thời gian dành cho công việc hoặc mức độ khó của môn học.

Do đó, một chỉ số như số lần đăng nhập, thời lượng học, điểm số hoặc số bài nộp không nên được xem như một đại diện hoàn chỉnh cho "mức độ học tập". Ý nghĩa của chỉ số phụ thuộc vào cách nó được định nghĩa, bối cảnh thu thập và mục đích sử dụng.

Đây cũng là lý do tính giải thích của mô hình rất quan trọng. Một kết quả dự báo chỉ hữu ích khi giáo viên hoặc nhà quản lý có thể hiểu tương đối rõ nó dựa trên dữ liệu nào, phản ánh điều gì và không phản ánh điều gì. Nếu chỉ có một điểm số hoặc cảnh báo mà không có bối cảnh, người sử dụng dễ biến một tín hiệu phân tích thành một phán đoán về người học.

Thiên lệch dữ liệu có thể dẫn đến kết quả không công bằng

Learning analytics có thể kế thừa thiên lệch từ dữ liệu, cách lựa chọn biến, cách gán nhãn hoặc chính môi trường giáo dục nơi dữ liệu được tạo ra.

Chẳng hạn, nếu một nhóm người học có điều kiện truy cập công nghệ khác với nhóm khác, các chỉ số về thời gian trực tuyến hoặc hoạt động trên nền tảng có thể phản ánh điều kiện tiếp cận thay vì năng lực học tập. Nếu một mô hình được huấn luyện chủ yếu trên dữ liệu của một nhóm, khả năng dự báo cho những nhóm khác có thể kém hơn.

Thiên lệch cũng có thể xuất hiện ở giai đoạn diễn giải. Một hệ thống có thể xác định một người học là "có nguy cơ" dựa trên một số tín hiệu thống kê, nhưng nhãn này không đồng nghĩa với kết luận rằng người học chắc chắn sẽ thất bại.

Vì vậy, kết quả analytics nên được xem là tín hiệu để tìm hiểu thêm thay vì một quyết định tự động. Đặc biệt với những quyết định ảnh hưởng trực tiếp đến cơ hội học tập, hỗ trợ hoặc đánh giá người học, cần có kiểm tra của con người và xem xét bối cảnh cụ thể.

Quyền riêng tư và quản trị dữ liệu là hạn chế cốt lõi

Learning analytics càng phát triển thì lượng dữ liệu về người học được thu thập càng có thể tăng. Dữ liệu này có thể bao gồm kết quả học tập, hành vi truy cập, tương tác, lịch sử hoạt động và trong một số hệ thống còn có dữ liệu từ nhiều nguồn khác nhau.

Vấn đề không chỉ nằm ở việc dữ liệu có được bảo mật hay không. Cần xem xét cả việc dữ liệu được thu thập vì mục đích gì, ai được quyền truy cập, được lưu trong bao lâu, có được chia sẻ cho bên thứ ba hay không và người học có biết dữ liệu của mình đang được sử dụng như thế nào hay không.

Có một khác biệt quan trọng giữa có thể thu thập dữ liệu và cần phải thu thập dữ liệu. Việc một dữ liệu có giá trị phân tích không có nghĩa là luôn cần thu thập nó. Thu thập quá mức có thể làm tăng rủi ro về quyền riêng tư mà không tạo ra giá trị tương xứng.

Một hệ thống learning analytics vì vậy cần gắn với nguyên tắc tối thiểu hóa dữ liệu, kiểm soát quyền truy cập, bảo mật, minh bạch mục đích sử dụng và cơ chế quản trị rõ ràng. Trong các bối cảnh có yêu cầu pháp lý cụ thể, việc xử lý dữ liệu còn phải tuân thủ các quy định hiện hành về bảo vệ dữ liệu và quyền riêng tư.

Hệ thống có thể khó tích hợp và khó chuyển kết quả thành hành động

Learning analytics thường không tồn tại độc lập. Dữ liệu có thể đến từ LMS, hệ thống quản lý sinh viên, công cụ đánh giá, nền tảng họp trực tuyến hoặc các ứng dụng học tập khác. Các hệ thống này có thể sử dụng cấu trúc dữ liệu, định danh và cách ghi nhận khác nhau.

Vì vậy, thách thức không chỉ là xây dựng mô hình phân tích mà còn là duy trì dữ liệu nhất quán giữa các nguồn. Nếu dữ liệu không liên thông hoặc quy trình cập nhật không ổn định, kết quả phân tích có thể chậm, thiếu hoặc khó sử dụng.

Ngay cả khi hệ thống tạo ra dự báo tốt, vẫn còn một câu hỏi khác: giáo viên hoặc nhà trường sẽ làm gì với kết quả đó?

Một cảnh báo "người học có nguy cơ" chỉ có giá trị khi dẫn tới một hành động hỗ trợ phù hợp. Nếu không có quy trình phản hồi, nguồn lực can thiệp hoặc hướng dẫn diễn giải, analytics có thể tạo ra nhiều dashboard và cảnh báo nhưng không cải thiện đáng kể hoạt động giáo dục.

Learning analytics không đồng nghĩa với cải thiện kết quả học tập

Đây là giới hạn cần phân biệt rõ nhất.

Learning analytics có thể phát hiện mẫu, dự báo nguy cơ hoặc cung cấp thông tin cho quyết định. Nhưng việc hệ thống dự báo chính xác không tự động có nghĩa là kết quả học tập sẽ được cải thiện.

Chuỗi tác động thực tế thường dài hơn:

Dữ liệu → Phân tích → Diễn giải → Quyết định → Can thiệp → Phản ứng của người học → Kết quả học tập

Sai sót có thể xảy ra ở bất kỳ bước nào. Một mô hình tốt nhưng được diễn giải sai vẫn có thể dẫn đến quyết định không phù hợp. Một cảnh báo đúng nhưng không có biện pháp hỗ trợ cũng không tạo ra thay đổi. Ngược lại, một can thiệp hiệu quả trong bối cảnh này chưa chắc hiệu quả trong bối cảnh khác.

Vì thế, learning analytics nên được coi là công cụ hỗ trợ ra quyết định chứ không phải cơ chế tự động thay thế phán đoán chuyên môn. Giá trị cuối cùng của hệ thống nằm ở việc thông tin phân tích có giúp con người đưa ra hành động tốt hơn và tạo ra kết quả giáo dục tốt hơn hay không.

Learning analytics không bị giới hạn chỉ bởi thuật toán. Những hạn chế quan trọng hơn thường nằm ở dữ liệu đầu vào, cách diễn giải, tính công bằng, quyền riêng tư, khả năng tích hợp và khoảng cách giữa dự báo với hành động thực tế. Vì vậy, kết quả analytics nên được xem là bằng chứng hỗ trợ chứ không phải sự thật tuyệt đối về người học.

Một hệ thống learning analytics đáng tin cậy cần trả lời được ba câu hỏi trước khi sử dụng kết quả: Dữ liệu có phản ánh đúng điều cần đo không? Kết quả có thể được giải thích và giới hạn đến đâu? Kết quả có được sử dụng theo cách minh bạch, công bằng và bảo vệ quyền của người học không?