Cách đánh giá phương pháp học tập số

Vì vậy, đánh giá phương pháp học tập số nên được thực hiện theo một chuỗi gồm mục tiêu → kết quả → quá trình → trải nghiệm → khả năng áp dụng → giới hạn. Cách tiếp cận này giúp phân biệt giữa “người học tương tác nhiều với công nghệ” và “công nghệ thực sự cải thiện việc học”.

Xác định trước mục tiêu và tiêu chí đánh giá

Muốn biết một phương pháp có hiệu quả hay không, trước hết phải xác định nó được kỳ vọng cải thiện điều gì. Một phương pháp có thể phù hợp với mục tiêu tăng kiến thức nền nhưng chưa chắc phù hợp để phát triển kỹ năng thực hành, giải quyết vấn đề hoặc ghi nhớ dài hạn.

Có thể chia mục tiêu đánh giá thành bốn nhóm:

·         Kết quả học tập: người học đạt được bao nhiêu kiến thức hoặc kỹ năng sau quá trình học

·         Mức độ duy trì: kiến thức có còn được ghi nhớ sau một khoảng thời gian hay không

·         Khả năng chuyển giao: người học có áp dụng được kiến thức vào bài tập, tình huống hoặc nhiệm vụ mới hay không

·         Trải nghiệm học tập: người học có thể duy trì sự tham gia, hiểu hướng dẫn và sử dụng phương pháp một cách thực tế hay không

Từ đó, tiêu chí cần đo phải gắn trực tiếp với mục tiêu. Chẳng hạn, nếu mục tiêu là cải thiện khả năng giải quyết vấn đề thì chỉ số thời gian đăng nhập hoặc số bài đã xem không thể thay thế cho kết quả của nhiệm vụ giải quyết vấn đề.

Điểm quan trọng là phải xác định mốc đo trước khi triển khai phương pháp. Khi không có dữ liệu ban đầu, rất khó biết kết quả sau đó đến từ phương pháp học tập hay chỉ phản ánh sự khác biệt vốn có giữa các nhóm người học.

Đo kết quả học tập thay vì chỉ đo mức độ tương tác

Đây là lớp đánh giá cốt lõi. Một phương pháp học tập số chỉ có giá trị khi nó tạo ra thay đổi có ý nghĩa đối với năng lực cần học.

Cách đơn giản là thực hiện đo lường trước và sau quá trình học. Có thể theo dõi:

·         Điểm kiểm tra trước và sau

·         Tỷ lệ trả lời đúng

·         Tỷ lệ hoàn thành nhiệm vụ

·         Thời gian cần để hoàn thành cùng một loại nhiệm vụ

·         Tỷ lệ lỗi

·         Kết quả thực hiện một nhiệm vụ mới có cùng mục tiêu năng lực

Ví dụ, một khóa học trực tuyến có tỷ lệ hoàn thành 90% nhưng điểm đánh giá năng lực chỉ tăng nhẹ. Trong trường hợp đó, tỷ lệ hoàn thành cho thấy người học đã đi hết khóa học, nhưng chưa chứng minh phương pháp tạo ra hiệu quả học tập tương ứng.

Ngược lại, nếu điểm năng lực tăng rõ rệt và mức độ sai sót giảm ở nhiệm vụ sau đào tạo, bằng chứng về hiệu quả sẽ mạnh hơn.

Cũng cần phân biệt kết quả ngay sau khi học với kết quả được duy trì. Một phương pháp có thể giúp người học làm bài kiểm tra tốt ngay lập tức nhưng hiệu quả thực tế thấp hơn nếu kiến thức suy giảm nhanh sau đó.

Đánh giá khả năng ghi nhớ và áp dụng vào tình huống mới

Kết quả ngay sau khóa học chưa đủ để kết luận về chất lượng của phương pháp học tập số. Hai câu hỏi tiếp theo là người học có nhớ được hay không và có dùng được hay không.

Đo khả năng ghi nhớ

Có thể thực hiện một lần đo sau khoảng thời gian nhất định thay vì chỉ kiểm tra ngay khi kết thúc bài học. So sánh kết quả này với kết quả sau học cho phép nhận diện mức độ duy trì kiến thức.

Điều này đặc biệt quan trọng với các phương pháp dựa nhiều vào video, flashcard, luyện tập thích ứng hoặc hệ thống nhắc lại. Số lần tương tác cao không tự động đồng nghĩa với khả năng ghi nhớ tốt hơn.

Đo khả năng chuyển giao

Khả năng áp dụng cần được kiểm tra bằng nhiệm vụ khác với ví dụ người học đã luyện trực tiếp.

Một phương pháp có dấu hiệu hiệu quả hơn khi người học có thể:

·         Giải quyết một bài toán tương tự nhưng không sao chép mẫu cũ

·         Áp dụng kiến thức trong bối cảnh mới

·         Kết hợp nhiều khái niệm để xử lý một nhiệm vụ

·         Giải thích được vì sao lựa chọn một cách làm

·         Giảm lỗi khi thực hiện nhiệm vụ thực tế

Đây là điểm thường bị bỏ qua khi đánh giá học tập số. Người học có thể đạt điểm cao trong bài kiểm tra ghi nhớ nhưng vẫn gặp khó khăn khi phải sử dụng kiến thức độc lập.

Đánh giá trải nghiệm và hành vi học tập cùng với kết quả

Trải nghiệm người học không thay thế cho kết quả học tập, nhưng nó giúp giải thích vì sao một phương pháp tạo ra hoặc không tạo ra kết quả.

Có thể xem xét:

Mức độ tham gia: người học có duy trì việc học theo lịch hay nhanh chóng bỏ dở.

Mức độ hoàn thành: tỷ lệ hoàn thành bài, nhiệm vụ hoặc mô-đun có phản ánh khả năng theo đuổi phương pháp.

Tải nhận thức và khả năng sử dụng: hướng dẫn có dễ hiểu, giao diện có gây cản trở, lượng thông tin mỗi lần học có phù hợp hay không.

Mức độ chủ động: người học có tự điều chỉnh tiến độ, tìm kiếm phản hồi và quay lại nội dung khi cần hay chỉ làm theo yêu cầu tối thiểu.

Một khảo sát hài lòng cao nhưng kết quả học tập thấp cần được xem xét thận trọng. Ngược lại, một phương pháp có giao diện không quá hấp dẫn nhưng giúp người học tiến bộ rõ ràng vẫn có thể là phương pháp hiệu quả về mặt học tập.

Vì vậy, trải nghiệm nên được dùng như dữ liệu giải thích, không phải bằng chứng duy nhất để kết luận hiệu quả.

So sánh hiệu quả với nguồn lực và điều kiện triển khai

Một phương pháp có thể tạo ra kết quả tốt nhưng chưa chắc là lựa chọn tốt nhất trong mọi bối cảnh. Đánh giá còn phải xét đến điều kiện để duy trì phương pháp.

Các yếu tố cần xem xét gồm:

·         Thời gian mà người học và người dạy phải bỏ ra

·         Chi phí nền tảng, nội dung và vận hành

·         Yêu cầu về thiết bị hoặc kết nối

·         Mức độ hỗ trợ của người dạy

·         Khả năng mở rộng cho nhiều người học

·         Mức độ phù hợp với bối cảnh học tập thực tế

Ví dụ, một phương pháp tạo ra mức cải thiện lớn nhưng đòi hỏi nhiều hỗ trợ thủ công cho từng người học có thể khó mở rộng. Ngược lại, một phương pháp tạo ra cải thiện vừa phải nhưng có thể triển khai ổn định trên quy mô lớn có thể phù hợp hơn với mục tiêu của tổ chức.

Do đó, đánh giá nên đặt câu hỏi không chỉ là “phương pháp có hiệu quả không?” mà còn là “hiệu quả đó có đáng với nguồn lực và điều kiện cần thiết không?”

Tổng hợp bằng chứng để đưa ra kết luận

Không nên kết luận từ một chỉ số đơn lẻ. Một đánh giá đáng tin cậy cần ghép ít nhất ba lớp bằng chứng:

1.    Kết quả: người học cải thiện như thế nào

2.    Quá trình: người học thực sự học và sử dụng phương pháp ra sao

3.    Trải nghiệm và điều kiện: điều gì hỗ trợ hoặc cản trở hiệu quả

Có thể tổ chức thành một bảng đánh giá:

Bằng chứng mạnh nhất thường xuất hiện khi các nhóm chỉ số cùng hướng. Chẳng hạn, kết quả học tập tăng, khả năng áp dụng được cải thiện và người học vẫn duy trì được hành vi học tập sau giai đoạn thử nghiệm sẽ thuyết phục hơn nhiều so với chỉ số tương tác cao.

Khi các chỉ số mâu thuẫn nhau, không nên cố gộp chúng thành một điểm số duy nhất. Sự mâu thuẫn chính là tín hiệu cần tìm nguyên nhân: phương pháp có thể tạo hứng thú nhưng chưa tạo đủ học tập, hoặc tạo kết quả tốt nhưng có chi phí vận hành quá cao.

Những giới hạn cần kiểm tra trước khi kết luận phương pháp hiệu quả

Kết quả đo có thể bị ảnh hưởng bởi nhiều yếu tố ngoài phương pháp. Vì vậy, cần kiểm tra các giới hạn trước khi quy toàn bộ thay đổi cho công nghệ.

Một số câu hỏi quan trọng là:

·         Người học có thay đổi vì đã quen với bài kiểm tra hoặc nhiệm vụ không?

·         Nhóm được đánh giá có tương đương về trình độ ban đầu không?

·         Kết quả có duy trì sau khi ngừng hỗ trợ hay không?

·         Công nghệ có thực sự là nguyên nhân tạo ra cải thiện hay chỉ giúp thay thế một cách triển khai cũ?

·         Phương pháp có hiệu quả với mọi nhóm người học hay chỉ với một nhóm cụ thể?

Sai lầm phổ biến nhất là đồng nhất mức độ sử dụng công nghệ với hiệu quả học tập. Một nền tảng có nhiều lượt đăng nhập, nhiều phút xem nội dung hoặc nhiều tương tác chưa đủ để chứng minh người học hiểu sâu hơn.

Cũng không nên xem phản hồi tích cực là bằng chứng thay thế cho kết quả. Người học có thể thích một phương pháp vì nó thuận tiện, trực quan hoặc thú vị, trong khi mức tiến bộ về năng lực lại không tương ứng.

Vì vậy, kết luận tốt nhất nên được diễn đạt theo điều kiện: phương pháp hiệu quả ở mục tiêu nào, với nhóm người học nào, trong khoảng thời gian nào và với nguồn lực nào.

Một phương pháp học tập số được đánh giá tốt không phải là phương pháp có nhiều tính năng nhất, cũng không phải phương pháp tạo ra mức tương tác cao nhất. Giá trị của nó nằm ở bằng chứng cho thấy người học đạt kết quả tốt hơn, duy trì được kiến thức, áp dụng được vào tình huống mới và có thể tiếp tục sử dụng phương pháp trong điều kiện thực tế.

Vì thế, đánh giá phương pháp học tập số nên dựa trên một hệ thống bằng chứng kết hợp giữa kết quả học tập, khả năng duy trì và chuyển giao, hành vi học tập, trải nghiệm người học và nguồn lực triển khai. Cách đánh giá này giúp tránh kết luận dựa trên một chỉ số đơn lẻ và cho phép xác định rõ phương pháp thực sự hiệu quả ở đâu, hiệu quả đến mức nào và trong điều kiện nào.