Cách đánh giá hệ thống học tập số phù hợp nhu cầu

Điểm quan trọng là tách khả năng của hệ thống khỏi mức độ phù hợp. Một nền tảng có thể sở hữu nhiều chức năng nhưng vẫn không phù hợp nếu các chức năng đó không giải quyết đúng nhiệm vụ học tập. Ngược lại, một hệ thống đơn giản hơn có thể phù hợp hơn nếu đáp ứng tốt những yêu cầu có mức ưu tiên cao. Cách đánh giá đáng tin cậy vì thế cần kết hợp tiêu chí sư phạm, trải nghiệm người học, khả năng tiếp cận, dữ liệu, tích hợp kỹ thuật và kết quả thử nghiệm thực tế.

Xác định nhu cầu trước khi xem xét tính năng hệ thống

Nhu cầu học tập là điểm chuẩn để đánh giá toàn bộ hệ thống. Nếu chưa xác định nhu cầu, người đánh giá rất dễ chuyển sang so sánh danh sách chức năng và mặc nhiên coi hệ thống nhiều tính năng hơn là hệ thống tốt hơn.

Một hồ sơ nhu cầu nên làm rõ ít nhất bốn nhóm thông tin.

Mục tiêu học tập cần đạt

Trước hết cần xác định người học phải biết, hiểu hoặc thực hiện được điều gì sau quá trình học. Mục tiêu này quyết định loại hoạt động mà hệ thống phải hỗ trợ.

Nếu mục tiêu chủ yếu là ghi nhớ kiến thức, nhu cầu có thể tập trung vào nội dung, kiểm tra và phản hồi. Nếu mục tiêu yêu cầu thực hành, giải quyết vấn đề hoặc hợp tác, hệ thống cần hỗ trợ những hoạt động tương ứng. Vì vậy, cùng một nền tảng có thể phù hợp với một chương trình nhưng không phù hợp với chương trình khác.

Đặc điểm của người học

Cần xem xét trình độ ban đầu, năng lực số, thiết bị sử dụng, điều kiện kết nối, nhu cầu hỗ trợ và khả năng tiếp cận của nhóm người học.

Ví dụ, một hệ thống hoạt động tốt trên máy tính để bàn nhưng khó sử dụng trên điện thoại sẽ tạo ra khoảng cách lớn nếu phần lớn người học truy cập bằng thiết bị di động. Đây không phải vấn đề phụ về giao diện mà là một giới hạn trực tiếp đối với khả năng tiếp cận hoạt động học tập.

Cách thức tổ chức học tập

Hệ thống cũng phải phù hợp với mô hình triển khai: tự học, học có người hướng dẫn, học đồng bộ, không đồng bộ hay kết hợp.

Mỗi mô hình tạo ra yêu cầu khác nhau về quản lý tiến độ, giao tiếp, phản hồi, đánh giá và theo dõi hoạt động. Một nền tảng tối ưu cho khoá học tự học chưa chắc đáp ứng tốt chương trình cần tương tác thường xuyên giữa giảng viên và học viên.

Điều kiện triển khai

Cuối cùng cần xác định các giới hạn thực tế như số lượng người dùng, thiết bị, hạ tầng mạng, năng lực quản trị và những hệ thống phải kết nối.

Khi bốn nhóm nhu cầu này được xác định, việc đánh giá chuyển từ nhận xét cảm tính sang bài toán đối chiếu: nhu cầu nào tồn tại, mức quan trọng ra sao và hệ thống đáp ứng đến mức nào.

Chuyển nhu cầu học tập thành tiêu chí có thể kiểm chứng

Một nhu cầu chỉ hữu ích cho đánh giá khi có thể chuyển thành yêu cầu quan sát hoặc đo lường được. Các mô tả như “dễ sử dụng”, “hỗ trợ học tốt” hay “linh hoạt” quá rộng để làm căn cứ lựa chọn nếu không xác định bằng chứng tương ứng.

Chẳng hạn, thay vì ghi “hệ thống phải thuận tiện trên điện thoại”, có thể xác định cụ thể hơn: người học phải hoàn thành được các nhiệm vụ chính trên thiết bị di động, nội dung không mất chức năng thiết yếu và thời gian thực hiện nhiệm vụ không tăng bất hợp lý so với máy tính.

Mỗi tiêu chí nên có bốn thành phần:

·         Nhu cầu: Điều gì người học hoặc chương trình thực sự cần

·         Khả năng đáp ứng: Hệ thống phải làm được gì

·         Bằng chứng: Dữ liệu hoặc thao tác nào chứng minh khả năng đó tồn tại

·         Ngưỡng chấp nhận: Mức nào được xem là đạt

Cũng cần phân biệt tiêu chí bắt buộc với tiêu chí bổ sung. Một yêu cầu ảnh hưởng trực tiếp đến khả năng tham gia học tập không nên được bù trừ bằng nhiều chức năng ít quan trọng hơn.

Ví dụ, nếu chương trình bắt buộc người học khiếm thị có thể sử dụng hệ thống, việc không đáp ứng yêu cầu tiếp cận không thể được bù bằng điểm cao về giao diện đẹp hoặc số lượng báo cáo. Đây là lý do mô hình đánh giá chỉ dựa trên tổng điểm thường chưa đủ.

Đánh giá mức phù hợp với mục tiêu và hoạt động học tập

Trọng tâm của đánh giá hệ thống học tập số là xác định hệ thống có hỗ trợ đúng quá trình dẫn đến mục tiêu học tập hay không.

Cơ chế cần xem xét là chuỗi liên kết:

Mục tiêu học tập → hoạt động học tập → chức năng hệ thống → bằng chứng về kết quả

Nếu một mắt xích bị đứt, sự hiện diện của tính năng chưa chứng minh được mức độ phù hợp.

Giả sử chương trình muốn người học phát triển khả năng giải quyết tình huống. Một hệ thống chỉ cung cấp video và câu hỏi trắc nghiệm có thể truyền tải kiến thức nhưng chưa chắc tạo được điều kiện để thực hành phân tích tình huống, nhận phản hồi và điều chỉnh cách giải quyết. Trong trường hợp đó, hệ thống có chức năng học trực tuyến nhưng mức phù hợp với mục tiêu cụ thể vẫn thấp.

Khi đánh giá, có thể kiểm tra ba lớp.

Khả năng tổ chức hoạt động

Hệ thống có cho phép triển khai đúng loại hoạt động mà thiết kế học tập yêu cầu hay không, chẳng hạn thực hành, thảo luận, nộp sản phẩm, phản hồi hoặc đánh giá theo tiêu chí.

Chất lượng phản hồi

Phản hồi phải xuất hiện ở đúng thời điểm và cung cấp thông tin đủ để người học biết mình đang ở đâu so với mục tiêu. Chỉ thông báo đúng hoặc sai có thể đủ với một số nhiệm vụ đơn giản nhưng không đủ cho những nhiệm vụ cần sửa chiến lược hoặc nâng chất lượng sản phẩm.

Khả năng quan sát tiến trình

Hệ thống cần cung cấp dữ liệu phù hợp để người dạy hoặc người học phát hiện tiến bộ, điểm nghẽn và nhu cầu hỗ trợ.

Tuy nhiên, lượng truy cập, số lần nhấp hoặc thời gian đăng nhập không tự động đồng nghĩa với học tập hiệu quả. Các chỉ số hành vi chỉ có giá trị khi chúng được liên hệ với nhiệm vụ và kết quả học tập cụ thể.

Kiểm tra trải nghiệm, khả năng tiếp cận và tương thích

Ngay cả khi chức năng sư phạm phù hợp, hệ thống vẫn có thể thất bại nếu người học gặp quá nhiều trở ngại để sử dụng chúng.

Khả năng sử dụng nên được kiểm tra bằng nhiệm vụ thực tế thay vì chỉ hỏi người dùng có “thích giao diện” hay không. Có thể yêu cầu người học thực hiện các tác vụ như tìm một bài học, nộp bài, xem phản hồi và tiếp tục hoạt động đang học dở, sau đó đo:

·         Tỷ lệ hoàn thành nhiệm vụ

·         Thời gian hoàn thành

·         Số lỗi hoặc lần cần trợ giúp

·         Mức độ hài lòng sau khi thực hiện

Nếu sử dụng System Usability Scale, điểm khoảng 68 thường được dùng như một mốc tham chiếu trung bình. Tuy nhiên, mốc này không nên thay thế quan sát nhiệm vụ thực tế: một hệ thống có điểm cảm nhận khá vẫn có thể chứa một lỗi nghiêm trọng đối với nhiệm vụ học tập quan trọng.

Khả năng tiếp cận cũng cần được xem như một điều kiện sử dụng chứ không phải tính năng bổ sung. Có thể đối chiếu giao diện và nội dung với WCAG 2.2, trong đó mức AA thường là mục tiêu thực tế được sử dụng cho nhiều dịch vụ số. Những yếu tố cần kiểm tra gồm thao tác bằng bàn phím, cấu trúc nội dung, độ tương phản, văn bản thay thế và khả năng hoạt động với công nghệ hỗ trợ.

Bên cạnh trải nghiệm của người học, cần kiểm tra khả năng tương thích với môi trường hiện có. Nếu hệ thống phải trao đổi dữ liệu với LMS, hệ thống quản lý người học hoặc công cụ nội dung khác, khả năng hỗ trợ các chuẩn tích hợp phù hợp giúp giảm phụ thuộc vào kết nối tùy chỉnh và giảm công việc thủ công.

Giới hạn cần lưu ý là không có một chỉ số khả dụng hay một tiêu chuẩn kỹ thuật đơn lẻ nào chứng minh toàn bộ mức độ phù hợp. Chúng chỉ cung cấp bằng chứng cho từng nhóm yêu cầu cụ thể.

Thử nghiệm hệ thống bằng dữ liệu sử dụng thực tế

Đánh giá trên tài liệu sản phẩm cho biết hệ thống có tuyên bố khả năng gì. Thử nghiệm cho biết khả năng đó có hoạt động trong bối cảnh thực tế hay không.

Một pilot nên sử dụng nhóm người học và nhiệm vụ đủ gần với môi trường triển khai dự kiến. Người tham gia cần thực hiện các hoạt động quan trọng từ đầu đến cuối thay vì chỉ xem trình diễn tính năng.

Các chỉ số nên xuất phát từ nhu cầu đã xác định. Ví dụ, nếu vấn đề cần giải quyết là người học thường bỏ dở vì thao tác phức tạp, có thể theo dõi tỷ lệ hoàn thành quy trình, điểm rơi bỏ cuộc, thời gian hoàn thành và số yêu cầu hỗ trợ. Nếu mục tiêu là cải thiện khả năng theo dõi tiến trình, cần kiểm tra dữ liệu mà giáo viên nhận được có giúp xác định đúng người học cần hỗ trợ hay không.

Dữ liệu pilot nên được so với một điểm tham chiếu. Điểm tham chiếu tốt nhất thường là trạng thái hiện tại hoặc ngưỡng đã xác định từ trước.

Ví dụ, nếu quy trình hiện tại có 70% người dùng hoàn thành một nhiệm vụ quan trọng và mục tiêu đặt ra là ít nhất 90%, hệ thống mới chỉ chứng minh được giá trị khi thử nghiệm cho thấy khả năng tiến gần hoặc đạt ngưỡng đó trong điều kiện tương đương. Việc đặt ngưỡng trước khi thử nghiệm cũng giảm nguy cơ lựa chọn chỉ số thuận lợi sau khi đã thấy kết quả.

Pilot vẫn có giới hạn. Một nhóm nhỏ không thể dự đoán chính xác mọi vấn đề khi mở rộng quy mô. Vì vậy cần bổ sung kiểm tra về tải hệ thống, quản trị, hỗ trợ người dùng và chất lượng dữ liệu trước khi áp dụng rộng.

Chấm điểm theo trọng số và đặt điều kiện loại trừ

Sau khi thu thập bằng chứng, có thể tổng hợp kết quả bằng mô hình chấm điểm có trọng số. Trọng số phản ánh tầm quan trọng của từng nhóm nhu cầu chứ không phản ánh số lượng tính năng trong nhóm đó.

Một cấu trúc minh họa có thể là:

·         35%: Phù hợp với mục tiêu và hoạt động học tập

·         20%: Phù hợp với đặc điểm và điều kiện của người học

·         15%: Khả năng sử dụng và tiếp cận

·         15%: Dữ liệu và khả năng tích hợp

·         15%: Khả năng vận hành trong bối cảnh triển khai

Đây chỉ là ví dụ về cách phân bổ. Một chương trình phục vụ người học có nhu cầu tiếp cận đặc biệt có thể tăng mạnh trọng số cho accessibility; một hệ thống dùng ở quy mô lớn có thể cần dành nhiều trọng số hơn cho vận hành và tích hợp.

Điểm tổng có thể được tính theo công thức:

Điểm phù hợp = Σ (điểm tiêu chí × trọng số tiêu chí)

Tuy nhiên, tổng điểm phải đi cùng điều kiện loại trừ. Nếu một hệ thống không đáp ứng yêu cầu bắt buộc, chẳng hạn không hỗ trợ nhiệm vụ học tập cốt lõi hoặc không thể sử dụng bởi một nhóm người học bắt buộc phải phục vụ, hệ thống không nên được xem là phù hợp chỉ vì đạt điểm cao ở các tiêu chí khác.

Cách ra quyết định đáng tin cậy hơn vì thế gồm hai tầng:

1.    Kiểm tra toàn bộ điều kiện bắt buộc

2.    Chỉ chấm điểm và so sánh những hệ thống đã vượt qua các điều kiện đó

Cấu trúc này ngăn một ưu điểm không liên quan che khuất một thiếu hụt có ảnh hưởng trực tiếp đến việc học.

Mức độ phù hợp của một hệ thống học tập số không nằm ở số lượng chức năng mà nằm ở mức độ khớp giữa nhu cầu học tập đã xác định và khả năng đáp ứng đã được chứng minh. Quy trình đánh giá hiệu quả cần bắt đầu từ mục tiêu, người học và bối cảnh; chuyển chúng thành tiêu chí có ngưỡng kiểm chứng; đánh giá sự phù hợp về sư phạm, trải nghiệm, tiếp cận và kỹ thuật; sau đó xác nhận bằng thử nghiệm thực tế.

Khi có nhiều lựa chọn, điểm số có trọng số giúp so sánh nhất quán, nhưng những yêu cầu bắt buộc vẫn phải được xử lý như điều kiện loại trừ. Nhờ đó, quyết định cuối cùng dựa trên bằng chứng về khả năng phục vụ việc học thay vì ấn tượng về một danh sách tính năng dài.