Những chỉ số phản ánh mức độ tham gia học tập

Điểm quan trọng là không nên xem một chỉ số đơn lẻ như số lần đăng nhập là đại diện đầy đủ cho engagement. Một người học có thể đăng nhập thường xuyên nhưng ít thực hiện hoạt động học tập. Ngược lại, một người có ít phiên truy cập nhưng hoàn thành nhiệm vụ đều đặn và tham gia thảo luận sâu có thể đang có mức độ tham gia cao hơn. Vì vậy, hệ thống đo lường nên kết hợp nhiều chỉ số phản ánh cả tần suất, tính đều đặn, mức độ hoàn thành và tương tác

Những nhóm hành vi nên được đo trong mức độ tham gia học tập

Nhóm chỉ số cốt lõi nên tập trung vào hành vi diễn ra trong quá trình học, không phải chỉ vào kết quả cuối cùng. Các nghiên cứu về LMS thường phân nhóm dữ liệu thành sử dụng hệ thống và tài nguyên, thực hiện nhiệm vụ học tập và giao tiếp với người khác.

Có thể chia thành các nhóm chính:

·         Mức độ tham dự

·         Tần suất tham gia hoạt động

·         Tính đều đặn của việc học

·         Thời gian dành cho nhiệm vụ

·         Mức độ hoàn thành nhiệm vụ

·         Tương tác với nội dung học tập

·         Tương tác xã hội và cộng tác

·         Mức độ duy trì tham gia theo thời gian

Cách phân nhóm này giúp tránh tình trạng gom tất cả dữ liệu LMS thành một chỉ số “engagement” duy nhất

Chỉ số chuyên cần và tham dự phản ánh người học có thực sự hiện diện hay không

Tỷ lệ tham dự là một trong những chỉ số trực tiếp nhất đối với các lớp học có lịch học cố định. Có thể tính bằng:

Tỷ lệ tham dự = Số buổi người học tham dự / Tổng số buổi phải tham dự × 100%

Có thể bổ sung tỷ lệ đi muộn, tỷ lệ rời lớp sớm hoặc tỷ lệ tham dự theo tuần nếu hệ thống có dữ liệu tương ứng

Tuy nhiên, chuyên cần chỉ phản ánh một phần engagement. Người học có mặt trong lớp chưa đồng nghĩa với việc họ thực sự tham gia vào hoạt động học. Trong các nghiên cứu learning analytics, attendance được sử dụng nhưng ít phổ biến hơn participation và time-on-task.

Vì vậy, chuyên cần phù hợp hơn khi được kết hợp với các chỉ số về hoạt động và tương tác thay vì sử dụng độc lập

Tần suất và tính đều đặn cho biết người học có duy trì việc học hay không

Tần suất truy cập hoặc số lần thực hiện hoạt động cho biết người học tham gia bao nhiêu lần, nhưng chưa phản ánh được nhịp độ học tập. Một chỉ số có giá trị hơn là mức độ đều đặn theo thời gian

Có thể theo dõi:

·         Số ngày có hoạt động học trong một tuần

·         Số phiên học trung bình mỗi tuần

·         Khoảng cách trung bình giữa các lần học

·         Tỷ lệ tuần có ít nhất một hoạt động

·         Tỷ lệ duy trì hoạt động qua nhiều tuần

Các nghiên cứu về engagement trực tuyến cũng phân biệt tổng số hoạt động với các chỉ số regularity, trong đó regularity phản ánh mức độ ổn định và nhất quán của việc truy cập tài liệu hoặc hoạt động học.

Điều này đặc biệt hữu ích khi cần phát hiện hai kiểu hành vi khác nhau: học đều đặn và học dồn vào một vài thời điểm

Thời gian học và mức độ hoàn thành phản ánh mức độ đầu tư vào nhiệm vụ

Time-on-task cho biết người học dành bao nhiêu thời gian cho một hoạt động hoặc nhiệm vụ. Đây là một chỉ số được sử dụng khá thường xuyên trong nghiên cứu learning analytics.

Có thể theo dõi:

Thời gian trung bình mỗi nhiệm vụ = Tổng thời gian thực hiện / Số nhiệm vụ đã bắt đầu

Bên cạnh thời gian, tỷ lệ hoàn thành giúp trả lời câu hỏi khác: người học có theo nhiệm vụ đến cuối hay không?

Tỷ lệ hoàn thành = Số nhiệm vụ hoàn thành / Số nhiệm vụ được giao × 100%

Hai chỉ số nên được đọc cùng nhau. Thời gian cao nhưng tỷ lệ hoàn thành thấp có thể cho thấy nhiệm vụ khó, người học gặp trở ngại hoặc quá trình học bị gián đoạn. Ngược lại, hoàn thành nhanh nhưng tương tác rất thấp có thể phản ánh cách tiếp cận khác và cần được diễn giải theo bối cảnh

Tương tác với nội dung và hoạt động cho biết người học có thực sự thực hiện hành vi học tập

Các thao tác như xem tài liệu, mở nội dung, làm bài, thử câu hỏi, xem lại video hoặc tham gia quiz có thể tạo thành dữ liệu hành vi trực tiếp. Tổng quan hệ thống cho thấy participation từng được đo bằng nhiều hành vi như tham gia bài học và quiz, đăng nhập LMS, diễn đàn, truy cập tài liệu, xem và xem lại video.

Một số chỉ số có thể sử dụng:

·         Tỷ lệ hoạt động đã tham gia

·         Số tài nguyên được truy cập

·         Số bài kiểm tra hoặc câu hỏi đã thực hiện

·         Số lần xem lại nội dung

·         Tỷ lệ hoàn thành video hoặc hoạt động

·         Số lần quay lại một tài nguyên sau lần truy cập đầu tiên

Ở đây cần phân biệt truy cập với tham gia có ý nghĩa. Một cú nhấp chuột hoặc một lần mở tài liệu chỉ cho biết có hành vi truy cập; nó không tự động chứng minh rằng người học đã đọc, hiểu hoặc tích cực học

Tương tác với giảng viên và bạn học phản ánh khía cạnh xã hội của sự tham gia

Engagement không chỉ diễn ra giữa người học và hệ thống mà còn thể hiện qua tương tác với giảng viên và người học khác. Các nghiên cứu về LMS ghi nhận các chỉ số như bài đăng diễn đàn, bình luận, tin nhắn và tương tác với đồng nghiệp hoặc giảng viên.

Có thể đo:

Tỷ lệ tham gia thảo luận = Số hoạt động thảo luận của người học / Số hoạt động thảo luận được yêu cầu × 100%

Ngoài số lượng, có thể theo dõi:

·         Số bài đăng

·         Số phản hồi

·         Số lượt trả lời cho bạn học

·         Số phiên tương tác với giảng viên

·         Tỷ lệ tham gia vào các hoạt động nhóm

Không nên dùng số lượng bài đăng như một đại diện duy nhất cho chất lượng engagement. Một người học đăng nhiều nhưng nội dung không liên quan không nhất thiết có mức tham gia tốt hơn người đóng góp ít nhưng đúng lúc và có ý nghĩa

Vì sao không nên dùng điểm số hoặc số lần đăng nhập làm chỉ số chính

Điểm số là kết quả học tập, còn engagement chủ yếu phản ánh hành vi tham gia trong quá trình học. Hai khái niệm có liên quan nhưng không đồng nhất

Tương tự, số lần đăng nhập là một tín hiệu dễ thu thập nhưng có thể quá thô. Tổng quan gần đây cho thấy nghiên cứu learning analytics vẫn chủ yếu sử dụng các chỉ số hành vi quan sát được như click và thời lượng hoạt động, trong khi các chiều cạnh nhận thức và cảm xúc được đo ít hơn.

Vì vậy, một bộ chỉ số tốt nên tránh cách đo kiểu:

Engagement = số lần đăng nhập

Thay vào đó nên xem engagement như một tập hợp hành vi, chẳng hạn:

Tham dự Tần suất Tính đều đặn Hoàn thành Thời gian Tương tác Duy trì

Khi đó, dữ liệu sẽ phản ánh tốt hơn quá trình người học thực sự tham gia

Một bộ chỉ số mức độ tham gia học tập nên được xây dựng như thế nào

Không có một ngưỡng hay công thức duy nhất phù hợp cho mọi khóa học. Các chỉ số tốt cần phụ thuộc vào loại môn học, hình thức tổ chức, nhiệm vụ và cách người học tương tác với môi trường học tập. Nghiên cứu cũng lưu ý rằng giá trị của từng dữ liệu như một proxy cho engagement thay đổi theo môn học và bối cảnh học tập.

Một bộ đo thực tế có thể gồm:

Cách tiếp cận tốt hơn nữa là xem các chỉ số này theo xu hướng, chẳng hạn mức độ tham gia tăng, giảm hay ổn định qua từng tuần, thay vì chỉ chụp một giá trị tại một thời điểm

Một systematic review về 159 nghiên cứu learning analytics cho thấy participation được đo trong 86,2% nghiên cứu, time-on-task 45,9%, homework completion 17,0% và attendance 7,5%; những tỷ lệ này mô tả cách nghiên cứu đang vận hành hóa engagement, không phải ngưỡng chuẩn để đánh giá mọi người học.

Một chỉ số mức độ tham gia học tập có giá trị không chỉ trả lời “người học có đăng nhập hay không” mà phải cho thấy họ tham dự, thực hiện, duy trì, hoàn thành và tương tác với hoạt động học tập ở mức nào. Vì engagement có nhiều chiều, nên nên kết hợp các chỉ số hành vi thay vì dùng một KPI đơn lẻ. Các chỉ số như điểm số có thể được dùng để phân tích kết quả hoặc mối liên hệ với engagement, nhưng không nên thay thế cho các chỉ số phản ánh hành vi tham gia trực tiếp.