Dùng dữ liệu định tính trong đánh giá đào tạo thế nào?

Dữ liệu định tính đóng vai trò gì trong đánh giá đào tạo?

Dữ liệu định lượng thường trả lời các câu hỏi như bao nhiêu người hoàn thành khóa học, điểm kiểm tra thay đổi thế nào hoặc tỷ lệ người học đánh giá tích cực là bao nhiêu. Dữ liệu định tính bổ sung lớp thông tin khác: vì sao những kết quả đó xuất hiện, người học đã trải nghiệm điều gì và điều kiện nào ảnh hưởng đến việc chuyển kiến thức thành hành vi thực tế.

Vì vậy, dữ liệu định tính có ba chức năng chính trong đánh giá đào tạo. Thứ nhất, nó giải thích nguyên nhân phía sau một chỉ số. Một lớp có điểm hài lòng thấp không tự cho biết vấn đề nằm ở nội dung, giảng viên, tốc độ học hay khả năng áp dụng. Thứ hai, nó phát hiện những vấn đề chưa được đưa vào bảng hỏi đóng, chẳng hạn quy trình nội bộ khiến người học không thể áp dụng kỹ năng mới. Thứ ba, nó cung cấp ngôn ngữ và bối cảnh thực tế để người đánh giá hiểu “thay đổi” diễn ra như thế nào, chứ không chỉ biết có hay không.

Điểm quan trọng là dữ liệu định tính không mặc nhiên mạnh hơn dữ liệu định lượng. Hai loại dữ liệu trả lời những câu hỏi khác nhau. Định lượng phù hợp để mô tả mức độ, xu hướng hoặc so sánh; định tính phù hợp để làm rõ cơ chế, điều kiện và ý nghĩa. Trong đánh giá đào tạo, giá trị cao nhất thường xuất hiện khi hai loại được dùng bổ sung cho nhau.

Thu thập dữ liệu định tính ở đâu và vào thời điểm nào?

Nguồn dữ liệu phổ biến gồm câu trả lời mở trong khảo sát, phỏng vấn cá nhân, thảo luận nhóm và quan sát hành vi. Mỗi nguồn phù hợp với một loại câu hỏi khác nhau. Câu hỏi mở thuận tiện để thu phản hồi từ nhiều người; phỏng vấn giúp đi sâu vào nguyên nhân; thảo luận nhóm làm rõ trải nghiệm chung và khác biệt giữa các nhóm; quan sát cho thấy người học có thực sự thực hiện hành vi mong muốn hay không.

Thời điểm thu thập cũng quyết định loại thông tin có thể nhận được. Ngay sau khóa học, người học có thể mô tả mức độ rõ ràng, tính phù hợp và những phần gây khó hiểu. Sau một khoảng thời gian áp dụng, dữ liệu lại phù hợp hơn để tìm hiểu việc chuyển giao học tập: kỹ năng nào được dùng, kỹ năng nào bị bỏ lại và rào cản đến từ cá nhân hay môi trường làm việc.

Do đó, câu hỏi thu thập nên bám vào mục tiêu đánh giá thay vì hỏi chung chung “Bạn thấy khóa học thế nào?”. Nếu cần hiểu nguyên nhân chưa áp dụng được kỹ năng, câu hỏi phải hướng vào tình huống thực tế, điều kiện hỗ trợ và trở ngại. Cách đặt câu hỏi càng cụ thể, dữ liệu càng dễ chuyển thành bằng chứng có ích cho quyết định.

Biến phản hồi định tính thành bằng chứng đánh giá như thế nào?

Phản hồi thô chưa phải là kết luận. Để trở thành bằng chứng đánh giá, dữ liệu cần được xử lý theo một chuỗi nhất quán: đọc dữ liệu, gắn mã cho các ý có ý nghĩa, nhóm các mã liên quan thành chủ đề, sau đó diễn giải chủ đề trong mối liên hệ với câu hỏi đánh giá.

Mã hóa dữ liệu

Mã hóa là bước gắn nhãn cho những đoạn dữ liệu thể hiện cùng một ý. Ví dụ, các câu như “không có thời gian thực hành”, “quản lý vẫn yêu cầu làm theo quy trình cũ” và “không được cấp quyền dùng công cụ mới” có thể được mã hóa thành những rào cản khác nhau thay vì gộp chung thành “khó áp dụng”.

Việc mã hóa làm giảm nguy cơ chọn vài câu nổi bật rồi xem chúng là đại diện cho toàn bộ dữ liệu. Khi cùng một nguyên tắc mã hóa được áp dụng xuyên suốt, người đánh giá có thể nhìn thấy mô hình lặp lại, khác biệt giữa nhóm và cả những trường hợp đi ngược xu hướng chính.

Nhóm mã thành chủ đề

Các mã liên quan tiếp tục được nhóm thành chủ đề ở mức cao hơn. Chẳng hạn, “thiếu thời gian”, “không có quyền truy cập” và “quản lý không khuyến khích” có thể cùng thuộc chủ đề “điều kiện làm việc cản trở chuyển giao học tập”. Chủ đề tốt phải trả lời được một phần của câu hỏi đánh giá, không chỉ là một nhãn mô tả.

Có thể báo cáo tần suất để tăng tính minh bạch, ví dụ một chủ đề xuất hiện ở 12/20 người được phỏng vấn. Tuy nhiên, 12/20 không phải là một benchmark về mức độ nghiêm trọng. Một vấn đề chỉ được ít người nhắc đến vẫn có thể rất quan trọng nếu nó gây hậu quả lớn hoặc xuất hiện ở nhóm then chốt. Tần suất giúp mô tả mức phổ biến trong tập dữ liệu, không tự chứng minh mức tác động.

Kiểm tra sự nhất quán và trường hợp trái chiều

Một diễn giải đáng tin hơn khi nó được kiểm tra bằng nhiều dấu hiệu: chủ đề có xuất hiện ở nhiều người hay nhiều nhóm không, có dữ liệu quan sát hỗ trợ không, và có trường hợp nào trái ngược với kết luận chính không. Trường hợp trái chiều không nên bị loại bỏ chỉ vì “không khớp”; nó có thể cho thấy một điều kiện quan trọng mà phân tích ban đầu chưa nhận ra.

Trong thực hành đánh giá chương trình và nghiên cứu định tính, chất lượng không đến từ một trích dẫn hay một tỷ lệ duy nhất mà từ chuỗi lập luận có thể truy vết: dữ liệu nào dẫn đến mã nào, mã nào tạo thành chủ đề nào, và chủ đề đó hỗ trợ kết luận nào.

Dữ liệu định tính cung cấp những thông tin gì mà số liệu khó thể hiện?

Trải nghiệm và nguyên nhân

Dữ liệu định tính có thể cho biết người học hiểu nội dung theo cách nào, phần nào tạo giá trị, phần nào gây nhầm lẫn và nguyên nhân của phản ứng tích cực hoặc tiêu cực. Đây là thông tin khó suy ra chỉ từ điểm hài lòng. Hai nhóm có thể cùng chấm 3/5 nhưng vì những lý do hoàn toàn khác nhau: một nhóm thấy nội dung quá cơ bản, nhóm khác lại thấy quá nhanh.

Thông tin nguyên nhân đặc biệt hữu ích khi người đánh giá phải quyết định nên sửa nội dung, phương pháp giảng dạy hay cách tổ chức khóa học. Nếu không có lớp giải thích này, cùng một chỉ số có thể dẫn đến những hành động cải tiến khác nhau và thậm chí trái ngược nhau.

Rào cản chuyển giao học tập

Một khóa học có thể tạo ra kiến thức nhưng vẫn không tạo ra thay đổi trong công việc. Dữ liệu định tính giúp xác định khoảng cách đó đến từ đâu: người học chưa tự tin, quy trình hiện tại không cho phép áp dụng, quản lý không hỗ trợ, công cụ chưa sẵn sàng hoặc cơ hội thực hành quá ít.

Đây là khác biệt quan trọng giữa việc đánh giá “đã học” và “đã áp dụng”. Nếu điểm kiểm tra sau khóa học cao nhưng phỏng vấn sau đó cho thấy người học không có quyền thực hiện quy trình mới, vấn đề không còn nằm chủ yếu ở kiến thức. Quyết định cải tiến khi đó phải hướng vào điều kiện triển khai thay vì chỉ bổ sung thêm nội dung đào tạo.

Bối cảnh và kết quả ngoài dự kiến

Dữ liệu định tính còn có thể phát hiện những kết quả mà thiết kế đánh giá ban đầu chưa dự kiến. Người học có thể áp dụng một kỹ năng theo cách khác với kế hoạch, chia sẻ lại cho đồng nghiệp hoặc gặp một tác động phụ không xuất hiện trong bộ chỉ số có sẵn.

Những phát hiện này không nên tự động được xem là kết quả chung cho toàn bộ chương trình. Giá trị của chúng là giúp người đánh giá nhận ra một giả thuyết hoặc cơ chế cần kiểm tra thêm, đặc biệt khi cùng một mẫu hình xuất hiện ở nhiều nguồn dữ liệu.

Kết hợp dữ liệu định tính với dữ liệu định lượng ra sao?

Cách kết hợp hiệu quả nhất là để mỗi loại dữ liệu trả lời phần câu hỏi mà nó mạnh nhất. Số liệu cho biết điều gì đang xảy ra ở mức độ nào; dữ liệu định tính giải thích vì sao và trong điều kiện nào. Hai lớp dữ liệu sau đó được đối chiếu thay vì trình bày như hai phần tách biệt.

Ví dụ, giả sử 80% người học đạt chuẩn bài kiểm tra cuối khóa nhưng chỉ 45% cho biết họ thường xuyên áp dụng kỹ năng sau một tháng. Phỏng vấn có thể cho thấy ba nguyên nhân lặp lại: thiếu thời gian, không có hỗ trợ từ quản lý và quy trình hiện tại không phù hợp. Khi đó, dữ liệu định tính không “chứng minh” rằng ba yếu tố này gây ra toàn bộ chênh lệch, nhưng nó tạo ra lời giải thích có căn cứ để kiểm tra và hành động.

Trường hợp định tính và định lượng mâu thuẫn cũng rất có giá trị. Điểm hài lòng cao nhưng phỏng vấn lại cho thấy ít người áp dụng có thể nghĩa là khóa học dễ chịu nhưng chưa đủ khả năng chuyển thành hành vi. Ngược lại, điểm hài lòng trung bình nhưng hành vi cải thiện có thể cho thấy khóa học khó hoặc đòi hỏi cao nhưng vẫn hữu ích. Mâu thuẫn không phải lỗi dữ liệu; nó là tín hiệu cần phân tích sâu hơn.

Khi nào không nên kết luận chỉ từ dữ liệu định tính?

Giới hạn lớn nhất là khả năng suy rộng. Một nhóm phỏng vấn nhỏ có thể cho thấy cơ chế và trải nghiệm rất rõ, nhưng không đủ để kết luận bao nhiêu phần trăm toàn bộ người học có cùng trải nghiệm. Muốn trả lời câu hỏi về tỷ lệ, mức độ hoặc so sánh giữa các nhóm, cần dữ liệu định lượng phù hợp.

Giới hạn thứ hai là ảnh hưởng của cách hỏi, cách chọn người tham gia và cách diễn giải. Nếu chỉ phỏng vấn những người tích cực nhất, chủ đề thu được có thể thiên lệch. Nếu câu hỏi dẫn dắt, người trả lời có thể tập trung vào điều người đánh giá muốn nghe. Nếu người mã hóa không có nguyên tắc nhất quán, cùng một dữ liệu có thể bị diễn giải theo nhiều cách.

Vì vậy, không nên hành động chỉ vì một câu trích dẫn gây ấn tượng. Một kết luận đáng tin hơn khi chủ đề được lặp lại trong nhiều dữ liệu, có ví dụ cụ thể, phù hợp với quan sát hoặc chỉ số khác, và vẫn đứng vững sau khi xem xét những trường hợp trái chiều. Không có một ngưỡng số lượng phổ quát bảo đảm “đủ” cho mọi đánh giá định tính; mức đủ phụ thuộc vào câu hỏi, độ đa dạng của nhóm người học và mức độ rủi ro của quyết định.

Dùng kết quả định tính để cải tiến đào tạo như thế nào?

Kết quả định tính hữu ích nhất khi được chuyển từ “chủ đề” thành “quyết định”. Mỗi chủ đề quan trọng nên gắn với ba câu hỏi: bằng chứng nào cho thấy vấn đề tồn tại, nguyên nhân khả dĩ là gì và bên nào có thể can thiệp.

Nếu chủ đề là “nội dung quá xa công việc thực tế”, hành động có thể là thay ví dụ, tình huống hoặc bài thực hành. Nếu chủ đề là “không có cơ hội áp dụng”, giải pháp có thể nằm ở nhiệm vụ sau đào tạo, hỗ trợ từ quản lý hoặc điều chỉnh quy trình làm việc chứ không phải thêm một buổi học. Nếu các nhóm khác nhau gặp các rào cản khác nhau, chương trình có thể cần hỗ trợ theo nhóm thay vì một thay đổi chung cho tất cả.

Khi ưu tiên hành động, nên xem đồng thời mức độ lặp lại của chủ đề, mức độ nghiêm trọng của hệ quả, nhóm bị ảnh hưởng và mức độ phù hợp với các dữ liệu khác. Cách làm này giúp dữ liệu định tính trở thành bằng chứng phục vụ quyết định, thay vì chỉ là tập hợp những nhận xét được trích dẫn trong báo cáo.

Dữ liệu định tính được sử dụng tốt nhất như một lớp bằng chứng giải thích và chẩn đoán trong đánh giá đào tạo. Nó cho biết người học trải nghiệm điều gì, vì sao một kết quả xuất hiện, điều kiện nào hỗ trợ hoặc cản trở việc áp dụng và chương trình nên cải tiến ở đâu. Giá trị đó chỉ đáng tin khi phản hồi được phân tích có hệ thống, chủ đề được đối chiếu với nhiều nguồn và người đánh giá không suy rộng quá mức từ vài lời kể. Khi kết hợp với dữ liệu định lượng, dữ liệu định tính giúp chuyển từ câu hỏi “kết quả là bao nhiêu” sang câu hỏi quan trọng hơn cho cải tiến: “kết quả đó xảy ra vì sao và cần thay đổi điều gì”.