Cách đánh giá kỹ năng sau đào tạo

Vì vậy, bằng chứng nên được xây dựng thành một chuỗi: năng lực thực hiện trước đào tạo → năng lực thực hiện ngay sau đào tạo → hành vi sau khi quay lại công việc → kết quả công việc liên quan. Cách tiếp cận này cũng phù hợp với sự phân biệt giữa Learning và Behavior trong mô hình Kirkpatrick: học được một kỹ năng và thực sự sử dụng kỹ năng đó tại nơi làm việc là hai kết quả khác nhau.

Bằng chứng nào thực sự cho thấy kỹ năng đã thay đổi?

Bằng chứng mạnh nhất cho sự thay đổi kỹ năng là bằng chứng về hiệu suất thực hiện, tức người học phải làm một nhiệm vụ thể hiện đúng kỹ năng cần đánh giá. Nếu đào tạo kỹ năng thuyết trình, người học cần thực hiện một bài thuyết trình. Nếu đào tạo vận hành thiết bị, họ phải thao tác trên thiết bị hoặc môi trường mô phỏng. Nếu đào tạo xử lý khiếu nại, họ cần xử lý một tình huống có tiêu chí chấm rõ ràng.

Bằng chứng trực tiếp

Một bằng chứng trực tiếp tốt phải cho phép quan sát được sự khác biệt giữa trước và sau đào tạo. Có thể sử dụng:

·         Bài thực hành hoặc mô phỏng trước và sau đào tạo

·         Sản phẩm công việc như báo cáo, bản thiết kế, đoạn mã, hồ sơ xử lý hoặc cuộc gọi

·         Quan sát hành vi bằng checklist hoặc rubric có tiêu chí cụ thể

·         Tỷ lệ hoàn thành nhiệm vụ đúng, thời gian thực hiện, số lỗi hoặc mức độ độc lập khi thực hiện

Điểm quan trọng không nằm ở việc người học đã tham gia bài thực hành mà ở sự thay đổi của chất lượng thực hiện theo cùng một hệ tiêu chí.

Ví dụ, trước đào tạo một nhân viên xử lý đúng 6 trong 10 bước của quy trình, thường cần người khác nhắc và không xử lý được trường hợp ngoại lệ. Sau đào tạo, người đó thực hiện đúng 9 bước, tự hoàn thành nhiệm vụ và xử lý được tình huống ngoại lệ. Đây là bằng chứng về thay đổi kỹ năng rõ hơn nhiều so với việc người học tự đánh giá rằng mình “tự tin hơn”.

Bằng chứng hỗ trợ

Điểm kiểm tra kiến thức, khảo sát tự đánh giá, nhận xét của quản lý hoặc KPI kinh doanh vẫn hữu ích, nhưng chúng không nên đứng một mình.

Điểm kiến thức cho biết người học biết điều gì. Tự đánh giá cho biết người học nghĩ gì về năng lực của mình. KPI cho biết một kết quả vận hành đã thay đổi. Không yếu tố nào trong số đó tự động chứng minh rằng khả năng thực hiện một kỹ năng cụ thể đã tăng lên.

Do đó, khi đánh giá kỹ năng sau đào tạo, bằng chứng trực tiếp về thực hiện nhiệm vụ nên là lớp trung tâm; các dữ liệu khác được dùng để xác nhận, giải thích hoặc giới hạn kết luận.

Thiết kế phép đo trước–sau để so sánh đúng cùng một kỹ năng

So sánh trước và sau chỉ có ý nghĩa khi hai phép đo thực sự đo cùng một năng lực trong những điều kiện đủ tương đương. Nếu bài trước đào tạo dễ hơn bài sau, người chấm thay đổi tiêu chuẩn hoặc thời gian thực hiện khác nhau đáng kể, chênh lệch điểm có thể phản ánh thiết kế đánh giá chứ không phản ánh sự thay đổi kỹ năng.

Trước đào tạo cần có một baseline — mức thực hiện ban đầu. Sau đào tạo, người học được đánh giá bằng cùng nhiệm vụ hoặc một nhiệm vụ tương đương về độ khó, sử dụng cùng rubric và cùng nguyên tắc chấm.

Có thể báo cáo mức thay đổi tuyệt đối:

Mức thay đổi = Điểm sau đào tạo − Điểm trước đào tạo

Nếu điểm trước là 62/100 và điểm sau là 81/100, mức tăng tuyệt đối là 19 điểm.

Tỷ lệ thay đổi tương đối có thể tính khi thang đo và điểm gốc phù hợp:

Tỷ lệ thay đổi = (Điểm sau − Điểm trước) / Điểm trước × 100%

Tuy nhiên, chỉ báo cáo phần trăm tăng chưa đủ. Một người tăng từ 40 lên 55 điểm có mức tiến bộ đáng kể nhưng vẫn có thể chưa đạt chuẩn để làm việc độc lập. Vì thế cần theo dõi đồng thời mức thay đổi và mức năng lực cuối cùng.

Với đánh giá theo nhóm, nên xem thêm:

·         Điểm trung bình hoặc trung vị trước và sau đào tạo

·         Tỷ lệ người đạt ngưỡng thành thạo

·         Phân bố mức thay đổi thay vì chỉ nhìn giá trị trung bình

·         Khoảng tin cậy hoặc kích thước hiệu ứng nếu dữ liệu và quy mô mẫu cho phép

Không có một tỷ lệ tăng kỹ năng chung có thể áp dụng cho mọi chương trình. Mức cải thiện 10%, 20% hay bất kỳ con số cố định nào chỉ có ý nghĩa khi nó gắn với độ khó của thang đo, sai số đo và yêu cầu năng lực của công việc.

Ngưỡng thành công vì thế nên được xác định trước khi xem kết quả, chẳng hạn người học phải đạt mức “thực hiện độc lập, không có lỗi nghiêm trọng” thay vì đơn giản yêu cầu “điểm sau cao hơn điểm trước”.

Rubric và quan sát giúp biến kỹ năng thành dữ liệu

“Kỹ năng giao tiếp tốt hơn” hay “xử lý tình huống chuyên nghiệp hơn” là những nhận định quá rộng để sử dụng làm bằng chứng. Muốn đo được sự thay đổi, kỹ năng phải được chuyển thành các hành vi có thể quan sát.

Một rubric tốt mô tả người thực hiện làm gì ở từng mức năng lực, thay vì chỉ sử dụng các nhãn như yếu, trung bình, khá và tốt.

Ví dụ, một tiêu chí “xử lý vấn đề” có thể được mô tả theo bốn mức:

·         Mức 1: Không xác định đúng vấn đề và bỏ sót bước quan trọng

·         Mức 2: Hoàn thành được nhiệm vụ khi có hướng dẫn hoặc nhắc nhở

·         Mức 3: Thực hiện độc lập, đúng quy trình và xử lý được tình huống thông thường

·         Mức 4: Xử lý được ngoại lệ, giải thích được lựa chọn và hỗ trợ người khác thực hiện

Khi đó, thay đổi từ mức 2 lên mức 3 mang ý nghĩa nghề nghiệp rõ ràng hơn việc điểm đánh giá tăng từ 70 lên 78 nhưng không biết hai con số đại diện cho hành vi nào.

Rubric cũng làm giảm một nguồn sai lệch quan trọng: người đánh giá trước và sau sử dụng tiêu chuẩn khác nhau. Với các kỹ năng có mức độ chủ quan cao, nên hiệu chuẩn người chấm bằng các bài mẫu. Khi yêu cầu độ tin cậy cao hơn, có thể dùng hai người đánh giá độc lập và kiểm tra mức độ nhất quán giữa họ.

Nếu điều kiện cho phép, người chấm không nên biết mẫu nào thuộc thời điểm trước hay sau đào tạo. Cách này giúp hạn chế xu hướng vô thức cho điểm cao hơn vì người đánh giá biết rằng người học vừa hoàn thành chương trình.

Một lần quan sát cũng có thể bị ảnh hưởng bởi tình huống bất thường. Đối với kỹ năng quan trọng, nhiều mẫu công việc hoặc nhiều lần quan sát thường cung cấp bằng chứng đáng tin hơn một bài thực hành duy nhất.

Kiểm tra kỹ năng có được chuyển giao vào công việc hay không

Một người có thể làm tốt bài thực hành ngay khi vừa học nhưng không sử dụng kỹ năng đó khi quay lại công việc. Vì vậy, kết quả ngay cuối khóa chủ yếu cho biết kỹ năng đã được tiếp thu đến mức nào, chưa đủ để chứng minh sự thay đổi bền vững trong hành vi nghề nghiệp.

Trong mô hình Kirkpatrick, sự khác biệt này được thể hiện qua hai lớp: Learning phản ánh điều người học tiếp thu, còn Behavior tập trung vào việc kiến thức và kỹ năng có được sử dụng trong môi trường làm việc hay không.

Đánh giá chuyển giao nên được thực hiện sau khi người học đã có cơ hội thực tế để áp dụng kỹ năng. Thời điểm cụ thể phụ thuộc tần suất công việc. Một kỹ năng được sử dụng hằng ngày có thể được kiểm tra tương đối sớm; một kỹ năng xử lý sự cố hiếm gặp cần thời gian dài hơn hoặc phải sử dụng mô phỏng.

Các dấu hiệu cần quan sát không chỉ là “có sử dụng” mà còn gồm chất lượng sử dụng, mức độ độc lập và tính ổn định. Chẳng hạn:

·         Tần suất thực hiện đúng hành vi mục tiêu

·         Tỷ lệ nhiệm vụ hoàn thành mà không cần hỗ trợ

·         Mức độ tuân thủ quy trình

·         Số lỗi phải sửa lại

·         Khả năng xử lý tình huống ngoài kịch bản chuẩn

Ở đây có một giới hạn rất quan trọng: không quan sát thấy hành vi mới không đồng nghĩa với việc người học không có kỹ năng.

Có thể người học chưa gặp tình huống cần áp dụng, hệ thống không cho phép sử dụng cách làm mới, quản lý vẫn yêu cầu quy trình cũ hoặc khối lượng công việc khiến hành vi mới khó thực hiện. Những yếu tố này phải được ghi nhận trước khi kết luận rằng đào tạo thất bại.

Vì vậy, đánh giá sau đào tạo cần phân biệt ít nhất hai câu hỏi: người học có khả năng thực hiện kỹ năng hay không và môi trường làm việc có cho phép kỹ năng đó được sử dụng hay không.

Dùng KPI nhưng không quy nhầm tác động cho đào tạo

KPI có thể cung cấp bằng chứng rất có giá trị khi kỹ năng có mối liên hệ rõ với kết quả công việc. Đào tạo kiểm soát chất lượng có thể liên quan đến tỷ lệ lỗi hoặc rework. Đào tạo chăm sóc khách hàng có thể liên quan đến điểm kiểm định chất lượng cuộc gọi. Đào tạo thao tác có thể liên quan đến thời gian hoàn thành hoặc số lỗi quy trình.

Tuy nhiên, KPI là kết quả của nhiều nguyên nhân, không phải phép đo thuần túy của kỹ năng.

Giả sử điểm chất lượng của một nhóm tăng từ 72 lên 84 và tỷ lệ rework giảm từ 6,2% xuống 4,1% sau đào tạo. Nếu cùng thời gian đó doanh nghiệp đưa vào một công cụ kiểm tra tự động mới, không thể quy toàn bộ cải thiện cho khóa đào tạo.

Để giảm nguy cơ quy nhầm nguyên nhân, cần kiểm tra những thay đổi diễn ra cùng thời điểm như:

·         Quy trình hoặc công nghệ mới

·         Thay đổi cơ cấu khách hàng hoặc độ khó của công việc

·         Cơ chế thưởng và giám sát mới

·         Biến động nhân sự

·         Mùa vụ hoặc thay đổi sản lượng

Khi cần đánh giá với độ tin cậy cao, có thể sử dụng nhóm so sánh có đặc điểm tương đương nhưng chưa tham gia đào tạo. Nếu cả hai nhóm cùng cải thiện, một phần thay đổi có thể đến từ yếu tố chung. Nếu nhóm được đào tạo cải thiện rõ hơn trong cùng điều kiện, lập luận về tác động của đào tạo được củng cố.

Khi không có nhóm so sánh, vẫn có thể tăng chất lượng kết luận bằng cách theo dõi xu hướng KPI trước đào tạo, ghi nhận các thay đổi vận hành và đối chiếu KPI với bằng chứng trực tiếp về kỹ năng.

Đặc biệt, nếu KPI tăng nhưng điểm thực hành và hành vi nghề nghiệp không thay đổi, không nên kết luận kỹ năng đã tăng chỉ dựa trên KPI. Ngược lại, nếu điểm thực hành tăng, hành vi mới xuất hiện ổn định và KPI liên quan cũng dịch chuyển theo hướng mong đợi, chuỗi bằng chứng trở nên thuyết phục hơn.

Ra kết luận từ ngưỡng đạt và nhiều lớp bằng chứng

Một báo cáo đánh giá tốt không chỉ trả lời “điểm tăng bao nhiêu” mà phải nói rõ điều gì đã thay đổi và có thể kết luận đến mức nào.

Trước hết, cần xác định mức thành thạo cần thiết cho công việc. Tinh thần của các hướng dẫn quản lý năng lực như ISO 10015:2019 là phát triển con người phải được đặt trong quan hệ với năng lực cần thiết cho công việc; vì vậy, mục tiêu đánh giá không phải tạo ra điểm số cao mà là xác định người học đã tiến gần hoặc đạt yêu cầu năng lực đến đâu.

Ở cấp cá nhân, nên đối chiếu ít nhất ba thời điểm khi có thể: baseline trước đào tạo, kết quả ngay sau đào tạo và kết quả sau một giai đoạn áp dụng. Ở cấp nhóm, ngoài điểm trung bình, tỷ lệ người đạt chuẩn thường có giá trị quản trị cao hơn vì nó trả lời trực tiếp có bao nhiêu người đã đủ khả năng thực hiện công việc theo yêu cầu.

Kết luận cũng nên dựa trên việc đối chiếu nhiều lớp bằng chứng. Một số tình huống cho thấy sự khác biệt này rất rõ.

Nếu bài thực hành trước–sau cải thiện, hành vi trong công việc cũng cải thiện và KPI liên quan thay đổi cùng hướng, có cơ sở tương đối mạnh để kết luận kỹ năng đã phát triển và được chuyển giao.

Nếu điểm thực hành tăng nhưng hành vi tại nơi làm việc chưa thay đổi, kết luận phù hợp hơn là người học đã tiếp thu kỹ năng nhưng chưa chứng minh được khả năng chuyển giao. Khi đó cần kiểm tra cơ hội áp dụng và điều kiện môi trường trước khi đánh giá chương trình.

Nếu KPI tăng nhưng bài thực hành và hành vi không thay đổi, chưa có đủ bằng chứng để ghi nhận sự cải thiện KPI là kết quả của thay đổi kỹ năng.

Nếu chỉ có điểm tự đánh giá hoặc mức tự tin tăng, kết luận hợp lý chỉ là nhận thức của người học đã thay đổi, không phải kỹ năng đã được chứng minh là tốt hơn.

Trong báo cáo cuối cùng, bốn nhóm thông tin thường cần được nhìn cùng nhau: mức trước đào tạo, mức ngay sau đào tạo, mức duy trì hoặc chuyển giao sau khi áp dụng và tỷ lệ người đạt chuẩn năng lực. KPI công việc đóng vai trò lớp xác nhận bổ sung khi có mối liên hệ hợp lý với kỹ năng đang đo.

Cách đánh giá này giúp tránh hai sai lầm phổ biến: coi bất kỳ mức tăng điểm nào cũng là thành công và yêu cầu đào tạo phải chịu trách nhiệm cho mọi biến động của kết quả kinh doanh.

Đánh giá sự thay đổi kỹ năng sau đào tạo đáng tin khi bằng chứng cho thấy người học thực hiện tốt hơn trước, sự khác biệt được đo bằng tiêu chí nhất quán và kỹ năng tiếp tục xuất hiện khi họ quay lại công việc. Điểm kiến thức, mức hài lòng, tự đánh giá hay KPI đều có giá trị, nhưng chúng chỉ trả lời từng phần của câu chuyện.

Vì vậy, một hệ thống đánh giá kỹ năng sau đào tạo nên bắt đầu bằng baseline, sử dụng bài thực hành hoặc mẫu công việc có rubric, kiểm tra lại sau khi người học có cơ hội áp dụng và đối chiếu kết quả với dữ liệu vận hành liên quan. Chỉ khi các lớp bằng chứng này được đọc cùng nhau mới có thể phân biệt giữa đã học, đã làm được, đã áp dụng và đã tạo ra kết quả trong công việc.