Cách đo lường mức độ sử dụng tri thức

Một hệ thống đo lường đáng tin cậy cần đi xa hơn: xác định ai đã tiếp cận tri thức, tri thức có được áp dụng hay tái sử dụng trong một nhiệm vụ cụ thể hay không, và sau đó kết quả công việc có thay đổi như thế nào. Cách tiếp cận này phù hợp với quan điểm của APQC khi xem đo lường quản trị tri thức là việc xác định mối quan hệ giữa mức độ tham gia/áp dụng và giá trị tạo ra cho tổ chức. ISO 30401 cũng đặt hoạt động theo dõi, đo lường, phân tích và đánh giá trong hệ thống quản lý tri thức vào phạm vi quản trị cần được thực hiện có hệ thống.

Vì vậy, thay vì tìm một KPI duy nhất, tổ chức nên xây một chuỗi bằng chứng gồm tiếp cận → áp dụng → tái sử dụng → tác động. Càng đi về cuối chuỗi, bằng chứng về việc tri thức thực sự được sử dụng càng mạnh.

Bắt đầu bằng mô hình đo 4 tầng thay vì một KPI đơn lẻ

Sai lầm phổ biến khi đo lường sử dụng tri thức là lấy một chỉ số dễ thu thập làm đại diện cho toàn bộ hành vi. Ví dụ, 80% nhân viên đăng nhập vào kho tri thức không có nghĩa 80% nhân viên đã sử dụng tri thức đó để giải quyết công việc. Một người có thể đăng nhập nhưng không tìm được nội dung phù hợp; ngược lại, tri thức có thể được tích hợp trực tiếp vào quy trình nên người lao động sử dụng mà không chủ động truy cập kho tài liệu.

APQC cũng phân biệt giữa dữ liệu hoạt động/tham gia và dữ liệu tác động kinh doanh, đồng thời lưu ý rằng số lượt truy cập, nội dung được tạo hay nội dung được xem tương đối dễ đếm nhưng khó khăn thực sự nằm ở việc liên kết những hoạt động này với kết quả mà doanh nghiệp quan tâm.

Có thể tổ chức hệ thống chỉ số theo bốn tầng sau:

Bốn tầng không có giá trị ngang nhau. Chỉ số tiếp cận là tín hiệu sớm và dễ thu thập, nhưng bằng chứng yếu hơn. Tỷ lệ áp dụng và tái sử dụng nằm gần hành vi thực hơn. Các chỉ số kết quả giúp kiểm tra liệu hành vi đó có tạo giá trị hay không.

Do đó, “mức độ sử dụng tri thức” nên được hiểu như một hồ sơ gồm nhiều bằng chứng liên kết với nhau, thay vì một con số tổng hợp thiếu ngữ cảnh.

Đo mức tiếp cận và tham gia bằng các chỉ số nền

Tầng đầu tiên cho biết tri thức có thực sự đi đến nhóm người cần nó hay không. Đây là điều kiện cần: nếu người dùng không tiếp cận được tri thức thì rất khó có áp dụng hoặc tái sử dụng. Tuy nhiên, đây chưa phải bằng chứng đủ để kết luận tri thức đã được dùng trong công việc.

Tỷ lệ người dùng tri thức chủ động có thể được định nghĩa nội bộ như sau:

Tỷ lệ người dùng chủ động = Số người dùng duy nhất có hành động tri thức hợp lệ trong kỳ / Tổng số người đủ điều kiện sử dụng × 100%

Điểm quan trọng nằm ở hai khái niệm “hành động hợp lệ” và “người đủ điều kiện”. Đăng nhập tự động hoặc truy cập trang chủ không nên được tính như một hành động sử dụng tri thức. Tổ chức cần quy định rõ tín hiệu nào được công nhận, chẳng hạn tìm kiếm, mở một tài sản tri thức liên quan, lưu, tham chiếu hoặc thực hiện một hành động tiếp theo gắn với nội dung.

Mẫu số cũng phải là nhóm người có lý do để sử dụng nguồn tri thức, không nhất thiết là toàn bộ nhân sự. Một kho hướng dẫn kỹ thuật dành cho 300 kỹ sư không nên bị đánh giá bằng tỷ lệ sử dụng trên 5.000 nhân viên của công ty.

Một chỉ số hữu ích khác là tỷ lệ tìm kiếm thành công:

Tỷ lệ tìm kiếm thành công = Số phiên tìm kiếm đạt tiêu chí thành công / Tổng số phiên tìm kiếm × 100%

“Tìm kiếm thành công” phải được định nghĩa bằng tín hiệu có thể quan sát, chẳng hạn người dùng mở nội dung phù hợp, đánh dấu hữu ích, chuyển sang một bước công việc liên quan hoặc không phải tiếp tục tìm kiếm qua nhiều nguồn khác. Tiêu chí này cần phù hợp với cách hệ thống và quy trình của tổ chức vận hành; không có một định nghĩa kỹ thuật duy nhất thích hợp cho mọi môi trường.

Có thể theo dõi thêm tỷ lệ người dùng quay lại hoặc tần suất sử dụng theo vai trò, phòng ban và quy trình. Tuy nhiên, các chỉ số này chỉ nên được coi là leading indicators. APQC lưu ý rằng các phép đo hoạt động và mức tham gia là điểm khởi đầu, không phải bằng chứng cuối cùng về giá trị của quản trị tri thức.

Nếu lượt truy cập tăng mạnh nhưng tỷ lệ áp dụng và tái sử dụng không thay đổi, vấn đề có thể nằm ở chất lượng nội dung, khả năng tìm kiếm, mức độ phù hợp với công việc hoặc cách tổ chức đang định nghĩa “sử dụng”.

Đo mức áp dụng và tái sử dụng tri thức trong công việc

Tầng này quan trọng hơn lượt truy cập vì nó tìm kiếm bằng chứng cho thấy tri thức đã đi vào một hành động công việc cụ thể.

Tỷ lệ áp dụng tri thức có thể được thiết kế theo đơn vị công việc:

Tỷ lệ áp dụng = Số trường hợp công việc có bằng chứng sử dụng nguồn tri thức phù hợp / Tổng số trường hợp đủ điều kiện × 100%

“Trường hợp công việc” có thể là một ticket hỗ trợ, hồ sơ xử lý, dự án, quyết định, yêu cầu kỹ thuật hoặc bất kỳ đơn vị công việc nào tổ chức có thể định danh. Cách tính này mạnh hơn số lượt xem vì nó nối một hành vi tri thức với một nhiệm vụ thực.

Ví dụ, nếu một quy trình xử lý sự cố có 1.000 trường hợp đủ điều kiện trong tháng và 620 trường hợp ghi nhận việc tham chiếu hoặc sử dụng một hướng dẫn đã được phê duyệt, tỷ lệ áp dụng theo định nghĩa đó là 62%. Con số 62% không tự động có nghĩa là “tốt” hay “xấu”; nó chỉ có ý nghĩa khi được đặt cạnh baseline, mục tiêu quy trình và kết quả của nhóm sử dụng so với nhóm không sử dụng.

Đối với tái sử dụng, có thể sử dụng:

Tỷ lệ tái sử dụng được xác nhận = Số cơ hội công việc có sử dụng lại tri thức hiện có / Tổng số cơ hội có thể tái sử dụng × 100%

Từ “được xác nhận” rất quan trọng. Việc một tài liệu được mở không chứng minh kiến thức trong đó đã được dùng lại. Bằng chứng mạnh hơn có thể đến từ mã tài sản tri thức được gắn vào hồ sơ công việc, liên kết từ tài liệu cũ sang sản phẩm mới, trường xác nhận trong workflow hoặc xác nhận của người thực hiện.

Tổ chức cũng có thể theo dõi cường độ tái sử dụng, chẳng hạn số sự kiện tái sử dụng đã xác nhận trên mỗi tài sản tri thức hoặc trên mỗi người dùng chủ động. Hai mẫu số trả lời hai câu hỏi khác nhau: mẫu số theo tài sản cho biết tri thức nào tạo giá trị lặp lại; mẫu số theo người dùng cho biết hành vi tái sử dụng đã ăn sâu đến mức nào.

Với tri thức truyền trực tiếp giữa người với người, log của kho tài liệu sẽ không phản ánh đầy đủ hành vi. Khi đó dữ liệu từ cộng đồng chuyên môn, phiên tham vấn chuyên gia, hồ sơ dự án hoặc xác nhận ngắn trong workflow có thể bổ sung cho dấu vết số.

Mục tiêu không phải ghi lại mọi cuộc trao đổi tri thức. Mục tiêu là tạo đủ bằng chứng để phân biệt “đã nhìn thấy” với “đã dùng vào công việc”.

Nối mức sử dụng tri thức với kết quả công việc

Tỷ lệ áp dụng cao vẫn chưa đủ để khẳng định hệ thống tri thức hiệu quả. Nếu nhân viên sử dụng hướng dẫn thường xuyên nhưng thời gian xử lý không giảm, lỗi không giảm hoặc chất lượng không cải thiện, tổ chức cần xem lại giá trị của tri thức đang được sử dụng.

APQC khuyến nghị kết nối hoạt động và hành vi KM với những kết quả quan trọng đối với tổ chức; các ví dụ được nêu gồm thời gian chu kỳ, thời gian tiết kiệm, thời gian đạt năng lực, chi phí và các kết quả kinh doanh khác. APQC cũng lưu ý rằng quan hệ giữa hoạt động KM và kết quả không phải lúc nào cũng đo trực tiếp được, nên phân tích tương quan hoặc so sánh các nhóm phù hợp thường cần thiết.

Một tổ chức có thể lựa chọn chỉ số tác động dựa trên vấn đề mà tri thức được thiết kế để giải quyết. Nếu mục tiêu là giúp nhân viên tìm câu trả lời nhanh hơn, hãy đo thời gian tìm thông tin hoặc thời gian xử lý. Nếu mục tiêu là tránh lặp lại sai sót, hãy theo dõi tỷ lệ lỗi hoặc làm lại. Nếu tri thức phục vụ onboarding, thời gian đạt mức năng lực yêu cầu có thể quan trọng hơn số lần người mới truy cập cổng tri thức.

Điều cần tránh là gán toàn bộ thay đổi của kết quả kinh doanh cho tri thức. Nếu thời gian xử lý giảm 20%, nguyên nhân có thể đồng thời đến từ thay đổi quy trình, tự động hóa, cơ cấu nhân sự hoặc độ khó của công việc.

Bằng chứng mạnh hơn được tạo ra khi tổ chức so sánh cùng một chỉ số qua thời gian và giữa những nhóm tương đồng. Chẳng hạn, nếu các nhóm thường xuyên tái sử dụng bài học dự án có thời gian hoàn thành tốt hơn các nhóm tương đương ít sử dụng, đó là tín hiệu mạnh hơn việc chỉ quan sát rằng cả mức sử dụng và hiệu suất đều tăng.

Do đó, phép đo nên giữ riêng hai lớp: mức sử dụng tri thức và kết quả có liên quan đến mức sử dụng đó. Việc nối hai lớp bằng phân tích phù hợp đáng tin cậy hơn việc biến chúng thành một quan hệ nhân quả mặc định.

Chuẩn hóa dữ liệu để KPI không bị méo

Một KPI có công thức hợp lý vẫn có thể dẫn đến kết luận sai nếu dữ liệu đầu vào không được chuẩn hóa. Cốt lõi của hệ thống đo là khả năng nối bốn thực thể: người dùng – tài sản tri thức – trường hợp công việc – kết quả.

Ở cấp người dùng, tổ chức cần thống nhất cách nhận diện unique user, loại bỏ bot hoặc tài khoản hệ thống và xác định đúng nhóm đủ điều kiện. Ở cấp tài sản tri thức, cần có mã nhận dạng và phiên bản để tránh coi nhiều bản sao của cùng một nội dung là nhiều tri thức khác nhau. Ở cấp công việc, phải có ID của ticket, dự án, case hoặc nhiệm vụ để chứng minh tri thức đã được sử dụng trong bối cảnh nào. Cuối cùng, hệ thống kết quả phải chứa chỉ số mà tổ chức muốn đối chiếu như thời gian xử lý, lỗi, làm lại hoặc chất lượng.

Không nhất thiết mọi dữ liệu phải nằm trong một nền tảng. Log tìm kiếm có thể đến từ cổng tri thức; dữ liệu áp dụng đến từ CRM, hệ thống ticket hoặc phần mềm quản lý dự án; còn kết quả đến từ hệ thống vận hành. Điều quan trọng là có khóa hoặc quy tắc đủ nhất quán để liên kết chúng.

Log hệ thống và khảo sát cũng có giới hạn khác nhau. Log cho biết hành động đã xảy ra nhưng thường không cho biết tại sao người dùng thực hiện hành động đó hoặc nội dung có thực sự hữu ích hay không. Khảo sát có thể bổ sung nhận thức của người dùng nhưng phụ thuộc vào trí nhớ và tự báo cáo. Vì vậy, một phép đo đáng tin cậy thường đối chiếu nhiều loại bằng chứng thay vì phụ thuộc hoàn toàn vào một nguồn.

Cùng một KPI cũng nên được phân đoạn theo vai trò, đơn vị, loại công việc hoặc nhóm tri thức khi những nhóm này có nhu cầu khác nhau. Một tỷ lệ sử dụng 50% ở cấp toàn công ty có thể che giấu một bộ phận đạt 90% và một bộ phận gần như không sử dụng. Tổng số đúng về mặt toán học nhưng nghèo giá trị chẩn đoán.

Thiết kế dashboard và ngưỡng đánh giá theo bối cảnh tổ chức

Không có một tỷ lệ sử dụng chung có thể mặc định là “tốt” cho mọi chương trình tri thức. APQC nhấn mạnh rằng cách đo phải phụ thuộc vào mục tiêu kinh doanh, cách tiếp cận KM và giai đoạn phát triển; một chương trình hỗ trợ bán hàng, cộng đồng thực hành và hệ thống quản lý nội dung có thể cần những thước đo rất khác nhau.

Vì vậy, dashboard nên bắt đầu từ baseline của chính tổ chức. APQC cũng khuyến nghị thiết lập KPI sớm để có baseline chính xác và sử dụng dữ liệu theo thời gian nhằm đánh giá xu hướng đáng tin cậy hơn.

Một dashboard phục vụ đo lường sử dụng tri thức nên đặt cạnh nhau ít nhất ba loại tín hiệu: tín hiệu tiếp cận, bằng chứng áp dụng/tái sử dụng và chỉ số kết quả công việc. Mỗi KPI cần có định nghĩa, công thức, mẫu số, nguồn dữ liệu, chu kỳ đo, nhóm được áp dụng và người chịu trách nhiệm.

Cách đọc kết hợp các chỉ số quan trọng hơn việc nhìn từng KPI riêng lẻ. Nếu số người dùng chủ động tăng nhưng tái sử dụng không tăng, tổ chức đang tạo được traffic nhưng chưa chắc tạo được hành vi. Nếu tái sử dụng tăng nhưng kết quả công việc không đổi, cần kiểm tra chất lượng hoặc mức độ phù hợp của tri thức. Nếu kết quả cải thiện trong khi các chỉ số sử dụng không thay đổi, chưa có đủ bằng chứng để quy cải thiện đó cho quản trị tri thức.

Ngược lại, khi mức áp dụng tăng, tái sử dụng tăng và một kết quả liên quan cũng cải thiện nhất quán ở các nhóm hoặc giai đoạn có thể so sánh, tổ chức có cơ sở mạnh hơn để kết luận rằng tri thức đang được đưa vào dòng công việc và tạo giá trị.

Cách đo này cũng ngăn dashboard biến thành bảng thống kê hoạt động. Mục tiêu cuối cùng không phải chứng minh kho tri thức “bận rộn”, mà xác định liệu đúng người có lấy được đúng tri thức, sử dụng nó trong đúng tình huống và tạo ra kết quả tốt hơn hay không.

Để đo lường sử dụng tri thức một cách đáng tin cậy, tổ chức không nên chọn giữa “lượt truy cập” và “kết quả kinh doanh”, mà phải nối chúng thành một chuỗi bằng chứng. Chỉ số tiếp cận cho biết tri thức có đến được người dùng; chỉ số áp dụng và tái sử dụng cho biết tri thức có đi vào công việc; chỉ số tác động cho biết hành vi đó có liên quan đến kết quả mà tổ chức quan tâm hay không.

Trong thực tế, bằng chứng có giá trị nhất không phải KPI có con số lớn nhất mà là KPI có định nghĩa rõ, mẫu số đúng, dữ liệu có thể kiểm chứng và được đọc trong bối cảnh của một mục tiêu cụ thể. Khi dashboard duy trì được mối liên hệ giữa người dùng – tri thức – công việc – kết quả, tổ chức mới có thể phân biệt mức độ sử dụng thực với những chỉ số hoạt động bề mặt.