People Wit

Beberapa waktu lalu pernah diposting di Milis Trainers Club Indonesia tentang pengukuran dan evaluasi pelatihan. Pada posting tersebut mengambil Kerangka atau Metode yang dipopulerkan oleh Jack J Philips tentang 5 Level Evaluasi Training. Sebenarnya ada cukup banyak metode evaluasi pengukuran yang dipakai saat ini. Semuanya bertujuan untuk melaporkan keberhasilan program training dan program perbaikan kinerja. Beberapa metode berfokus pada kesuksesan secara Finansial, yang lain pada data non Finansial, serta ada juga yang menawarkan pendekatan yang seimbang dalam mengukur hasil dari suatu program.

Sebagai bahan untuk memperkaya wawasan kita, berikut beberapa metode Evaluasi & Pengukuran Training yang dipakai saat ini. Metode – metode ini dikutip dari buku THE ROI FIELD BOOK, Strategies for Implementing ROI in HR & Training (Patricia Phillips, Jack J Phillips, Ron Drew Stone, & Holly Burkett), 2007 :

1. Benefit Cost Analysis

Mungkin proses/metode tertua untuk mengevaluasi pengeluaran suatu program adalah benefit cost analysis. Didasarkan pada kerangka teori ekonomi dan keuangan, maksud utama dari Benefit Cost Analysis (BCA) adalah untuk memastikan organisasi mempertahankan level optimum dari efisiensi dalam alokasi sumber daya. Seperti penggunaan utamanya dalam ekonomi & keuangan, metode ini juga dipakai dalam pendidikan dan pelatihan.

2. Four-Level Framework dari Kirkpatrick

Kerangka yang paling umum dalam training dan evaluasinya adalah yang dikembangkan oleh Donald Kirkpatrick pada akhir 1950-an. Kerangka ini menggambarkan 4 level evaluasi :

1. 1. Level 1 : Reaction
   2. Level 2 : Learning
   3. Level 3 : Job Behavior
   4. Level 4 : Results

Banyak usaha yang berhasil dibangun pada konsep 4 level dari Kirkpatrick ini.

3. Five-Level ROI Framework dari Jack J Phillips

Metode dari Jack Phillips ini merupakan metode yang paling luas digunakan untuk mengevaluasi program training dan program perbaikan kinerja. Philips menambahkan ROI (Return on Investment) sebagai level ke 5. Memperkenalkan bahwa untuk memindahkan level 4 ke level 5, pengukuran level 4 harus dikonversi ke nilai moneter (uang), seluruh biaya harus dicatat, keuntungan intangible harus diidentifikasi, dan keuntungan moneter dibandingkan dengan biaya. Karena itu, mengkombinasikan pendekatan Kirkpatrick dengan Benefit Cost Analysis untuk memastikan keseimbangan pengukuran dilaporkan.

Jack Philips menggunakan 5 level sebagai kerangka. Dia juga mengembangkan proses yang sistematis termasuk Performance-based methodology, strategi, pendekatan, dan tool untuk mengimplementasikan evaluasi di semua level. Metode tersebut juga termasuk tahap kritis untuk mengisolasi efek dari program pada pengukuran dari pengaruh faktor lain. Selain itu, proses tersebut mengidentifikasi penghambat & pendorong untuk berhasil dan memberikan rekomendasi untuk perbaikan berkelanjutan (Continuous Improvement)

4. Five Level of Evaluations dari Kaufman

Kaufman memperluas kerangka Kirkpatrick dengan mendefinisikan Level 1 termasuk kemungkinan dari berbagai sumber daya dan masukan yang penting untuk berhasil, serta menambahkan level 5 evaluasi pada perhatian pada aspek sosial dan respon dari organisasi.

5. CIRO

Watt, Bird & Rackham mengemukakan kerangka lain yang mengkategorikan empat kategori evaluasi yang disebut CIRO. CIRO merupakan singkatan dari Context (Konteks), Input (Masukan), Process (Proses), dan Outcome (Hasil).

6. CIPP

CIPP (Context, Input, Process, Product) model yang diperkenalkan oleh Stufflebeam memiliki kerangka yang fokus pada sararan program, fasilitasi isi training, implementasi program, dan hasil dari program.

7.Model of Evaluation Knowledge & Skills dari Marshal & Schriver

Model lima tahap ini mengevaluasi pengetahuan & ketrampilan. Model ini terbagi:

1. 1. Level 1 : Mengukur sikap & perasaan peserta
   2. Level 2 : Mengukur pengetahuan dengan test tertulis
   3. Level 3 : Mengukur Ketrampilan dan pengetahuan dengan mensyaratkan peserta untuk menunjukkan kemampuan unjuk kerja berdasarkan standar
   4. Level 4 : Mengukur Transfer ketrampilan
   5. Level 5 : Mengukur dampak bagi organisasi & ROI
2. 8. Business Impact ISD Model dari Indiana University

Proses evaluasi yang termasuk dalam Business Impact Instructional System’s Design Model ini didasarkan pada enam strata dari dampak yang dimulai dari Stratum 0, yang menghitung aktivitas seperti volume dari training yang diselenggarakan atau jumlah peserta dalam program.

Stratum 1, mengukur kepuasan peserta terhadap program

Stratum 2, mengukur tingkat peserta dalam mendapat pengetahuan dan ketrampilan dalam program

Stratum3, mengukur transfer dari training, untuk menjawab petanyaan “apakah peserta menggunakan/memanfaatkan apa yang mereka pelajari ?”

Stratum 4, mengukur tingkat perbaikan kinerja peserta dan apakah perbaikan tersebut berpengaruh terhadap profit

Stratum 5, berusaha mengukur pengaruh perubahan kinerja dalam organisasi

9. Success Case Evaluation

Success Case Evaluation yang diperkenalkan Brinkerhoff menggunakan purposive sampling (mengambil sample secara sengaja/terencana) dibandingkan random sampling (mengambil sample secara acak) untuk mengumpulkan data mengenai keberhasilan program. Proses ini fokus pada masukan dari peserta yang paling berhasil dan paling tidak berhasil dalam mengimplementasikan pengetahuan dan ketrampilan yang didapat selama program. Selama proses, peserta diminta untuk menceritakan keberhasilan aplikasi program dan merinci penghsmbat atau pendorong yang menghalangi atau mendukung penggunaan ketrampilan dan pengetahuan yang dipelajari.

10.Utility Analysis

Cascio yang memperkenalkan utility analysis kepada umum. Utility analysis adalah proses yang memasukkan hasil yang diharapkan dan biaya dari keputusan yang diambil ke dalam perhitungan. Hasil yang spesifik didefinisikan dan kepentingan relatif dari pendapatan diputuskan.

11.Integral Framework dari Brown & Reed

Pendekatan yang menyeluruh dalam evaluasi mencakup pembelajaran individu dan organisasi. Empat konsep kunci dalam pendekatan ini termasuk kumpulan pengembangan; merujuk pada hubungan antara peserta dengan organisasi; hubungan antar bidang, mengusulkan bahwa pengembangan tergantung interaksi individu dengan group yang lebih besar;Kerangka Integral, mengusulkan bahwa pengembangan satu bidang berhubungan dengan pengembangan bidang yang lain.

12. Balanced Scorecard

Metode yang umum dalam level strategi organisasi, adalah Balanced Scorecard yang dikembangkan oleh Kaplan & Norton. Kerangka ini menampilkan visi organisasi ke dalam empat perspektif (Financial, Costumer, Internal Process, dan Learning & Growth). Fokus dari Scorecard adalah mengarahkan strategi dari unit bisnis seperti Fungsi Training.