Bagaimana

Mengevaluasi Training

Training apa
yang dikatakan
berkualitas ?

Training yang memenuhi kebutuhan

customer
Trainee belajar hal yang harus
mereka pelajari
Training mengubah sikap seseorang
..

Bagaimana
mengukur
hasil
training ?

Jumlah budget
Jumlah peserta training per batchnya
Jumlah training hours
..

Apa sudah cukup ??

Tujuan
Identifikasi kegunaan & level evaluasi
Mampu mengembangkan evaluasi untuk
mengukur efektivitas training
Mampu mengembangkan evaluasi untuk
mengukur hasil training

Apa yang dimaksud Evaluasi Training

Mengapa Evaluasi Training diperlukan ?

Mengetahui kelemahan & kelebihan program
Mengetahui apakah kita telah mencapai tujuan
training
Menentukan rasio biaya/keuntungan dari program
Mengetahui peserta yang mendapat manfaat
terbesar dari training serta sebaliknya
Menentukan apakah program training merupakan
solusi atas masalah pekerjaan

Hambatan dalam Mengevaluasi

Tidak ada ukuran yang jelas dari training
Tidak tahu data mana yang harus dikumpulkan
Pengukuran hanya efektif untuk bagian produksi &
keuangan
Terdapat faktor lain di luar training yang
mempengaruhi perubahan sikap
Evaluasi menimbulkan kritikan
Evaluasi berbiaya mahal
Komitmen dari top management

Proses Training

Training
Need
Analysis
Training apa
yang
dibutuhkan
untuk orang/
pekerjaan ini

Tujuan
Training

Tujuan harus
terukur

Pelaksanaan
Training

Teknik
meliputi
On the Job
Training,
Action Plan

Evaluasi
Training

Mengukur
reaksi, gaya
pembelajaran
dan hasil

Empat Level Evaluasi

Level 1
Reaction
Level 2
Learning
Level 3
Behaviour Application
Level 4
Business Impact

Evaluasi
Efektivitas
Training

Evaluasi
Hasil
Training

Empat Level Evaluasi

Evaluasi reaksi trainee terhadap

program.

Apakah mereka menyukai training?

Apakah mereka menilainya berguna?

Tes trainee untuk menentukan apakah

mereka mempelajari prinsip,
keterampilan dan fakta yang
seharusnya mereka pelajari

Level 1- Reaksi

Level 2- Learning

10

Empat Level Evaluasi

Tanyakan apakah perilaku trainee dalam

pekerjaan berubah karena program training.

Contoh: apakah pegawai di bagian komplain

lebih ramah dalam menghadapi pelanggan
marah dibanding sebelumnya ?
Apakah hasil akhir tercapai mengacu pada
tujuan training di awal?

Apakah jumlah komplain pelanggan

menurun?
Apakah tingkat turnover berkurang?

Level 3- Behavior
Application

Level 4-Business
Impact

11

Empat Level Evaluasi

Level
Reaction

Nilai Informasi

Frekuensi
Penggunaan

Tingkat
Kesulitan
Penilaian

Kurang
berguna

Sering

Mudah

Paling berguna

Tidak Sering

Sulit

Learning
Behaviour
Results

12

Mengukur Efektivitas Training

13

Level 1-Reaction

Level 1-Reaction
(Smile Sheet)

Evaluasi reaksi trainee terhadap

program

Apakah mereka menyukai dan

menikmati training ?
Apakah trainee menilai training
sesuai kebutuhan ?

14

Panduan Evaluasi Reaksi

Putuskan secara jelas apa yang akan diukur

Identifikasi alat evaluasi yang akan digunakan
Putuskan bagaimana menghitung hasilnya
Putuskan apa yang akan dilakukan terhadap hasil
evaluasi

15

Putuskan secara jelas apa yang akan diukur

Seberapa berguna proses materi?

Panjang materi
Materi yang disediakan
Efektivitas instruktur

Masukan untuk Perbaikan

Pilih pertanyaan yang memberi informasi paling relevan
16

Identifikasi Alat Evaluasi yang Akan Digunakan

Tipe evaluasi apa yang

digunakan?
Generik
Spesifik

Jenis pertanyaan apa?

Pertanyaan terbuka
Pertanyaan terstruktur dengan
skala
Pertanyaan objective

Hindari penggunaan pertanyaan bias

17

Skala 1-4:
Menghindari nilai
tengah

18

Tentukan Bagaimana Menggunakan Hasil Evaluasi

Identifikasi masalah & tindakan perbaikan

Bagaimana jalannya program?
Perbaikan apa yang bisa dilakukan berikutnya?
Kapan perbaikan akan selesai?
Siapa yang akan bertanggung jawab?
Siapa yang akan memberi persetujuan?

19

20

Level 2-Learning

Level 2-Learning

Mengukur pembelajaran (learning)

berarti menentukan:
Apakah trainee mempelajari apa
yang direncanakan untuk
dipelajari?
Apakah pengalaman trainee
sesuai dengan apa yang
direncanakan?

21

Komponen Evaluasi Level 2

1. Kompetensi

Apa yang harus dipelajari untuk

pekerjaan (Knowledge, Skill, Attitude)

2. Objectives

Tujuan sesi yang spesifik & terukur

3. Exercises

Aktivitas di sesi training yang akan

digunakan untuk tujuan evaluasi

4. Evaluation

Alat yang digunakan untuk mengukur

kompetensi

22

23

Contoh Evaluasi Hasil Pre Test/Post Test

Pertanyaan

Pre Test

Post Test

+/-

1.5

3.5

2.0

3.5

3.0

(0.5)

1.7

2.9

1.2

24

Mengukur Hasil Training

25

Level 3-Behavior Application

Level 3-Behavior
Application

Frekuensi aplikasi Skills /

Knowledge/Attitudes baru
(dalam pekerjaan)
Efektivitas Skills / Knowledge /
Attitudes (aplikasi dalam
pekerjaan)

26

Alat Evaluasi Level 3

si t
a
lu raja
a
E v de
0
36

Form masukan peserta

Form masukan atasan
Form masukan rekan kerja
Form masukan customer

Apa yang Diukur:

Apakah diaplikasikan dalam
pekerjaan
Seberapa sering diaplikasikan?
Seberapa berhasil?

27

Peserta
Training
Rekan
Kerja

Atasan
Peserta
28

Berikan jeda waktu

dari selesai training
ke saat evaluasi

29

Level 4-Business Results

Level 4Business
Results

Apakah program training

berpengaruh terhadap:
Produktivitas
Kualitas
Customer Response Time
Kontrol Biaya
Kepuasan Karyawan
Kepuasan Pelanggan

30

Langkah Evaluasi Training Level 4

Review tujuan
Mengukur progress terhadap tujuan
Mentabulasikan hasil
Menyajikan hasil

31

Performance Indicators
Hard Data Indicators
Durasi downtime
Jumlah produk rusak
Volume penjualan
Unit produksi
Indeks kepuasan pelanggan
Jumlah kecelakaan kerja
dll

32

Performance Indicators
Soft Data Indicators (aspek intangible/tidak berwujud)
Kepuasan kerja
Hubungan kerja yang harmonis
Komunikasi yang efektif
Tingkat stress
Kualitas pengambilan keputusan

33

Contoh: Mengukur Hasil Training

140
120

Program: Training TQM

Hasil 3 bulan setelah training,
jumlah produk rusak turun
hingga 80 unit/hari

Jumlah Produk Rusak

120
100
80
80
60
40
20
0
Sebelum Training

Setelah Training

34

Contoh: Mengukur Hasil Training

50

40
Sales (Unit)

Program: Training Sales

Hasil 3 bulan setelah training,
jumlah sales per salesman
Meningkat hingga 30 unit/
bulan

30
30
20
20

10

0
Sebelum Training

Setelah Training

35

Mengukur Return On Training Investment

(ROTI)

36

Level 1-Reaction
Level 2-Learning
Level 3-Behaviour
Application
Level 4-Business
Impact
Level 5-Return on
Investment of
Training

37

Kriteria Memilih Program untuk

Evaluasi Level 4 dan 5
Tingkat kepentingan program dalam pencapaian
tujuan organisasi
Biaya program
Jumlah peserta
Tingkat kepentingan dari pihak manajemen

38

Keuntungan ROI Training

Mengukur kontribusi
Menetapkan prioritas
Berfokus pada hasil
Mengubah pandangan manajemen terhadap
training

39

Model ROI Training

Mengumpulkan
data

Mengisolasi
Efek Training

Mengubah Data
Ke Satuan Uang

Mengidentifikasi
Keuntungan
Intangible

Menghitung
ROI Training

Mentabulasi
Biaya Program

40

Mengumpulkan Data

Mengumpulkan
data

Identifikasi indikator performa

yang tepat
Mengembangkan rencana
pengumpulan data

41

Contoh Indikator Performa

Output

Unit produksi
Item terjual
Produktivitas
Account baru

Time

Downtime
perlengkapan
Overtime
Waktu proses
Waktu perbaikan

42

Contoh Hard Indicator

Cost

Biaya/unit
Biaya variabel
Biaya overhead
Biaya operasi

Quality

Scrap
Waste
Reject
Error rate
Rework

43

Contoh Hasil Performa

Beberapa hasil performa setelah program training:
Scrap berkurang dari 11% menjadi 7.4%
Ketidakhadiran berkurang dari 7% menjadi 3.25%
Tingkat turnover berkurang dari 30% menjadi 16%

44

Mengisolasi Efek Training

Menggunakan Control
Group

Trend Lines

Metode Isolasi
Efek Training

Estimasi Peserta

Estimasi Atasan Peserta

45

Mengisolasi Efek Training

Menggunakan
Kontrol Grup

Kontrol grup dapat digunakan

untuk mengisolasi dampak
training
Dengan strategi ini, satu grup
menerima training, sedangkan
grup yang lain tidak menerima
training
Perbedaan performa diantara
kedua grup merupakan dampak
dari program training

46

Mengisolasi Efek Training

Trend Lines

Trend lines digunakan untuk

memperkirakan suatu hasil
jikalau tidak diadakan training
Perkiraan dibandingkan dengan
data aktual setelah training, dan
perbedaannya dianggap sebagai
dampak training

47

Analisis Trend Lines

Volume Penjualan

Performa Penjualan
Aktual
Gap melambangkan
dampak training

Program Training
diadakan awal Mei

Proyeksi Trend

Jan

Feb

Mar

Apr

Mei

Jun

Jul

Ags

48

Mengisolasi Efek Training

Estimasi Dampak
Training dari Peserta
Dan Atasan Peserta

Metode ini berdasar pada asumsi

peserta (dan atasannya) mampu
memperkirakan seberapa peningkatan
kinerja terkait program training
Karena tindakan mereka menghasilkan
peningkatan, peserta (dan atasannya)
memiliki input yang akurat mengenai
hal ini
Mereka harus mengetahui berapa
besar perubahan yang dihasilkan
dengan menerapkan apa yang telah
dipelajari di program

49

Mengisolasi Efek Training

Estimasi Dampak
Training dari Peserta
Dan Atasan Peserta

Contoh Pertanyaan:
Berapa % peningkatan yang
dihasilkan dari penerapan
skill/teknik/attitude yang
diperoleh dari training?
Seberapa yakin anda mengenai
estimasi tersebut (dalam %)?
Faktor lain apa saja yang
berkontribusi pada peningkatan
kinerja?

50

Mengisolasi Efek Training

Contoh Estimasi Peserta:
No.

Faktor yang Mempengaruhi Peningkatan

%
Peningkatan

%
Kepercayaan

Program Training

50%

70%

Perubahan Prosedur

10%

80%

Penyesuaian Standard

10%

50%

Perubahan Rencana Insentif

20%

90%

Peningkatan Perhatian Manajemen

10%

50%

Lain-lain

% Kepercayaan dikalikan % Peningkatan (50% x

70%) menghasilkan training factor value 35%

51

Mengisolasi Efek Training

Contoh Estimasi Peserta:
No.

Faktor yang Mempengaruhi Peningkatan

%
Peningkatan

%
Kepercayaan

Program Training

50%

70%

Perubahan Prosedur

10%

80%

Penyesuaian Standard

10%

50%

Perubahan Rencana Insentif

20%

90%

Peningkatan Perhatian Manajemen

10%

50%

Lain-lain

% Kepercayaan dikalikan % Peningkatan (50% x 70%) untuk menghasilkan

training factor value 35%
% ini kemudian dikalikan dengan nilai aktual peningkatan (nilai post program
dikurangi pre program) untuk mengisolasi porsi training
Peningkatan (adjusted) ini siap untuk dikonversi menjadi nilai uang dan digunakan
dalam return on investment
52

Konversi Data ke Nilai Uang

Konversi Data ke
Nilai Uang

Langkah Mengubah Data ke Nilai Uang:

Fokus dalam unit peningkatan
Tentukan nilai setiap unit
Hitung perubahan kinerja
Tentukan nilai perubahan annual
Hitung nilai peningkatan annual

53

Langkah Mengubah Data ke Nilai Uang

Contoh Ilustrasi Langkah Mengubah Data menjadi Nilai Uang:
Langkah

Ilustrasi

Fokus pada unit

peningkatan

Jumlah Keluhan Pelanggan

Tentukan Nilai setiap

Unit

Biaya rata-rata menangani keluhan

diestimasi $6,500

Hitung Perubahan
Kinerja

6 bulan setelah training, jumlah keluhan

per bulan berkurang sejumlah 10
7 dari 10 keluhan yang berkurang dinilai
atasan terkait dengan hasil training
(isolasi dampak training)

Tentukan Nilai
Perubahan

Menggunakan nilai 6 bulan, 7 keluhan

per bulannya, menghasilkan nilai
6x7x$6,500 = $546,000
54

Tabulasi Biaya Program

Tabulasi Biaya
Program

Tabulasi biaya meliputi

monitoring semua biaya
program untuk menghitung ROI

55

Tabulasi Biaya Program

Tabulasi Biaya
Program

Komponen biaya yang

seharusnya dihitung:
Biaya perjalanan, penginapan,
makan peserta
Gaji peserta training
Biaya administrasi training

56

Tabulasi Biaya Program

A. Biaya Pengembangan Training
B. Biaya Gaji Peserta Training
Gaji Annual x Panjang Training x Jumlah Peserta
Hari Kerja
C. Biaya Perjalanan
Avg. Biaya + Biaya Akomodasi x Panjang Training x Peserta
Perjalanan
D. Biaya Paket Peserta = Jumlah Manual x Jumlah Peserta
E. Biaya Trainer
Gaji Annual
x Hari Training x Jumlah Trainer
Hari Kerja/Tahun
F. Biaya Kelas Annual
G. TOTAL BIAYA TRAINING= (A)+(B)+(C)+(D)+(E)+(F)

57

Contoh Analisis ROI

Minggu Setelah
Training

Trained Group

Control Group

US$ 9,723

9,698

9,978

9,720

10,424

9,812

13

13,690

11,572

14

11,491

9,683

15

11,044

10,092

12,075

10,449

Average untuk
minggu 13,14,15

58

Contoh Analisis ROI

Keuntungan Program Annual

Data

US$

Rata-rata penjualan mingguan

Trained Group

12,075

Control Group

10,449

Peningkatan

1,626

Kontribusi Profit dari Training 2%

32.50

(Dampak Training)
Total Peningkatan Mingguan
(32.5 x 46 peserta)
Total Keuntungan Annual
($ 1,495 x 48 minggu)

1,495
71,760

Cat: 46 peserta tetap di pekerjaan setelah 3 bulan

59

Contoh Analisis ROI

Biaya
Fee Fasilitasi

US$
11,250

Material program: $35 x 46

1,610

Makan: 3 hari x $28 x 46

1,288

Gaji peserta (35%)

Koordinasi dan Evaluasi
Total Biaya

12,442
2,500
29,090

ROI (%):
= $71,760-$29,090 X 100
$ 29,090
= 146%

60