HCI yang baik adalah HCI yang user friendly dan usabilitynya tinggi. Lantas bagaimanakah mengukur dan mendapatkan angka dari usability itu sendiri? Jawabnnya adalah dengan menggunakan Usability Testing.

Usability testing adalah tool untuk mengevaluasi keefektifan dan kemudahan penggunaan dari sistem atau produk. Gol dari usability testing adalah mengidentifikasikan masalah pada desain dan merekomendasikan perubahan pada produk. Selama usability testing, peneliti mengamati responden representatif (user aplikasi) yang melakukan tugas-tugas yang akan mewakili pekerjaan mereka nantinya dengan tujuan mengetahui kapan dan bagaimana mereka memperoleh masalah ketika menggunakan produk. Usability dapat dievaluasi mengunakan teknik-teknik berikut ini : evaluasi heuristik, review ahli, eye tracking, contextual interview, kuesionair, survei, focus group, remote testing, mobile device testing, dan skenario.

Dalam usability testing, penting untuk mendefinisikan ukuran sampel responden representatif yang tepat. Ada tiga prinsip tergantung ukuran sampel untuk studi usability : (1) mengamati 4 atau 5 partisipan akan memungkinkan praktisi usability menemukan 80% dari masalah usability produk, (2) mengamati partisipan tambahan akan menemukan masalah usability produk yang semakin sedikit, dan (3) masalah usability yang lebih akut lebih mudah dideteksi dengan partisipan kecil yang pertama kali. Menurut Burnett, secara personalitas untuk 10 partisipan dengan 5 ekstrovert dan 5 introvert, ternyata partisipan usability testing dengan personalitas ekstrovert menemukan 40% lebih banyak masalah usability dibandingkan partisipan introvert.

Usability testing dapat dideskripsikan sebagai metode usability paling mendasar. Ada 4 tipe dari usability test ini, yaitu :

• Exploratory (formative), untuk menguji konsep awal dan mengevaluasi apa yang dijanjikan. Studi exploratory diadakan cukup awal pada siklus pengembangan, ketika produk masih dalam tahapan awal yang sedang didefinisikan dan dirancang. Pada titik ini, profil pengguna dan model penggunaan dari produk akan telah didefinisikan. Tim proyek mungkin sedang bergulat dengan spesifikasi fungsional dan model awal dari produk, atau mingkin fase kebutuhan dan spesifikasi sudah selesai namun akan memulai fase desain. Tujuan utama dari studi ini adalah menguji keefektivan dari konsep desain awal.
• Assessment, menguji fitur selama implementasi. Tipe tes ini dilakukan bisa pada awal atau tengah-tengah dari siklus pengembangan produk, biasanya setelah desain sudah dibuat. Tujuan dari tipe tes ini adalah memperluas temuan dari exploratory test dengan mengevaluasi usability dari operasi dan aspek paling mendasar dari produk. Tes ini mencari untuk menguji dan mengevaluasi bagaimana konsep telah diimplementasikan secara efektif.
• Comparison, menilai desain terhadap yang lain. Comparison tidak diasosiasikan dengan posisi khusus manapun pada siklus pengembangan. Pada tahapan awal pengembangan, tipe tes ini bisa untuk membandingkan style tampilan beberapa antarmuka yang sangat berbeda agar dapat dilihat yang mana memiliki potensial terbesar yang sesuai dengan yang diharapkan oleh target pengguna. Jika dilakukan pada tahapan tengah-tengah siklus pengembangan, comparison dapat digunakan untuk mengukur keefektivan dari sebuah elemen tunggal misalkan tombol dengan gambar atau tombol dengan teks mana yang lebih disetujui pengguna. Sedangkan pada akhir siklus, tipe tes ini dapat digunakan untuk melihat bagaimana produk yang telah dirilis diposisikan terhadap produk buatan kompetitor. Tipe tes ini dapat digunakan bersamaan dengan tipe tes yang lain, dapat digunakan untuk membandingkan dua atau lebih desain. Perbandingan seperti dua style yang berbeda, rancangan desain yang ada saat ini dengan desain baru yang akan diajukan, membandingkan produk yang dimiliki dengan produk buatan kompetitor sehingga bisa diperoleh desain mana yang lebih mudah digunakan, dipelajari, atau lebih bagus untuk memahami keuntungan dan kerugian dari desain yang berbeda-beda.
• Validation (veriification), menyatakan fitur memenuhi standar tertentu dan mengukur di akhir-akhir dalam proses pengembangan. Tujuan dari tes ini adalah mengevaluasi bagaimana produk dibandingkan terhadap beberapa standar usability yang telah ditentukan, baik standar performa terkait projek, standar internal perusahaan atau standar historis, atau standar performa dari kompetitor. Dalam hal ini tipe verification test mengkonfirmasi bahwa problem yang ditemukan di awal telah diselesaikan dan problem baru tidak ditemukan.

Mengevaluasi usability dari faktor effectiveness dan efficiency misalnya, dapat dilakukan dengan rumus perhitungan. Setelah user menyelesaikan tes-tes pengujian yang diberikan, dapat dihitung effectiveness dan efficiency. Effectiveness merupakan jumlah gol yang dapat dicapai,

Sementara efficency  dihitung menggunakan rumus

Selain itu dapat juga dihitung time-based efficiency dari sistem informasi yang dibuat sehingga dapat diketahui besarnya goal dari task yang dapat diselesaikan per menit dengan formula sebagai berikut

Dimana :

N =    total jumlah task pengujian / gol.

R =     banyaknya pengguna dalam pengujian.

n_ij =    hasil dari task-i oleh user-j. Jika pengguna berhasil

           mencapai gol, maka n_ij = 1, jika gagal maka n_ij = 0.

t_ij =     waktu yang diperlukan user-j untuk menyelesaikan

           task ke-i. Jika gagal, maka dihitung waktu hingga

           pengguna mengakhiri task.

Untuk atribut usability yang lain dapat dihitung dengan nilai dari hasil kuesionair. Dimana suatu atribut usability (misalkan learnability) akan memiliki sekian-n atau sejumlah pertanyaan terkait atribut tersebut, sehingga dapat dihitung skor dari atribut menggunakan rumus

Studi Kasus Contoh

Penelitian Norhaliza melakukan usability testing pada web portal Kementrian Pendidikan Malaysia menggunakan metode usability test berupa skenario test dan user testing serta kuesionair. Komponen yang diukur meliputi 7 atribut usability diadopsi dari ISO/IEC 25010 dan Website Analysis and Measurement Inventory (WAMMI), meliputi :

Pada pre-usability testing, survey dilakukan dengan 70 orang partisipan yang masing-masing diberikan daftar skenario task-task yang harus dilakukan. Effectiveness dilihat dari banyaknya task yang berhasil diselesaikan dan task yang akurat, sementara Efficiency dilihat dari lama waktu respon dari setiap task yang selesai. Task dilakukan di hari kerja pada jam sibuk mulai jam 10 AM – 1 PM dan jam 2 PM – 4 PM. Setelah selesai mengerjakan task, pengguna mengisi kuesionair untuk memperoleh skor faktor usability. Pada post-usability testing dilakukan evaluasi usability ulang setelah web portal dilakukan enhancement

Penelitian tersebut berhasil menguji usabilitas melalui 3 tahapan pengujian (pilot test, pre-usability test, dan post-usability test) dengan komponen yang diukur meliputi effectiveness, efficiency, learnability, controllability, attractiveness, helpfulness and satisfaction. Hasil menunjukkan bahwa usability testing merupakan salah satu metode yang berguna untuk meningkatkan usability web portal.

Referensi:

• A. Granic, I. Mitrovic, and N. Marangunic, “Exploring the usability of web portals: A Croatian case study”, International Journal of Information Management, vol.31, no.4, pp.339–349, 2011, doi:10.1016/j.ijinfomgt.2010.11.001.
• B.N. Norhaliza and B.S. MarYah, “Usability Testing on Government Agencies Web Portal: A Study on Ministry of Education Malaysia (MOE) Web Portal”, 2015 9^th Malaysian Software Engineering Conference (MySEC), pp.37-42, Dec. 2015, doi:10.1109/MySEC.2015.7475192.
• I. Gibbs, S.M. Dascalu, and F.C. Harris, “Web Portal Usability Tests for the Nevada Climate Change Portal”, 2013 10^th International Conference on Information Technology: New Generations, pp.39-45, Apr. 2013, doi: 10.1109/ITNG.2013.14.
• J. Redish and J. Dumas, A Practical Guide to Usability
  Testing. Intellect, 1999.
• J. Rubin and D. Chisnell, Handbook of Usability Testing: How to
  Plan, Design and Conduct Effective Tests. John Wiley & Sons, 2011.
• J. Nielson, “Usability 101: Introduction to usability,” 2012, https://www.nngroup.com/articles/usability-101-introduction-to-usability/
• M. Bacikova and J. Poruban, “Ergonomic vs. Domain Usability of User Interfaces”, IEEE 2013 6^th International Conference on Human System Interactions (HSI), pp.159-166, 2013, doi:10.1109/HSI.2013.6577817.
• N. Claridge and J. Kirakowski, “Website Analysis and MeasureMent Inventory (WAMMI)”, http://www.wammi.com/ , 2017.
• M.W. Iqbal, N. Ahmad, and S.K. Shahzad, “Usability evaluation of adaptive features in smartphones”, Procedia Computer Science, vol.112, pp.2185-2194, 2017, doi:10.1016/j.procs.2017.08.258.
• Z. Huang and M. Benyoucef, “Usability and credibility of e-government websites”, Government Information Quarterly, vol. 31, no.4, pp.584–595, Oct. 2014, doi:10.1016/j.giq.2014.07.002.
• P. Rahayu, D.I. Sensuse, W.R. Fitriani, I. Nurrohmah, R. Mauliadi, and H.N. Rochman, “Applying usability testing to improving Scrum methodology in develop assistant information system”, 2016 International Conference on Information Technology Systems and Innovation (ICITSI), pp.2, 2016, doi:10.1109/ICITSI.2016.7858222.
• S.F. Verkijika and L.D. Wet, “A usability assessment of e-government websites in Sub-Saharan Africa”, International Journal of Information Management, vol.39, pp.20-29, Apr. 2018, doi: 10.1016/j.ijinfomgt.2017.11.003.
• W. M. I. Wan Abdul Rahim, M. L. Anitawati, A. W. Eza Syafiqa, and S. Roziah, “Usability Testing Research Framework: Case of Handicraft Web-Based System”, 2nd International Conference on Information and Communication Technology (ICoICT), pp.199-204, 2014, doi:10.1109/ICoICT.2014.6914065.
• G. E. Burnett and D. Ditsikas, “Personality As A- Criterion For Selecting Usability Testing Participants”, 4^th International Conference on Information & Communications Technology 2006 (ICICT ’06), Dec. 2006, doi:10.1109/ITICT.2006.358235.