Tugas Softskill 2
Interaksi Manusia & Komputer
nama kelompok :
1. Danar Ilham
2. Imam Mulhakim
3. Wahyu ajis saputra
BAB XI
TEKNIK EVALUASI
11.1
Pendahuluan
Bab ini membahas teknik evaluasi
yang dapat digunakan untuk aplikasi yang didalamnya terjadi interaksi antara
manusia dan komputer. Evauasi adalah suatu tes atas tingkat penggunaan dan
fungsionalitas sistem yang dilakukan di laboratorium, di lapangan, atau di
dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dengan
komputer adalah desain dan implementasi nya. Evaluasi memliki 3 tujuan utama
yaitu:
1.
Melihat seberapa jauh sistem berfungsi : Desain
Sistem memungkinkan user melakukan tugas dengan lebih mudah. User dapat
melakukan aksi untuk melaksanakan tugas juga mencakup kesesuaian penggunaan
sistem terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini
meliputi pengukuran unjuk kerja dari user pada sistem, untuk melihat ke
efektifan sistem dalam mendukung tugas.
2.
Melihat efek interface bagi pengguna: Mencakup
aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user.
3.
Mengidentifikasi problem khusus yang terjadi
pada sistem: ketika penggunaan suatu konteks memberikan hasil yang
tidak diinginkan atau terjadi suatu masalah maka akan mengurangi daya
guna dan fungsionalitas dari desain. Tujuan ini merupakan aspek negatif dari
desain
Ada dua jenis evaluasi, yaitu
yang dilaksanakan pada kondisi laboratorium dan kondisi lapangan.
1.
Dalam kondisi percobaan (laboratorium):
Pengujian sistem ini dilakukan pada ruang percobaan dengan beberapa kondisi,
diantaranya:
a.
Laboratorium yang bagus biasa nya memiliki
fasilitas yang baik dan lengkap.
b.
Operator terbebas dari gangguan yang menghambat
pekerjaan.
c.
Beberapa situasi hanya dapat dilakukan di
laboratorium.
d.
Situasi pada laboratorium tidak dapat
menggambarkan situasi ruang kerja yang sebenarnya dan terdapat orang – orang
yang tidak biisa bekerja pada kondisi seperti di laboratorium
e.
Dapat memanipulasi situasi untuk memecahkan
masalah dan melihat penggunaan prosedur atau membandingkan beberapa alternatif
perancangan denga situasi yang sebenarnya.
2.
Dalam kondisi kerja sebenarnya : Penggunaa
pengujia sistem ini pada lokasi kerja yang sebenarnya mempunyai beberapa
konidisi , di antaranya:
a.
Tingkat gangguan yang melebihi ambang batas.
b.
Situasi yang lebih “terbuka” antara sistem dan
pengguna.
c.
Observasi pada lokasi kerja yang sebenarnya
adalah lebih baik daripada laboratorium.
Ada ebberapa pendekatan evaluasi yang dilakukan seperti:
1.
Evaluatings designs
2.
Evaluating implementions
3.
Query techniques
4.
Physiological methods
11.2
Evaluasi Desain
Evaluasi
ini dilakukan setelah proses perancangan. Jika perancangan di evaluasi,
kesalahan dapat dihindari karena perancangan dapat diberbaiki sebelumnya.
Evaluasi desain terdiri dari cognitive walkthrough, heuristic evaluation dan
review – based evaluation .
11.3 Cognitive Walkthrough
Usaha ini
bertujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan
yang diberikan ke pengguna guna mempelajari berbagai tugas yang diberikan.
Dalam pendekatan ini terdapat beberapa isu yang timbul seperti:
1.
Dampak interaksi apakah yang akan terjadi pada
penguna?
2.
Proses kognitif apakah yang dibutuhkan?
3.
Masalah pembelajaran apakah yang mungkin
terjadi?
Analisis difokuskan pada tujuan
user dan pengetahuan. Cognitive walkthrough harus menunjukan jika dan bagaimana
interface merujuk user untuk membangkitkan tujuan yang benar dari pelaksanaan
tugas yang di inginkan, dan memilih aksi yang diperlukan untuk memnuhi setiap
tujuan.
Untuk melakukan Cognitive Walkthrough harus mempunyai
informasi yang dibutuhkan:
1.
Deskripsi dari inerface yang dibutuhkan itu.
2.
Deskripsi tugas, termasuk usaha yang benar untuk
melakukanya dan struktur tujuan untuk mendukung nya.
Dengan informasi ini maka evaluator dapat melakukan langkah
walkthrough:
1.
Pilih tugas,
2.
Deskripsikan tujuan awal dari user,
3.
Lakukan kegiatan/aksi yang tepat
4.
Analisi proses keputusan untuk setiap keadaan.
Cognitive
Walkthrough berbasis formulir yang disediakan untuk merujuk evaluator maelului
sekumpulan pertanyaan yang berhubungan dengan tugas dan tujuan user. Cognitive
walkthrough merupakan metode analisis yang dapat digunakan untuk fase perancangan
awal maupun untuk mengevaluasi sistem,berisi informasi yang berhubungan dengan
kemampuan elajar (learnability) dari interface. Meskipun diraancang untuk
digunakan oleh perancang sendiri tetapi juga memerlukan pengetahuan teori
psikologi beserta terminologinya agar efektif.
11.4
Evaluasi Heuristik
Heuristik adalah guideline,
prinsip umum dan peraturan, pengalaman yang bisa membantu suatu keputusan atau
kritik atas suatu keputusan yang telah diambil, beberapa penilaina bebas
terhadap suatu desain supaya kritik bisa memajukan potensi daya guna. Ada
sepuluh dasar dari heuristik, seperti:
1.
Visibilitas satatus sistem,
2.
Kecocokan antara sistem dan dunia nyata,
3.
Kontrol user dan kebebasan,
4.
Konsisten dan standar
5.
Pencegahan kesalahan
6.
Pengenalan atas penarikan kembali
7.
Fleksibilitas dan efisien
8.
Berhubungan dengan keindahan dan desain
minimalis
9.
Bantuan bagi user untuk mengenalli, mendiagnosis
dan memperbaiki dari kesalahan,
10.
Help dan dokumentasi.
Tujuan dari
evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif. Jika
ada kesalahan yang terdeteksi maka perancangan dapat ditinjau ulang guna
memperbaiki masalah terebut sebelum sampai pada tingkat implementasi.
Pendekatan ini
mudah dan relatif cepat. Tidak seluruhnya subjektif, di mana kriteria khusus digunakan
untuk merujuk evaluasi. Selain itu juga dibutuhkan suatu level tertentu dari
pengetahuan untuk mengaplikasikan evaluasi heuristik.
11. 5
Evaluasi Berbasis Tujuan
Evaluasi
antara psikologi eksperimen dengan interaksi manusia dan komputer membuahkan
hasil eksperimen yang baik dan pengalaman yang nyata. Beberapa di antaranya
dari domain khusus ke umum, tetapi kebanykan berhubungan dengan isu generik dan
teraplikasu pada berbagai situasi.
Dalam
kenyataannya hasil eksperimen ini tidak dapat dipastikan mempertahankan kondisi
yang tetap. Evaluator harus memlih data secara hati – hati, menunujuk rancangan
eksperimen yang dipilih, subjek masyarakat yang digunakan, analisis pelaksanaan
dan asumsi yang dibuatyang dibuat.
11.6 Model Evaluasi Dasar
Pendekatan terakhir
untuk megevaluasi perancangan adalah dengan mengombinsikan spesifikasi
perancangan dan evaluasi ke dalam kerangka kerja yang sama.
11.7
Evaluasi Implementasi
Evaluasi desain adalah suatu ide
yang baik tetapi tidaklah cukup hanya sampai disitu. Ada tiga pendekatan dari
evaluasi emplementasi, seperti empiris (teknik percobaan), metode observasi dan
metodequery.
11.8
Evaluasi Eksperimen
Evaluasi dengan melakukan
eksperimen merupakan metode klasik dengan pendekatan statistik. Evaluasi
terkontrol dari aspek spesifik pada perilaku interaktif, pengevaluasi memilih
hipotesis yang akan dicoba dan jumlah kondisi eksperimen hanya dilihat sebagai
perbedaan dalam nilai dan beberapa variabel terkontrol serta perubahan dalam
pengukuran kinerja dihubungkan dengan kondisi – kondisi yang berbeda. Faktor –
faktor eksperimental seperti:
1.
Subjects: siapa merepresentasikan, ketercukupan
contoh:
a.
Pemilihan subjek sangat penting dalam beberapa
eksperimen.
b.
Harus setepa mungkindengan keinginan user.
c.
Jika subjek bukan user yang sebenarnya maka
subjek yang dipilih harus sama usia dan tingkat pendidikannya sesuai dengan
kelompok user yang dimaksud.
d.
Ukuran sampel yang dipilih kebanykan ditentuka
dengan pertimbangan pragmatis, kehandalan user terbatas.
2.
Variabel: Sesuatu untuk dimodifikasi dan ukuran.
a.
Variabel independen: Karaketeristik suatu
eksperimen manipulasi untuk menghasilkan kondisi yang berberda sebagai
perbandingan.
b.
Variabel dependen: Variabel yang dapat diukur
dalam eksperimen.
3.
Hipotesis: apa yang ingin ditunjukan
a.
Merupakan prediksi yang dihasilkan dalam
eksperimen.
b.
Masih menggunakan variabel independen dan
dependen.
c.
Tujuan dari eksperimen adalah untuk menunjukan
bahwa perkiraan benar dengan menyangkal adanya hipotesis null yang menyatkan
bahwa tidak ada perbedaan dalam variabel dependen antar tingkatan dari variabel
dependen.
d.
Pengukuran statistik menunujukan bahwa nilai
hasil dapat dibandigkan dengan tingkat kepercayaan .
4.
Desain Eksperimental bagaimana cara melakukannya
a.
Between-Groups (Randomized)
1.
Masing-masing sebjek
diberi kondisi yang berbeda, yakni kondisi eksperimen (variabel setelah
dimanipulasi) dan kontrol yang identik dengan kondisi ekperimen kecuali untuk manipulasi
ini. Konrol ini memastikian bahwa manipulasi bertangggung jawab untuk setiap
perbedaan yang di ukur.
2. Keuntungan perancangan ini
adalah setiap user menghasilkan satu kondisi.
3. Kerugiannya adalah dengan
semakin banyaknya jumlah subjek yang tersedia maka akan menyebabkan hasilnya
berkurang dan perbedaan antar individu akan membuat hasilnya menjadi bias.
b.
Within-Groups
1. Setiap user akan
menampilkan kondisi yang berbeda.
2. Jumlah user yang tersedia
lebih sedikit.
3. Pengaruh dari subjek lebih
sedikit.
Pemilihan
metode ekperimen bergantung dari sumber yang tersedia, bagaimana transfer
pembelajaran terjadi dan perwakilan kelompok user yang bagaimana yang di
pertimbangkan. Kita harus menentukan hasil analisis yang bagaimana yang akan
diambil atau disimpan.
Pemilihan
analisis statistik bergantung pada tipe data dan pertanyaan yang perlu dijawab.
Variabel yang digunakan terbagi dalam 2, yaitu :
1. Variabel Diskrit :
Menggunakan jumlah yang terbatas dari suatu nilai atau tingkatan. Contoh :
Warna layar monitor, yakni merah,hijau, atau biru yang merupakan suatu variabel
independen.
2. Variabel Kontinu :
Menggunakan jumlah berapapun (batas atas maupun bawah). Contoh : Ketinggian seseorang atau waktu yang diperlukan untuk
menyelesaikan pekerjaan yang merupakan suatu variabel dependen.
Jika
variabel dependen diukur dan subjeknya merupakan variasi dari eksperimen yang
acak, bila variabel kontinu maka variasi acak akan menjadi khusus. Jika bentuk
data mengikuti distribusi yang dikenal maka uji statistik khusus dan yang lebih
kuat akan digunakan. Uji ini dikenal dengan tes paramatik. Jika datanya tidak
terdistribusi normal maka pengujian non-parametik yang digunakan.
11.9 Analisis Data
Untuk melakukan analisis data, lihat
data yang akan dianalisis terlebih dahulu. Data asli disimpan untuk
dicadangkan. Pada analisis data, pemilihan teknik statistik tergantung pada
jenis data dan informasi yang dibutuhkan. Data terdiri dari 2 jenis, yaitu :
1. Diskrit (jumlah terbatas
dari nilai-nilai)
2. Kontinu ( Sembaran nilai)
Pada
analisis data terdapat 3 jenis , yaitu :
1. Paramatik : Diasumsikan
berdistribusi normal dan tetap dapat bekerja serta berdayaguna dalam berbagai
kondisi.
2. Non-Paramatik :
Distribusinya diasumsikan tidak berdistribusi normal, kurang berdayaguna tetapi
lebih handal.
3. Tabel Kontingensi :
Klasifikasi data dengan atribut-atribut diskrit dan menghitung jumlah item data
dalam setiap kelompok.
Jenis
Tes
|
Independet
Variable
|
Dependent
Variable
|
Bentuk
Tes
|
Parametric
|
2
Valued
|
Normal
|
Pengujian
pada perbedaan makna
|
Discrete
|
Normal
|
ANOVA
( Analysis Of Variance)
|
|
Continuous
|
Normal
|
LInier
atau non-linier faktor regresi
analisis
|
|
Non-Parametric
|
2
Valued
|
Continuous
|
Wilcoxon
atau Mann-Whitney jumlah kelompok tes
|
Discrete
|
Continuous
|
Jumlah
kelompok versi ANOVA
|
|
Continuous
|
Continuous
|
Korelasi
peringkat Spearman
|
|
Contingency
Test
|
2
Valued
|
Discrete
|
Tidak
ada tes khusus
|
Discrete
|
Discrete
|
Tabel
kontingensi dan X test bujur sangkar
|
|
Continuous
|
Discrete
|
Grup
Independent Variable
|
Tabel 11.1 Teknik analisis statistik
11.10 Studi Eksperimental Pada Grup
Percobaan yang dilakukan dengan
group lebih sulit dibandinkan percobaan yang dilakukan oleh single user karena
adanya beberapa masalah, yaitu :
1. Subject Grup : Jumlah
subjek lebih banyak, waktu yang dibutuhkan lebih lama karena munculnya banyak
variasi dan sulit untuk menjadwal anggota grup yang ada.
2. Task : Harus saling
menyemangati dalam kerjasama.
3. Data Gathering : Data yang
dimiliki oleh setiap anggota kelompok berbeda sehingga ada beberapa masalah
seperti sinkronisasi , volume, tipis dan sebagainya.
4. Analisis : Waktu melakukan
analisis dari suatu percobaan terdapat banyak variasi dari setiap anggota
group.
11.11 Teknik Observasi
Metode observasi terdiri dari think
aload, evaluasi kooperatif , analisis protokol, analisis otomatis, dan
post-task walkthrough.
11.11.1 Think Aload
Think Aload mempunyai keuntungan,
yakni sederhana, membutuhkan sedikit pengetahuan untuk menampilkan, dan
menyediakan pengertian yang berguna dengan interface. Juga dapat digunakan
untuk mengobervasi bagaimana sistem digunakan.
11.11.2 Evaluasi Kooperatif
User bekerja sama dalam melakukan
evaluasi, dimana baik user maupun evalator dapat saling meberikan pertanyaan.
Keuntungannya, seperti lebih sedikit batasannya dan mudah untuk digunakan, user
di dorong untuk mengkritisi sistem dan memungkinkan klarifikasi.
11.11.3 Analisi Protokol
Analisi Protokol merupakan metode
untuk merekam aksi-aksi yang dilakukan user dengan meggunakan beberapa
peralatan seperti berikut :
1. Kertas dan Pensil : Murah
tetapi dibatasi oleh kecepatan dalam menulis.
2. Audio Recording : Baik
untuk pertimbangan yanbg lebih seksama dan sulit untuk mencocokkan dengan
protokol lain.
3. Video Recording : Lebih
akurat dan realistis.
4. Computer Logging :
Dilakukan secara otomatis oleh komputer,
tetapi data yang ada terlalu besar dan perlu keahlian khusus untuk melakukan
analisis.
5. Notebook : User menyimpan
semua aktivitas dan problem dalam
notebook evalator.
11.11.4 Post-Task Walkthrough
Sering data didapat melalui
observasi langsung tanpa interpretasi. Pada saat subjek di dorong untuk
berpikir keras melalui tugas, informasi dapat saja berada pada level yang
salah. Misalkan saat subjek mengatakan 'dan sekarang saya memilih menu undo',
tetapi tidak mengatakan kesalahan apa yang dilakukan sehingga perintah undo
diperlukan.
Walkthrough
dibuat untuk mengatasi masalah tersebut dengan merefleksikan kembali ke subjek
mereka setelah event.
11.12
Teknik Query
Teknik Query kurang formal
dibangding control eksperimentasi. User akan mendapatkan sudut pandang langsung
dan mungkin beberapa isu desain. Ada dua tipe teknik query yaitu interview dan
kuesioner.
11.12.1
Wawancara
Wawancara suatu analisis yang
dilakukan dengan menanyai user satu demi satu. Kelebihan dari metode ini adalah
pertanyaan dapat divariasikan sesuai konteksnya. Kekurangannya adalah sangat
subjektif dan memakan waktu yang lama.
11.12.2
Kuesioner
Kuesioner merupakan suatu metode
alternatif yang kurang fleksibel disbanding dengan wawancara. Kelebihannya
adalah cepat dan dapat mencapai kelompok pengguna yang besar dan dapat
dianalisis lebih teliti. Kelemahannya adalah kurang fleksibel dan kurang teliti
(factor waktu dan pekerjaan user).
Waktu membuat desain suatu kuesioner
dibutuhkan kehati-hatian, seperti informasi apakah yang dibutuhkan? Bagaimana
jawaban harus dianalisis? Gaya pertanyaan seperti apa yang digunakan?
Gaya
pertanyaan yang umum digunakan untuk suatu kuesioner:
1.
Umum : Pertanyaan
untuk mengetahui latar belakang user dan memasukkannya ke dalam subjek populasi
2.
Open-ended : Pertanyaan
yang membutuhkan jawaban atau opini sendiri, berguna untuk mengumpulkan
informasi subjektif secara umum tetapi sulit untuk dianalisis
3.
Skala : User
diminta untuk memutuskan pertanyaan tertentu berdasarkan skala angka, biasanya
berhubungan dengan setuju atau tadak setuju terhadap pertanyaan
4.
Pilihan ganda : Responden
diberikan pilihan respons secara eksplisit dan hanya boleh memilih satu atau
sebanyak yang diperlukan. Missal: software apa yang pernah anda gunakan?
5. Ranking : Mengurutkan
item dalam daftar dan berguna untuk mengindikasikan preferensi user.
Masing-masing
tipe pertanyaan di atas sangat berguna untuk tujuan yang berbeda. Untuk mengurangi
kesalahan dari responden, sebaliknya digunakan pertanyaan tertutup seperti
pertanyaan scalar, ranking atau pilihan ganda.
11.13
Metode Fisiologis
Evaluasi bias dilakukan dengan
menggunakan metode fisiologis. Metode ini membutuhkan alat deteksi yang
dirancang untuk mengetahui gerak masa user, tekanan darah, perubahan suhu tubuh
dan sebagainya.
Dengan menempatkan alat-alat khusus
pada tubuh user, evaluasi dari suatu desain dapat dilakukan secara otomatis.
Data yang terkumpul dapat dianalisis setelah user selesai menguji suatu
program. Kekurangan dari metode ini adalah alat khusus yang digunakan sangat
mahal harganya dan hasil yang diberikan tidak begitu akurat karena bergantung
desain dan program dari alat tersebut.
11.14
Pemilihan Metode Evaluasi
Ada 8 faktor yang membedakan teknik
evaluasi yang membantu kita dalam memilih yang sesuai, yaitu:
1. Tingkat
siklus
2. Jenis
evaluasi
3. Tingkat
objektivitas dan subjektivitas
4. Jenis
ukuruan yang tersedia
5. Informasi
yang tersedia
6. Kesiapan
dari suatu respons
7. Tingkat
pengguna yang tidak secara langsung
8. Sumber
yang tersedia
a.
Design VS. implementation : evaluasi pada tingkat perancangan hanya
membutuhkan ahlinya dan akan dianalisis, sedangkan evaluasi pada tingkat
implementasi menjadikan user sebagaisubjek eksperimen.
b.
Laboratory VS. Fleld
studies : secara ideal proses perancangan
mencakup dua jenis evaluasi ini dimana pada aktivitas di laboratorium merupakan
awal tingkatan sedangkan studi lapangan ditempatkan pada tingkat implementasi.
c.
Subjektif VS. Objektif : Teknik yang subjektif, sepert pada
cognitive walkthrough maupun think aloud, memercayakan hasilnya pada evaluator
atau orang yang melakukan evaluasi. Sedangkan teknik objektif seharusnya
memberikan hasil yang berulang yang tidak tergantung evaluator. Eksperimen yang
terkontrol merupakan contoh pengukuran objektif. Idealnya pengukuran subjektif
dan objektif sama-sama harus dilakukan.
d.
Qualitative VS.
Quantitative measures : Pengukuran menggunakan numeric lebih mudah dilakukan
daripada teknik statistic sedangkan non-numerik lebih sulit dilakukan namun
menghasilkan sesuatu yang peting secara lebih lengkap, sesuatu yang tidak dapat
dilakukan secara numeric.
e.
Informasi yang tersedia : Tingkatan informasi yang tersedia
untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi
yang rendah sampai dengan tingkatan yang tinggi.
f.
Kesiapan atau tundakan : Faktor lain yang membedakan teknik
evaluasi adalah kesiapan dalam mengambil tindakan yang tesedia. Seperti metode
think aloud yang merekam perilaku user pada waktu interaksi, sedangkan pada
post task walkthrough memercayakannya pada pengumpulan kembali kegiatan user.
g.
Intrusibeness : Merupakan teknik
yang menghasilkan pengukuran segera yang dihasilkan user selama interaksi dan
mempunyai resiko akan memengaruhi perilaku user. Evaluator harus sensitive
untuk mengurangi masalah ini tidak dapat mengubah semuanya.
h. Sumber-sumber : Hal terkhir yang perlu
diperhatikan dalam memilih teknik evaluasi adalah peralatan, waktu, biaya,
subjek, serta evaluator yang ahli.