Interaksi Manusia & Komputer 2

Tugas Softskill 2

Interaksi Manusia & Komputer 

nama kelompok :

1. Danar Ilham

2. Imam Mulhakim

3. Wahyu ajis saputra

BAB XI

TEKNIK EVALUASI

11.1 Pendahuluan

Bab ini membahas teknik evaluasi yang dapat digunakan untuk aplikasi yang didalamnya terjadi interaksi antara manusia dan komputer. Evauasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas sistem yang dilakukan di laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dengan komputer adalah desain dan implementasi nya. Evaluasi memliki 3 tujuan utama yaitu:

1.       Melihat seberapa jauh sistem berfungsi : Desain Sistem memungkinkan user melakukan tugas dengan lebih mudah. User dapat melakukan aksi untuk melaksanakan tugas juga mencakup kesesuaian penggunaan sistem terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada sistem, untuk melihat ke efektifan sistem dalam mendukung tugas.

2.       Melihat efek interface bagi pengguna: Mencakup aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user.

3.       Mengidentifikasi problem khusus yang terjadi pada sistem: ketika penggunaan suatu konteks memberikan  hasil yang  tidak diinginkan atau terjadi suatu masalah maka akan mengurangi daya guna dan fungsionalitas dari desain. Tujuan ini merupakan aspek negatif dari desain

Ada dua jenis evaluasi, yaitu yang dilaksanakan pada kondisi laboratorium dan kondisi lapangan.

1.       Dalam kondisi percobaan (laboratorium): Pengujian sistem ini dilakukan pada ruang percobaan dengan beberapa kondisi, diantaranya:

a.       Laboratorium yang bagus biasa nya memiliki fasilitas yang baik dan lengkap.

b.      Operator terbebas dari gangguan yang menghambat pekerjaan.

c.       Beberapa situasi hanya dapat dilakukan di laboratorium.

d.      Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang sebenarnya dan terdapat orang – orang yang tidak biisa bekerja pada kondisi seperti di laboratorium

e.      Dapat memanipulasi situasi untuk memecahkan masalah dan melihat penggunaan prosedur atau membandingkan beberapa alternatif perancangan denga situasi yang sebenarnya.

2.       Dalam kondisi kerja sebenarnya : Penggunaa pengujia sistem ini pada lokasi kerja yang sebenarnya mempunyai beberapa konidisi , di antaranya:

a.       Tingkat gangguan yang melebihi ambang batas.

b.      Situasi yang lebih “terbuka” antara sistem dan pengguna.

c.       Observasi pada lokasi kerja yang sebenarnya adalah lebih baik daripada laboratorium.

Ada ebberapa pendekatan evaluasi yang dilakukan seperti:

1.       Evaluatings designs

2.       Evaluating implementions

3.       Query techniques

4.       Physiological methods

11.2 Evaluasi Desain

                Evaluasi ini dilakukan setelah proses perancangan. Jika perancangan di evaluasi, kesalahan dapat dihindari karena perancangan dapat diberbaiki sebelumnya. Evaluasi desain terdiri dari cognitive walkthrough, heuristic evaluation dan review – based evaluation .

11.3 Cognitive Walkthrough

                Usaha ini bertujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang diberikan ke pengguna guna mempelajari berbagai tugas yang diberikan. Dalam pendekatan ini terdapat beberapa isu yang timbul seperti:

1.       Dampak interaksi apakah yang akan terjadi pada penguna?

2.       Proses kognitif apakah yang dibutuhkan?

3.       Masalah pembelajaran apakah yang mungkin terjadi?

Analisis difokuskan pada tujuan user dan pengetahuan. Cognitive walkthrough harus menunjukan jika dan bagaimana interface merujuk user untuk membangkitkan tujuan yang benar dari pelaksanaan tugas yang di inginkan, dan memilih aksi yang diperlukan untuk memnuhi setiap tujuan.

Untuk melakukan Cognitive Walkthrough harus mempunyai informasi yang dibutuhkan:

1.       Deskripsi dari inerface yang dibutuhkan itu.

2.       Deskripsi tugas, termasuk usaha yang benar untuk melakukanya dan struktur tujuan untuk mendukung nya.

Dengan informasi ini maka evaluator dapat melakukan langkah walkthrough:

1.       Pilih tugas,

2.       Deskripsikan tujuan awal dari user,

3.       Lakukan kegiatan/aksi yang tepat

4.       Analisi proses keputusan untuk setiap keadaan.

Cognitive Walkthrough berbasis formulir yang disediakan untuk merujuk evaluator maelului sekumpulan pertanyaan yang berhubungan dengan tugas dan tujuan user. Cognitive walkthrough merupakan metode analisis yang dapat digunakan untuk fase perancangan awal maupun untuk mengevaluasi sistem,berisi informasi yang berhubungan dengan kemampuan elajar (learnability) dari interface. Meskipun diraancang untuk digunakan oleh perancang sendiri tetapi juga memerlukan pengetahuan teori psikologi beserta terminologinya agar efektif.

11.4 Evaluasi Heuristik

Heuristik adalah guideline, prinsip umum dan peraturan, pengalaman yang bisa membantu suatu keputusan atau kritik atas suatu keputusan yang telah diambil, beberapa penilaina bebas terhadap suatu desain supaya kritik bisa memajukan potensi daya guna. Ada sepuluh dasar dari heuristik, seperti:

1.       Visibilitas satatus sistem,

2.       Kecocokan antara sistem dan dunia nyata,

3.       Kontrol user dan kebebasan,

4.       Konsisten dan standar

5.       Pencegahan kesalahan

6.       Pengenalan atas penarikan kembali

7.       Fleksibilitas dan efisien

8.       Berhubungan dengan keindahan dan desain minimalis

9.       Bantuan bagi user untuk mengenalli, mendiagnosis dan memperbaiki dari kesalahan,

10.   Help dan dokumentasi.

Tujuan dari evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif. Jika ada kesalahan yang terdeteksi maka perancangan dapat ditinjau ulang guna memperbaiki masalah terebut sebelum sampai pada tingkat implementasi.

Pendekatan ini mudah dan relatif cepat. Tidak seluruhnya subjektif, di mana kriteria khusus digunakan untuk merujuk evaluasi. Selain itu juga dibutuhkan suatu level tertentu dari pengetahuan untuk mengaplikasikan evaluasi heuristik.

11. 5 Evaluasi Berbasis Tujuan

Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer membuahkan hasil eksperimen yang baik dan pengalaman yang nyata. Beberapa di antaranya dari domain khusus ke umum, tetapi kebanykan berhubungan dengan isu generik dan teraplikasu pada berbagai situasi.

Dalam kenyataannya hasil eksperimen ini tidak dapat dipastikan mempertahankan kondisi yang tetap. Evaluator harus memlih data secara hati – hati, menunujuk rancangan eksperimen yang dipilih, subjek masyarakat yang digunakan, analisis pelaksanaan dan asumsi yang dibuatyang dibuat.

11.6 Model Evaluasi Dasar

Pendekatan terakhir untuk megevaluasi perancangan adalah dengan mengombinsikan spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama.

11.7 Evaluasi Implementasi

Evaluasi desain adalah suatu ide yang baik tetapi tidaklah cukup hanya sampai disitu. Ada tiga pendekatan dari evaluasi emplementasi, seperti empiris (teknik percobaan), metode observasi dan metodequery.

11.8 Evaluasi Eksperimen

Evaluasi dengan melakukan eksperimen merupakan metode klasik dengan pendekatan statistik. Evaluasi terkontrol dari aspek spesifik pada perilaku interaktif, pengevaluasi memilih hipotesis yang akan dicoba dan jumlah kondisi eksperimen hanya dilihat sebagai perbedaan dalam nilai dan beberapa variabel terkontrol serta perubahan dalam pengukuran kinerja dihubungkan dengan kondisi – kondisi yang berbeda. Faktor – faktor eksperimental seperti:

1.       Subjects: siapa merepresentasikan, ketercukupan contoh:

a.       Pemilihan subjek sangat penting dalam beberapa eksperimen.

b.      Harus setepa mungkindengan keinginan user.

c.       Jika subjek bukan user yang sebenarnya maka subjek yang dipilih harus sama usia dan tingkat pendidikannya sesuai dengan kelompok user yang dimaksud.

d.      Ukuran sampel yang dipilih kebanykan ditentuka dengan pertimbangan pragmatis, kehandalan user terbatas.

2.       Variabel: Sesuatu untuk dimodifikasi dan ukuran.

a.       Variabel independen: Karaketeristik suatu eksperimen manipulasi untuk menghasilkan kondisi yang berberda sebagai perbandingan.

b.      Variabel dependen: Variabel yang dapat diukur dalam eksperimen.

3.       Hipotesis: apa yang ingin ditunjukan

a.       Merupakan prediksi yang dihasilkan dalam eksperimen.

b.      Masih menggunakan variabel independen dan dependen.

c.       Tujuan dari eksperimen adalah untuk menunjukan bahwa perkiraan benar dengan menyangkal adanya hipotesis null yang menyatkan bahwa tidak ada perbedaan dalam variabel dependen antar tingkatan dari variabel dependen.

d.      Pengukuran statistik menunujukan bahwa nilai hasil dapat dibandigkan dengan tingkat kepercayaan .

4. Desain Eksperimental bagaimana cara melakukannya

a. Between-Groups (Randomized)

1.     

        Masing-masing sebjek diberi kondisi yang berbeda, yakni kondisi eksperimen (variabel setelah dimanipulasi) dan kontrol yang identik dengan kondisi ekperimen kecuali untuk manipulasi ini. Konrol ini memastikian bahwa manipulasi bertangggung jawab untuk setiap perbedaan yang di ukur.

2.      Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi.

3.      Kerugiannya adalah dengan semakin banyaknya jumlah subjek yang tersedia maka akan menyebabkan hasilnya berkurang dan perbedaan antar individu akan membuat hasilnya menjadi bias.

b. Within-Groups

1.      Setiap user akan menampilkan kondisi yang berbeda.

2.      Jumlah user yang tersedia lebih sedikit.

3.      Pengaruh dari subjek lebih sedikit.

Pemilihan metode ekperimen bergantung dari sumber yang tersedia, bagaimana transfer pembelajaran terjadi dan perwakilan kelompok user yang bagaimana yang di pertimbangkan. Kita harus menentukan hasil analisis yang bagaimana yang akan diambil atau disimpan.

Pemilihan analisis statistik bergantung pada tipe data dan pertanyaan yang perlu dijawab. Variabel yang digunakan terbagi dalam 2, yaitu :

1.      Variabel Diskrit : Menggunakan jumlah yang terbatas dari suatu nilai atau tingkatan. Contoh : Warna layar monitor, yakni merah,hijau, atau biru yang merupakan suatu variabel independen.

2.      Variabel Kontinu : Menggunakan jumlah berapapun (batas atas maupun bawah).  Contoh : Ketinggian  seseorang atau waktu yang diperlukan untuk menyelesaikan pekerjaan yang merupakan suatu variabel dependen.

Jika variabel dependen diukur dan subjeknya merupakan variasi dari eksperimen yang acak, bila variabel kontinu maka variasi acak akan menjadi khusus. Jika bentuk data mengikuti distribusi yang dikenal maka uji statistik khusus dan yang lebih kuat akan digunakan. Uji ini dikenal dengan tes paramatik. Jika datanya tidak terdistribusi normal maka pengujian non-parametik yang digunakan.

11.9 Analisis Data

            Untuk melakukan analisis data, lihat data yang akan dianalisis terlebih dahulu. Data asli disimpan untuk dicadangkan. Pada analisis data, pemilihan teknik statistik tergantung pada jenis data dan informasi yang dibutuhkan. Data terdiri dari 2 jenis, yaitu :

1.      Diskrit (jumlah terbatas dari nilai-nilai)

2.      Kontinu ( Sembaran nilai)

Pada analisis data terdapat 3 jenis , yaitu :

1.      Paramatik : Diasumsikan berdistribusi normal dan tetap dapat bekerja serta berdayaguna dalam berbagai kondisi.

2.      Non-Paramatik : Distribusinya diasumsikan tidak berdistribusi normal, kurang berdayaguna tetapi lebih handal.

3.      Tabel Kontingensi : Klasifikasi data dengan atribut-atribut diskrit dan menghitung jumlah item data dalam setiap kelompok.

Jenis Tes	Independet Variable	Dependent Variable	Bentuk Tes
Parametric	2 Valued	Normal	Pengujian pada perbedaan makna
	Discrete	Normal	ANOVA ( Analysis Of Variance)
	Continuous	Normal	LInier atau  non-linier faktor regresi analisis
Non-Parametric	2 Valued	Continuous	Wilcoxon atau Mann-Whitney jumlah kelompok tes
	Discrete	Continuous	Jumlah kelompok versi ANOVA
	Continuous	Continuous	Korelasi peringkat Spearman
Contingency Test	2 Valued	Discrete	Tidak ada tes khusus
	Discrete	Discrete	Tabel kontingensi dan X test bujur sangkar
	Continuous	Discrete	Grup Independent Variable

Tabel 11.1 Teknik analisis statistik

11.10 Studi Eksperimental Pada Grup

            Percobaan yang dilakukan dengan group lebih sulit dibandinkan percobaan yang dilakukan oleh single user karena adanya beberapa masalah, yaitu :

1.      Subject Grup : Jumlah subjek lebih banyak, waktu yang dibutuhkan lebih lama karena munculnya banyak variasi dan sulit untuk menjadwal anggota grup yang ada.

2.      Task : Harus saling menyemangati dalam kerjasama.

3.      Data Gathering : Data yang dimiliki oleh setiap anggota kelompok berbeda sehingga ada beberapa masalah seperti sinkronisasi , volume, tipis dan sebagainya.

4.      Analisis : Waktu melakukan analisis dari suatu percobaan terdapat banyak variasi dari setiap anggota group.

11.11 Teknik Observasi

            Metode observasi terdiri dari think aload, evaluasi kooperatif , analisis protokol, analisis otomatis, dan post-task walkthrough.

11.11.1 Think Aload

            Think Aload mempunyai keuntungan, yakni sederhana, membutuhkan sedikit pengetahuan untuk menampilkan, dan menyediakan pengertian yang berguna dengan interface. Juga dapat digunakan untuk mengobervasi bagaimana sistem digunakan.

11.11.2 Evaluasi Kooperatif

            User bekerja sama dalam melakukan evaluasi, dimana baik user maupun evalator dapat saling meberikan pertanyaan. Keuntungannya, seperti lebih sedikit batasannya dan mudah untuk digunakan, user di dorong untuk mengkritisi sistem dan memungkinkan klarifikasi.

11.11.3 Analisi Protokol

            Analisi Protokol merupakan metode untuk merekam aksi-aksi yang dilakukan user dengan meggunakan beberapa peralatan seperti berikut :

1.      Kertas dan Pensil : Murah tetapi dibatasi oleh kecepatan dalam menulis.

2.      Audio Recording : Baik untuk pertimbangan yanbg lebih seksama dan sulit untuk mencocokkan dengan protokol lain.

3.      Video Recording : Lebih akurat dan realistis.

4.      Computer Logging : Dilakukan  secara otomatis oleh komputer, tetapi data yang ada terlalu besar dan perlu keahlian khusus untuk melakukan analisis.

5.      Notebook : User menyimpan semua aktivitas dan  problem dalam notebook evalator.

11.11.4 Post-Task Walkthrough

            Sering data didapat melalui observasi langsung tanpa interpretasi. Pada saat subjek di dorong untuk berpikir keras melalui tugas, informasi dapat saja berada pada level yang salah. Misalkan saat subjek mengatakan 'dan sekarang saya memilih menu undo', tetapi tidak mengatakan kesalahan apa yang dilakukan sehingga perintah undo diperlukan.

Walkthrough dibuat untuk mengatasi masalah tersebut dengan merefleksikan kembali ke subjek mereka setelah event.

 11.12 Teknik Query

            Teknik Query kurang formal dibangding control eksperimentasi. User akan mendapatkan sudut pandang langsung dan mungkin beberapa isu desain. Ada dua tipe teknik query yaitu interview dan kuesioner.

11.12.1 Wawancara

            Wawancara suatu analisis yang dilakukan dengan menanyai user satu demi satu. Kelebihan dari metode ini adalah pertanyaan dapat divariasikan sesuai konteksnya. Kekurangannya adalah sangat subjektif dan memakan waktu yang lama.

11.12.2 Kuesioner

            Kuesioner merupakan suatu metode alternatif yang kurang fleksibel disbanding dengan wawancara. Kelebihannya adalah cepat dan dapat mencapai kelompok pengguna yang besar dan dapat dianalisis lebih teliti. Kelemahannya adalah kurang fleksibel dan kurang teliti (factor waktu dan pekerjaan user).

            Waktu membuat desain suatu kuesioner dibutuhkan kehati-hatian, seperti informasi apakah yang dibutuhkan? Bagaimana jawaban harus dianalisis? Gaya pertanyaan seperti apa yang digunakan?

Gaya pertanyaan yang umum digunakan untuk suatu kuesioner:

1.      Umum             :     Pertanyaan untuk mengetahui latar belakang user dan memasukkannya ke dalam subjek populasi

2.      Open-ended    :     Pertanyaan yang membutuhkan jawaban atau opini sendiri, berguna untuk mengumpulkan informasi subjektif secara umum tetapi sulit untuk dianalisis

3.      Skala               :     User diminta untuk memutuskan pertanyaan tertentu berdasarkan skala angka, biasanya berhubungan dengan setuju atau tadak setuju terhadap pertanyaan

4.      Pilihan ganda :     Responden diberikan pilihan respons secara eksplisit dan hanya boleh memilih satu atau sebanyak yang diperlukan. Missal: software apa yang pernah anda gunakan?

5.      Ranking           :     Mengurutkan item dalam daftar dan berguna untuk mengindikasikan preferensi user.

                                          Masing-masing tipe pertanyaan di atas sangat berguna untuk tujuan yang berbeda. Untuk mengurangi kesalahan dari responden, sebaliknya digunakan pertanyaan tertutup seperti pertanyaan scalar, ranking atau pilihan ganda.

11.13 Metode Fisiologis

            Evaluasi bias dilakukan dengan menggunakan metode fisiologis. Metode ini membutuhkan alat deteksi yang dirancang untuk mengetahui gerak masa user, tekanan darah, perubahan suhu tubuh dan sebagainya.

            Dengan menempatkan alat-alat khusus pada tubuh user, evaluasi dari suatu desain dapat dilakukan secara otomatis. Data yang terkumpul dapat dianalisis setelah user selesai menguji suatu program. Kekurangan dari metode ini adalah alat khusus yang digunakan sangat mahal harganya dan hasil yang diberikan tidak begitu akurat karena bergantung desain dan program dari alat tersebut.

11.14 Pemilihan Metode Evaluasi

            Ada 8 faktor yang membedakan teknik evaluasi yang membantu kita dalam memilih yang sesuai, yaitu:

1.      Tingkat siklus

2.      Jenis evaluasi

3.      Tingkat objektivitas dan subjektivitas

4.      Jenis ukuruan yang tersedia

5.      Informasi yang tersedia

6.      Kesiapan dari suatu respons

7.      Tingkat pengguna yang tidak secara langsung

8.      Sumber yang tersedia

a.       Design VS. implementation    : evaluasi pada tingkat perancangan hanya membutuhkan ahlinya dan akan dianalisis, sedangkan evaluasi pada tingkat implementasi menjadikan user sebagaisubjek eksperimen.

b.      Laboratory VS. Fleld studies  : secara ideal proses perancangan mencakup dua jenis evaluasi ini dimana pada aktivitas di laboratorium merupakan awal tingkatan sedangkan studi lapangan ditempatkan pada tingkat implementasi.

c.       Subjektif VS. Objektif            : Teknik yang subjektif, sepert pada cognitive walkthrough maupun think aloud, memercayakan hasilnya pada evaluator atau orang yang melakukan evaluasi. Sedangkan teknik objektif seharusnya memberikan hasil yang berulang yang tidak tergantung evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran objektif. Idealnya pengukuran subjektif dan objektif sama-sama harus dilakukan.

d.      Qualitative VS. Quantitative measures : Pengukuran menggunakan numeric lebih mudah dilakukan daripada teknik statistic sedangkan non-numerik lebih sulit dilakukan namun menghasilkan sesuatu yang peting secara lebih lengkap, sesuatu yang tidak dapat dilakukan secara numeric.

e.       Informasi yang tersedia                 : Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi.

f.       Kesiapan atau tundakan          : Faktor lain yang membedakan teknik evaluasi adalah kesiapan dalam mengambil tindakan yang tesedia. Seperti metode think aloud yang merekam perilaku user pada waktu interaksi, sedangkan pada post task walkthrough memercayakannya pada pengumpulan kembali kegiatan user.

g.      Intrusibeness                           : Merupakan teknik yang menghasilkan pengukuran segera yang dihasilkan user selama interaksi dan mempunyai resiko akan memengaruhi perilaku user. Evaluator harus sensitive untuk mengurangi masalah ini tidak dapat mengubah semuanya.

h.      Sumber-sumber                       : Hal terkhir yang perlu diperhatikan dalam memilih teknik evaluasi adalah peralatan, waktu, biaya, subjek, serta evaluator yang ahli.