Kajian Jurnal "Design and Evaluation of a Command Recommendation System for Software Applications"

Design and Evaluation of a Command Recommendation System for Software Applications

Penulis:

·         Wei Li                          Autodesk Research, Toronto, Canada

·         Justin Matejka              Autodesk Research, Toronto, Canada

·         Tovi Grossman             Autodesk Research, Toronto, Canada

·         Joseph A. Konstan       University of Minnesota, Minneapolis, MN

·         George Fitzmaurice      Autodesk Research, Toronto, Canada

Url Jurnal Asli dapat dilihat di http://dx.doi.org/10.1145/1970378.1970380

Abstrak asli Jurnal:

We examine the use of modern recommender system technology to aid command awareness in complex software applications. We first describe our adaptation of traditional recommender system algorithms to meet the unique requirements presented by the domain of software commands. A user study showed that our item-based collaborative filtering algorithm generates 2.1 times as many good suggestions as existing techniques. Motivated by these positive results, we propose a design space framework and its associated algorithms to support both global and contextual recommendations. To evaluate the algorithms, we developed the CommunityCommands plug-in for AutoCAD. This plug-in enabled us to perform a 6-week user study of real-time, within-application command recommendations in actual working environments. We report and visualize command usage behaviors during the study, and discuss how the recommendations affected users behaviors. In particular, we found that the plug-in successfully exposed users to new commands, as unique commands issued significantly increased.

Dikaji Oleh Purnama Graha (G24130077)

Kajian Artikel :

Command Recommender System adalah sebuah aplikasi  yang dapat merekomendasikan perintah dalam suatu skenario yang tepat dalam menyelesaikan tahapan – tahapan pada sebuah aplikasi. Aplikasi ini lebih dikembangkan karena terjadi perubahan dan penambahan fitur – fitur dalam menjalankan aplikasi. Aplikasi yang dijadikan acuan dalam melakukan pengembangan Command Recommender System adalah AutoCAD. Command Recommender System membantu pengguna untuk menangani informasi atau mengidentifikasi suatu pilihan tahapan yang tepat ketika jumlah keragaman dari suatu pilihan melampaui pengguna untuk membuat keputusan yang tepat. Selain itu Command Recommender System  membantu pengguna menemukan alat yang relevan, ketika mereka sebelumnya tidak menyadari dan membantu pengguna untuk belajar dan mengeksplorasi aplikasi yang rumit menggunakan sistem recommender. Salah satu metode yang tepat dan menjanjikan yaitu merekomendasikan kolaboratif filter ( Bukit et al. 2000). Pada dasarnya, metode ini dididapatkan dari rekomendasi yang didasarkan kesamaan setiap orang dalam melakukan atau menjalankan suatu tahapan pada suatu aplikasi. Rekomendasi yang disajikan dalam dua jenis pilihan yang didasarkan oleh rekomendasi jangka panjang dan rekomendasi jangka pendek. Walapun ada perbedaan dalam pemberian tahapan dalam kedua rekomendasi tersebut tetapi tidak didapatkan hasil yang memiliki perbedaan yang cukup signifikan dalam pemakaian kedua rekomendasi tersebut. Tren yang didapatkan bahwa pengguna lebih dapat memilih rekomendasi jangka pendek.

Pengembangan dalam pemberian dan penyesuaian rekomendasi dilakukan dengan pengambilan data pada pengujian pada 32 pengguna yang telah dimasukkan Command Recommender System pada masing – masing autoCAD, pada lingkungan kerja mereka. Penelitian ini diimbangi dengan merekrut 52 pengguna penuh AutoCAD. Peserta diminta untuk menggunakan AutoCAD lebih dari 20 jam / minggu. Prosedur yang dijalankan yaitu untuk 4 minggu pertama, tahapan – tahapan yang dilakukan pengguna dan telah dilakukan lalu direkam. Evaluasi yang dilakukan juga dilakukan dengan dua cara, cara pertama dengan evaluasi offline dan cara kedua dengan cara evaluasi online, pada dasar untuk memvalidasikan evaluasi tersebut harus dicocokan antara evaluasi offline dan evaluasi online.

Command Recommender System yang ditambahkan pada AutoCAD didesain dan dirancang sedemikian rupa sehingga dapat diubah ukurannya. Pada aplikasi ini juga akan menampilkan setiap saat lima rekomendasi dan memiliki delapan pilihan top rekomendasi. Peletakan aplikasi ini pun  diletakan pada lokasi yang nyaman sehingga para pengguna tidak merasakan gangguan pada peletakannya.

Diharapkan dengan dilakukannya desain dan evaluasi pada Command Recommender System dapat memungkinkan untuk menganalisis bagaimana memaksimalkan penggunaan fitur perintah di dalam aplikasi yang akan digunakan dalam lingkungan kerja secara nyata. Karena semakin berkembangnya aplikasi akan menyebabkan kebingungan terhadap pengguna dan secara cenderung pengguna enggan untuk belajar untuk perilaku baru. (Bosser 1987). Harapan dari penelitian dan desain serta evaluasi Command Recommender System yaitu untuk menngkatkan kesadaran pengguna dari perintah dan fungsi yang relavan untuk setiap pengguna aplikasi.

Kajian yang saya komentari:
http://shellafuribirumardika.blogspot.com/2015/06/experiencing-coincidence-during-digital.html?showComment=1434922020194#c3717490310035149497

http://renihandawulan.blogspot.com/2015/06/theorganization-of-home-media.html?showComment=1434922183738

http://nurdeviilkom49.blogspot.com/2015/06/motivation-as-lens-to-understand-online.html?showComment=1434922278599#c6421372155108302199

Match between system and the real world - pekanbaru.go.id

Match between system and the real world
suatu sistem yang baik harus memiliki fungsi yang sesuai antara sstem dan user, agar user dapat mengerti apa yang sedang mereka lakukan pada saat menjalankan suatu sitem tersebut.

Terdapat kata singkatan

Terdapat kata singkatan “SKPD” di kolom pilihan pada bagian paling bawah website, pada harfiahnya user akan di bingungkan dan tidak mengerti akan apa yang dimaksudkan dari singkatan tersebut.

Gambar kata singkatan di dalam website bagian bawah pekanbaru.go.id

Rekomendasi perbaikan: menurut saya harus adanya penjelasan atau penjabaran dari kata yang disingkat agar user memahami apa yang dimaksud dari kata yang disingkat

Severity rating = 3

                                                                                                                                                 

Cara Penyajian berita seputar pekanbaru

Cara penyajian berita dalam halaman utama website ini sudah cukup informatif dan juga peletakannya simple tetapi pada halaman utama tidak ada keterangan atau judul tentang 

berita – berita seputar pekanbaru

Gambar Halaman utama website pekanbaru.go.id

Rekomendasi perbaikan: menurut saya harus diberi judul agar lebih gampang dimengerti jika terdapat info – info berita di dalam halam utama

Severity rating = 1

Visibility of Sistem Status - pekanbaru.go.id

Visibility of Sistem Status merupakan status sistem, status sistem harus menginformasikan pada user apa yang sedang terjadi pada suatu proses yang sedang dijalankan.

Pemberitahuan pergantian foto pada halaman website

Walaupun sudah ada pemberitahuan pergantian foto pada halaman website, tetapi user tidak diberitahukan bahwa ada berapa jumlah foto yang akan ditampilkan dan posisi foto dari banyaknya foto yang ditampilkan

Gambar status pergantian foto dan pilihan next atau previous foto

Rekomendasi perbaikan: disajikan keterangan bahwa ada berapa foto yang akan ditampilkan dan posisi foto dari banyaknya foto yang akan ditampilkan.

Severity rating = 2

                                                                                                                                                 

Pemberitahuan posisi user pada halaman suatu website

Pemberitahuan posisi user pada halaman suatu website sudah ada tetapi pemberitahuan tersebut ditulis dengan huruf yang lebih kecil

Gambar posisi user pada halaman suatu website

Rekomendasi perbaikan: menurut saya dalam posisi user pada halaman suatu website sudah baik tetapi perlu adanya penciri yang lebih baik agar user mengetahui lebih jelas akan posisinya didalam suatu website

Severity rating = 1

Consistency and standards - pekanbaru.go.id

Consistency and standards

Sebuah website harus konsiten dan standard dalam mendesagin suatu sistem interface.

Ketidak konsistenan dalam shortcut aspirasi anda!

permasalahannya karena saat meng-klik shortcut aspirasi anda!,  user tidak diarahkan ke halaman aspirasi anda! tetapi user diarahkan ke halaman utama.

Gambar shortcut Aspirasi Anda

Rekomendasi perbaikan: perlunya perbaikan shortcut aspirasi anda atau hapus shortcut aspirasi anda!.

Severity rating = 2

                                                                                                                                               

Tidak konsistean dalam pemilihan warna text hyperlink

terjadi perbedaan warna text hyperlink pada website ini

Gambar perbedaan warna hyperlink

Rekomendasi perbaikan: sesuaikan warna yang akan menjadi hyperlink.

Severity rating = 2

Help and Documentation - pekanbaru.go.id

Help and Documentation

Suatu sistem interface harus memudahkan user untuk menjalankan sitem yang dibuatnya dan juga mempunyai langkah – langkah yang konkret.

Terdapat Pemberitahuan  untuk pembukaan atau pembacaan fail yang akan di unduh

Gambar pada halaman saat akan mengunduh peraturan daerah

Rekomendasi perbaikan: buatkan hyperlink untuk mendownload software yang dianjurkan dalam pembukaan atau pembacaan fail yang akan diunduh

Severity rating = 1

                                                                                                                                                

Ketentuan dalam memberikan Aspirasi

Walaupun sudah ada ketentuan dalam pemberian aspirasi, tetapi dalam kolom pengisian formnya tidak ditekankan apa arti dari bintang yang ada di akhir kata.

Rekomendasi perbaikan: Pemberian penjelasan tentang arti bintang yang ada disetiap kolom.

Severity rating = 1

Aesthetic and minimalist design - pekanbaru.go.id

   Aesthetic and minimalist design merupakan penampilan informasi pada desain interaksi yang sangat berpengaruh terhadap kerelevanan dari suatu tampilan sistem interface. Dengan desain minimalis tetapi tetap mementingkan estetika dan dapat mempermudah pengguna untuk menggunakan sistem.

Hasil Evaluasi website pekanbaru.go.id dengan mengacu pada prinsip Aesthetic and minimalist design :

  Dilihat dari segi penampilan dari website pekanbaru.go.id, terlihat bahwa website didesaign simple dengan background batik dan isi informasi yang cukup informtif tentang isu – isu dan peraturan perundang – undangan di Pekanbaru. Tetapi terdapat kejanggalan yaitu terdapat double keterangan untuk mengakses informasi di akses cepat, sidebar di sebelah kiri dan di bagian side iklan.

Gambar halaman utama pekanbaru.go.id

         
Rekomendasi perbaikan: Menurut saya perlunya penghilangan iklan tentang pelayanan dan perizinan serta peraturan daerah pada bagian iklan sebelah sidebar sebelah kanan, karena informasi tersebut sudah terdapat pada akses cepat pada bagian header dan sidebar sebelah kiri.

Severity rating = 2.

                                                                                                                                                                

Pada bagian menu footer terdapat shortcut untuk mengakses facebook, youtube dan twitter.  

Jika dilihat dari fungsinya sortcut ini tidak terlalu dibutuhkan pada website ini karena jika dilihat dari fungsi shortcut yang disajikan, shortcut ini hanya menyambungkan ke alamat yang dituju saja.

Gambar bagian bawah website pekanbaru.go.id

Rekomendasi perbaikan : perlunya penghilangan shortcut facebook, youtube dan twitter.

Severity rating = 1.

10 Usability Heuristic untuk User Interface Desain

Heuristic Evaluation merupakan cara menganalisis desaign interface dari suatu sitem. terdapat 10 prinsip - prinsip umum yang Jakob Nielsen kemukakan sebagai patokan dalam mendesaign. 10 prinsip prinsip itu:

1. Visibility of system status
2. Match between system and the real world
3. User control and freedom
4. Consistency and standards
5. Error prevention
6. Recognition rather than recall
7. Flexibility and efficiency of use
8. Aesthetic and minimalist design
9. Help users recognize, diagnose, and recover from errors
10. Help and documentation

Pengertian dari masing masing prinsip dapat dilihat dan dipahami di http://www.nngroup.com/articles/ten-usability-heuristics/

selain itu terdapat penilaian tentang keparahan untuk masalah usability, disebut severity Rating. Penilaian berupa peringat dari 0 sampai 4.

0 = tidak setuju, tidak menjadi masalah

1 = tidak perlu diperbaiki, kecuali tersedia waktu tambahan untuk project

2 = permasalahan cukup serius, prioritas rendah

3 = permasalahan serius, prioritas tinggi

4 = penting untuk melakukan perbaikan sebelum product direlease.

dari 10 Heuristic evaluation tersebut saya akan mencoba mengevaluasi 5 dari prinsip heuristic evaluation pada website http://www.pekanbaru.go.id/

sebelumnya meminta maaf jika terdapat kesalahan dalam mengevaluasi web tersebut.

5 prinsip yang saya gunakan :

1. Aesthetic and minimalist design
2. Help and Documentation
3. Consistency and standards
4. Visibility of Sistem Status
5. Match between system and the real world