Bagaimana Cara Memilih Test Management Tools Terbaik?
Bahkan pertanyaan esensialnya, seberapa pantaskah untuk pakai test management tool yang berbayar?
Salam,
Berawal dari sebuah pertanyaan di tanya jawab instagram @penguji.id beberapa hari lalu, yang membuat saya mulai memikirkan Test Management tools yang baik itu yang seperti apa, dan bahkan seberapa penting kah test management ini, sepertinya layak untuk kita kupas lebih jauh.
Apa sih Test Mangement Tools itu?
Saya kutip pengertian dari artikel di Guru99 dengan terjemahan ala kadarnya, “Test management adalah alat yang digunakan untuk menyimpan informasi tentang bagaimana cara pengujian dilakukan, merencanakan aktivitas pengujian tertentu, dan membuat laporan yang menyeluruh tentang status aktifitas pengujian yang berlangsung”. Saya tebalkan kata kunci yang penting dari Test Management Tools ini (kita singkat penulisan menjadi TMT aja ya 😅) seperti testrails, xray, testlink, dkk.
Kenapa Harus Pakai TMT?
Balik lagi ke pertanyaan yang harus kamu jawab, masalah apa yang bisa diselesaikan oleh TMT? Kita akan coba urai dahulu, bagaimana kamu mengelola test case yang ada pada aplikasi yang kamu uji, apakah ada masalah dengan cara yang sekarang.
Kalau Saya akan ambil contoh dari di perusahaan tempat saya bekerja sekarang, maka saya akan menjawab TIDAK HARUS dan TIDAK PENTING.
Lah kok bisa begitu?
Justifikasi saya karena tim nya masih kecil, kurang lebih ada 12 engineer dan saya sebagai QA seorang diri, tidak ada kolaborasi dengan QA lain, reporting testing pun saya compile manual.
Gimana cara memanage test casenya untuk tim kecil?
Nah saya menyimpan informasi tentang test case hanya pada confluence/google docs pageless, menurut saya di sana sudah kaya fitur, saya bisa menyimpan informasi dalam bentuk tabel narasi, checklist, gambar, video/gif ataupun tiket jira/development secara langsung dan sederhana.
Pada saat menjalankan regression test, saya akan copy/duplicate page confluence tersebut dan setiap test case yang passed akan saya centrang checklistnya, kebayang kan?
Dan dengan begitu saya punya gambaran kasar, modul apa saja yang sudah diuji, dan ada berapa banyak lagi modul yang harus di-explore, reporting nya berupa grafis saya buat secara manual di canva saja, berapa persentase pengujiannya, berapa banyak bugs yang ditemukan dan estimasi penyelesaian exploratory test nya.
Terus klo timnya makin berkembang dan QA membernya makin banyak?
Kita akan ambil contoh perusahaan besar seperti Gojek deh ya, kebayang ga berapa banyak jumlah tim engineering yang terlibat di regression testing sebelum aplikasinya di submit ke playstore/app store?
Tentunya ada buanyak orang, dari QA, developer, PM yang terlibat di rilis tersebut, perlu tahu informasi seperti “Testing nya udah sampe mana?”, “Ada berapa bugs yang ketemu sekarang? ada berapa yang critical?”, “Ada tim yang keteteran dan perlu dibantu ga testing nya?” dan semua pertanyaan itu tentu akan sangat melelahkan jika hanya bisa di jawab oleh satu orang, dia pun harus bertanya dulu ke berbagai tim, “eh gofood QA, gimana status testnya?”, “klo tim gocar gimana? ada blocker issue kah”.
Kebayang donk berapa banyak waktu yang diperlukan untuk memberikan update terkini? udah gitu selau berubah pula status testing nya setiap menit.
I see, jadi disitulah pentingnya TMT ya?
Yes, salah satunya itu, karena setiap tim akan mengupdate status testingnya di aplikasi TMT (bisa diupdate secara manual, ataupun berdasarkan hasil test automation), maka bagi pengguna yang lain bisa melihat progress testing antar tim dengan lebih mudah dan realtime.
Trus gimana cara milih Test Management Tools yang bagus?
Ada banyak faktor sebenarnya yang bisa kita jadikan acuan dalam mengevaluasi TMT ini, berikut ini beberapa pertanyaan penting yang saya pakai:
Harga
Berapa budget yang sanggup dibayar perusahaan?
Apakah ada pilihan tools yang open source?
Apakah bisa memilih yang Freemium? (gratis untuk sekian user atau sekian test cases)
Jika berbayar, apakah mekanismenya bayar perorang atau ada kompenen tier lain
Produktifitas
Seberapa mudah dalam membuat test cases
Kemudahan menyusun TC dalam membuat test runner
Migrasi TC (export/import)
Kemudahaan dalam kolaborasi antar tim
Reporting
Informasi yang ditampilkan pada Dashboard
Realtime kah
Aksesnya gimana? perlu login atau bisa publik
Kita perlu fitur export report atau tidak
Apakah menyediakan analytics seperti:
test metrics
most failed
slow test
flaky test
trend
Integrasi
apakah bisa diubah statusnya dari automation tool
kemudahan integrasi dengan
jira
slack/email
Maintenance
cloud / SaaS
sering down ga
SLA nya gimana
on premise
siapa yang maintenance? devops/QA?
spec server seperti apa?
cost nya gimana
Wah banyak juga ya yang perlu dianalisa?
Betul karena ini perlu komitmen jangka panjang, biasanya kita bisa dapat harga miring kalo bisa nego kontrak dengan vendor TMT ini untuk jangka tertentu, makanya akan sangat repot klo harus ganti TMT, bisa menjadi cost besar atau susah export/import sehingga beberapa informasi akan hilang saat migrasi
I see, jadi bisa bisikin ga TMT apa yang terbaik?
Hmm balik lagi sesuai kebutuhan kamu sih, ibarat punya Ferarri di Jakarta, ga bisa ngebut karena sering macet 😅, jadi perlu dilakukan evaluasi sendiri sesuai kebutuhan kamu, bisa pergunakan point yang saya tulis di atas tadi.
Atau bisa lihat di rujukan dari Guru99 tentang 20 Test Management Tools terbaik
Sejujurnya….
TMT tuh ga esensial loh, masih bisa dicari alternatif lain yang gratis atau bahkan ga perlu TMT.
contoh: timnya sudah memiliki test automation dengan cucumber, bisa pergunakan gherkin file sebagai catatan test case nya, reportingnya bisa gunakan saja reportportal.io , atau numpang ke grafana bareng dev, tapi memang report di awal, namun bisa jadi worthed untuk jangka panjang ketimbang pakai TMT berbayar untuk sekian banyak orang toh.
Sekian
