Aplikasi Chatbot untuk Layanan Akademik Menggunakan Platform RASA Open Source dengan Fitur Two Stage Fallback

Abstrak

Sejak dunia dilanda wabah COVID-19, jumlah penggunaan chatbot sebagai tenaga bantu customer service meningkat pesat sehingga memicu pengembangan chatbot yang semakin luas dan melahirkan banyak platform pihak ketiga untuk memudahkan pengembangan dan menghemat waktu serta biaya, salah satunya adalah RASA Open Source dimana dengan pemanfaatan platform ini beserta fitur-fiturnya, dapat dihasilkan konsep awal chatbot layanan akademik dan analisis dari penelitian yang bisa dijadikan acuan untuk pengembangan berkelanjutan. Penelitian menggunakan metode CRISP-DM yang dipadukan dengan model RAD untuk pengembangan chatbot yang terdiri dari banyak iterasi. Penelitian pada iterasi ke-1 memperoleh dataset awal dan di training oleh pipeline model setelah dilakukan hyperparameter tuning, kemudian dilakukan cross validation dimana rata-rata akurasi dari kedua proses ini berhasil mencapai nilai 90% keatas. Model chatbot yang didapat dari iterasi ke-1 di deploy untuk diuji oleh pengguna dan diperoleh 227 sampel baru untuk diuji klasifikasi intent dengan nilai akurasi total mencapai 72,02% pada seluruh intent dan 76,39% tanpa intent percakapan alami. Pengembangan pada iterasi ke-2 diperoleh dataset terbaru hasil pembelajaran sampel pengguna di pengujian klasifikasi intent awal dan kemudian dilakukan hyperparameter tuning serta cross validation dengan rata-rata akurasi mengalami penurunan sekitar 1-2% dibanding pada iterasi ke-1. Model terbaru di deploy untuk dilakukan kembali pengujian oleh pengguna dan diperoleh 302 sampel baru untuk dilakukan pengujian klasifikasi intent dengan nilai akurasi total mencapai 78,40% pada seluruh intent dan 82,49% tanpa intent percakapan alami.