Chatbot Berbasis Aturan vs Chatbot AI Generatif
Oleh Apex Horizon Digital
Chatbot berbasis aturan dan chatbot generatif gagal dengan cara berbeda. Rules engine dapat diprediksi di dalam jalur yang sudah dirancang, tetapi pelanggan dapat terjebak ketika bahasa atau kebutuhannya tidak cocok dengan menu. Sistem generatif mampu memahami variasi bahasa dan menggabungkan bukti retrieval, tetapi dapat menghasilkan kalimat tanpa dukungan jika bukti serta kontrol lemah. Menguji kedua pendekatan pada intent pelanggan yang sama memberi perbandingan yang lebih berguna daripada daftar fitur.
Ringkasan utama
- Gunakan aturan deterministik untuk konfirmasi, permission, routing, dan tindakan berdampak tinggi.
- Gunakan generasi berbasis retrieval ketika pelanggan menanyakan pertanyaan resmi yang sama dengan bahasa beragam.
- Desain hybrid sering memberi batas terbaik: pemahaman fleksibel dengan bukti dan tindakan terkendali.
Uji intent satu dan dua: jam operasi dan kecocokan produk
Untuk jam operasi, bot aturan dapat menawarkan pilihan menu dan mengembalikan jawaban tersimpan. Ia andal jika jadwal diperbarui dan pelanggan mengikuti jalur. Sistem dapat gagal ketika pelanggan bertanya tentang hari libur, cabang tertentu, atau memakai bahasa yang tidak dikenali intent matcher. Bot generatif ter-grounding dapat memahami variasi, mengambil jadwal yang berlaku, dan menanyakan cabang yang belum disebutkan.
Untuk kecocokan produk, logika menu dapat memandu pelanggan melalui atribut yang diketahui, terutama saat pilihan terbatas dan diatur. Menu menjadi rumit ketika pelanggan menjelaskan kebutuhan dengan teks bebas. Retrieval generatif dapat mencocokkan deskripsi dengan informasi produk resmi, tetapi tidak boleh mengarang klaim kecocokan. Saat sumber tidak mendukung rekomendasi, sistem harus meminta klarifikasi atau transfer.
- Keberhasilan menu: opsi tetap dan jawaban tersimpan yang pasti.
- Kegagalan menu: pengecualian yang belum dimodelkan dan variasi bahasa.
- Keberhasilan generatif: variasi bahasa dan klarifikasi berbasis bukti.
- Kegagalan generatif: rekomendasi tanpa dukungan ketika sumber tidak memiliki kriteria fit.
- Desain pilihan: retrieval untuk pemahaman, aturan untuk eligibility dan klaim.
Uji intent tiga: status order
Alur status order terutama merupakan masalah tool dan identity. Aturan dapat mengumpulkan referensi order, memverifikasi informasi wajib, memanggil endpoint read-only, dan memetakan status terstruktur ke pesan resmi. Jalur ini dapat diaudit dan perlu tetap deterministik walaupun language model membantu memahami bahasa pelanggan.
Bot generatif dapat membuat percakapan terasa alami, tetapi tidak boleh menyimpulkan status dari konteks atau mengubah tool yang tidak tersedia menjadi jawaban masuk akal. Kegagalan umum adalah memperlakukan model sebagai sumber data bisnis. Desain hybrid menggunakan generasi untuk klarifikasi dan menjelaskan hasil terverifikasi, sedangkan kode aplikasi mengontrol identity, akses tool, dan pemetaan status.
- Keberhasilan menu: pengumpulan terstruktur dan pemanggilan tool yang dapat diprediksi.
- Kegagalan menu: friksi ketika pelanggan memberi informasi di luar urutan.
- Keberhasilan generatif: mengambil intent dan field dari bahasa alami.
- Kegagalan generatif: mengklaim status saat tool gagal atau identity belum lengkap.
- Desain pilihan: intake percakapan dengan verifikasi dan lookup deterministik.
Uji intent empat: kasus khusus kebijakan
Bayangkan pelanggan bertanya apakah retur diperbolehkan setelah promosi khusus dan penggunaan sebagian. Rules tree dapat menjawab jika setiap kombinasi relevan sudah dimodelkan. Jika belum, sistem dapat memaksa opsi terdekat dan memberi hasil kebijakan salah. Respons aturan yang aman adalah jalur pengecualian ketika kasus keluar dari jalur terdokumentasi.
Sistem berbasis retrieval dapat menemukan beberapa bagian kebijakan relevan dan menjelaskan hal yang jelas, tetapi bukti bertentangan atau tidak lengkap harus memicu review manusia. Kegagalannya adalah menyusun pengecualian meyakinkan yang tidak disetujui sumber mana pun. Batas hybrid membiarkan retrieval mengumpulkan konteks serta bukti, sementara aturan memutuskan eligibility untuk resolusi otomatis.
- Keberhasilan menu: kombinasi kebijakan yang sudah didaftarkan lengkap.
- Kegagalan menu: memaksa kasus tidak umum ke jalur terdekat.
- Keberhasilan generatif: menemukan dan merangkum bukti kebijakan relevan.
- Kegagalan generatif: mengarang pengecualian dari bagian tidak lengkap.
- Desain pilihan: pengumpulan bukti ditambah eligibility deterministik atau review manusia.
Uji intent lima: komplain emosional
Logika menu dapat mengumpulkan nomor referensi dan merutekan komplain secara andal, tetapi pilihan kaku dapat terasa mengabaikan ketika pelanggan menjelaskan kerugian atau frustrasi. Bahasa generatif dapat mengakui pesan dan merangkum konteks bagi agent. Sistem tidak boleh menjanjikan kompensasi, menyalahkan pihak tertentu, atau menahan pelanggan di loop otomatis saat manusia diminta.
Desain pilihan menjadikan human handoff sebagai jalur selesai. Generasi mendukung pemahaman dan acknowledgement yang hati-hati, sedangkan aturan menentukan prioritas, field wajib, akses data, dan tujuan. Metrik suksesnya adalah kasus yang dirutekan benar dengan konteks lengkap, bukan containment komplain.
- Keberhasilan menu: field kasus wajib dan routing yang andal.
- Kegagalan menu: memaksa konteks emosional ke pilihan impersonal.
- Keberhasilan generatif: memahami teks bebas dan menyiapkan ringkasan konteks.
- Kegagalan generatif: janji tanpa wewenang atau akses manusia tertunda.
- Desain pilihan: intake yang empatik dengan handoff terkendali segera.
Pilih batas kontrol untuk setiap intent
Jangan memberi label seluruh chatbot sebagai berbasis aturan atau generatif. Buat daftar intent dan pilih batas kontrol untuk setiap item. Logika deterministik cocok untuk identity, permission, confirmation, kalkulasi, routing, dan tindakan berkonsekuensi bisnis. Generasi ter-grounding cocok untuk variasi bahasa, pemilihan sumber, klarifikasi, dan penjelasan. Judgment manusia cocok untuk kasus sensitif, tanpa dukungan, baru, atau diperdebatkan.
Evaluasi workflow gabungan dengan test case yang sama setelah setiap perubahan material. Catat pemilihan sumber, kualitas jawaban, rute, hasil tool, dan eskalasi. Desain hybrid tidak otomatis lebih aman. Ia menjadi lebih aman ketika tanggung jawab eksplisit dan kode aplikasi dapat mencegah respons lancar melewati aturan bisnis.
- Daftar intent pelanggan dan kondisi selesai yang disetujui.
- Berikan tanggung jawab eksplisit kepada aturan, retrieval, generasi, tool, dan manusia.
- Uji jalur sukses dan kasus kegagalan yang diketahui.
- Catat versi rilis dan perubahan outcome.
- Perluas perilaku generatif hanya jika bukti menunjukkan peningkatan yang berguna.