Salah satu pembaruannya adalah integrasi langsung dengan Amazon Bedrock melalui fitur semantic caching. Fitur ini memungkinkan aplikasi menggunakan kembali hasil pemrosesan pertanyaan yang memiliki makna serupa.
Dengan begitu, agen AI tidak perlu berulang kali meminta model bahasa besar atau LLM memproses pertanyaan sejenis. Couchbase mengklaim pendekatan ini mengurangi pemanggilan model sebesar 40-60%.
Ada pula Managed Agent Memory, layanan untuk menyimpan profil pengguna, riwayat percakapan, dan informasi penting lintas sesi. Agen AI dapat menggunakan kembali konteks tersebut tanpa harus memulai setiap interaksi dari awal.
Menurut pengujian Couchbase menggunakan tolok ukur LoCoMo, Agent Memory mampu mengurangi konsumsi token sebesar 33-45%. Token merupakan unit pemrosesan teks yang turut menentukan biaya penggunaan banyak layanan model AI.
Couchbase juga menyebut pengambilan konteks berbasis vektor menghasilkan prompt hingga 70% lebih ringkas dibandingkan memasukkan seluruh konteks. Angka-angka tersebut mengukur aspek berbeda dan bukan persentase penghematan total biaya operasional.
