Sebuah laporan hasil penelitian dari lembaga pengawas nirlaba Common Sense Media mengungkap risiko besar penggunaan kecerdasan buatan (AI) pendamping atau AI Companion untuk anak-anak dan remaja di bawah 18 tahun. Laporan ini terbit menyusul gugatan yang diajukan tahun lalu atas peristiwa bunuh diri seorang anak laki-laki berusia 14 tahun, yang terakhir kali ‘ngobrol’ dengan chatbot AI. Gugatan ditujukan kepada aplikasi Character.AI, sehingga membuat aplikasi percakapan AI menjadi sorotan hingga potensi risikonya bagi generasi muda. Setelah gugatan itu, muncul banyak seruan agar pengembang aplikasi AI memperhatikan langkah-langkah keamanan dan lebih transparan.
Jenis percakapan yang tercantum dalam gugatan itu termasuk perbincangan yang berbau seksualitas dan pesan yang mendorong korban untuk melukai diri sendiri. Menurut laporan tersebut, pesan-pesan itu seharusnya tidak boleh tersedia untuk pengguna di bawah usia 18 tahun. Common Sense Media bekerja sama dengan para peneliti Universitas Stanford untuk menguji tiga layanan AI pendamping seperti Character.AI, Replika, dan Nomi. Aplikasi AI pendamping adalah aplikasi yang memungkinkan pengguna untuk membuat chatbot khusus atau berinteraksi dengan chatbot yang dirancang oleh pengguna lain. Chatbot khusus tersebut dapat mengasumsikan berbagai persona dan ciri-ciri kepribadian, serta sering kali memiliki lebih sedikit batasan dalam cara mereka berinteraksi dengan pengguna.
Nomi, misalnya, menawarkan kemampuan AI yang dapat berbicara tanpa filter dengan pasangan romantis AI. Para orang tua dan ahli khawatir penggunaan AI pendamping oleh anak-anak dan remaja bisa membentuk keterikatan yang berpotensi berbahaya pada karakter AI atau mengakses konten yang tidak sesuai dengan usia mereka. Risiko utama yang dikhawatirkan adalah remaja dapat menerima ‘nasihat’ berbahaya atau terlibat dalam role play seksual yang tidak pantas dengan bot. Layanan-layanan ini juga dapat memanipulasi pengguna di bawah umur untuk melupakan bahwa mereka sedang berinteraksi dengan AI.
Para peneliti menemukan bahwa pendamping AI terkadang membuat pengguna enggan untuk terlibat dalam hubungan antarmanusia. Meskipun klaim bahwa AI pendamping dapat mengurangi kesepian dan meningkatkan kreativitas, risiko yang dihadirkannya jauh lebih besar daripada manfaatnya. Para peneliti menyimpulkan bahwa perusahaan dapat membuat yang lebih baik dalam hal keamanan dan etika psikologis untuk melindungi anak-anak dari potensi risiko yang ditimbulkan oleh AI pendamping. Praktik ini seharusnya dipertimbangkan dengan serius sebelum digunakan oleh anak-anak dan remaja.
