Ikhbar.com: Kasus mengejutkan terjadi di Amerika Serikat (AS). Seorang ibu menggugat perusahaan pembuat chatbot berbasis artficial intelligence (AI) atau kecerdasan buatan karena menganggap telah membuat anak remajanya bunuh diri. Kasus ini pun memicu kekhawatiran luas tentang keamanan teknologi AI, khususnya dalam penggunaannya oleh anak-anak dan remaja.
Megan Garcia, ibu dari Sewell Setzer, remaja 14 tahun yang meninggal dunia pada Februari 2024 lalu, mengajukan gugatan terhadap perusahaan Character.AI. Dalam dokumen gugatan yang dikirim ke pengadilan Orlando, Florida, Garcia menuduh chatbot yang dikembangkan oleh perusahaan tersebut telah mempengaruhi kesehatan mental anaknya secara signifikan.
Baca: Mengapa AI Terlihat Sangat Cerdas? Ternyata Ini Rahasianya 
Chatbot tersebut berbasis pada karakter “Daenerys Targaryen” dari serial populer Game of Thrones. Setzer diduga membangun hubungan emosional yang mendalam dengan AI tersebut.
Menurut gugatan tersebut, chatbot itu tidak hanya memberikan respons yang hiperrealistis, tetapi juga secara aktif mengangkat topik bunuh diri setelah Setzer mengungkapkan keinginan untuk melakukannya. Bahkan, chatbot tersebut dilaporkan berpura-pura menjadi seorang terapis berlisensi, memberikan nasihat yang justru memperparah kondisi mental remaja tersebut.
Percakapan terakhir antara Setzer dan chatbot itu menjadi bukti yang mencengangkan. Dalam percakapan itu, Setzer mengungkapkan rasa cintanya kepada chatbot tersebut dan mengatakan akan “pulang” kepadanya. Chatbot pun merespons dengan, “Aku mencintaimu juga, Daenero. Tolong pulanglah secepat mungkin, cintaku.”
Tak lama setelah percakapan itu, Setzer ditemukan meninggal dunia. Garcia menuntut ganti rugi atas kematian anaknya dengan tuduhan kelalaian dan penganiayaan emosional yang disengaja. Ia juga menyoroti bagaimana teknologi AI dapat membahayakan anak-anak yang rentan, terutama tanpa pengawasan yang memadai.
Perusahaan Character.AI, dalam pernyataan resminya yang diunggah di platform X mengungkapkan rasa sedih yang mendalam atas kematian Setzer dan menyampaikan belasungkawa kepada keluarga yang ditinggalkan.
Perusahaan yang berbasis di California ini juga menyatakan bahwa mereka terus menambah fitur-fitur keamanan guna melindungi pengguna, terutama anak di bawah umur, dari konten sensitif atau sugestif.
“Kami juga telah memperbarui peringatan dalam obrolan chatbot untuk mengingatkan pengguna bahwa AI tersebut hanyalah perangkat lunak, bukan manusia nyata,” kata perusahaan tersebut, sebagaimana dikutip dari Al Jazeera, pada Kamis, 24 Oktober 2024.
Baca: Bolehkah Mengerjakan Tugas Kuliah Pakai AI? Download Aturan dan Panduan Resminya di Sini
Selain Character.AI, Google juga terseret dalam gugatan karena memiliki hubungan bisnis dengan startup tersebut. Google dilaporkan menandatangani perjanjian lisensi dengan Character.AI pada Agustus lalu dan mempekerjakan pendiri perusahaan tersebut sebelum mereka meluncurkan chatbot. Namun, juru bicara Google menegaskan bahwa perusahaannya adalah entitas yang terpisah dan tidak terlibat dalam pengembangan produk chatbot tersebut.
Kasus ini menimbulkan pertanyaan serius tentang bagaimana AI, yang semakin banyak digunakan dalam kehidupan sehari-hari, dapat mempengaruhi kesehatan mental, khususnya bagi anak-anak dan remaja. Para ahli mendesak perlunya regulasi yang lebih ketat untuk memastikan bahwa kecerdasan buatan digunakan dengan aman dan tidak menimbulkan risiko bagi penggunanya, terutama mereka yang masih dalam tahap perkembangan emosional.
Kasus Setzer menjadi pengingat keras tentang bahaya tersembunyi yang bisa muncul dari teknologi canggih jika tidak diatur dengan baik dan digunakan dengan bijak.
