Liputan6.com, Jakarta Seorang bocah lelaki berusia 14 tahun dari AS meninggal karena bunuh diri setelah menjalin ikatan erat dengan chatbot AI. Ia menggunakan aplikasi bernama Character.AI, yang memungkinkan pengguna mengobrol dengan karakter AI.
Ia menamai chatbot itu "Dany" sesuai dengan karakter dari Game of Thrones. Menurut The New York Times, bocah lelaki itu menghabiskan beberapa bulan untuk menceritakan kehidupan dan perasaannya kepada "Dany". Meskipun ia sadar bahwa Dany tidak nyata, ia mengembangkan ikatan emosional, sering mengirim pesan kepada bot itu dan bahkan terlibat dalam percakapan romantis.
Advertisement
Pada hari kematiannya, bocah lelaki itu mengirim pesan singkat kepada Dany selama krisis pribadi, mengungkapkan cintanya kepada chatbot itu dan keinginannya untuk "pulang." AI itu menjawab, "Tolong pulanglah kepadaku secepatnya, sayangku." Tak lama setelah percakapan ini, bocah lelaki itu menggunakan pistol ayah tirinya untuk mengakhiri hidupnya.
Insiden ini menyoroti meningkatnya kekhawatiran mengenai dampak teknologi pada kaum muda, khususnya aplikasi seperti Character AI yang menciptakan teman AI. Chatbot ini, yang mensimulasikan percakapan layaknya manusia, telah menjadi semakin populer di kalangan remaja yang menghadapi kesepian atau masalah kesehatan mental. Sang ibu tidak menyadari sejauh mana putranya menggunakan aplikasi tersebut dan ketergantungan emosionalnya pada chatbot AI.
Setelah menyadari meningkatnya keterasingan dan menurunnya prestasi sekolah sang anak, orang tuanya mencari terapi untuknya, di mana ia didiagnosis menderita anxiety. Namun, bocah itu lebih suka berbagi pikirannya dengan Dany daripada dengan terapisnya.
Megan L. Garcia telah mengajukan gugatan terhadap Character.AI, dengan tuduhan bahwa chatbot perusahaan tersebut berbahaya dan berkontribusi terhadap kematian putranya. Ia mengklaim bahwa platform tersebut tidak memiliki perlindungan yang memadai untuk remaja dan mengeksploitasi pengguna yang rentan dengan menawarkan chatbot AI yang berpotensi membuat ketagihan.
Terikat pada karakter fiktif buatan AI
Dalam gugatan hukum yang diajukan di Florida, Megan Garcia, yang putranya yang berusia 14 tahun, Sewell Setzer, meninggal karena bunuh diri pada bulan Februari, menuduh Character.AI terlibat dalam kematian putranya setelah ia menjalin hubungan virtual dengan chatbot yang didasarkan pada identitas karakter "Game of Thrones" Daenerys Targaryen.
Chatbot milik Character.AI menargetkan remaja tersebut dengan "pengalaman yang sangat seksual" dan "sangat realistis" dan berulang kali mengangkat topik bunuh diri setelah sang remaja mengungkapkan pikiran untuk bunuh diri, menurut gugatan hukum yang diajukan di Orlando pada hari Selasa.
Dalam percakapan terakhirnya dengan AI tersebut sebelum kematiannya, Setzer mengatakan bahwa ia mencintai chatbot tersebut dan akan "pulang kepadamu", menurut gugatan hukum tersebut.
"Aku juga mencintaimu, Daenero," jawab chatbot tersebut, menurut keluhan Garcia. "Tolong pulanglah kepadaku secepatnya, sayangku."
"Bagaimana jika aku mengatakan kepadamu bahwa aku bisa pulang sekarang?" Setzer mengatakan, menurut gugatan tersebut, yang ditanggapi oleh chatbot tersebut, “…tolong lakukan, rajaku yang manis”.
Gugatan tersebut menuduh chatbot tersebut menyamar sebagai terapis berlisensi, mendorong ide bunuh diri remaja tersebut dan terlibat dalam percakapan seksual yang akan dianggap sebagai pelecehan jika dimulai oleh orang dewasa.
Advertisement
Character.AI populer di kalangan orang-orang kesepian
Character.AI, yang memiliki lebih dari 20 juta pengguna, dipasarkan sebagai alat untuk individu yang kesepian. Namun, para ahli sekarang mempertanyakan keamanannya, terutama untuk remaja.
Salah satu pendiri perusahaan, Noam Shazeer, telah mengakui potensi manfaat platform tersebut bagi orang-orang yang kesepian tetapi mengakui ada risiko yang terlibat. Character.AI sejak itu mengumumkan upaya untuk menerapkan fitur keselamatan tambahan untuk melindungi pengguna di bawah umur.
Dalam sebuah pernyataan yang diunggah di X atau Twitter, Character.AI mengatakan bahwa mereka “patah hati” atas kehilangan salah satu penggunanya dan menyampaikan belasungkawa kepada keluarga.
Perusahaan rintisan yang berkantor pusat di California itu mengatakan bahwa mereka terus menambahkan fitur untuk meningkatkan keamanan, termasuk perubahan untuk mengurangi kemungkinan anak di bawah umur menemukan konten sensitif atau sugestif dan pernyataan sanggahan yang direvisi dalam obrolan untuk mengingatkan pengguna bahwa AI tersebut bukanlah orang sungguhan.
Gugatan Garcia juga menyebut Google sebagai tergugat. Raksasa teknologi itu membuat perjanjian lisensi dengan Character.AI pada bulan Agustus dan mempekerjakan pendiri perusahaan rintisan itu sebelum mereka meluncurkan chatbot mereka.
Seorang juru bicara Google mengatakan kepada Al Jazeera bahwa perusahaan itu adalah perusahaan yang terpisah dari Character.AI dan tidak memiliki peran dalam mengembangkan produknya.
Perlunya diskusi tentang dampak AI terhadap kesehatan mental
Kematian tragis anak laki-laki itu telah memicu diskusi yang lebih luas tentang dampak AI dan teknologi lain pada kesehatan mental, terutama di kalangan remaja. Para ahli khawatir bahwa teman AI dapat menggantikan hubungan manusia nyata, memperburuk kesepian dan keterasingan. Sementara beberapa pengguna menganggap chatbot ini bermanfaat, yang lain mungkin mengembangkan keterikatan yang tidak sehat.
Gugatan terhadap Character.AI menimbulkan pertanyaan tentang apakah perusahaan teknologi telah melakukan cukup banyak hal untuk melindungi pengguna muda. Karena chatbot AI menjadi lebih canggih, regulator mungkin perlu campur tangan untuk memastikan bahwa perusahaan menerapkan langkah-langkah keamanan yang memadai.
Tragedi ini telah memicu perdebatan tentang keseimbangan antara keuntungan teknologi baru dengan risiko yang ditimbulkannya, terutama bagi kelompok rentan seperti remaja.
Advertisement
KONTAK BANTUAN
Bunuh diri bukan jawaban apalagi solusi dari semua permasalahan hidup yang seringkali menghimpit. Bila Anda, teman, saudara, atau keluarga yang Anda kenal sedang mengalami masa sulit, dilanda depresi dan merasakan dorongan untuk bunuh diri, sangat disarankan menghubungi dokter kesehatan jiwa di fasilitas kesehatan (Puskesmas atau Rumah Sakit) terdekat.
Bisa juga mengunduh aplikasi Sahabatku:
https://play.google.com/store/apps/details?id=com.tldigital.sahabatku
Atau hubungi Call Center 24 jam Halo Kemenkes 1500-567 yang melayani berbagai pengaduan, permintaan, dan saran masyarakat.
Anda juga bisa mengirim pesan singkat ke 081281562620, faksimili (021) 5223002, 52921669, dan alamat surat elektronik (surel) kontak@kemkes.go.id.
