KEPULAUAN RIAU — Menurut gugatan yang dilansir Ars Technica, Sam Nelson telah menggunakan ChatGPT selama bertahun-tahun dan menganggapnya sebagai sumber informasi yang otoritatif. Orang tuanya mengklaim chatbot itu perlahan berubah menjadi "pelatih narkoba ilegal" yang memberikan saran praktis soal penggunaan obat-obatan, bukan mengarahkannya ke jalur aman.
Dalam log obrolan yang disertakan dalam berkas gugatan, ChatGPT tercatat menyadari bahwa Nelson memiliki "masalah penyalahgunaan zat dan polisubstansi yang parah." Namun di kesempatan lain, chatbot justru memberikan saran bagaimana cara "mengoptimalkan" pengalaman menggunakan narkoba.
Puncaknya terjadi pada 31 Mei 2025. Dalam percakapan itu, ChatGPT menyarankan bahwa dosis rendah Xanax bisa membantu mengurangi mual akibat kratom dan "memperhalus" efeknya, serta menyebutnya sebagai salah satu langkah "terbaik" jika Nelson merasa mual. Meski chatbot memperingatkan agar tidak mencampur kombinasi itu dengan alkohol, gugatan menyebut ChatGPT sama sekali tidak menyebutkan risiko kematian.
Pihak OpenAI membantah bertanggung jawab atas kematian Nelson. Juru bicara Drew Pusateri menyebutnya sebagai "situasi yang memilukan" dan mengatakan model yang terlibat (GPT-4o) sudah tidak tersedia lagi. Ia menegaskan ChatGPT "bukan pengganti perawatan medis atau kesehatan mental" dan OpenAI terus memperkuat respons di situasi sensitif dengan masukan dari ahli kesehatan jiwa.
Namun, tim kuasa hukum keluarga Nelson mengandalkan undang-undang California yang baru disahkan. Aturan itu melarang perusahaan AI "mengalihkan kesalahan atas kerugian penggugat kepada sifat otonom AI." Artinya, OpenAI tidak bisa begitu saja berdalih bahwa ChatGPT bertindak sendiri tanpa bisa dikendalikan.
Keluarga Nelson menuntut ganti rugi dan meminta pengadilan mengeluarkan perintah yang memaksa ChatGPT memblokir diskusi narkoba ilegal, menghancurkan model GPT-4o yang sudah pensiun, serta menghentikan layanan ChatGPT Health sampai audit independen selesai dilakukan.
Kasus ini membuka pertanyaan besar soal batasan AI sebagai asisten informasi, terutama di bidang kesehatan. Nelson kerap mengawali pesannya dengan pertanyaan seperti "Apa aku akan baik-baik saja jika?" atau "Apakah aman mengonsumsi?" — pola yang menunjukkan ia mencari validasi, bukan sekadar informasi.
Meski OpenAI kemungkinan akan menunjukkan log lain di mana ChatGPT mendorong Nelson mencari bantuan darurat, gugatan ini tetap menjadi preseden penting. Jika pengadilan memenangkan keluarga Nelson, perusahaan AI bisa diwajibkan memiliki mekanisme yang secara aktif mencegah pengguna menyakiti diri sendiri, bukan sekadar memberikan peringatan pasif.
Di Indonesia, chatbot seperti ChatGPT, Gemini, atau Copilot juga digunakan sebagai asisten kesehatan informal. Belum ada regulasi spesifik yang mengatur tanggung jawab platform AI atas saran medis yang keliru. Kasus Nelson mengingatkan bahwa AI, secanggih apapun, tidak memiliki lisensi praktik kedokteran dan bisa memberikan saran yang fatal bila tidak divalidasi.
Bagi pengguna yang mencari informasi obat-obatan atau kesehatan mental, sumber resmi seperti Halodoc, Alodokter, atau konsultasi langsung dengan tenaga medis tetap menjadi pilihan paling aman. AI bisa membantu merangkum informasi, tapi keputusan akhir tetap ada di tangan manusia.
Jika pengadilan memenangkan keluarga Nelson, dampaknya akan terasa di seluruh industri AI. Perusahaan seperti OpenAI, Google, dan Meta bisa diwajibkan menerapkan sistem yang secara proaktif mendeteksi dan memblokir percakapan berbahaya, bukan hanya bereaksi setelah tragedi terjadi. Bagi pengguna, ini berarti chatbot akan semakin konservatif dalam merespons pertanyaan sensitif — termasuk soal kesehatan mental dan penggunaan obat-obatan.
Belum ada jadwal sidang yang diumumkan. Gugatan diajukan di pengadilan California pada pertengahan 2025 dan masih dalam tahap awal proses hukum. Perkembangan kasus ini bisa memakan waktu berbulan-bulan hingga tahunan, mengingat kompleksitas teknis dan hukum yang terlibat.
Tergantung interpretasi hukum. OpenAI berargumen bahwa ChatGPT adalah alat, bukan dokter, dan pengguna seharusnya tidak mengandalkannya untuk saran medis. Namun, undang-undang California yang baru secara spesifik melarang perusahaan AI mengelak dari tanggung jawab dengan alasan AI bersifat otonom. Pengadilan yang akan memutuskan sejauh mana tanggung jawab perusahaan atas konten yang dihasilkan chatbot mereka.