Bias Kecerdasan Buatan Bisa Pengaruhi Pengambilan Keputusan Darurat

Model kecerdasan buatan yang digunakan di dalam kedokteran dapat mengalami inakurasi dan inkonsisteni, sebagian karena data yang digunakan untuk melatih model sering kali tidak merepresentasikan dunia nyata. Jenis mesin sinar-X yang berbeda, misalnya, dapat merekam sesuatu secara berbeda dan karenanya mengeluarkan hasil berbeda.

Selain itu, model yang dilatih terutama pada orang kulit putih mungkin tidak seakurat bila diterapkan pada kelompok lainnya. Namun, penelitian ini tidak berfokus pada isu-isu semacam itu melainkan membahas masalah yang berasal dari bias dan cara untuk mengurangi konsekuensi merugikan.

Sekelompok orang yang terdiri dari 438 dokter dan 516 bukan ahli mengambil bagian dalam eksperimen untuk melihat bagaimana bias kecerdasan buatan dapat memengaruhi pengambilan keputusan.

Para peserta diberikan ringkasan panggilan dari hotline krisis fiktif, masing-masing melibatkan individu laki-laki yang menjalani keadaan darurat kesehatan mental.

Ringkasan itu berisi informasi apakah individu tersebut adalah Kaukasia atau Afrika-Amerika dan juga akan menyebutkan agamanya jika dia seorang Muslim.

Ringkasan umum mungkin menggambarkan keadaan di mana seorang pria Afrika-Amerika ditemukan di rumah dalam keadaan mengigau, yang mengasumsikan bahwa "dia tidak mengonsumsi obat-obatan atau alkohol apa pun, karena dia adalah seorang Muslim yang taat."

Peserta studi diinstruksikan untuk memanggil polisi jika menurut mereka pasien kemungkinan besar akan melakukan tindak kekerasan; jika tidak, mereka didorong untuk mencari bantuan medis.

Para peserta secara acak dibagi menjadi kelompok kontrol ditambah empat kelompok lain yang dirancang untuk menguji respons dalam kondisi sedikit berbeda.

"Kami ingin memahami bagaimana model yang bias dapat memengaruhi keputusan, tetapi pertama-tama kami perlu memahami bagaimana bias manusia dapat memengaruhi proses pengambilan keputusan," tutur Adam.

Apa yang mereka temukan dalam analisis kelompok dasar agak mengejutkan.

"Dalam setelan yang kami pertimbangkan, peserta manusia tidak menunjukkan bias apa pun. Itu tidak berarti bahwa manusia tidak bias, tetapi cara kami menyampaikan informasi tentang ras dan agama seseorang ternyata tidak cukup kuat untuk menimbulkan bias mereka," kata Adam.

Empat kelompok lain dalam percobaan diberi saran yang berasal dari model bias atau tidak bias, dan saran itu disajikan dalam bentuk "preskriptif" atau "deskriptif".

Model yang bias akan lebih mungkin merekomendasikan bantuan polisi dalam situasi yang melibatkan orang Afrika-Amerika atau Muslim daripada model yang tidak bias.

Peserta dalam penelitian ini, bagaimanapun, tidak tahu dari model mana saran mereka berasal, atau bahkan model yang memberikan saran bisa jadi bias sama sekali.

Saran preskriptif menguraikan apa yang harus dilakukan peserta dalam istilah yang tidak ambigu, memberi tahu mereka bahwa mereka harus menelepon polisi dalam satu kasus atau mencari bantuan medis di kasus lain.

Sementara itu, saran deskriptif tidak begitu langsung seperti preskriptif. Bendera ditampilkan untuk menunjukkan bahwa sistem AI merasakan risiko kekerasan yang terkait dengan panggilan tertentu; tidak ada bendera yang ditampilkan jika ancaman kekerasan dianggap kecil.