ChatGPT Raih Skor 47,4 Persen saat Mengerjakan Ujian Akuntansi

ChatGPT di Ponsel — Ilustrasi tampilan ChatGPT di ponsel. (unsplash/Rolf van Root)

Liputan6.com, Jakarta - Produk chatbot dari OpenAI, ChatGPT, telah menjadi berita utama setelah lulus beberapa ujian, seperti Bar Exam dengan skor di persentil ke-90, lulus 13 dari 15 Advanced Placement Exam, dan mencapai skor nyaris sempurna dalam ujian GRE Verbal Test.

Terkini, para peneliti di Brigham Young University (BYU) dan 186 universitas lainnya ingin melihat bagaimana performa ChatGPT dalam ujian akuntansi.

Mereka menguji ChatGPT dan menemukan meskipun masih ada ruang untuk perbaikan di bidang akuntansi, chatbot ini merupakan game changer mengubah pengajaran dan pembelajaran menjadi lebih baik.

Penulis utama studi ini, David Wood, seorang profesor akuntansi dari BYU, mencatat ketika ChatGPT pertama kali diperkenalkan, ada kekhawatiran hal tersebut dapat digunakan oleh siswa untuk menyontek.

Namun, para peneliti bertujuan untuk fokus pada bagaimana teknologi ini dapat meningkatkan proses pengajaran bagi para pengajar dan proses pembelajaran bagi para mahasiswa. Mengujinya adalah pengalaman membuka mata.

Sejak debutnya pada November 2022, ChatGPT telah menjadi platform teknologi dengan pertumbuhan tercepat pernah ada, mencapai 100 juta pengguna dalam waktu kurang dari dua bulan.

Menanggapi perdebatan sengit tentang bagaimana model seperti ChatGPT harus dimasukkan ke dalam dunia pendidikan, Wood merekrut sebanyak mungkin profesor untuk melihat bagaimana kinerja AI terhadap mahasiswa akuntansi di universitas.

Pencipta AI, Geoffrey Hinton mengaku menyesal telah mengembangkan teknologi kecerdasan buatan tersebut. Ia menyebut Chatbot AI cukup menakutkan, karena dapat jadi lebih cerdas daripada manusia dan dapat dieksploitasioleh pelaku kejahatan.

2 dari 3 halaman

Partisipasi Ratusan Penulis

Penelitian ini melibatkan 327 penulis dari 186 institusi pendidikan di 14 negara, yang berkontribusi atas 25.181 soal ujian akuntansi di kelas.

Selain itu, mereka merekrut mahasiswa sarjana BYU untuk memberikan 2.268 soal ujian buku teks ke ChatGPT, yang mencakup sistem informasi akuntansi (SIA), audit, akuntansi keuangan, akuntansi manajerial, dan pajak.

Pertanyaan-pertanyaan tersebut bervariasi dalam hal tingkat kesulitan dan jenisnya, termasuk benar/salah, pilihan ganda, jawaban singkat, dan lain-lain.

Meskipun kinerja ChatGPT mengesankan, para siswa pun menunjukkan kinerja yang lebih baik. Para siswa mendapat nilai rata-rata keseluruhan 76,7 persen, dibandingkan dengan nilai ChatGPT yang hanya 47,4 persen.

Pada 11,3 persen pertanyaan, ChatGPT mendapat nilai lebih tinggi dari rata-rata siswa, terutama pada soal SIA dan audit. Namun, chatbot itu berkinerja lebih buruk pada soal-soal mengenai penilaian pajak, keuangan, dan manajerial.

3 dari 3 halaman

Temuan Lain

Para peneliti juga mendapati beberapa temuan menarik melalui penelitian ini. Sebagai contoh, ChatGPT tidak selalu menyadari ketika ia sedang mengerjakan soal matematika dan dapat membuat kesalahan yang tidak masuk akal, seperti menambahkan dua angka dalam soal pengurangan atau membagi angka dengan tidak benar.

Selain itu, ChatGPT terkadang mengarang fakta atau memberikan penjelasan atas jawabannya, meskipun jawabannya salah. Terlepas dari keterbatasan ini, para penulis sepenuhnya berharap GPT-4 yang menjadi model di balik ChatGPT dapat meningkatkan pertanyaan-pertanyaan akuntansi yang diajukan dalam penelitian mereka secara eksponensial.

Aspek yang paling menjanjikan dari ChatGPT adalah bagaimana hal ini dapat membantu meningkatkan pengajaran dan pembelajaran. Chatbot itu dapat digunakan untuk merancang dan menguji tugas atau membuat draf bagian dari sebuah proyek.