Facebook Umumkan KILT, Benchmark Terpadu untuk NLP

Salah Satu Sudut Ruangan di Kantor Facebook di Seattle. Kredit: Facebook

Liputan6.com, Jakarta - Facebook mengumumkan Knowledge Intensive Language Tasks (KILT), sebuah benchmark terpadu baru untuk membantu peneliti di bidang kecerdasan buatan.

KILT diharapkan dapat membantu peneliti membangun model yang lebih mampu memanfaatkan pengetahuan dunia nyata untuk menyelesaikan berbagai tugas.

Mengutip keterangan Facebook, KILT merupakan gabungan dari 11 dataset publik yang banyak digunakan dan mewakili lima jenis tugas berbeda: pengecekan fakta, menjawab pertanyaan domain terbuka, pengisian slot, penautan entitas, dan pembuatan dialog.

"KILT merupakan benchmark pertama yang menggabungkan dataset yang mewakili berbagai macam tugas pengetahuan intensif," kata perusahaan.

KILT menyatukan 11 dataset dalam satu format dan menempatkannya dalam satu koleksi yang sebelumnya telah diproses dari seluruh korpus di Wikipedia. Pemrosesan awal korpora besar memakan waktu yang dapat berdampak besar pada kinerja hilir model.

"Memetakan semua kumpulan dataset ke satu korpus tidak hanya membuat pekerjaan penelitian di bidang ini lebih nyaman, tetapi juga memungkinkan evaluasi lebih akurat dan seimbang di berbagai model," ujar perusahaan.

Penyatuan semua dataset ke satu korpus yang sama dalam format terpadu memungkinkan KILT mengeksplorasi pendekatan multitasking dan transfer learning.

"Kami berharap ini akan memungkinkan pengembangan model dan representasi yang dapat digeneralisasi di seluruh rangkaian tugas KILT," tutur perusahaan.

2 dari 2 halaman

Mengapa penting

Komunitas riset di bidang AI telah membuat langkah besar dalam membangun model yang dapat menghasilkan teks yang meniru bahasa alami. Saat ini sistem mutakhir bekerja dengan sangat baik, sehingga hasilnya sulit untuk dibedakan dengan teks yang ditulis oleh manusia.

Langkah penting berikutnya adalah membuat model ini menghasilkan teks yang tidak hanya lancar tetapi juga didasarkan pada pengetahuan dunia nyata.

Model pemrosesan bahasa alami semacam ini sudah diterapkan dalam banyak hal, dari sistem pemberi rekomendasi, chatbot, hingga asisten cerdas.

"KILT memfasilitasi penelitian yang diperlukan untuk meningkatkan sistem ini dan pada akhirnya membangun mesin dengan pengetahuan yang mendalam dan berguna tentang dunia kita," kata perusahaan.