Kajian perintis yang diketuai oleh Michigan State University mendedahkan bahawa persona AI belum lagi boleh dipercayai untuk mengesan penipuan manusia, menunjukkan kedua-dua janji dan batasan ketara dalam keupayaan semasa teknologi AI.
Bolehkah kecerdasan buatan mengesan dengan berkesan apabila seseorang berbohong? Penyelidik yang diketuai Michigan State University telah memulakan kajian yang bercita-cita tinggi untuk meneroka soalan provokatif ini, mengkaji keupayaan dan batasan AI dalam memahami penipuan manusia.
Diterbitkan dalam Journal of Communication, penyelidikan itu melibatkan 12 eksperimen dengan lebih 19,000 peserta AI, meneliti sejauh mana persona AI dapat membezakan kebenaran daripada pembohongan yang diceritakan oleh subjek manusia.
"Penyelidikan ini bertujuan untuk memahami sejauh mana AI boleh membantu dalam pengesanan penipuan dan mensimulasikan data manusia dalam penyelidikan saintifik sosial, serta berhati-hati profesional apabila menggunakan model bahasa yang besar untuk pengesanan pembohongan," kata pengarang utama David Markowitz, seorang profesor komunikasi di Kolej Seni dan Sains Komunikasi MSU, dalam satu kenyataan akhbar.
Untuk menjalankan analisis mereka, para penyelidik menggunakan Teori Lalai Kebenaran (TDT), yang menunjukkan bahawa manusia pada umumnya cenderung mempercayai orang lain bersikap jujur, sifat yang dianggap menguntungkan secara evolusi.
Memahami "kecondongan kebenaran" semula jadi ini menyediakan penanda aras untuk membandingkan tindak balas pengesanan AI dengan respons manusia.
"Manusia mempunyai kecenderungan kebenaran semula jadi - kita biasanya menganggap orang lain bersikap jujur, tidak kira sama ada mereka sebenarnya," tambah Markowitz. "Kecenderungan ini dianggap berguna secara evolusi, kerana sentiasa meragui semua orang akan mengambil banyak usaha, menyukarkan kehidupan seharian dan menjadi ketegangan pada hubungan."
Kajian itu menggunakan platform penyelidikan AI Viewpoints, mempersembahkan hakim AI dengan media audiovisual dan audio sahaja bagi subjek manusia.
Tugas AI adalah untuk menentukan kebenaran kenyataan dan mewajarkan keputusan mereka. Pembolehubah seperti jenis media, latar belakang kontekstual, kadar asas pembohongan-kebenaran dan persona AI telah dimanipulasi untuk menilai pengaruhnya terhadap ketepatan pengesanan.
Satu penemuan ketara daripada penyelidikan ialah AI mempamerkan "bias-bias," menunjukkan prestasi yang lebih baik dalam mengenal pasti pembohongan (85.8% ketepatan) berbanding dengan kebenaran (19.5% ketepatan). Walaupun AI memadankan pengesanan penipuan manusia dalam tetapan soal siasat pendek, ia menyimpang dalam konteks bukan soal siasat, memaparkan bias kebenaran yang serupa dengan manusia.
"Matlamat utama kami adalah untuk melihat perkara yang boleh kami pelajari tentang AI dengan memasukkannya sebagai peserta dalam eksperimen pengesanan penipuan. Dalam kajian ini, dan dengan model yang kami gunakan, AI ternyata sensitif kepada konteks — tetapi itu tidak menjadikannya lebih baik dalam mengesan pembohongan," tambah Markowitz.
Penemuan ini menggariskan bahawa keupayaan semasa AI tidak mencapai ketepatan manusia dalam pengesanan penipuan. Ini menimbulkan persoalan penting tentang batasan semasa AI dan keperluan untuk kemajuan yang besar sebelum ia boleh digunakan dengan berkesan untuk aplikasi tersebut.
"Adalah mudah untuk melihat mengapa orang mungkin mahu menggunakan AI untuk mengesan pembohongan — ia kelihatan seperti penyelesaian berteknologi tinggi, berkemungkinan adil dan mungkin tidak berat sebelah. Tetapi penyelidikan kami menunjukkan bahawa kami belum berada di sana lagi," simpul Markowitz. "Kedua-dua penyelidik dan profesional perlu membuat penambahbaikan besar sebelum AI benar-benar boleh mengendalikan pengesanan penipuan."
Timothy Levine dari Universiti Oklahoma mengarang kajian itu.
sumber: Michigan State University