Penyelidik UC Riverside, dengan kerjasama Google, telah mencipta alat AI bernama UNITE untuk mengenal pasti video yang dimanipulasi, memberikan pertahanan penting terhadap ancaman yang semakin meningkat daripada deepfakes dan media sintetik.
Penyelidik di University of California Riverside telah melancarkan model kecerdasan buatan inovatif yang direka untuk mendedahkan video palsu.
Amit Roy-Chowdhury, profesor kejuruteraan elektrik dan komputer, dan calon kedoktoran Rohit Kundu, kedua-duanya dari Kolej Kejuruteraan Marlan dan Rosemary Bourns UC Riverside, bekerjasama dengan saintis Google untuk membangunkan model AI yang mengesan gangguan video — walaupun manipulasi melangkaui pertukaran muka dan pertuturan yang diubah.
Sistem itu, dinamakan Rangkaian Sejagat untuk Mengenalpasti Video Dirosakkan dan sintetik (UNITE), meneliti keseluruhan bingkai video, termasuk latar belakang dan corak gerakan, untuk mengesan pemalsuan. Analisis komprehensif ini meletakkan UNITE sebagai salah satu alat pertama yang mampu mengenal pasti video sintetik atau didoktorkan dengan menilai lebih daripada sekadar kandungan muka.
"Deepfakes telah berkembang," kata Kundu dalam siaran berita. "Ia bukan sahaja tentang pertukaran muka lagi. Orang ramai kini mencipta video palsu sepenuhnya — daripada muka ke latar belakang — menggunakan model generatif yang berkuasa. Sistem kami dibina untuk menangkap semua itu."
Pembangunan UNITE bertepatan dengan percambahan alat penjanaan teks-ke-video dan imej-ke-video, yang telah boleh diakses secara meluas dalam talian. Platform ini membolehkan individu yang mempunyai kemahiran sederhana untuk mencipta video palsu yang sangat meyakinkan, menimbulkan risiko besar kepada individu, institusi dan juga demokrasi itu sendiri.
"Ia menakutkan betapa mudahnya alat ini menjadi," tambah Kundu. "Sesiapa sahaja yang mempunyai kemahiran sederhana boleh memintas penapis keselamatan dan menjana video realistik tokoh awam yang mengatakan perkara yang tidak pernah mereka katakan."
Kundu menyatakan bahawa pengesan deepfake sebelum ini tertumpu terutamanya pada isyarat muka, menjadikannya tidak berkesan terhadap video tanpa wajah.
"Jika tiada muka dalam bingkai, banyak pengesan tidak akan berfungsi," jelasnya. "Tetapi maklumat salah boleh datang dalam pelbagai bentuk. Mengubah latar belakang adegan boleh memesongkan kebenaran dengan mudah."
Untuk menangani cabaran ini, UNITE menggunakan model pembelajaran mendalam berasaskan transformer untuk menganalisis klip video, mengesan ketidakkonsistenan spatial dan temporal yang halus yang sering terlepas oleh sistem terdahulu. Model ini memanfaatkan rangka kerja AI asas yang dikenali sebagai SigLIP, yang mengekstrak ciri bebas daripada orang atau objek tertentu. Tambahan pula, teknik latihan baru, yang dikenali sebagai "kehilangan kepelbagaian perhatian," menggalakkan sistem untuk mengagihkan perhatiannya merentasi berbilang kawasan visual dalam setiap bingkai, menghalangnya daripada menumpukan perhatian secara berlebihan pada ciri wajah.
Inovasi ini menghasilkan pengesan sejagat yang mampu mengenal pasti pelbagai jenis pemalsuan, daripada pertukaran muka langsung kepada video sintetik yang rumit dan dibuat tanpa sebarang rakaman sumber tulen.
"Ia adalah satu model yang mengendalikan semua senario ini," tambah Kundu. "Itulah yang menjadikannya universal."
Para penyelidik membentangkan penemuan mereka pada Persidangan 2025 yang dihormati mengenai Penglihatan Komputer dan Pengecaman Corak (CVPR) di Nashville, Tenn. kertas menggariskan seni bina dan metodologi latihan UNITE.
Latihan Kundu di Google memudahkan akses kepada set data yang luas dan sumber pengkomputeran yang diperlukan untuk melatih model tentang pelbagai bentuk kandungan sintetik, termasuk video yang dihasilkan daripada teks atau imej pegun — format yang sering mengelirukan pengesan sedia ada.
Walaupun UNITE masih dalam pembangunan, ia mempunyai potensi untuk memainkan peranan penting dalam memerangi penyelewengan maklumat video. Pengguna berpotensi termasuk platform media sosial, pemeriksa fakta dan bilik berita yang khusus untuk menghalang video yang dimanipulasi daripada menjadi tular.
"Orang ramai berhak mengetahui sama ada apa yang mereka lihat adalah benar," kata Kundu. "Dan apabila AI semakin baik dalam memalsukan realiti, kita perlu menjadi lebih baik dalam mendedahkan kebenaran."
sumber: Universiti California, Riverside