Penyelidik NYU Tandon telah memperkenalkan EnIGMA, ejen AI yang secara autonomi menyelesaikan cabaran keselamatan siber, menonjolkan potensinya untuk mengubah aplikasi dunia sebenar dan meningkatkan langkah keselamatan.
Penyelidik dari Sekolah Kejuruteraan NYU Tandon, bersama NYU Abu Dhabi dan institusi kerjasama lain, telah memperkenalkan ejen AI termaju yang direka untuk menangani cabaran keselamatan siber yang kompleks secara autonomi. Dialih suara EnIGMA, kejayaan ini telah dibentangkan pada Persidangan Antarabangsa mengenai Pembelajaran Mesin (ICML) 2025, mempamerkan lonjakan yang mengagumkan dalam bidang tersebut.
"EnIGMA adalah mengenai menggunakan ejen Model Bahasa Besar untuk aplikasi keselamatan siber," kata pengarang bersama Meet Udeshi, pelajar kedoktoran NYU Tandon, dalam satu kenyataan berita.
EnIGMA ialah kemuncak usaha kerjasama yang diketuai oleh Udeshi di bawah bimbingan Ramesh Karri, pengerusi Jabatan Kejuruteraan Elektrik dan Komputer (ECE) NYU Tandon dan ahli fakulti Pusat Keselamatan Siber NYU dan Pusat Teknologi Lanjutan dalam Telekomunikasi (CATT) NYU Tandon, dan Farshad Khorrami, profesor ECE dan ahli fakulti CATT.
Penyelidikan itu juga telah melihat sumbangan daripada suara akademik yang pelbagai di seluruh NYU Abu Dhabi, Universiti Princeton dan Universiti Stanford.
Sistem AI tradisional telah pun membuktikan nilainya dalam domain seperti pembangunan perisian dan navigasi web, tetapi keselamatan siber menimbulkan cabaran unik yang menyebabkan banyak rangka kerja AI sedia ada tidak mencukupi.
Walau bagaimanapun, EnIGMA memanfaatkan rangka kerja khusus yang dikenali sebagai "Alat Ejen Interaktif" untuk menterjemah program keselamatan siber visual ke dalam format berasaskan teks yang boleh difahami oleh model AI.
"Kami perlu menyusun semula antara muka tersebut untuk memasukkannya ke dalam LLM dengan betul. Jadi kami telah melakukannya untuk beberapa alat keselamatan siber," tambah Udeshi.
Pendekatan inovatif ini membolehkan AI memproses teks, mengatasi batasan antara muka grafik tradisional yang biasa digunakan dalam alatan keselamatan siber seperti penyahpepijat dan penganalisis rangkaian.
Komponen penting dalam pembangunan EnIGMA ialah penciptaan set data penanda aras Capture The Flag (CTF) tersuai. Cabaran CTF ini, yang mensimulasikan kelemahan dunia sebenar dan digunakan dalam pertandingan akademik, memainkan peranan penting dalam melatih AI.
"CTF adalah seperti versi gamified keselamatan siber yang digunakan dalam pertandingan akademik. Ia bukan masalah keselamatan siber sebenar yang anda akan hadapi di dunia nyata, tetapi ia adalah simulasi yang sangat baik," tambah Udeshi.
Penyelidikan itu menunjukkan keunggulan EnIGMA merentasi 390 cabaran CTF yang tersebar di empat penanda aras, mencapai keputusan terkini. Ejen AI berjaya menyelesaikan lebih daripada tiga kali lebih banyak cabaran berbanding sistem sebelumnya.
Menggambarkan evolusi model AI, Udeshi menyatakan, "Claude 3.5 Sonnet dari Anthropic adalah model terbaik, dan GPT-4o adalah yang kedua pada masa itu."
Semasa penyelidikan mereka, pasukan itu menemui fenomena yang disebut "soliloquizing," di mana AI menjana pemerhatian halusinasi tanpa benar-benar berinteraksi dengan persekitarannya. Penemuan ini mungkin mempunyai implikasi penting untuk keselamatan dan kebolehpercayaan AI pada masa hadapan.
Di luar pengiktirafan akademik, implikasi EnIGMA meluas ke dalam aplikasi praktikal.
Menurut Udeshi, "Jika anda memikirkan ejen LLM autonomi yang boleh menyelesaikan CTF ini, ejen itu mempunyai kemahiran keselamatan siber yang besar yang boleh anda gunakan untuk tugas keselamatan siber yang lain juga."
Prospek ejen sedemikian menggunakan keupayaannya pada penilaian kerentanan dunia sebenar, secara autonomi mencuba ratusan pendekatan berbeza, menandakan anjakan transformatif dalam operasi keselamatan siber.
Walau bagaimanapun, sifat dwi-penggunaan teknologi ini memerlukan berhati-hati. Walaupun ia berjanji untuk meningkatkan pertahanan keselamatan siber, terdapat juga potensi untuk penyalahgunaan.
Sehubungan dengan ini, para penyelidik telah memaklumkan kepada syarikat AI utama, termasuk Meta, Anthropic dan OpenAI, tentang penemuan mereka.
sumber: Sekolah Kejuruteraan NYU Tandon