Penyelidik di Sekolah Kejuruteraan NYU Tandon telah melancarkan sistem berkuasa AI yang boleh menganalisis foto makanan serta-merta dan memberikan maklumat pemakanan terperinci.
Bayangkan merakam foto hidangan anda dan serta-merta menerima kiraan kalori, kandungan lemak dan pecahan pemakanannya. Visi futuristik ini semakin hampir kepada realiti berkat penyelidikan inovatif dari Sekolah Kejuruteraan NYU Tandon. Sistem AI perintis yang dibangunkan oleh penyelidik universiti berjanji untuk merevolusikan cara kami menguruskan diet, berat badan, diabetes dan keadaan kesihatan lain yang dikaitkan dengan pemakanan.
Teknologi, yang digariskan dalam a kertas dibentangkan di Persidangan Antarabangsa IEEE ke-6 mengenai Pengkomputeran Mudah Alih dan Informatik Mampan, memanfaatkan algoritma pembelajaran mendalam yang termaju untuk mengenali item makanan dalam imej dan mengira kandungan nutrisinya. Ini termasuk metrik utama seperti kalori, protein, karbohidrat dan lemak.
"Kaedah tradisional menjejaki pengambilan makanan sangat bergantung pada pelaporan diri, yang sangat tidak boleh dipercayai, " kata pengarang utama Prabodh Panindre, seorang profesor penyelidikan bersekutu di Jabatan Kejuruteraan Mekanikal di NYU Tandon, dalam satu kenyataan berita. "Sistem kami mengalih keluar ralat manusia daripada persamaan."
Selama lebih sedekad, Kumpulan Penyelidikan Kebakaran NYU, termasuk Panindre dan pengarang bersama Sunil Kumar, telah menyiasat cabaran kesihatan ahli bomba yang kritikal. Kajian mendedahkan bahawa peratusan ketara kedua-dua ahli bomba kerjaya dan sukarelawan mengalami berat badan berlebihan atau obes, yang membawa kepada peningkatan risiko kardiovaskular dan cabaran operasi. Statistik yang membimbangkan ini secara langsung mendorong pembangunan sistem penjejakan makanan berkuasa AI.
Mewujudkan pengiktirafan makanan yang boleh dipercayai AI telah menjadi satu kejayaan yang mencabar. Usaha sebelum ini gagal disebabkan oleh kepelbagaian visual makanan yang sangat besar, antara isu lain.
"Kepelbagaian visual makanan sangat mengejutkan," tambah Kumar, seorang profesor kejuruteraan mekanikal di NYU Abu Dhabi dan profesor rangkaian global kejuruteraan mekanikal di NYU Tandon. "Tidak seperti objek perkilangan dengan penampilan standard, hidangan yang sama boleh kelihatan berbeza secara dramatik berdasarkan siapa yang menyediakannya."
Satu lagi halangan adalah menganggarkan saiz bahagian dengan tepat, yang penting untuk penilaian pemakanan. Kejayaan pasukan NYU melibatkan fungsi pengiraan isipadu yang menggunakan pemprosesan imej yang canggih untuk mengukur kawasan tepat yang diduduki oleh setiap item makanan di atas pinggan. Penyepaduan ini mengubah imej 2D kepada penilaian pemakanan yang tepat tanpa memerlukan input manual.
Pemprosesan masa nyata yang cekap juga telah menjadi satu cabaran. Banyak model terdahulu memerlukan kuasa pengiraan yang berat dan pemprosesan awan, yang memperkenalkan kelewatan dan kebimbangan privasi. Penyelidik NYU menggunakan YOLOv8 dengan ONNX Runtime untuk membangunkan sistem pengenalan makanan yang berjalan pada tapak web, membolehkan pengguna mengaksesnya dengan mudah melalui penyemak imbas web telefon mereka.
Apabila diuji pada pelbagai makanan, termasuk sekeping piza dan hidangan India Selatan idli sambhar, sistem itu memberikan nilai pemakanan yang sejajar dengan rujukan standard.
"Salah satu matlamat kami adalah untuk memastikan sistem berfungsi merentasi pelbagai masakan dan persembahan makanan," tambah Panindre. "Kami mahu ia setepat dengan hot dog - 280 kalori mengikut sistem kami - seperti baklava, pastri Timur Tengah yang sistem kami kenal pasti mempunyai 310 kalori dan 18 gram lemak."
Para penyelidik mengoptimumkan data mereka dengan menggabungkan kategori makanan yang serupa dan memfokuskan pada jenis makanan yang kurang diwakili, memperhalusi set data mereka kepada 95,000 imej merentas 214 kategori makanan. Sistem ini mencapai skor min Purata Ketepatan (mAP) 0.7941 pada ambang Persimpangan atas Kesatuan (IoU) 0.5, bermakna ia boleh mengenal pasti item makanan dengan tepat kira-kira 80% pada masa itu, walaupun sebahagiannya dikaburkan.
Pada masa ini tersedia sebagai aplikasi web, sistem ini digambarkan sebagai "bukti-konsep" yang mungkin tidak lama lagi disesuaikan untuk aplikasi penjagaan kesihatan yang lebih luas.
sumber: Sekolah Kejuruteraan NYU Tandon