Kajian Mendedahkan Had dalam Keupayaan ChatGPT untuk Menggantikan Profesional Kewangan

Kajian yang diterajui WSU mendapati bahawa walaupun AI seperti ChatGPT berprestasi baik pada peperiksaan pelesenan kewangan pelbagai pilihan, ia bergelut dengan tugas yang kompleks dan khusus. Penemuan menunjukkan AI lebih sesuai sebagai alat bantuan dan bukannya pengganti untuk profesional kewangan.

Memandangkan sistem kecerdasan buatan seperti ChatGPT semakin meresap dalam pelbagai industri, kajian terbaru yang diketuai oleh Washington State University menyerlahkan batasan ketara dalam keupayaan AI untuk menggantikan profesional kewangan manusia.

Kajian itu, diterbitkan dalam Jurnal Penganalisis Kewangan, menganalisis lebih 10,000 respons daripada model bahasa AI BARD, Llama dan ChatGPT kepada soalan peperiksaan kewangan.

Para penyelidik - Donald (DJ) Fairhurst, profesor kewangan bersekutu di Kolej Perniagaan Carson WSU, dan Daniel Greene, Profesor Madya Kewangan Bill Short di Clemson's Wilbur O. dan Kolej Perniagaan Ann Powers - mencari bukan sahaja jawapan yang betul tetapi juga penjelasan terperinci untuk mengukur kefahaman dan penaakulan AI berbanding dengan pakar manusia.

“Lulus peperiksaan pensijilan tidak mencukupi. Kami benar-benar perlu menggali lebih dalam untuk mengetahui apa yang model ini boleh lakukan,” kata Fairhurst dalam a Siaran akhbar.

Walaupun ChatGPT, terutamanya versi berbayarnya 4.0, menunjukkan prestasi unggul dalam memberikan jawapan yang tepat dan seperti manusia, ia masih gagal dalam senario yang lebih khusus.

“Untuk konsep yang luas di mana terdapat penjelasan yang baik di internet untuk masa yang lama, ChatGPT boleh melakukan kerja yang sangat baik dalam mensintesis konsep tersebut. Jika ia adalah isu khusus, idiosinkratik, ia benar-benar akan bergelut,” tambah Fairhurst.

Kajian itu menggunakan soalan daripada pelbagai peperiksaan pelesenan, termasuk Siri 6, 7, 65 dan 66, yang mencerminkan tugas dunia sebenar yang dilakukan oleh profesional kewangan. Model AI menunjukkan ketepatan yang tinggi dalam bidang seperti urus niaga sekuriti dan pemantauan arah aliran pasaran. Walau bagaimanapun, mereka bergelut dengan isu yang lebih kompleks, seperti menentukan perlindungan insurans dan status cukai pelanggan.

Fairhurst dan Greene juga bereksperimen dengan memperhalusi ChatGPT 3.5 dengan memberikan contoh jawapan dan penjelasan yang betul, yang meningkatkan ketepatannya dengan ketara, menyaingi ChatGPT 4.0.

Penyelidikan diteruskan ketika pasukan, termasuk pelajar kedoktoran WSU Adam Bozman, meneroka tugas kewangan lain seperti menilai tawaran penggabungan yang berpotensi. Memandangkan data latihan ChatGPT hanya meningkat sehingga September 2021, mereka mengujinya terhadap hasil yang diketahui bagi tawaran yang dibuat selepas tarikh tersebut. Keputusan awal menunjukkan bahawa model AI kurang berprestasi dalam domain ini, menegaskan semula tanggapan bahawa AI belum bersedia untuk membuat keputusan kewangan yang rumit.

Implikasi daripada penemuan ini menunjukkan bahawa AI, walaupun alat yang berkuasa, digunakan sebaiknya untuk membantu profesional kewangan yang berpengalaman dan bukannya menggantikan mereka.

"Masih terlalu awal untuk bimbang tentang ChatGPT mengambil pekerjaan kewangan sepenuhnya," tambah Fairhurst.

Walau bagaimanapun, peningkatan AI boleh mengubah struktur peranan peringkat permulaan dalam bank pelaburan.

“Amalan membawa sekumpulan orang sebagai penganalisis junior, membiarkan mereka bersaing dan mengekalkan pemenang – itu menjadi lebih mahal. Jadi ia mungkin bermakna kemerosotan dalam jenis pekerjaan itu, tetapi ia bukan kerana ChatGPT lebih baik daripada penganalisis, ia kerana kami telah meminta penganalisis junior untuk melakukan tugas yang lebih rendah,” tambah Fairhurst.

Memandangkan AI terus berkembang, perbualan mengenai peranannya dalam sektor kewangan sudah pasti akan berterusan. Kajian ini menandakan langkah kritikal dalam memahami kedua-dua potensi dan batasan teknologi AI seperti ChatGPT dalam profesion khusus.