Yeni araştırma ChatGPT’nin performansının düştüğünü gösteriyor

Aralık ayında yapay zeka çılgınlığını başlatan ChatGPT konusunda ünlü iki üniversite olan Stanford ve Berkeley’de önemli iki araştırma yapıldı. ChatGPT’nin matematik, kodlama ve görselleri anlayabilme özelliklerinin zamanla geriye gittiği ifade edildi.

Bir dönem özel olarak seçilen matematik sorularından 500’de 488’lik yani yüzde 97’lik bir ortalama tutturan yapay zeka modelinde bu rakam bir süre sonra ise şoke edici şekilde %2.4’e kadar düştü. Araştırmada ayrıca botun yazılım kodlama kabiliyetlerinde de ciddi bir düşüş olduğu kaydedildi.

“Sebep OpenAI ayarlamaları olabilir”

Çalışmada ayrıca, “GPT-4modeli, Haziran ayında doğru olduğu sorgularda, Mart ayında hatalar yapmaya başladı” denildi. Araştırmacılar sadece birkaç ayda yaşanan bu denli büyük ve olumsuz değişimlerin altında, OpenAI şirketi tarafından yapılan ayarlamaların bir yan etkisinin olabileceğini düşünüyorlar ama kesin sebep tam anlamıyla bilinmiyor.

Araştırmacılar ayrıca modelin, sorulara eskisi gibi net cevaplar vermediğini ve dolaylı yoldan uzun cevapları tercih ettiğini belirttiler.

Hatırlanacağı üzere Elon Musk’ın başını çektiği 1000’den fazla iş insanı ve geliştirici grubu, mart ayında ChatGPT araştırmalarının durdurulmasını talep etmişlerdi. OpenAI ve şirkete büyük destek veren Microsoft CEO’su Bill Gates ise bu talebi reddetmişlerdi.

Geçtiğimiz günlerde de Bitcoin destekçisi olan Jack Dorsey, Strike kurucusu Jack Mallers ile katıldığı bir podcast’te OpenAI şirketini eleştirmiş ve “Adında ‘Open’ var ama acaba o kadar açık ve şeffaflar mı?” diyerek şirketi eleştirmişti.