Çinli bir hakem: yapay zekâyla yazılan tezler dış değerlendirmeye hiç gönderilmemeli

Çinli bir akademisyen, araştırmacılar arasında dolaşan keskin bir öneri ortaya attı: yapay zekâ tarafından yazılan tezler dış değerlendirmeye hiç gönderilmemeli. Peng Bo adlı bir profesörün Çin’deki bir bilim blogunda kişisel deneme olarak yayımladığı sav, ilkeden çok boşa giden saatlere dayanıyor. Akıcı ama tuhaf biçimde ağırlıksız bulduğu lisansüstü tezleri birkaç tur değerlendirdikten sonra, bunların muhtemelen makine tarafından yazıldığı ve okuduğu şeyi ancak bu açıklamanın izah ettiği sonucuna vardı.

Deneme iki örüntü tanımlıyor. Kimi durumlarda bir tezin tamamı baştan sona büyük bir dil modelinden çıkmış gibi görünüyor. Kimilerindeyse öğrenci bazı bölümleri kendi yazmış, geri kalanını genişletmek, düzleştirmek ya da doldurmak için yapay zekâ kullanmış gibi. Her iki durumda da hakeme sistemin tasarlanmadığı bir iş kalıyor: yazının üslubundan yazarı tahmin etmek, sonra bu tahmine dayanarak bir derecenin verilip verilmeyeceğine karar vermek.

Bu, dış sınav görevlilerine büyük ölçüde dayanan Çin lisansüstü eğitimi için rahatsız edici bir konum. Doktora ve yüksek lisans tezleri rutin olarak başka kurumlardaki anonim uzmanlara gönderiliyor; onlardan özgünlüğü, yöntemi ve alana hâkimiyeti değerlendirmeleri bekleniyor. Bu hakemler genellikle ya ödeme almıyor ya da az bir ücret alıyor ve büyük hacimlerde çalışıyor. Gönderilerin anlamlı bir bölümü makine desteğiyle hazırlanıyorsa, bedel tam da bunu karşılamaya en az zamanı olan kişilere yükleniyor.

Asıl güçlük saptamada. Yapay zekâ metnini tanımladığını iddia eden araçların sicili kötü: özenli ana dili başka olan yazarlara karşı yanlış suçlamalar üretiyor, hafifçe düzenlenmiş makine çıktısını ise kaçırıyor. Bazı model geliştiricilerinin üretilen metne yerleştirmeye başladığı filigran ise modele ve kimsenin onu söküp atmamasına bağlı. Elinde basılı ya da PDF bir tez tutan hakemin bunu denetlemesinin pratik bir yolu yok.

Profesörün, bu tür çalışmaların hiç gönderilmemesi önerisi kendi sorularını doğuruyor. Zarf bölümden çıkmadan önce birinin karar vermesi gerekiyor ve bu kişi genellikle tezin geçmesinde çıkarı olan öğrencinin kendi danışmanı. Kurumların gerçek yetkiye sahip bir ön eleme aşamasına ve bir öğrenci haksız yere işaretlendiğinde başvuru yolu sunmasına ihtiyaç var.

Çin üniversiteleri akademik çalışmada yapay zekâyı düzenlemek için hızla harekete geçti; çoğu destekli düzenlemeye izin verip bütünüyle üretimi yasaklayan kurallar yayımladı. Ancak uygulama yerel ve dengesiz kalıyor. Denemenin asıl hedefi belki de teknolojiden çok çevresindeki teşvik yapısı: uzunluk üretme baskısı altındaki öğrenciler, çok fazla adaya bölünmüş danışmanlar ve doğrulayamadıkları niteliği onaylaması istenen hakemler.

Dünya genelindeki okurlar için bu hikâye bir ön gösterim. Her yerdeki üniversiteler aynı soruyla boğuşuyor ve çoğu buna teknik denetimler yerine onur kuralları ve açıklama zorunluluklarıyla yanıt verdi. Çin örneğinin eklediği şey, hakemlik sisteminin kendi içinden somut bir öneri: çalışmayı göndermeyi bırak ve kararı, danışmanın ve bölümün sorumlu tutulabileceği daha üst aşamaya zorla.