Google araştırmacıları, yapay zeka eğitimini sessizce bozan bir yuvarlama hatası buldu
Google DeepMind’da kıdemli bir araştırma bilimcisi olan Jon Barron, sonuçları olan bir yazım hatasına eşdeğer bir duruma dikkat çekti: yaygın olarak kullanılan bir eğitim algoritmasının standart uygulamalarında, bilgi taşıması gereken bir sayı sessizce sıfıra yuvarlanıyor. Hata, yapay zeka modelleri oluşturmak için en yaygın yazılım çerçevelerinden ikisi olan PyTorch ve JAX’ta ve ders kitaplarında basılan formülde ortaya çıkıyor.
Etki bir çökme değil. Yavaş bir sızıntı. Bir model bir tahmin konusunda ne kadar kendinden emin olursa, doğru eğitim sinyalinin o yuvarlama adımında kaybolma olasılığı o kadar artıyor. Düzeltici sinyal ortadan kalkınca, modelin ağırlıklarını ayarlayan optimize edici ayağını kaybediyor ve eğitim eğrisi oturmak yerine salınıyor. Basitçe söylemek gerekirse, modelin kesinliği onu düzeltmeye yönelik geri bildirimi silebiliyor.
Bunu bir araştırma seminerinin ötesine taşıyan şey ölçek. PyTorch ve JAX, Amerikan laboratuvarlarından aynı araç zinciri üzerine kurulu açık modeller yayımlayan DeepSeek ve Alibaba’nın Qwen ekibi gibi Çinli geliştiricilere kadar ticari kullanımdaki büyük dil modellerinin ve görüntü üreticilerinin çoğunun temelini oluşturuyor. Paylaşılan bir kütüphanedeki ince bir aritmetik kusur, Pasifik’in iki yakasındaki rakipleri aynı anda etkileyebilecek ender şeylerden biri.
Anlatıya göre Google’ın Gemini modeli sorunu kendi eğitim düzeninde tespit edip düzeltebildi; bu, bir modelin modelleri inşa eden kodu denetlemesinin erken bir gösterimi. Bu ayrıntı muhtemelen hatanın kendisi kadar dikkat çekecek, çünkü eğitim hatlarının otomatik incelenmesinin bir yenilik olmaktan çıkıp rutin hale gelebileceğine işaret ediyor.
Pratik sorular gösterişsiz ama büyük. Düzgün giden bir eğitim ile titrek bir eğitim arasındaki farkın ne kadarı bu yuvarlama adımından kaynaklanıyordu? Bazı modeller, hata bir kütüphane varsayılanındayken eğitilmesi zor diye mi gözden çıkarıldı? Ve Çin ile Amerikan modellerini birbirine karşı sıralamak için kullanılanlar dahil, yayımlanmış kaç kıyaslama karşılaştırması bu kusuru taşıyan eğitimlere dayanıyor?
Büyük laboratuvarların dışındaki ekipler için acil ders doğrulama. Çerçeve varsayılanları çoğu mühendis tarafından mutlak gerçek olarak kabul edilir, ders kitabı formülleri ise daha da fazla. Tek bir yanlış belirtilmiş sabit, ince ayar, damıtma ve değerlendirme boyunca kimse fark etmeden yayılabilir, çünkü çıktı hâlâ çalışan bir model gibi görünür, sadece daha az kararlı bir model.
Daha geniş nokta, yapay zekadaki ilerlemenin artık nereden geldiğiyle ilgili. Son dönemdeki sıçramanın büyük kısmı daha büyük kümelere ve daha fazla veriye bağlandı. Bu olay, kimsenin demo yapmadığı alt katmandaki sayısal tesisatın modellerin ne öğrenebileceğini hâlâ şekillendirdiğini hatırlatıyor. Bir yuvarlama kuralını düzeltmek yeni bir model duyurusu gibi manşet olmayacak, ama düzeltmeyi benimseyen herkes için eğitim eğrilerini değiştirebilir.