Google शोधकर्ताओं को मिला राउंडिंग बग जो चुपचाप AI ट्रेनिंग को बिगाड़ता है
Google DeepMind के एक वरिष्ठ शोध वैज्ञानिक जॉन बैरन ने ऐसी चीज़ की ओर ध्यान दिलाया है जो असरदार टाइपो के बराबर है: व्यापक रूप से इस्तेमाल किए जाने वाले एक ट्रेनिंग एल्गोरिदम के मानक कार्यान्वयनों में, जिस संख्या को जानकारी ढोनी चाहिए, उसे चुपचाप शून्य तक राउंड कर दिया जाता है। यह बग PyTorch और JAX में दिखता है, जो AI मॉडल बनाने के सबसे आम सॉफ्टवेयर फ्रेमवर्क में से दो हैं, और पाठ्यपुस्तकों में छपे सूत्र में भी।
इसका असर क्रैश नहीं है। यह एक धीमा रिसाव है। कोई मॉडल किसी भविष्यवाणी के बारे में जितना अधिक आश्वस्त होता जाता है, सही ट्रेनिंग सिग्नल के उस राउंडिंग चरण में खो जाने की संभावना उतनी ही बढ़ती जाती है। सुधारक सिग्नल के चले जाने पर, मॉडल के भार समायोजित करने वाला ऑप्टिमाइज़र अपना आधार खो देता है, और ट्रेनिंग कर्व स्थिर होने के बजाय झूलने लगता है। सरल शब्दों में, मॉडल की निश्चितता उसी फीडबैक को मिटा सकती है जो उसे सुधारने के लिए था।
यह बात शोध संगोष्ठी से आगे क्यों मायने रखती है, वह है पैमाना। PyTorch और JAX व्यावसायिक उपयोग में मौजूद ज़्यादातर बड़े भाषा मॉडलों और इमेज जनरेटरों का आधार हैं, अमेरिकी प्रयोगशालाओं से लेकर DeepSeek और Alibaba की Qwen टीम जैसे चीनी डेवलपरों तक, जो उसी टूलचेन पर बने ओपन मॉडल प्रकाशित करते हैं। साझा लाइब्रेरी में गणित की एक सूक्ष्म खामी उन गिनी-चुनी चीज़ों में से है जो प्रशांत महासागर के दोनों किनारों के प्रतिस्पर्धियों को एक साथ छू सकती है।
विवरण के अनुसार, Google का Gemini मॉडल अपने ही ट्रेनिंग सेटअप में इस समस्या की पहचान कर उसे सुधार सका, जो किसी मॉडल द्वारा मॉडल बनाने वाले कोड का ऑडिट करने का शुरुआती प्रदर्शन है। यह ब्यौरा संभवतः बग जितना ही ध्यान खींचेगा, क्योंकि यह संकेत देता है कि ट्रेनिंग पाइपलाइनों की स्वचालित समीक्षा नई चीज़ नहीं बल्कि सामान्य बन सकती है।
व्यावहारिक सवाल बिना चमक के हैं, पर बड़े हैं। एक सुचारु ट्रेनिंग रन और एक लड़खड़ाते रन के बीच का कितना अंतर इसी राउंडिंग चरण का था? क्या कुछ मॉडलों को ट्रेन करना कठिन बताकर छोड़ दिया गया, जबकि गलती लाइब्रेरी के डिफ़ॉल्ट में थी? और चीनी और अमेरिकी मॉडलों को एक-दूसरे के मुकाबले रैंक करने में इस्तेमाल हुए बेंचमार्क तुलनाओं सहित, कितनी प्रकाशित तुलनाएँ ऐसे ट्रेनिंग रनों पर टिकी हैं जिनमें यह खामी मौजूद थी?
बड़ी प्रयोगशालाओं से बाहर की टीमों के लिए तत्काल सबक सत्यापन है। फ्रेमवर्क के डिफ़ॉल्ट को ज़्यादातर इंजीनियर अंतिम सत्य मानते हैं, और पाठ्यपुस्तक के सूत्रों को तो और भी। एक भी गलत निर्दिष्ट स्थिरांक फाइन-ट्यूनिंग, डिस्टिलेशन और मूल्यांकन के ज़रिए बिना किसी को पता चले फैल सकता है, क्योंकि आउटपुट फिर भी काम करता हुआ मॉडल ही दिखता है, बस कम स्थिर।
व्यापक बात यह है कि AI में प्रगति अब कहाँ से आ रही है। हाल की बड़ी छलांग का श्रेय ज़्यादातर बड़े क्लस्टरों और अधिक डेटा को दिया गया है। यह प्रसंग याद दिलाता है कि नीचे की संख्यात्मक प्लंबिंग, वे हिस्से जिनका कोई डेमो नहीं करता, अब भी तय करते हैं कि मॉडल क्या सीख सकते हैं। राउंडिंग का एक नियम ठीक करना नए मॉडल के लॉन्च जैसी सुर्खियाँ नहीं बटोरेगा, पर जो भी इस सुधार को अपनाएगा, उसके ट्रेनिंग कर्व बदल सकता है।