सार्वत्रिक वेट सबस्पेस हाइपोथीसिस

 (arxiv.org)
2 पॉइंट द्वारा GN⁺ 2025-12-11 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • विभिन्न डीप लर्निंग मॉडल अलग-अलग डेटा और initialization के साथ train किए जाने पर भी, व्यापक प्रयोगों से पुष्टि हुई है कि वे एक साझा निम्न-आयामी पैरामीटर सबस्पेस पर converge होते हैं।
  • 1100 से अधिक मॉडलों (500 Mistral-7B LoRA, 500 Vision Transformer, 50 LLaMA-8B आदि) पर स्पेक्ट्रम विश्लेषण के परिणाम से पता चलता है कि अधिकांश variance कुछ ही प्रमुख घटक दिशाओं में केंद्रित है।
  • ऐसा सार्वत्रिक सबस्पेस (Universal Subspace) मॉडल की आर्किटेक्चर के अनुसार बनता है और डेटा या initialization से स्वतंत्र होकर बार-बार दिखाई देता है।
  • यह संरचना मॉडल कम्प्रेशन, पैरामीटर-इफिशिएंट ट्रेनिंग, मॉडल मर्जिंग, तेज़ inference आदि में बड़ा potential रखती है।
  • शोध से न्यूरल नेटवर्क की अंतर्निहित संरचना और generalization क्षमता को नए तरीके से समझने के संकेत मिलते हैं, और यह भविष्य में कारगर लर्निंग एल्गोरिद्म डिज़ाइन के लिए एक महत्वपूर्ण आधार बन सकता है।

सार्वत्रिक सबस्पेस की खोज

  • अलग-अलग datasets, initialization और hyperparameters पर ट्रेन किए गए डीप लर्निंग नेटवर्क भी एक सामान्य निम्न-आयामी सबस्पेस पर converge करते देखे गए।
    • यह phenomenon आर्किटेक्चर के हिसाब से, लेयर स्तर पर भी समान low-rank structure के रूप में दिखाई देता है।
    • training data या loss function बदलने पर भी यही संरचनात्मक प्रवृत्ति बनी रहती है।
  • स्पेक्ट्रम विश्लेषण से पाया कि अलग-अलग tasks के weight space अलग दिखते हुए भी वास्तव में एक साझा निम्न-आयामी स्थान का हिस्सा हैं।
  • ये परिणाम बताते हैं कि ओवरफिटेड मॉडल सामान्यीकरण क्यों करते हैं, अलग initialization कैसे समान representations में converge करते हैं, और पैरामीटर-इफिशिएंट fine-tuning क्यों सफल होता है।

बड़े पैमाने पर प्रयोग और विश्लेषण

  • शोध में 500 Mistral-7B LoRA adapters, 500 Vision Transformer, और 50 LLaMA3-8B मॉडल शामिल करते हुए 1100 से अधिक मॉडल का विश्लेषण किया गया।
    • प्रत्येक मॉडल को अलग datasets और initialization conditions पर train किया गया।
  • Principal Component Analysis (PCA) परिणामों में, कुछ ही principal components ने कुल variance का अधिकांश हिस्सा समझाया, जो साझा low-rank subspace की मौजूदगी का संकेत है।
  • खास तौर पर, random initialization वाले 500 ViT मॉडल भी समान निम्न-आयामी subspace पर converge हुए, जिसे न्यूरल नेटवर्क की मौलिक विशेषता के रूप में देखा गया।

सैद्धांतिक मॉडलिंग और गणितीय औपचारिकीकरण

  • शोध में predictor को Hilbert space का एक तत्व मानकर मॉडल किया गया और कई tasks के बीच shared subspace recovery condition का गणितीय विश्लेषण किया गया।
  • प्रत्येक task के predictor ( f_t^* ) से साझा द्वितीय-क्रम मोमेंट ऑपरेटर S को परिभाषित कर, trained predictor ( \hat{f_t} ) से अनुमानित ऑपरेटर ( \tilde{S} ) के S में converge करने का प्रमाण दिया गया।
  • Theorem 2.5 दिखाता है कि learned subspace वास्तविक shared subspace की ओर converge करती है, और convergence rate task count (T) तथा प्रत्येक task की estimation accuracy (η) से निर्धारित होता है।
  • eigen-gap (( \gamma_k )) जितना बड़ा हो, subspace recovery उतना ही stable होता है।

व्यावहारिक उपयोग और प्रभाव

  • साझा सबस्पेस का उपयोग करके निम्नलिखित उपयोग संभव हैं:
    • पूरी वज़न मैट्रिक्स के बजाय केवल subspace coefficients स्टोर करके मॉडल कम्प्रेशन।
    • trained subspace के भीतर ही नए task पर तेजी से adapt करना।
    • generalization bounds और optimization landscape पर सैद्धांतिक अंतर्दृष्टि प्रदान करना।
    • training और inference की compute लागत कम करके कार्बन उत्सर्जन घटाने की संभावना।
  • यह संरचना मॉडल reusability, multi-task learning, मॉडल merging जैसे कार्यों में भी efficiency बढ़ा सकती है।

भविष्य का शोध एजेंडा

  • आर्किटेक्चरों के बीच सार्वत्रिक सबस्पेस के अंतर और उसकी ज्यामितीय ऑप्टिमाइज़ेशन संभावना अभी भी खुला प्रश्न है।
  • यदि सभी नेटवर्क एक ही subspace में converge करते हैं, तो shared bias और shared failure modes के कारण diversity की कमी नया bottleneck बन सकती है।
  • आगे का शोध ऐसे तरीके खोजने पर केंद्रित होना चाहिए जो इस convergence को जानबूझकर diversify कर सके।

मुख्य योगदान सारांश

  • डीप लर्निंग नेटवर्क के पैरामीटर स्पेस में सार्वत्रिक निम्न-आयामी सबस्पेस के अस्तित्व का अनुभवजन्य प्रमाण प्रस्तुत किया।
  • विभिन्न task sets से approximate shared subspace सीखने की पद्धति पेश की।
  • दिखाया कि प्रशिक्षित subspace से कम पैरामीटर में नए task पर efficient adaptation संभव है।
  • मॉडल कम्प्रेशन, तेज़ training तथा inference, और efficient scaling में उपयोग की संभावना इंगित की।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-12-11
Hacker News की राय

  • "500 Vision Transformers" वाला वाक्यांश भ्रमित करने वाला था
    असल में इसका मतलब एक ही base model को finetune किए गए 500 versions से है
    ये models Hugging Face के anonymous user accounts से डाउनलोड किए गए थे, और "universal" शब्द वास्तव में सिर्फ एक single pretrained model पर ही लागू होता है
    LoRA की तरह finetune किए गए models का आपस में similar होना कोई हैरानी की बात नहीं है
    वैसे, paper में cited models में से एक CheXpert-ViT-U-MultiClass पर Hugging Face में malware warning दिखती है

    • इस explanation से paper के "universal subspace" का मतलब साफ हो गया
      शुरू में मुझे लगा था कि उन्होंने अलग-अलग model architectures के बीच common subspace खोज लिया है, इसलिए confusion हुआ, लेकिन असल में बात same model class के भीतर stability की है
      हालांकि आखिरकार यह बस इतना ही साबित करता है कि "loss function के well-defined minima होते हैं", इसलिए "universal weight subspace hypothesis" नाम थोड़ा बढ़ा-चढ़ाकर रखा गया लगता है
    • finetuning के नतीजे expected थे, लेकिन scratch से trained ResNet वाला experiment (Figure 2, Section 3.2.1) थोड़ा ज्यादा दिलचस्प था
      यह अभी LoRA जितना practical नहीं है, लेकिन आगे research की संभावना है
    • हर finetuning base model के weights को एक खास direction में shift करती है
      500 datasets पर finetune करने से लगेगा कि 500-dimensional space बनेगा, लेकिन वास्तव में यह करीब 40-dimensional subspace पर converge करता है
      यानी finetuned weights को 40 real numbers में compress किया जा सकता है
      हो सकता है किसी दिन Hugging Face पर model size "160 bytes" units में दिखे
      हालांकि ये basis vectors अभी भी model जितने बड़े हैं, और यह मानना पड़ेगा कि datasets बढ़ने पर dimension नहीं बढ़ेगा
      यह थोड़ा अफसोसजनक है कि authors ने random models इस्तेमाल किए, लेकिन उम्मीद है कि यह काम बड़े models को scratch से train करने वाले follow-up research तक जाएगा
    • अलग-अलग data पर train हुए models को similar क्यों माना जा रहा है, यह सवाल है
      और मुझे लगा था कि paper ने scratch से trained models का भी analysis किया है
    • Mistral और LLaMA models को शामिल किया गया, लेकिन "universal" कहना फिर भी कुछ ज़्यादा लगता है

  • मुझे लगता है paper का सबसे महत्वपूर्ण हिस्सा ये दो वाक्य हैं
    पहला, 5 नए ViT models के weights को 16-dimensional universal subspace में project करने पर भी accuracy loss नहीं हुआ
    दूसरा, 500 ViT models को एक universal subspace model से replace किया जा सका, और memory usage 100 गुना कम हो गया
    यानी 50 LLaMA3-8B, 177 GPT-2, और 8 Flan-T5 models में common structure खोजकर, उसे original models की जगह इस्तेमाल करने पर भी performance बनी रही
    तुलना करें तो यह ऐसा है जैसे कोई bzip2 dictionary मिल गई हो जो हर file को 99% compress कर दे

    • इससे जुड़ी theoretical background के लिए arXiv:2007.00810 paper है
      इसमें कहा गया है कि models linear transformation तक same space में converge करते हैं
      उदाहरण के लिए, MSE loss इस्तेमाल करने वाले siamese encoders decoder के बिना भी same latent space में converge करते हैं
      इसलिए similar data पर trained Transformers के भी linear transformation level पर same space तक पहुंचने की संभावना काफी है
      इस नजरिए से यह result चौंकाने वाला नहीं है, और बल्कि इस paper की तरह mathematical proof ज्यादा महत्वपूर्ण लगता है
    • यह जानना दिलचस्प होगा कि इस "commonality" का practically इस्तेमाल कैसे किया जा सकता है
      जैसे, क्या इस universal weight subset से नए model को initialize किया जा सकता है, और क्या यह सिर्फ किसी खास architecture पर लागू होता है
    • अगर models स्वाभाविक रूप से shared spectral subspace में settle होते हैं, तो training cost और storage दोनों काफी कम हो सकते हैं
    • "सिर्फ 16 dimensions काफी हैं" — यह बात प्रभावशाली लगी
    • लेकिन 16 जैसा number कुछ ज़्यादा ही साफ-सुथरा लगता है
      कहीं यह code bug या arbitrarily चुनी गई value तो नहीं

  • लगा कि paper ने "universality" को ज़रूरत से ज़्यादा package किया है
    CNN के मामले में filters का Laplacian/Gabor shapes में converge करना strong inductive bias की वजह से होता है
    Transformer में ऐसी locality constraints नहीं होतीं, इसलिए subspace सिर्फ shared initialization (finetuning) के जरिए ही मिल पाया
    आखिरकार यह "universality" learning की कोई intrinsic property नहीं, बल्कि structural constraints + pretraining stability का नतीजा है

    • फिर भी, research की ऐसी direction का होना ही हैरान करने वाला और रोचक है

  • यह approach LoRA से कहीं बेहतर लगती है, और शायद inference speedup के लिए भी इस्तेमाल हो सकती है
    हो सकता है बड़े models इसे internally पहले से इस्तेमाल कर रहे हों
    मुख्य बात यह है कि authors ने parameters का वह subset ढूंढ लिया है जो नए tasks पर capability transfer में शामिल है
    बिल्कुल नए tasks पर यह लागू नहीं होगा, लेकिन same domain के अंदर यह असरदार हो सकता है
    GPT 5.1 वाली analogy लें तो 3D character rigging में "facial expressions" को adjust करने वाली basis expression जैसी बात है

    • एक दार्शनिक सवाल यह भी है: "क्या पूरी तरह नया task वास्तव में होता है?"
      राय यह है कि physics के laws के भीतर संभव tasks सीमित हैं, और उनमें से ज़्यादातर अर्थहीन हैं
    • वास्तव में यह नए tasks पर भी कुछ हद तक काम करता दिखता है

  • paper में समझाया गया "universal subspace" concept साफ नहीं था
    तुलना सिर्फ same model family के भीतर की गई थी, इसलिए ViT और GPT2 जैसे अलग structure वाले models के बीच common subspace नहीं है
    principal component analysis का result logarithmic form में गिरना कोई असामान्य बात नहीं है
    और matrix multiplication में row/column swap करके result वापस पाया जा सकता है, इसलिए पूरी तरह independently trained models एक ही subspace direction share नहीं कर सकते

    • आखिरकार यह model compression technique के ज्यादा करीब है, दार्शनिक अर्थों वाली "universality" नहीं

  • अगर models स्वाभाविक रूप से low-dimensional space में converge करते हैं, तो training को उसी space के भीतर शुरू करके training speed काफी बढ़ाई जा सकती है

    • siamese encoders की तरह अगर same loss function इस्तेमाल हो, तो linear transformation level पर same latent space तक पहुंचा जा सकता है
      संभव है कि Transformers भी कुछ इसी सिद्धांत पर काम करते हों
      theory के हिसाब से इस paper जैसी mathematical proof की ज़रूरत है
    • JHU में ऐसा research हुआ, यह दिलचस्प है
      OpenAI या Google की तुलना में बहुत कम resources के साथ ऐसा result निकालना प्रभावशाली है
    • लेकिन अगर ऐसा common space मौजूद है, तो model expressivity की limit भी हो सकती है
    • या फिर उस subspace की properties को ही inductive bias बनाकर नई architectures design की जा सकती हैं

  • सोचता हूँ कि इस structure को genetic algorithm (GA) के जरिए आगे बढ़ाया जाए तो कैसा होगा
    सच कहूँ तो neural networks की बात आते ही मुझे हमेशा GA याद आता है

    • बचपन में पढ़ी Levy की Artificial Life की वजह से GA के लिए लगाव है
      crossover और mutation सहज लगते हैं, लेकिन backpropagation अब भी मुश्किल महसूस होता है
    • हाल में indirect encoding GA पर experiment कर रहा हूँ, और यह paper उस दिशा को support करता लगता है
      idea यह है कि weight matrices को spectral patterns में decompose करके compressed space में search किया जाए
      existing बड़े models को compressed form में encode करके mutation की starting point बनाना भी संभव लग रहा है
      अगर यह approach आगे बढ़ी, तो शायद नए mechanisms को evolutionary तरीके से खोजा जा सके
    • अब जबकि ऐसा goal दिख रहा है, GA या दूसरे non-learning-based methods को फिर से इस्तेमाल करने का अच्छा समय लगता है
    • एक समय मैं EvoLisa project का जबरदस्त fan था
      EvoLisa लिंक
      यह LLM training जैसा बिल्कुल नहीं है, लेकिन कुछ मायनों में वैसी ही feeling देता है
    • मुझे GA से ज्यादा vector quantization आकर्षित करती है

  • "Platonic Representation Hypothesis" से इसका क्या रिश्ता है, यह जानने की जिज्ञासा है

    • मुझसे ज्यादा समझदार कोई इसका जवाब दे, ऐसी उम्मीद है
      आजकल Platonic discourse फिर से लोकप्रिय हो रही है, तो लगता है शायद कोई गहरी insight की तरफ convergence हो रहा है
    • दोनों hypotheses आपस में काफ़ी closely related हैं
      shared representational structure, Platonic categories का अच्छा candidate हो सकता है
      लगता है इन दोनों concepts के बीच कोई दिलचस्प mapping मौजूद है
    • arXiv:2405.07987 paper उसी line का extension है
      इसे पहले वाले hypothesis के लिए empirical support के तौर पर देखा जा सकता है

  • मज़ाक में यह अटकल भी लगाई गई कि "शायद सारे models असल में LLaMA के finetuned versions ही हैं"

  • authors का दावा है कि उन्होंने कई low-rank fine-tune models का analysis करके shared low-rank structure खोजा है
    यह base model पर निर्भर है, और कुछ वैसा ही है जैसे इंसानी genetic variation को कुछ principal components से व्यक्त किया जा सकता है
    आखिरकार शायद यह phenomenon इसलिए दिखता है क्योंकि सबकी shared ancestry है