भाषा मॉडल 12,000 dimensions में अरबों concepts को कैसे समेटते हैं

• उच्च-आयामी embedding space में पूर्ण orthogonality के बजाय quasi-orthogonality का उपयोग करके बहुत बड़ी संख्या में concepts को represent किया जा सकता है
• Johnson-Lindenstrauss प्रमेय यह सुनिश्चित करता है कि किसी भी उच्च-आयामी डेटा को लगभग बिना सूचना-हानि के कम dimensions में project किया जा सकता है
• optimization प्रक्रिया में loss function का डिज़ाइन बहुत महत्वपूर्ण है, क्योंकि बुनियादी loss function की वजह से vectors का inefficient या biased placement हो सकता है
• प्रयोगों के नतीजे दिखाते हैं कि embedding space की वास्तविक capacity सैद्धांतिक अनुमान से कहीं अधिक है, और लाखों से लेकर अरबों concepts स्वाभाविक रूप से साथ रह सकते हैं
• यह खोज natural language processing, embedding design जैसे machine learning practical work में data representation और dimensionality reduction के लिए बड़ा व्यावहारिक महत्व रखती है

---

परिचय: भाषा मॉडल embedding space की capacity पर एक प्रश्न

हाल ही में 3Blue1Brown की transformer model वीडियो श्रृंखला में, Grant Sanderson ने एक दिलचस्प सवाल उठाया: GPT-3 के 12,288-dimensional embedding space में वास्तविक दुनिया के लाखों concepts को कैसे रखा जा सकता है
यह सवाल high-dimensional geometry और Johnson-Lindenstrauss (JL) प्रमेय जैसे गणितीय परिणामों से जुड़ता है
इसकी पड़ताल करते हुए vector space के मूलभूत गुणों और optimization पर नई insights मिलीं, और बात Grant के साथ collaboration तक पहुँची

vectors की quasi-orthogonality और embedding space की capacity

• N-dimensional space में केवल N पूरी तरह orthogonal vectors ही हो सकते हैं
• लेकिन यदि 90 degree से थोड़ा विचलन स्वीकार किया जाए, यानी quasi-orthogonal संबंध (जैसे 85~95 degree), तो उसी space में represent किए जा सकने वाले vectors की संख्या geometric रूप से बढ़ जाती है
• Grant के वीडियो में 100-dimensional space में 10,000 unit vectors को लगभग orthogonal तरीके से व्यवस्थित किया गया एक visualization दिखाया गया
• लेकिन उसी प्रयोग को दोहराने पर optimization loss function के डिज़ाइन में एक सूक्ष्म जाल सामने आया

loss function की समस्याएँ और पैटर्न

• मूल loss function:
  loss = (dot_products.abs()).relu().sum()
• वास्तविक unit sphere पर इस loss function में दो समस्याएँ आती हैं
  1. Gradient Trap: vector angle जब 90 degree के पास पहुँचता है, तब gradient मजबूत होता है, लेकिन 0 degree या 180 degree के पास gradient लगभग 0 हो जाता है, जिससे सुधार रुक जाता है
  2. 99% समाधान: optimization तकनीक 10,000 vectors में से हर vector को 9,900 vectors के साथ ठीक से orthogonal रखती है, लेकिन 99 vectors के साथ लगभग parallel रखती है, यानी reference vector की प्रतिलिपि जैसा placement बनाती है, और इसी से कुल loss न्यूनतम हो जाता है
• यह समाधान समग्र रूप से अपेक्षा से मूल रूप से अलग है, इसलिए अधिक परिष्कृत loss function की ज़रूरत पड़ती है
• इसलिए exponential penalty वाला loss function अपनाया गया: loss = exp(20*dot_products.abs()**2).sum()
• यह तरीका इच्छित distribution के अधिक करीब परिणाम देता है (अधिकतम pairwise angle लगभग 76.5 degree)

Johnson-Lindenstrauss (JL) प्रमेय: ज्यामितीय गारंटी

• JL प्रमेय यह सुनिश्चित करता है कि यदि किसी भी उच्च-आयामी data points के set को कम dimensions में random projection के जरिए map किया जाए, तो Euclidean distance लगभग सुरक्षित रहती है
• 1~N points, error factor ε, और projection dimension k के लिए
  (1-ε)||u-v||² ≤ ||f(u)-f(v)||² ≤ (1+ε)||u-v||²
• न्यूनतम आवश्यक dimension k है: k ≥ (C/ε²) * log(N)
  जहाँ C सफलता की probability को नियंत्रित करने वाला एक constant है
• आम तौर पर C का मान सावधानीपूर्वक 4~8 लिया जाता है, लेकिन विशेष projection methods (जैसे Hadamard matrix, optimization methods) में इससे छोटा C हासिल किया जा सकता है

व्यावहारिक उपयोग के क्षेत्र

1. dimensionality reduction:
   • उदाहरण: e-commerce में ग्राहकों की पसंद को लाखों products वाले space से घटाकर कुछ हज़ार dimensions में कुशलतापूर्वक बदलना
   • high-dimensional data के real-time analysis, recommendation आदि में उपयोग संभव
2. embedding space की capacity limit का विश्लेषण:
   • पूर्ण orthogonality के बजाय concepts के बीच समानता और अंतर का spectrum को space में स्वाभाविक रूप से represent किया जा सकता है
   • वास्तविक शब्द उदाहरण: "archery", "fire", "gelatinous", "green" आदि, जिनके physical और abstract meanings उच्च-आयामी space में overlap होकर represent होते हैं

embedding capacity का प्रायोगिक विश्लेषण

• Hadamard matrix transformation आदि के साथ optimization करने पर C का मान 2.5~4 मिला, और GPU-आधारित optimization में यह इससे भी कम हो सकता है
• प्रयोग की विधि: N standard basis vectors को बारी-बारी से k-dimensional space में project करना, और 50,000 बार optimization दोहराना
• अवलोकन:
  1. C का मान N बढ़ने पर पहले अधिकतम (~0.9) तक पहुँचता है, फिर धीरे-धीरे घटता है
  2. N/k अनुपात बढ़ने पर C, 0.2 से नीचे गिर जाता है
• इसका कारण high-dimensional space में sphere packing की दक्षता है
• इससे संकेत मिलता है कि व्यवहार में सैद्धांतिक upper bound से भी अधिक concepts को represent करने की गुंजाइश है

भाषा मॉडल embeddings का वास्तविक महत्व

• embedding dimensions k, approximate orthogonality angle F (90°-वास्तविक angle), और C के मान के आधार on, रखे जा सकने वाले concepts की संख्या: Vectors ≈ 10^(k * F² / 1500)
  • k=12,288, F=1(89°) → 10^8
  • F=2(88°) → 10^32
  • F=3(87°) → 10^73
  • F=5(85°) → 10^200 से अधिक vectors संभव
• केवल 86° पर भी यह observable universe में atoms की संख्या (10^80) से अधिक है
• यानी, वास्तविक भाषा मॉडल अपेक्षाकृत कम dimensions में भी लाखों अर्थों को समृद्ध रूप से सुरक्षित रख सकते हैं

व्यावहारिक अनुप्रयोग और भविष्य की दिशा

1. कुशल dimensionality reduction:
   • Hadamard transform, BCH coding आदि के साथ random projection आधारित तरीकों से, जटिल optimization के बिना भी बड़े पैमाने के data की dimensionality reduction और तेज़ computation संभव है
2. embedding space design:
   • space capacity पर यह insight समझाती है कि transformer जैसे बड़े भाषा मॉडल "Canadian", "Muppet-like" जैसे सूक्ष्म concepts तक के semantic relations को एक साथ सुरक्षित रख सकते हैं

• निष्कर्षतः, मौजूदा embedding standards (1,000~20,000 dimensions) मानव ज्ञान के representation के लिए पर्याप्त हैं; असली चुनौती उस space के भीतर ideal placement सीखना है

निष्कर्ष

• loss function की सूक्ष्म optimization समस्या की जाँच से शुरुआत होकर यह high-dimensional geometry और machine learning की बुनियादी संरचना पर गहरी insight तक पहुँचता है
• 1984 में प्रकाशित JL प्रमेय आज machine learning embeddings, information representation, और dimensionality reduction के सिद्धांत में केंद्रीय भूमिका निभा रहा है
• Grant Sanderson, 3Blue1Brown चैनल, और Suman Dev के सहयोग के प्रति आभार व्यक्त किया गया है, और इस शोध व लेखन अनुभव की खुशी साझा की गई है

आगे पढ़ें

1. Sphere Packings, Lattices and Groups – Conway & Sloane
2. Database-friendly random projections: Johnson-Lindenstrauss with binary coins – Achlioptas
3. Hadamard Matrices, Sequences, and Block Designs – Seberry & Yamada