- OpenAI ने gpt-oss-20b/120b मॉडल को open weight के रूप में जारी किया है, जिससे 2019 के GPT-2 के बाद पहली बार OpenAI का बड़ा सार्वजनिक open weight LLM सामने आया है
- gpt-oss मॉडल ने GPT-2 की तुलना में Dropout, Absolute Position Embedding, GELU जैसी पुरानी तकनीकों की जगह RoPE, SwiGLU, RMSNorm जैसी अधिक कुशल आधुनिक तकनीकें अपनाई हैं
- Mixture-of-Experts(मॉड्यूलर expert संरचना), Sliding Window Attention, MXFP4 quantization जैसे फीचर्स के उपयोग से न केवल performance efficiency बढ़ी है, बल्कि single GPU रनटाइम वातावरण भी काफी बेहतर हुआ है
- Qwen3 के साथ तुलना में architecture की depth/width, experts की संख्या, attention bias, open source license जैसे कई अंतर सामने आते हैं
- gpt-oss-20b में आधुनिक हार्डवेयर के अनुरूप lightweight डिज़ाइन और reasoning effort adjustment फीचर है, जिससे वास्तविक उपयोगिता और research extensibility दोनों सुनिश्चित होते हैं
अवलोकन और मुख्य नवाचार
- OpenAI ने gpt-oss-20b/120b को 2019 के GPT-2 के बाद पहली बार open weight के रूप में जारी किया
- सामान्य यूज़र GPU(अधिकतम 16GB RAM) पर 20B, और H100 80GB पर 120B चलाया जा सकता है
- MXFP4 optimization के कारण single GPU execution संभव हुआ, जिससे consumer accessibility बढ़ी
GPT-2 → gpt-oss: मुख्य आर्किटेक्चरल बदलाव
Dropout हटाना
- GPT-2 में Dropout शामिल था, लेकिन बड़े डेटा पर single epoch training के वातावरण में इससे उल्टा performance घटने की बात सामने आई
- हाल के शोधों में भी Dropout न लगाने पर LLM के downstream tasks में बेहतर performance दिखी है
RoPE(Rotary Position Embedding) अपनाना
- पुरानी absolute position embedding की जगह RoPE(Rotary Position Embedding) मुख्यधारा बन चुका है
- RoPE query/key vector के angle को position के अनुसार rotate करके अधिक लचीली और generalized positional information देता है
SwiGLU activation function और GLU का उपयोग
- GEGLU/SwiGLU जैसे GLU तरीकों से पारंपरिक 2-layer FFN की तुलना में कम parameters में बेहतर representational power मिलती है
- computation के लिहाज़ से भी Swish, GELU की तुलना में अधिक efficient है
Mixture-of-Experts(MoE) का उपयोग
- एकल FFN की जगह कई expert नेटवर्क का उपयोग किया जाता है, जहाँ हर token generation पर केवल कुछ experts सक्रिय होते हैं
- मॉडल parameters की संख्या बहुत बढ़ाने के बावजूद inference efficiency(sparsity) बनी रहती है, और training capacity बढ़ती है
Grouped Query Attention(GQA) की शुरुआत
- पारंपरिक Multi-Head Attention की तुलना में key/value sharing के कारण memory और computation कम होता है
- performance loss के बिना efficiency बढ़ती है, इसलिए बड़े LLM में यह मानक प्रवृत्ति बन रही है
Sliding Window Attention का उपयोग
- कुछ layers में पूरे context की बजाय हाल के 128 tokens तक सीमित Sliding Window से local attention calculate की जाती है, जिससे memory usage न्यूनतम रहता है
- performance घटाए बिना तेज inference और बड़े context support में मदद मिलती है
RMSNorm अपनाना
- LayerNorm की जगह RMSNorm के उपयोग से computation efficiency बढ़ती है
- LayerNorm के mean/variance calculation की जगह RMS(root mean square) का उपयोग होता है, जिससे GPU पर computational load घटता है
gpt-oss और Qwen3 की तुलना
scale/structure में अंतर
- Qwen3 में अधिक deep(48 Transformer blocks) संरचना है, जबकि gpt-oss में अधिक wide(embedding dimension, head count अधिक) संरचना है
- deep मॉडल अधिक flexible होते हैं लेकिन train करना कठिन होता है, जबकि wide मॉडल inference parallelization के लिए अधिक अनुकूल होते हैं(Gemma 2 पेपर में 9B मॉडल के आधार पर wide मॉडल थोड़ा बेहतर पाया गया)
MoE संरचना में अंतर
- gpt-oss-20b: 32 बड़े experts, जिनमें से 4 ही सक्रिय
- Qwen3: अधिक संख्या में छोटे experts, जिनमें 8 सक्रिय
- हालिया रुझान अधिक छोटे experts वाली संरचना को प्रभावी मानता है, लेकिन gpt-oss बड़े लेकिन कम experts वाले डिज़ाइन पर कायम है (20B, 120B में केवल experts और blocks की संख्या समायोजित की गई है)
Attention Bias और Sinks
- gpt-oss attention में bias units का उपयोग करता है (GPT-2 के बाद यह अपेक्षाकृत दुर्लभ तरीका है)
- हालांकि हाल के शोध के अनुसार key-proj पर इसका प्रभाव सीमित है
- attention sink ऐसा विशेष token concept है जिस पर sequence की शुरुआत की position से हमेशा attend किया जाता है, लेकिन gpt-oss में input tokens को बदले बिना Learned bias logit के रूप में हर head में अतिरिक्त रूप से लागू किया गया है
license और public release का दायरा
- Apache 2.0 open source license होने के कारण commercial use और derivative models बनाना स्वतंत्र है
- लेकिन यह पूर्ण अर्थ में open source नहीं है(training code और dataset सार्वजनिक नहीं हैं); यह एक open weight मॉडल है
अन्य विवरण और वास्तविक संचालन
training/optimization
- gpt-oss को 2.1M H100-hours computing resource के साथ train किया गया
- इसका फोकस अंग्रेज़ी-केंद्रित STEM, coding, और सामान्य knowledge text पर रहा
- pretraining + supervised fine-tuning(Instruction), RL-आधारित reasoning stage जैसी आधुनिक तकनीकें लागू की गईं
Reasoning Effort नियंत्रण
- System prompt के माध्यम से reasoning effort(लो/मध्यम/हाई) सेट करके उत्तर की लंबाई और accuracy को स्वतः समायोजित किया जा सकता है
- सरल कार्यों के लिए कम effort के साथ तेज़ execution, और जटिल reasoning के लिए अधिक effort सेट किया जा सकता है
MXFP4 quantization से single GPU support
- MXFP4 format के उपयोग से 20B मॉडल 16GB VRAM(नवीनतम GPU आवश्यक) पर भी चल सकता है
- 120B मॉडल H100 के 80GB memory पर single GPU में चल सकता है, इसलिए distributed processing की जरूरत नहीं और deployment सरल है
benchmarks और वास्तविक उपयोगिता
- gpt-oss में training focus reasoning पर अधिक है, इसलिए कुछ सामान्य knowledge सवालों में hallucination की प्रवृत्ति दिखाई देती है
- usability के लिहाज़ से यह मौजूदा open models में ऊपरी श्रेणी में है, और tool integration के साथ इसकी व्यावहारिकता और बढ़ सकती है
- वास्तविक उपयोग में accuracy और reasoning के संतुलन, तथा आगे अन्य open models के साथ तुलना की आवश्यकता है
GPT-5 के साथ तुलना
- gpt-oss-120b, OpenAI के commercial model(GPT-5) के benchmark performance के काफ़ी करीब दिखाई देता है
- वास्तविक वातावरण में इसकी बढ़त कितनी है, यह अभी देखना बाकी है, लेकिन open weight के रूप में उपलब्ध नवीनतम LLMs में यह एक मजबूत विकल्प है
- केवल benchmarks के आधार पर वास्तविक प्रतिस्पर्धात्मकता को पूरी तरह नहीं समझा जा सकता, लेकिन यह बाहरी तुलना और शोध के लिए बड़ा अवसर देता है
सारांश
- gpt-oss series का आगमन बड़े open weight LLM क्षेत्र के लिए एक नया मानक प्रस्तुत करता है, और यह विस्तार से दिखाता है कि आधुनिक LLMs की नवाचारी आर्किटेक्चरल तकनीकों को वास्तव में कैसे लागू किया गया है
- Qwen3, GPT-5 जैसे अन्य आधुनिक मॉडलों के साथ इसके अंतर और रुझान समझे जा सकते हैं, इसलिए यह वास्तविक अनुप्रयोग और शोध दोनों के लिए उपयोगी नवीनतम दिशा प्रदान करता है
अभी कोई टिप्पणी नहीं है.