OpenAI का नया ओपन सोर्स मॉडल वास्तव में Phi-5 ही लगता है

• OpenAI ने अपना पहला ओपन सोर्स large language model gpt-oss-120b और gpt-oss-20b जारी किया, और कुछ benchmarks में यह शानदार है, लेकिन वास्तविक अनुप्रयोग में इसकी सीमाएँ हैं
• इन मॉडलों के पास सामान्य ज्ञान मौजूद है, लेकिन pop-culture जैसे कुछ विशिष्ट क्षेत्रों का ज्ञान सीमित बताया जाता है
• Microsoft की Phi श्रृंखला की तरह synthetic डेटा-आधारित ट्रेनिंग से benchmark performance ऊँची मिलती है, लेकिन वास्तविक उपयोगिता अक्सर गिरती दिखती है
• synthetic डेटा प्रशिक्षण का फायदा यह है कि ओपन सोर्स रिलीज़ के बाद संभावित misuse risk को कम करते हुए सुरक्षा बेहतर हो सकती है
• लगता है OpenAI ने Chinese ओपन सोर्स मॉडल्स की तुलना में benchmark edge बनाते हुए भी सुरक्षा बनाए रखने के लिए Phi-style approach चुना है

---

OpenAI का पहला ओपन सोर्स LLM लॉन्च

• OpenAI ने gpt-oss-120b और gpt-oss-20b नाम के पहले ओपन सोर्स large language model घोषित किए, जिन्हें वेब पर सीधे चैट करने के लिए उपलब्ध कराया गया है
• कुछ benchmarks में ये अच्छे प्रदर्शन दिखाते हैं, लेकिन SimpleQA जैसे कुछ specific टेस्ट में प्रदर्शन गिर जाता है
• विज्ञान जैसे क्षेत्रों में सामान्य ज्ञान पर्याप्त है, जबकि लोकप्रिय संस्कृति का ज्ञान अपेक्षाकृत कमजोर बताया जाता है
• वास्तविक उपयोगिता शायद 6 महीनों बाद अधिक स्पष्ट होगी, और अनुमान है कि benchmark के मुकाबले practical performance कम हो सकती है

Phi मॉडल और synthetic डेटा ट्रेनिंग

• 2024 में Microsoft के Sebastien Bubeck द्वारा संचालित Phi श्रृंखला पूरी तरह synthetic डेटा से प्रशिक्षित मॉडल थी
• synthetic डेटा अन्य भाषा मॉडलों द्वारा जनरेट किया गया या मानव द्वारा चुना गया पाठ्यसामग्री-आधारित टेक्स्ट हो सकता है; इसमें quality और control आसान हैं, लेकिन निर्माण लागत ज़्यादा आती है
• यह तरीका benchmark performance बढ़ाता है, पर वास्तविक वातावरण में अपेक्षा से कम परिणाम देने की प्रवृत्ति दिखाता है
• synthetic डेटा को benchmark प्रश्न-पैटर्न के हिसाब से आसानी से बनाया जा सकता है, जिससे exam-style training संभव होती है, लेकिन generality घटती है

Sebastien Bubeck का OpenAI में जुड़ना और gpt-oss

• 2024 के अंत में Bubeck ने Microsoft छोड़कर OpenAI जॉइन किया
• gpt-oss मॉडलों के pretraining डेटा की पूरी जानकारी सार्वजनिक नहीं की गई, लेकिन संभावना है कि काफ़ी हद तक filtered या synthetic डेटा इस्तेमाल हुआ हो
• यह approach Phi-5 और Phi-5-mini जैसी विशेषताएँ भी रख सकती है

synthetic डेटा के सुरक्षा लाभ

• ओपन सोर्स मॉडल सार्वजनिक होने के बाद unlimited fine-tuning संभव होने से सुरक्षा से जुड़े मुद्दे उठ सकते हैं
• खासकर छोटे भाषा मॉडलों का एक बड़ा अनौपचारिक use-case adult roleplay है, इसलिए सुरक्षा नियंत्रण महत्त्वपूर्ण हैं
• synthetic या textbook-based डेटा पर प्रशिक्षण देने से जोखिमपूर्ण कंटेंट शामिल नहीं होता, जिससे सुरक्षा बेहतर बनती है
• ऐसा लगता है कि OpenAI ने Chinese ओपन सोर्स मॉडल्स से benchmark में आगे रहते हुए भी सुरक्षा बनाए रखने वाली strategy चुनी है

निष्कर्ष: लगभग Phi-5 लाइन

• gpt-oss मॉडल synthetic डेटा-आधारित, सुरक्षा-केंद्रित डिजाइन पर चले प्रतीत होते हैं; यानी वास्तविक दुनिया के performance से ज्यादा benchmark score और safety को प्राथमिकता दी गई है
• परिणामस्वरूप ये मॉडल स्वभावतः Phi-5 और Phi-5-mini से मेल खाते हैं

[GN⁺]

Hacker News टिप्पणी

• मैंने एक random SF (science fiction) उपन्यास का चैप्टर अनुवाद करके टेस्ट किया और इस मॉडल ने नाबालिगों तथा यौन संदर्भ वाली सामग्री पर प्रतिक्रिया देने से इनकार कर दिया। समस्या खोजने के लिए मैंने उपन्यास का हिस्सा-हिस्सा काटकर चेक किया, और पता चला कि पूरी तरह मासूम, रोमांटिक, दो 17 वर्षीय साइड-कैरेक्टरों का एक छोटा-सा संवाद ही कारण था। दूसरी समस्या यह है कि कभी-कभी सामान्य दैनिक बातचीत करने की कोशिश करने पर भी पूरा पैराग्राफ सेंसर टेक्स्ट में बदल जाता है या अचानक मना कर देता है। इस तरह की कठोर सेंसरशिप के साथ यह मॉडल क्रिएटिव काम, ट्रांसलेशन या वास्तविक कामों (math/coding छोड़कर) में लगभग किसी काम का नहीं है। 120B MoE के हिसाब से भी इसका ज्ञान स्तर बहुत कम है। जब यह “reasoning” करने का दिखावा करता है, तो अक्सर लगता है कि सिर्फ नीति उल्लंघन तो नहीं हो रहा, यही चेक कर रहा है। पहले लगा था कि पोस्ट-ट्रेनिंग में सिर्फ risk वाली statements पर ओवर-फोकस करने से यह सुस्त हुआ, लेकिन अब कुछ हद तक समझ आता है कि बुनियादी समस्या synthetic-data based pretraining भी है।

  • ऐसा अनुभव मुझे भी कई बार हुआ है। जब मैंने बिना एडिट किए गए पॉडकास्ट स्क्रिप्ट से इम्पॉर्टेंट लाइनें निकालने के लिए इसे LLM में डाला, तो “बिस्तर से बाँध दिया जाता है” जैसी उत्तेजक अभिव्यक्ति को इसने सब जगह soft wording में बदल दिया। पुराने अनुवाद परिणाम देखना चाहा, लेकिन इस बार उसे Spanish में translate करके वापस रन करने पर असली लाइन लगभग वैसी ही रही और कोई अजीब रिपीट नहीं हुआ।

  • अगर इस मॉडल को ‘A Song of Ice and Fire’ जैसी कोई novel दे दूँ तो उसकी प्रतिक्रिया कैसी होगी, यह देखना दिलचस्प रहेगा।

  • वैसे भी यह सामान्य consumers के लिए ओपन मॉडल है, इसलिए इसमें कोई बड़ी बात नहीं। अगर सच में कुछ चाहिए, तो कम-सेंसर वाला ओपन मॉडल खोजकर इस्तेमाल करना ही ठीक रहेगा।

• ट्विटर पर कई लोगों को यह कहते देखा कि GPT-OSS customize नहीं होता और इसमें ‘soul’ नहीं है, लेकिन ज्यादातर लोग यह साफ नहीं बता रहे थे कि वे क्या करना चाहते हैं। आखिरकार जब किसी ने कहा कि “small LLM fine-tuning का मुख्य demand erotic roleplay है, और वास्तविक demand पर्याप्त है”, तब बात कुछ समझ में आई।

  • समस्या सिर्फ erotic roleplay तक सीमित नहीं है। मेरे daily interaction पैटर्न में सेक्सी बातचीत बार-बार आती है, इसलिए सामान्य chat summary, ईमेल सुधार या translation जैसे काम भी तुरंत block हो जाते हैं। Google Translate बहुत literal होता है, इसलिए मैं LLM से ज्यादा natural expression खोजता हूँ; अभी मैं abliterated llama 3.1 use कर रहा हूँ। कोई vision feature नहीं चाहिए और मुझे saved memory को context में ज्यादा उपयोग करना है। जब तक gpt-oss uncensor नहीं होता, यह बेकार है। लेकिन अगर ट्रेनिंग डेटा में erotic content मौजूद ही नहीं है, तो force करके bypass नहीं किया जा सकता; और मैं वास्तव में erotic roleplay में interested नहीं हूँ क्योंकि वास्तविक इंसान के बिना मज़ा नहीं आता।

  • मेरा मकसद सिर्फ roleplay नहीं, बल्कि इतना कि यह मेरे भाषा व्यवहार के साथ बेहतर मेल खाए।

  • मैं erotic roleplay नहीं चलाता, लेकिन AI से NetHack build करना चाहता हूँ—डंज़न जनरेशन, NPC डायलॉग और NetHack के उन कई detailed interactions को भी AI को दे देना चाहता हूँ। इन कामों के लिए इसमें ‘soul’ और background knowledge तथा tool-use ability दोनों चाहिए।

  • Porn हमेशा से creative frontier रहा है। बिज़नेस मॉडल भी सीधा होता है, और अक्सर माध्यम ही product बन जाता है। 80s में home porn देखने का अनुभव नया था और इसने 1-900 hotline, इंटरनेट और यहाँ तक कि smartphone adoption पर भी बड़ा असर डाला। लगभग 80% adult content mobile पर consume होता है। इस category के लिए AI-powered, personalized, multimedia interactive on-demand ही key है। और असली मज़ा यह कि कोई real नुकसान किए बिना forbidden roleplay किया जा सकता है। “AI से बात करने वाले” जैसी फिक्शन भी काफी अच्छी material दे सकती है।

  • इसमें बुरा क्या है समझ नहीं आता। हज़ारों साल पहले से, जब से इंसान ने लिखना शुरू किया, erotic साहित्य मौजूद है। Istanbul 2461

• लेख से उद्धरण: “Microsoft इसलिए continuously Phi-style मॉडल train नहीं कर रहा क्योंकि यह safety के कारण है। अगर इसे open-source कर दिया जाए तो नाम हमेशा उनके साथ chipका रहेगा, और researchers safety guard हटाने की कोशिश करेंगे।” लेकिन मुझे लगता है कि यह वास्तविक समस्या नहीं बनती। Llama 2 और 3 भी एक हफ्ते में uncensor हो गए थे और कोई बड़ा controversy नहीं हुआ। उल्टे कंपनी की reputation को वास्तविक नुकसान अक्सर low-quality मॉडल देते हैं। Llama 4 की failure ने Meta की AI छवि को कहीं ज्यादा नुकसान पहुंचाया।

  • जब भी मैं Llama के बारे में सोचता हूँ, पहले uncensor मॉडल याद आता है। मैंने खुद use नहीं किया, लेकिन censored मॉडल चुनने की बजाय बेहतर विकल्प मौजूद थे।

  • “Researchers सुरक्षा हटाने के पीछे पागल हैं” वाली लाइन मुझे सिर्फ excuse लगती है। असल जोखिम यह है कि गलत censorship देखकर मॉडल मज़ाक बनता है। 1985 में अगर Bill Gates ने इसलिए MS Paint release नहीं किया होता क्योंकि कोई “offensive” चित्र बना सकता था, तो सोचिए कितना हास्यास्पद होता।

• मैंने घर पर Phi-4 को काफ़ी अच्छे तरीके से use किया है, और GPT-OSS 20B version को कई models (Devstral 24B, Falcon 3 7B, Qwen2.5-coder 14B, Phi 4 14B) से compare करने पर ये काफी impressive लगा। जहाँ बाकी सभी मॉडल फेल हुए, GPT-OSS ने points सही पकड़े और reasonable अनुमान लगाए। code explanation भी कहीं ज्यादा detail में देता है, छोटी-छोटी बातें भी cover कर लेता है। अगर GPU performance साथ दे तो सच में यह बेहद solid हो सकता है।

  • अगर Strix Point या Strix Halo जैसे सेटअप पर 128GB DDR5 RAM हो, तो gpt-oss 120B को 10-20+ TPS पर run किया जा सकता है।

  • कोई SQL problem शेयर कर सकते हैं? या शायद training-data leakage रोकने के लिए ही इसे intentionally hide किया गया है?

• Synthetic data कैसे बनती है, यह जानना चाहूँगा—क्या बस random शुरू करके samples निकाले जाते हैं, या prompt auto-generation और filtering techniques use होती हैं, या फिर training-time feedback mechanism?

  • Phi-5 के बारे में नहीं पता, लेकिन पहले के Phi models ने ज़्यादातर OpenAI GPT series वाली ही तरह real data पर train किया, यह मैं समझता हूँ।

  • मैंने meta/FAIR पर खुद experiments किए हैं, और Llama 3 paper में भी यह साफ लिखा है। वे random वेबसाइट/कोड/इमेज/ToC/यूज़र डेटा को seed की तरह लेकर related data मॉडल से generate कराते हैं। बाद में generated data verifiers के multi-stage validation से गुजरता है।

  • एक random-sampling तरीका यह है कि “PP does XX in GG” जैसी template बनाकर person/action/place को algorithm से भरकर prompt भेजा जाए। लेकिन वही prompt चलाने पर भी outputs पूरी तरह random नहीं बने; temperature बढ़ाने पर भी बड़ा फर्क नहीं दिखा। इसलिए data और method ही वास्तविक फर्क बनाते हैं, और detailed synthetic pipeline लगभग secret रखी जाती है।

  • अक्सर rejection sampling use होता है। मॉडल से कई samples generate कराकर criteria (सही जवाब, बड़े मॉडल से judge आदि) पर न मिलने वाले samples छोड़ दिए जाते हैं।

• “Science knowledge व्यापक है, लेकिन pop culture नहीं जानता” वाली टिप्पणी थी, और यह direction सही लगती है। सार्वजनिक जानकारी रोज बदलती है, इसलिए pop-culture सूची को याद रखने के बजाय broad understanding और latest information खोजने की क्षमता तथा tools के उपयोग पर फोकस होना चाहिए।

  • सवाल यह है कि बदलना चाहिए भी या नहीं। यदि दुनिया का लगभग हर लिखित कंटेंट सीख लिया जाए, तो '2025 pop culture' का '2026' हो जाना कोई बड़ा बदलाव नहीं, ठीक वैसे ही जैसे 1980s pop culture समय के साथ भी कहीं-कहीं स्थिर रहा।

  • मुझे थोड़ा bittersweet लगता है कि AI को Harry Potter, Pokémon, Reddit memes जैसी encyclopedia-style pop knowledge में अपना capacity खर्च करना पड़ता है।

• Phi3 mini का target device-onboard execution और speed था, और 128K context के साथ 3B parameters वाला यह काफी practical था। मैंने इसे पिछले साल सीधे project में इस्तेमाल किया था, लेकिन अंत में ओपन weights के लिए मशहूर Mistral models ही चुने।

• यह संभव है कि केवल synthetic data से train होने पर भी इस तरह के रिज़ल्ट मिलें? यही जिज्ञासा है।

  • सिद्धांततः, यदि मॉडल के train set में कहीं भी info मौजूद नहीं है तो वह “जानता हूँ” नहीं कह सकता। हाँ, बाहर की जानकारी लाने के लिए tools का उपयोग कर सकते हैं, लेकिन अच्छा performance देने के लिए दुनिया के ज़्यादातर published text को training data में डालना पड़ता है।

  • theory के हिसाब से यह संभव है। संदर्भ लिंक। synthetic data में LSD या VX जैसी specific और sensitive जानकारी के आने की संभावना कम है, लेकिन कुछ अनचाही जानकारी के शामिल हो जाने की संभावना रहती है।

• Table 9 (GPT-OSS model card) के अनुसार GPT-OSS-20b/120b का answer rate क्रमशः 0.067/0.168 और hallucination rate 0.914/0.782 है। o4-mini का answer rate 0.234 और hallucination 0.750 है। निष्कर्ष यह है कि GPT-OSS में वास्तविक दुनिया का ज्ञान लगभग नहीं के बराबर है और hallucination काफी high हैं। यह Phi-LLM series की भी सामान्य खासियत है। Table 4 (OpenAI o3/o4-mini) में o3 का answer rate 0.49, o4-mini 0.20 और hallucination क्रमशः 0.51 और 0.79 हैं। सार यह कि o3 और o4-mini के बीच तथा o4-mini और GPT-OSS के बीच वास्तविक ज्ञान क्षमता का बड़ा gap है। GPT-OSS का ज्ञान कम होना शायद इसी श्रृंखला की विशेषता भी है और साथ ही enterprise-level safety guard या user-perceived “censorship” के कारण।
  मॉडल कार्ड संदर्भ 1
  मॉडल कार्ड संदर्भ 2

• किसी ने सच में कहा कि छोटे LLM fine-tuning का मुख्य demand erotic RP है, और वास्तविक छोटे समुदायों का लगभग आधा हिस्सा इसी तरफ रुचि रखता है—यह सुनकर सच में थोड़ा अचंभा लगा।

  • सच में इंटरनेट के शुरुआती कई दशकों में consumer traffic का अधिकांश हिस्सा pornography था। ओवर-रिएक्ट करने की जरूरत नहीं; और इन लोगों के tech issues मुफ्त में सुलझाने के प्रयास को ठीक से leverage करना भी ठीक लगता है।