NIST का DeepSeek मूल्यांकन विज्ञान के नाम पर एक राजनीतिक हमला है

 (erichartford.com)
2 पॉइंट द्वारा GN⁺ 2025-10-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • NIST द्वारा सितंबर 2025 में प्रकाशित DeepSeek AI मॉडल मूल्यांकन रिपोर्ट तटस्थ तकनीकी मूल्यांकन नहीं बल्कि राजनीतिक उद्देश्य वाला दस्तावेज़ है, जिसमें वास्तविक सुरक्षा खतरों के सबूत के बिना चीनी open source AI को दबाने का इरादा दिखता है
  • रिपोर्ट DeepSeek मॉडल में backdoor, spyware, या data leak का कोई सबूत पेश नहीं कर पाती, और केवल यह कहती है कि उसकी safety tuning कम है, इसलिए jailbreak आसान है और वह चीनी सरकार के दृष्टिकोण को दर्शाता है
  • DeepSeek ने Apache 2.0 लाइसेंस के तहत model weights, architecture, और training methodology पूरी तरह सार्वजनिक करके open AI research में बड़ा योगदान दिया, फिर भी अमेरिकी सरकार ने उसे "hostile AI" कहा
  • NIST ने local run और API उपयोग को जानबूझकर मिलाकर पेश किया, और दूसरे open source मॉडलों से तुलना या अमेरिकी मॉडलों के bias test को छोड़ते हुए पक्षपाती methodology अपनाई
  • यह रिपोर्ट open source AI की प्रतिस्पर्धात्मकता साबित करने वाले DeepSeek को दबाकर अमेरिकी AI कंपनियों की एकाधिकार स्थिति बचाने की औद्योगिक नीति का हिस्सा है, जिसमें वैज्ञानिक निष्पक्षता से अधिक व्यावसायिक और रणनीतिक हितों को प्राथमिकता दी गई है

NIST की DeepSeek मूल्यांकन रिपोर्ट का असली स्वरूप

  • 30 सितंबर 2025 की NIST DeepSeek रिपोर्ट तटस्थ तकनीकी मूल्यांकन नहीं बल्कि राजनीतिक हमला करने वाला दस्तावेज़ है
    • backdoor, spyware, या data leak का कोई सबूत नहीं
    • अमेरिकी सरकार द्वारा डर और गलत जानकारी का इस्तेमाल करके open science, open research, और open source को बाधित करने की कोशिश
    • corporate power की रक्षा और नियंत्रण बनाए रखने के लिए मानवता के लिए किए गए योगदान पर राजनीति और झूठ के साथ हमला
  • रिपोर्ट जारी होने के बाद ऑनलाइन घबराहट फैल गई
    • दावा कि DeepSeek weights compromised हैं
    • दावा कि चीन मॉडल के ज़रिये जासूसी करता है
    • दावा कि केवल download करना ही सुरक्षा जोखिम है
    • ये सभी दावे झूठे हैं

DeepSeek की वास्तविक उपलब्धियाँ

  • प्रतिस्पर्धी AI मॉडल का विकास
    • OpenAI या Anthropic की तुलना में बहुत कम बजट में frontier-level performance हासिल की
    • यह परफेक्ट नहीं है, लेकिन बजट के हिसाब से प्रभावशाली उपलब्धि है
  • Apache 2.0 लाइसेंस के तहत पूरी तरह खुला
    • model weights
    • architecture
    • training methodology
    • research papers
  • किसी भी व्यक्ति के लिए इस काम को reproduce करना और frontier-scale मॉडल को local में चलाना संभव बनाया
    • शुरुआत से सब कुछ फिर से बनाने में मदद
    • हाल के वर्षों में open AI research के लिए सबसे बड़े योगदानों में से एक
  • अमेरिकी सरकार की प्रतिक्रिया: इसे "hostile AI" कहकर जासूसी का संकेत देना

NIST की मुख्य भ्रामक रणनीति

  • तीन परिदृश्यों को जानबूझकर मिलाना
    • परिदृश्य A: DeepSeek app/API उपयोग करने पर prompt चीनी server पर भेजा जाता है (यह वास्तविक data sovereignty issue है)
    • परिदृश्य B: open weights download करके local में चलाने पर data device से बाहर नहीं जाता
    • परिदृश्य C: OpenRouter, Fireworks, Chutes जैसी विश्वसनीय third-party services पर hosted होने पर infrastructure और privacy control hosting provider पर निर्भर करता है
  • NIST इन पूरी तरह अलग स्थितियों को जानबूझकर एक साथ गड्डमड्ड करता है
    • local download को गिनते हुए "national security risk" की चेतावनी देना
    • जिसे भी बुनियादी तकनीकी जानकारी है, वह समझ सकता है कि यह भ्रामक है
  • यही भ्रम रिपोर्ट के बाकी भ्रामक framing की नींव बनता है

NIST ने वास्तव में क्या पाया

  • सनसनीखेज भाषा हटाने के बाद जो बचता है
    1. DeepSeek मॉडल, अमेरिकी safety-tuned मॉडलों की तुलना में jailbreak करना आसान है
    2. यह कभी-कभी चीनी सरकार का दृष्टिकोण दर्शाता है
    3. कुछ benchmark पर थोड़ा कम performance
    4. दावा कि इसकी प्रति token लागत अधिक है (लेकिन methodology नहीं दी गई)
  • बस यही है
    • malicious behavior का कोई सबूत नहीं
    • data leak का कोई सबूत नहीं
    • इस बात के अलावा कि यह "हमारी पसंद के अनुसार prompt का जवाब नहीं देता", मॉडल के malicious act करने का कोई सबूत नहीं
  • jailbreak निष्कर्षों का विश्लेषण
    • क्योंकि DeepSeek ने safety training में कम निवेश किया (resource issue)
    • NIST ने तुलना के लिए पुराने अमेरिकी मॉडलों का परीक्षण नहीं किया
    • वहीं OpenAI का gpt-oss-120b jailbreak करना बहुत आसान है
  • "Chinese Communist Party narrative" निष्कर्ष का विश्लेषण
    • चीनी data पर trained मॉडल का चीनी दृष्टिकोण दिखाना आश्चर्यजनक नहीं
    • यह चीनी censorship laws के अधीन है
    • यह सुरक्षा vulnerability नहीं है

वे तुलनाएँ जो NIST ने नहीं कीं

  • दूसरे open models से तुलना नहीं
    • Llama, Mistral, Falcon कहाँ हैं?
    • अगर तुलना की जाती, तो यह साफ होता कि यह DeepSeek की नहीं बल्कि सामान्य तौर पर open models की बात है, जिनमें proprietary models की तुलना में safety layers कम होते हैं
  • शुरुआती अमेरिकी मॉडलों से तुलना नहीं
    • 2020 के GPT-3 की jailbreak vulnerability कैसी थी?
    • यह तुलना narrative को कमजोर करती, इसलिए नहीं की गई
  • अमेरिकी मॉडलों में अमेरिकी bias का test नहीं
    • मानो केवल चीनी bias ही सुरक्षा जोखिम हो
  • private benchmark का उपयोग
    • "CAISI द्वारा बनाया गया private benchmark" होने के कारण reproduction या verification संभव नहीं
    • यह science नहीं बल्कि advocacy research है

यह रिपोर्ट वास्तव में क्या बताती है

  • पंक्तियों के बीच पढ़ें तो
    1. DeepSeek मॉडल कम polished है - विकास पर कम खर्च हुआ, इसलिए कुछ खुरदुरापन होना स्वाभाविक है
    2. चीनी मॉडल इतने प्रतिस्पर्धी हैं कि चिंता हो रही है - यदि यह market share के लिए खतरा न होता, तो यह रिपोर्ट होती ही नहीं
    3. अमेरिका AI प्रभुत्व खोने से डरता है - इसे Trump की "AI Action Plan" के तहत स्पष्ट रूप से commission किया गया। Commerce Secretary का बयान दिखाता है कि यह तटस्थ मूल्यांकन नहीं बल्कि industrial policy है

असली खतरा (संकेत: यह आपके बारे में नहीं है)

  • DeepSeek ने वास्तव में किसे खतरे में डाला: monopoly को
    • DeepSeek का असली "अपराध" यह दिखाना था कि open source काम करता है
    • इसने साबित किया कि अरबों डॉलर की venture capital या private API के बिना भी शक्तिशाली मॉडल बनाए जा सकते हैं
  • यही बात premium pricing पर AI access बेचने वाली कंपनियों को डरा देती है
    • जब DeepSeek ने कहा, "यहाँ weights हैं, खुद चलाइए", तब उसने उन आर्थिक खाइयों पर हमला किया जिन पर ये कंपनियाँ निर्भर हैं
  • यही कारण है कि NIST रिपोर्ट मौजूद है
    • क्योंकि DeepSeek ने साबित किया कि openness, closed systems से प्रतिस्पर्धा कर सकती है
    • और स्थापित हितों को इसे रोकना है

पाखंड

  • NIST की चेतावनी बनाम वास्तविकता
    • NIST: चेतावनी देता है कि DeepSeek मॉडल simulated environment में malicious prompts का जवाब दे सकता है
    • वास्तविकता: अमेरिकी मॉडल वास्तव में real data को external servers पर भेजते हैं
  • OpenAI का उदाहरण
    • याद है जब ChatGPT बातचीत training में इस्तेमाल होती थी?
    • backlash के बाद ही opt-out जोड़ा गया
  • तुलना
    • DeepSeek weights local में चलाना = zero data transfer
    • OpenAI API का उपयोग = server को लगातार data transfer
    • privacy risk किसमें है?
  • रिपोर्ट "foreign AI adoption" को लेकर चेतावनी देती है, लेकिन यह अनदेखा करती है कि हर cloud API, चाहे अमेरिकी हो या नहीं, किसी और के infrastructure पर भरोसा करने को मजबूर करती है
    • local open weights किसी भी cloud service से ज़्यादा auditable और ज़्यादा सुरक्षित हैं
  • लेकिन वही संदेश नहीं है। क्योंकि यह कभी सुरक्षा के बारे में था ही नहीं। यह narrative control के बारे में था

open source और open science के साथ विश्वासघात

  • open source community ने आधुनिक AI की नींव बनाई
    • Linux, Python, PyTorch, Transformers
    • दशकों का collaborative development, जिसे स्वतंत्र रूप से साझा किया गया
  • DeepSeek उसी परंपरा का हिस्सा है
    • खुले ज्ञान को लेकर कुछ प्रभावशाली बनाया और फिर वापस समुदाय को दिया
  • अमेरिकी संस्थानों की प्रतिक्रिया: इसे खतरा कहना
  • कल्पना कीजिए, अगर Meta ने Llama जारी किया होता और चीन ऐसा करता
    • यदि सरकारी रिपोर्ट कहती कि Llama weights "jailbreak-prone" हैं, इसलिए वे surveillance tool हैं
    • हम इसे protectionism कहते। तकनीकी paranoia। open research पर हमला
  • लेकिन जब हम ऐसा करते हैं? "national security"
  • open research सार्वभौमिक होना चाहिए
    • open science का समर्थन केवल सुविधा होने पर नहीं किया जा सकता

एक टेस्ट जिसे आप खुद चला सकते हैं

  • मुझ पर विश्वास मत कीजिए, NIST पर भी नहीं, खुद जाँचिए
  • DeepSeek weights डाउनलोड कीजिए
    • huggingface transformers, vLLM, LM Studio, llama.cpp का उपयोग करके इसे local में चलाइए
    • network monitoring tools खोलिए
  • फिर देखिए
    • बिल्कुल zero packets कहीं नहीं भेजे जाते
    • prompt पूरी तरह device पर process होता है
    • वह भयानक "security threat" किसी चीज़ से जुड़े बिना सिर्फ matrix multiplication कर रहा है
  • अपने आप से पूछिए: अमेरिकी सरकार इसके बारे में झूठ क्यों बोल रही है?
  • "security threat" मॉडल में नहीं है। राजनीति में है

जिन बातों की वास्तव में चिंता होनी चाहिए

  • कुछ वैध चिंताएँ मौजूद हैं
    • DeepSeek API का उपयोग: यदि आप sensitive data को DeepSeek की hosted service पर भेजते हैं, तो वह चीनी infrastructure से होकर जाएगा। यह वैसा ही वास्तविक data sovereignty issue है जैसा किसी foreign cloud provider का उपयोग करने पर होता है
    • jailbreak vulnerability: यदि आप production application बना रहे हैं, तो किसी भी मॉडल की vulnerability test कीजिए और application-level safeguards लागू कीजिए। केवल model guardrails पर निर्भर न रहें। साथ ही inference के समय guard model (जैसे LlamaGuard या Qwen3Guard) का उपयोग करके prompt और response दोनों को classify और filter कीजिए
    • bias और censorship: हर मॉडल अपने training data को reflect करता है। आप कोई भी मॉडल उपयोग करें, इसे समझकर चलें
  • ये engineering challenges हैं
    • open source (या चीनी) मॉडलों से पूरी तरह बचने का कारण नहीं

AI के भविष्य के लिए इसका अर्थ

  • यह केवल DeepSeek के बारे में नहीं है
    • सवाल यह है कि AI खुला और auditable रहेगा या सरकारों और कंपनियों द्वारा घेराबंदी कर दी जाएगी
  • सवाल
    • क्या हम "open source" को फिर से परिभाषित होने देंगे, ताकि उसका मतलब केवल "जब वह अमेरिकी हो तभी open" रह जाए?
    • क्या हम security claims पर वास्तविक सबूत माँगेंगे, या अस्पष्ट संकेतों को स्वीकार कर लेंगे?
    • क्या AI साझा मानवता की परियोजना बना रहेगा, या geopolitical weapon बन जाएगा?
  • DeepSeek ने साबित किया कि एक दूसरा रास्ता है। यही कारण था कि उसे बदनाम किया गया

लेखक की राय

  • लेखक की पृष्ठभूमि
    • open source models को local में चलाना
    • अपने खुद के मॉडल train करना
    • composable alignment और user freedom में विश्वास
    • मानना कि AI, corporations या governments के लिए नहीं बल्कि users के लिए एक tool होना चाहिए
  • NIST रिपोर्ट पर मूल्यांकन
    • यह तटस्थ तकनीकी मूल्यांकन नहीं है
    • यह नीति दस्तावेज़ है, जिसे चीनी AI मॉडलों को अपनाने से रोकने और अमेरिकी व्यावसायिक व रणनीतिक हितों की रक्षा के लिए डिज़ाइन किया गया है
  • अमेरिकी सरकार द्वारा उद्योग को बढ़ावा देने पर रुख
    • अमेरिकी सरकार द्वारा अमेरिकी उद्योग को बढ़ावा देने में अपने आप में कोई अंतर्निहित गलती नहीं
    • लेकिन उसे उसी नाम से बुलाया जाना चाहिए
    • protectionism को security research के रूप में पेश मत कीजिए
    • खतरों को गढ़िए मत
    • जो सबूत दिखाते हैं, उसके बारे में जनता से झूठ मत बोलिए
  • DeepSeek का योगदान
    • इसने हमें एक मूल्यवान और महत्वपूर्ण उपहार दिया
    • weights केवल safetensor data हैं
    • वे drive पर पड़े रहते हैं और निर्देशानुसार काम करते हैं
    • वे घर फोन नहीं करते। जासूसी नहीं करते। data exfiltrate नहीं करते
  • निष्कर्ष
    • यदि आप चिंतित हैं, तो संभव है कि आप local inference कैसे काम करता है यह नहीं समझते
    • यदि आप डर फैलाने वाली बातों पर विश्वास करते हैं, तो आपके साथ सफलतापूर्वक manipulation हुआ है
    • यह सब safety के बारे में नहीं है। यह power के बारे में है - भविष्य को आकार देने वाले tools को कौन बनाता है, साझा करता है और समझता है

निष्कर्ष

  • code और research open source हैं और auditable हैं। बाकी सब राजनीति है
  • पाठकों के लिए सिफारिश
    • NIST रिपोर्ट और code खुद पढ़िए
    • malicious code या surveillance functionality के वास्तविक सबूत खोजिए
    • आपको कुछ नहीं मिलेगा, क्योंकि ऐसा कुछ है ही नहीं
  • फिर सवाल पूछना शुरू कीजिए
    • जब open source बहुत अच्छी तरह काम करता है, तो आपको उससे डरने के लिए क्यों कहा जाता है?

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-10-07
Hacker News राय
  • मुझे बिल्कुल हैरानी नहीं है कि अमेरिकी संस्थाओं का लंबे समय से सीमा-पार मुद्दों पर राजनीतिक उपयोग होता रहा है। मैं चीनी इलेक्ट्रॉनिक्स को लेकर भी हमेशा सशंकित रहा हूँ। मैं इस बात से सहमत हूँ कि यह रिपोर्ट झूठी और विदेशी-विरोधी है, लेकिन अगर चीन को LLM पर पर्याप्त नियंत्रण मिल जाता है, तो अभी या भविष्य में वह किसी न किसी तरह सूक्ष्म हेरफेर की कोशिश कर सकता है—इस पर मुझे अब भी संदेह है। यह सिर्फ चीन पर लागू नहीं होता; अमेरिका या कोई भी महाशक्ति, अगर उसके पास पर्याप्त शक्ति हो, तो वही करेगी। अंततः ज़रूरी यह है कि हम लगातार मॉडलों पर संदेह करें, उनका बेंचमार्क करें, और लगातार निगरानी रखें कि वे प्रदाता की नहीं बल्कि हमारी ज़रूरतों के अनुरूप हैं या नहीं।
    • आपने LLM के ज़रिए चीन द्वारा सूक्ष्म हेरफेर की संभावना का ज़िक्र किया—मैं जानना चाहता हूँ कि यह ठोस रूप में किस तरह हो सकता है।
    • सरकार या राजनीतिक प्रभाव का कुछ न कुछ दखल होना स्वाभाविक है। सवाल यह नहीं कि वह है या नहीं, बल्कि यह है कि उसका असर कहाँ और कितना पड़ता है। इस रिपोर्ट को सीधे ‘झूठा’ या ‘पक्षपाती’ कहकर खारिज कर देना बेकार है। हमें इस जटिल दुनिया में जानकारी को छानना और उसका विश्लेषण करना सीखना होगा।
    • विदेशी उत्पादों के बारे में झूठी जानकारी फैलाना समाधान नहीं है। बेहतर यह होगा कि लोग open source मॉडल चाहते हैं, इसे पहचाना जाए, और अपने देश का सर्वोत्तम गुणवत्ता वाला मॉडल जारी किया जाए ताकि वही व्यापक रूप से इस्तेमाल हो।
    • अमेरिकी लोकतंत्र के बारे में सोचूँ तो, अमेरिकी नेतृत्व हमेशा अधिकतम लचीलापन चाहता है ताकि जब चाहे जैसा चाहे निर्णय ले सके। चूँकि वह लोकतंत्र है, इसलिए उसे जनसमर्थन का भ्रम बनाए रखना पड़ता है। सरकार एक खास दृष्टिकोण रोपकर लोगों की सोच के एक हिस्से को प्रभावित करती है, ताकि वह जो भी निर्णय ले, उसके लिए कुछ न कुछ समर्थन मौजूद रहे। अगर नीति बदलती है या नया नेता आता है, तो पहले वाले पर दोष डालकर ‘पहले बुरा था, अब बदल गया’ जैसी नैतिक नई शुरुआत संभव हो जाती है। यह वह बात है जो अधिनायकवादी व्यवस्था में संभव नहीं होती। उदाहरण के लिए, अगर Putin युद्ध के नुकसान को समझ भी ले, तो भी राजनीतिक वैधता खोए बिना वह युद्ध रोक नहीं सकता। अगर रूस अमेरिकी शैली का लोकतंत्र होता, तो नया नेता चुनना, सेना वापस बुलाना, Putin को औपचारिक दंड देना, और फिर अंतरराष्ट्रीय स्तर पर ज़िम्मेदारी से मुक्ति दिलाना—यह सब जल्दी हो सकता था।
    • इन संस्थाओं का उपयोग देश की सीमाओं के भीतर भी राजनीतिक औज़ार के रूप में किया जाता है।
  • मैं सबको सलाह दूँगा कि पहले मूल रिपोर्ट पढ़ें, फिर यह विश्लेषण पढ़ें और अपना निर्णय खुद करें। clickbait सारांशों के बहकावे में आने के बजाय मूल पाठ पढ़ना ज़रूरी है।
    • मूल रिपोर्ट यहाँ है: https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf
    • लगता है बहुत से लोगों ने मूल पाठ पढ़ा ही नहीं। सिर्फ यह देख लें कि रिपोर्ट में ‘exfiltration(जानकारी-चोरी/डेटा-निकासी)’ को कैसे संभाला गया है, तब भी साफ़ हो जाता है कि निबंध की बात और NIST की मूल रिपोर्ट एक जैसी नहीं हैं। आजकल लोगों का ध्यान इतना कम हो गया है कि 70-पेज की तकनीकी रिपोर्ट से ज़्यादा ध्यान clickbait वेबपेज खींच लेता है।
  • यूरोप के एक विश्वविद्यालय में शोधकर्ताओं और स्टाफ के लिए LLM होस्ट करने वाले व्यक्ति के रूप में, यह मुद्दा मुझे निजी तौर पर बहुत प्रासंगिक लगता है। चीनी मॉडलों के बिना हम आज जो कई काम कर रहे हैं, वे संभव ही नहीं होते। मेरे हिसाब से EU हो या कोई और, सबको इस बात के लिए चीनी रिसर्च लैब्स का आभारी होना चाहिए कि वे इतने उदार लाइसेंस के तहत मॉडल जारी कर रही हैं। इनके बिना विकल्प बहुत खराब होते। अगर आपको कोई शक्तिशाली अमेरिकी मॉडल चाहिए, तो या तो आपको सैकड़ों मिलियन डॉलर के NVIDIA डेटा सेंटर बनाने की सलाह दी जाती है, और EU के विकल्पों में भी, चाहे आप उन्हें अपने हार्डवेयर पर होस्ट करें, लाइसेंस शुल्क देना पड़ता है—हाँ, बदले में विशेषज्ञता सुरक्षित रहती है। इसके उलट DeepSeek ने ‘गुप्त सॉस’ उजागर कर दिया, जिससे हमारे जैसे vLLM जैसे open source प्रोजेक्ट मॉडल को और अधिक दक्षता से होस्ट कर पाए।
  • मैंने वास्तव में रिपोर्ट पढ़ी, और इसकी सामग्री लेख में किए गए वर्णन से मेल नहीं खाती।
    • दिलचस्प बात यह है कि इस पोस्ट की टिप्पणियाँ भी असली लेख की सामग्री से अलग लगती हैं। लेखक लगातार इसे open source पर हमला बताता रहता है, लेकिन टिप्पणियाँ तो बल्कि चीन के प्रभाव से पैदा हो सकने वाली समस्याओं पर ठीक से बात करती दिखती हैं।
    • यह ब्लॉग पोस्ट बेहद भ्रामक है। लेख के शुरुआती पैराग्राफ़ इस बात पर ज़ोर देते हैं कि NIST रिपोर्ट में ‘malware, backdoor, data exfiltration के कोई संकेत नहीं मिले’, लेकिन NIST ने वास्तव में ऐसा दावा किया ही नहीं। अगर आप सिर्फ ब्लॉग पोस्ट पढ़ें, तो ऐसा लगता है जैसे NIST बिना सबूत के backdoor होने का आरोप लगा रहा हो।
    • मेरे मामले में, मुझे तो यह वास्तविक रिपोर्ट की सामग्री से काफ़ी मेल खाता लगा।
  • भले ही चीनी मॉडल बदनाम किए जाएँ, मैं तो अच्छे प्रदर्शन वाले और सस्ते मॉडल का इस्तेमाल करके प्रतिस्पर्धात्मक बढ़त लेने वाला हूँ।
    • बदनाम करना अंततः आपराधिक दंड तक जाने वाली प्रक्रिया का पहला कदम होता है।
    • NIST लेख (मूल पाठ) में मुझे कहीं भी बदनाम करने वाली भाषा नहीं मिली। मेरी समझ में ‘badnami/demonization’ का मतलब दुश्मन को शैतानी रूप में पेश करने वाला प्रचार है। अगर आपकी परिभाषा अलग है, तो कृपया रिपोर्ट में ठीक-ठीक दिखाएँ कि कहाँ है। संदर्भ: https://www.thefreedictionary.com/demonization
    • बंद मॉडल प्रदर्शन में और खराब, कीमत में कई गुना महंगे, और सेंसरशिप में भी ज़्यादा कठोर हैं—फिर भी लोग उनका बचाव करते हैं, यह असामान्य है। चीनी कंपनियाँ पश्चिमी कंपनियों की तरह बेंचमार्क पर इतनी आसक्त नहीं लगतीं, और वास्तविक उपयोग में Kimi, GLM, Deepseek जैसे मॉडल, भले अंग्रेज़ी बेंचमार्क स्कोर में नीचे हों, अनुभव की गुणवत्ता में कहीं बेहतर लगते हैं। खासकर Kimi, हार्डवेयर से जुड़े सवालों पर Gemini और Claude की तुलना में कहीं अधिक विस्तार और सटीकता से जवाब देता है। मेरा मानना है कि इसका कारण यह है कि उन्होंने चीनी भाषा के डेटा प्रशिक्षण का बेहतर उपयोग किया है।
  • लेखक Eric Hartford ने कहा कि ‘उत्तेजक भाषा हटाई जानी चाहिए’, लेकिन रिपोर्ट में मुझे ऐसी भाषा दिखी ही नहीं। कुल मिलाकर इसकी शैली सूखी और उबाऊ कही जा सकती है।
    • उलटे, ब्लॉग पोस्ट में ही बिना आधार वाली उत्तेजक भाषा बहुत ज़्यादा है।
    • दरअसल मुझे यह लेख ही NIST या अमेरिका के ख़िलाफ़ ‘काला प्रचार’ के ज़्यादा क़रीब लगता है। उत्तेजक भाषा भी लेख में ही अधिक दिखती है।
  • अच्छे insights साझा करने के लिए धन्यवाद। अगर किसी ने लेखक का बनाया uncensored Dolphin मॉडल वास्तव में इस्तेमाल किया है, तो उसका अनुभव जानना चाहूँगा।
    • मेरी राय में सबसे अच्छा तरीका है कि आप अपना evaluation framework खुद बनाएँ और खुद इस्तेमाल करके देखें। दूसरा विकल्प है कि ऐसे बाहरी उदाहरण खोजें जिन्होंने आपसे मिलते-जुलते मूल्यांकन किए हों। लेकिन अगर आपने अपने मानदंड ही तय नहीं किए, तो यह कैसे जानेंगे कि किसी और का मूल्यांकन भरोसेमंद है या नहीं? खासकर ML या AI के क्षेत्र में, मैं HN पर होने वाली चर्चाओं की गुणवत्ता को कम मानता हूँ। प्रतिभागी तेज़, निंदक, और गुटबद्ध लगते हैं; ऐसा नहीं लगता कि वे सच की गंभीर खोज कर रहे हैं। फिर भी मैं यहाँ रहकर चर्चा में योगदान देना चाहता हूँ। मेरी हमेशा इच्छा रहती है कि यहाँ स्पष्टता, तर्क और गहराई वाली चर्चा हो। कभी-कभी यह https://xkcd.com/386/ जैसा महसूस होता है।
  • DeepSeek पर Nature जर्नल का peer-reviewed पेपर भी आ चुका है, और स्वतंत्र शोधकर्ताओं ने open model में जिन कुछ समस्याओं की ओर इशारा किया था, लेख भी उन्हें मानता है। इसी वजह से मुझे यह NIST मूल्यांकन राजनीतिक हमले के ज़्यादा क़रीब लगता है। अमेरिकी खुफिया एजेंसियाँ तकनीकी लाभ मिलने पर उन्हें निगरानी उद्देश्यों के लिए इस्तेमाल करती रही हैं—जैसे CryptoAG मामला या Huawei विवाद, जहाँ अंततः कोई बड़ा ठोस दुष्प्रवृत्ति-सबूत सामने नहीं आया। ऐसी परंपराएँ ही इस बेचैनी का कारण बनती हैं। अंततः Kimi, Qwen जैसे विविध open model मौजूद होने चाहिए, ताकि लागत और प्रदर्शन में संतुलन आए, और हर देश द्वारा AI को ‘भूराजनीतिक moat’ बनाने की दौड़ खत्म हो—यह पूरे क्षेत्र के लिए बेहतर होगा।
  • जिस समय चीन ने DeepSeek के बाद कहीं बेहतर open source मॉडल जारी कर दिए हैं, उस समय तक NIST रिपोर्ट पहले ही पीछे छूट चुकी लगती है।
  • यह सवाल उठता है कि NIST प्रदर्शन, लागत और adoption rate का मूल्यांकन क्यों कर रहा है। उसने हाल में जारी अमेरिकी मॉडल (OpenAI GPT-5 series, Anthropic Opus 4 आदि) की तुलना पुराने DeepSeek (R1, R1-0528, V3.1) से की, जबकि वर्तमान DeepSeek 3.2 का प्रदर्शन बहुत अच्छा है। किसी कार के 0-60 मील प्रति घंटा 3 सेकंड में पहुँचने का सरकारी मूल्यांकन मेरे लिए उतना मायने नहीं रखता; मुझे खुद चलाकर देखना होगा। DeepSeek के ‘highest security model’ के बारे में कहा गया है कि malicious requests के प्रति इसका refusal rate 6% है, लेकिन हक़ीक़त यह है कि अमेरिकी GPT मॉडल भी अब लगभग बिना रोक-टोक दुरुपयोग किए जा सकते हैं। मेरे हिसाब से यह रिपोर्ट NIST और security पर गंभीर चर्चा नहीं, बल्कि अमेरिकी प्रचार सामग्री भर है।