ओपन सोर्स AI के खिलाफ दलीलें भरोसेमंद क्यों नहीं हैं

 (tombedor.dev)
1 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Kimi K3 जारी होने के बाद ओपन सोर्स AI को खतरनाक threat मानने वाली आवाज़ें बढ़ीं, लेकिन proprietary software भी ओपन सोर्स की बुनियाद पर बनाया जाता है और AI मॉडल भी उसी तरह के software products हैं
  • Commercial कंपनियां अलग पहचान न बनाने वाले lower-level components को मिलकर develop करती हैं और upper-level products में compete करती हैं, इसलिए AI मॉडल भी commodity बन सकते हैं; हालांकि frontier labs के पास इसे न चाहने की वजहें हैं
  • PGP और SSL के उदाहरणों की तरह ओपन सोर्स software को रोकना बहुत मुश्किल है; Chinese models को regulate करने की कोशिश में भी distillation और fine-tuning की वजह से nationality का आधार धुंधला हो जाएगा और सिर्फ अमेरिकी users पर पाबंदियां लग सकती हैं
  • Nvidia, अमेरिकी startups, enterprise AI users, Google और Meta जैसे players के पास अपने-अपने business reasons से ओपन सोर्स models develop करने की प्रेरणा है, और free models किसी देश के लिए नई technology अपनाने और economy बढ़ाने में AI transition का resource बन सकते हैं
  • China की dumping, propaganda और backdoor को लेकर दी जाने वाली दलीलें software को copy, modify और inspect कर सकने की क्षमता को नज़रअंदाज़ करती हैं; ओपन सोर्स AI शक्तिशाली और control करना मुश्किल है, इसलिए policy restrictions के बावजूद फैलता रहेगा

ओपन सोर्स किस तरह commercial software को सहारा देता है

  • OpenAI के Dean Ball का मानना है कि अगर open-weight models dominate करते हैं, तो AI market commodity नहीं बल्कि public good बन सकता है—एक तरह का “AI communism”
  • Frontier labs की दलील यह है कि ओपन सोर्स models risky हैं, इसलिए access केवल responsible gatekeepers और trusted users को मिलना चाहिए; लेकिन असल में पूरा proprietary software ओपन सोर्स के ऊपर बना है
  • Software products कई programs की layered structure से बने होते हैं
    • Uber जैसी service बनाने के लिए programming language frameworks, web traffic भेजने-लेने वाला software, data analytics tools जैसे अनगिनत components चाहिए होते हैं
    • इन lower-level components में से ज्यादातर कंपनियों के differentiators नहीं होते, इसलिए इन्हें मिलकर develop करना और असली differentiation होने वाली upper layers में compete करना commercial interest के अनुकूल है
  • Frontier labs नहीं चाहतीं कि AI models इतने आम general-purpose components बन जाएं कि उन पर competition की जरूरत ही न रहे, लेकिन वास्तव में ऐसा होगा या नहीं, यह अभी तय नहीं है
  • यहां ओपन सोर्स model से मतलब open-weight model है

ओपन सोर्स को रोकना मुश्किल क्यों है

  • ओपन सोर्स software को रोकना बेहद मुश्किल है, और रोकने की कोशिशें international competitors के मुकाबले घरेलू कंपनियों को कमजोर कर सकती हैं
  • 1991 में जब Phil Zimmermann ने PGP बनाया, तब अमेरिकी सरकार encryption को military technology मानती थी और Zimmermann के खिलाफ criminal investigation शुरू किया था
  • जब Netscape ने SSL develop किया, तो अमेरिकी सरकार ने विदेश में केवल कमजोर version distribute करने की अनुमति दी
    • कमजोर international version ज्यादा आसानी से circulate हुआ और कई अमेरिकियों ने भी उसे इस्तेमाल किया
    • Export controls encryption के प्रसार को रोक नहीं पाए और उल्टा अमेरिकियों के लिए नुकसानदेह साबित हुए
  • SSL और PGP समेत encryption tools दुनिया भर में इस्तेमाल होते रहे, और courts ने encryption source code publish करने को protected expression माना
  • इसके बाद अमेरिकी सरकार ने encryption export controls में ढील दी

सिर्फ Chinese models को regulate करना मुश्किल क्यों है

  • किसी model की nationality तय करने का आधार ही अस्पष्ट है
    • यह साफ नहीं कि अमेरिकी model से distilled model को Chinese model माना जा सकता है या नहीं
    • अगर कोई अमेरिकी व्यक्ति Chinese model को fine-tune करे, तो वह किस देश का model होगा, यह भी स्पष्ट नहीं है
  • ऐसे regulations ज्यादा से ज्यादा अमेरिकियों पर अस्थायी administrative burden और सीमित AI access थोपेंगे और उन्हें दूसरे देशों के मुकाबले disadvantage में डाल सकते हैं

China के बाहर भी ओपन सोर्स AI बनाने की प्रेरणा

  • ओपन सोर्स AI ऐसी technology नहीं है जिसे develop करने की प्रेरणा केवल Chinese government के पास हो; कई commercial players अपने business reasons से इसमें हिस्सा ले सकते हैं

  • Chip makers

    • Nvidia CEO Jensen Huang Nvidia जो बनाती है उसे “token factories” कहते हैं
    • Nvidia चाहती है कि जितनी ज्यादा हो सके token demand बने, चाहे frontier models चलें या cheap ओपन सोर्स models—बस वे उसके chips पर run हों
    • उसने अपनी Nemotron ओपन सोर्स model family भी जारी की है
    • Frontier models की training में लगने वाला भारी capital भी Nvidia के लिए फायदेमंद है, लेकिन लंबे समय में commercial token demand की जगह ओपन सोर्स token demand आ जाए तब भी उसे फायदा होगा

  • अमेरिकी startups

    • Thinking Machines Lab ने powerful ओपन सोर्स model Inkling जारी किया है
    • उसका आकलन है कि अगर models commodity बनते हैं, तो उन्हें complement या customize करने वाली added services में defensible competitive advantage बनाया जा सकता है

  • Enterprise AI users

    • फिलहाल वे ओपन सोर्स AI development में बहुत active नहीं हैं, लेकिन कम complexity वाले tasks के लिए उन्हें सस्ते models चाहिए होंगे
    • Customer-facing features के लिए उन्हें ज्यादा fine-grained control चाहिए

  • बड़ी tech कंपनियां

    • Google और Meta को OpenAI के नए advertising product पर नजर रखनी ही होगी
    • अगर frontier models का ad business बढ़ता है, तो ad-free ओपन सोर्स models को commodity बनाकर advertising competition को दबाने की प्रेरणा बनेगी

अस्पष्ट ‘AI race’ का लक्ष्य

  • Chinese models को लेकर चिंता अक्सर AI race में हारने वाली भाषा पर केंद्रित होती है, लेकिन लक्ष्य best model develop करना है या सबसे ज्यादा tokens बेचना—यह भी साफ नहीं
  • AI race चांद पर पहले rocket भेजने जैसी चीज नहीं है; यह नई transformative technology के जवाब की प्रक्रिया है, इसलिए “internet race” जितनी ही अस्पष्ट अभिव्यक्ति है
  • अगर देशों के बीच competition है, तो असली बात technology transition को absorb करना और economy को grow करना है; इस कसौटी पर free AI models threat नहीं बल्कि advantage बन जाते हैं

China की AI dumping वाली दलील

  • Scott Galloway मानते हैं कि China ने solar panels, steel, electric vehicles और batteries की quality को western levels तक पहुंचाने के बाद prices को एक-तिहाई कर market पर कब्जा किया, और free AI में भी वही strategy लागू कर सकता है
  • लेकिन chips को छोड़कर AI physical goods नहीं है
    • Solar panels और steel ऐसी physical supply chain चाहते हैं जिसमें हर stage का independent रूप से टिकना मुश्किल होता है
    • अगर आप अपने देश में solar panels manufacture नहीं करते, तो solar-grade silicon wafer business बनाना भी मुश्किल है
  • Software में, China से ओपन सोर्स model आना अमेरिका के fine-tuning business को नहीं रोकता; बल्कि उसे उस business की foundation के तौर पर इस्तेमाल किया जा सकता है

Propaganda bias और model modification

  • यह मान लेना अनुचित नहीं कि Chinese models में pro-China bias हो सकता है, लेकिन इसे रोकथाम का कारण बनाना मुश्किल है
  • अगर ओपन सोर्स model का political bias समस्या है, तो अमेरिकी users उसे modify करके “Americanized” model के रूप में फिर से distribute कर सकते हैं
  • अमेरिकी market में distorted pro-China bias वाला model, समान performance वाले pro-US bias model से आगे निकलना मुश्किल होगा

Backdoor और public inspection का संबंध

  • AI भी vulnerability market की basic structure को नहीं बदलता; responsible actors vulnerabilities patch करते हैं और attackers उनका misuse करते हैं
  • Responsible actors के tools सीमित करने से सिर्फ attackers को फायदा होता है
  • Malicious actors द्वारा model में hidden adversarial behavior डालना theoretically possible है
  • Responsible actors को ऐसे behavior जल्द से जल्द खोजने होंगे, और इसके लिए सबसे effective तरीका यह है कि कोई भी model inspect कर सके

Frontier models और coding agents की competitiveness

  • इस बात की कोई guarantee नहीं कि frontier providers non-frontier market तक dominate करेंगे
    • Small models develop करने में huge capital access कम महत्वपूर्ण होता है
    • Frontier providers users को महंगे models की ओर steer कर सकते हैं, इसलिए उनमें small models aggressively develop करने की motivation कम होती है
  • Claude Code और Codex की stickiness Coke और Pepsi जैसी है: एक बार चुन लेने पर बेवजह बदलने की जरूरत कम होती है, और इसके लिए cost और quality समान होने की शर्त चाहिए
  • Coding agents में defensible competitive advantage नहीं है; price difference, model quality, reliability issues जैसी छोटी friction आते ही users दूसरे agents पर जा सकते हैं

ओपन सोर्स AI का प्रसार

  • ओपन सोर्स AI शक्तिशाली है और control करना मुश्किल है, इसलिए policy makers या corporate leaders की preferences भर से इसे रोकना कठिन है
  • इसके प्रसार को दबाने की कोशिशें केवल temporary noise पैदा करेंगी, ओपन सोर्स AI के उदय को रोक नहीं पाएंगी

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Hacker News की राय

  • यह open source AI नहीं है। Open source होने के लिए Photoshop का source code और OSI license होना चाहिए; सिर्फ binary जारी करने पर उसे open weights कहा जाएगा, और SaaS web app, GPT या Opus/Fable जैसे closed model होते हैं
    विवादित चीनी model बस इतना अनुमति देता है कि API के बजाय उसकी binary को अपने environment में चलाया जा सके। अगर आपको असली open source चाहिए, तो OLMo 3 जैसे project देखें: https://allenai.org/

    • यह सही है कि मौजूदा चीनी models में अभी OLMo/Nemotron स्तर की पुनरुत्पादित की जा सकने वाली documentation देने वाली कोई श्रृंखला नहीं है, जिसमें model·data·checkpoint·evaluation·code और base/inference/instruction/RLVR की पूरी प्रक्रिया शामिल हो
      हालांकि, transparent pretraining के लिए MAP-Neo·YuLan-Mini और reasoning reinforcement learning के लिए DAPO/verl·Open-Reasoner-Zero जैसे components कई projects में बिखरे हुए मौजूद हैं। चीनी OLMo आना सिर्फ समय की बात लगती है, और Switzerland के Apertus व Japan के LLM-jp-4 समेत दुनिया भर के public-sector प्रयासों को देखें तो 2027 तक ऐसा पूर्ण open source playbook आ सकता है जिससे व्यक्ति भी कम-से-कम 2023~2024 स्तर के cutting-edge models को reproduce कर सके
    • Open weights models को closed binary के बराबर मानना बेतुका है। Open weights को fine-tune किया जा सकता है, लेकिन closed binary को किसी खास उद्देश्य के लिए बदलना कहीं ज्यादा कठिन है
    • Open source AI बनाना कठिन है। छोटे models के लिए भी भारी संसाधन चाहिए, इसलिए traditional open source software वाला तरीका—जहां कोई व्यक्ति अपने खाली समय में दुनिया के infrastructure के core हिस्से बना ले—यहां वैसे लागू नहीं होता
      यह विज्ञान अनुसंधान के ज्यादा करीब है, इसलिए public funding और उसे संभालने वाली विश्वसनीय संस्थाएं चाहिए। उम्मीद है Allen AI यह भूमिका निभाए, लेकिन अमेरिका public-interest AI के लिए जरूरी निवेश की दिशा में जा रहा है या नहीं, इस पर संदेह है। साथ ही, Photoshop की तुलना open weights model से करना ठीक नहीं। Photoshop की copies कानूनी रूप से वितरित नहीं की जा सकतीं, लेकिन GLM 5.2 को किया जा सकता है; इसलिए तुलना करनी हो तो किसी free proprietary application से करनी चाहिए
    • Source code बनाने की मुख्य लागत software engineers को दिए जाने वाले millions of dollars हैं, और open source software दूसरों को उस निवेश का लाभ लेने देता है। AI model की मुख्य लागत millions of dollars की training है, और open model भी दूसरों को उस निवेश के नतीजे इस्तेमाल करने देता है
      भले ही आपको पूरा training data और architecture मिल जाए, model को बदलने के लिए आप उसे शुरुआत से दोबारा train नहीं करेंगे, बल्कि मनचाहा behavior पाने के लिए fine-tune करेंगे। जैसे software को modify किया जा सके तो उसे open source कहते हैं, वैसे ही model को fine-tune किया जा सके तो उसे open model माना जा सकता है
    • लेख की कुछ दलीलें “बस training बदल दो” पर निर्भर करती हैं, इसलिए open weights की सीमाओं की ओर इशारा करना उचित है। अतिरिक्त training संभव है, लेकिन मौजूदा training को हटाया नहीं जा सकता, इसलिए “उसे उस nationality के हिसाब से फिर से train कर लो” कहना निष्पक्ष तर्क नहीं है
      व्यवहार में, बराबरी का model शुरू से train करने के लिए असली open source चाहिए

  • चीनी models को लेकर चिंता अक्सर इस बात पर केंद्रित रहती है कि “हम AI race में पीछे रह जाएंगे”, लेकिन कुछ लोगों का लक्ष्य किसी तरह की singularity तक पहुंचना है। भले ही आप sci-fi जैसी व्याख्या पर विश्वास न करें, फिर भी यह व्यावहारिक तर्क मौजूद है कि AI development की कुछ उपलब्धियां वास्तविक अर्थ में ultra-powerful weapon बन सकती हैं
    Altman भी सार्वजनिक रूप से कह चुका है कि अंततः ऐसा होगा, और वह खुद इसे बनाना चाहता है। भले superintelligence न भी हो, अगर machine cyber security vulnerabilities पर हमला कर सकती है, तो सरकारों के लिए इतना ही काफी चिंताजनक है; हाल में अमेरिकी सरकार ने अमेरिकी models पर पाबंदी लगाते समय भी इसी तरह का तर्क इस्तेमाल किया था। Singularity पर विश्वास किए बिना भी यह समझना आसान है कि कुछ लोग इसे AI race का लक्ष्य मानते हैं

    • अगर AI ultra-powerful weapon बन जाता है, तो फिर उसके निजी कंपनियों के स्वामित्व पर भरोसा क्यों किया जाए? अगर वह publicly downloadable है, तो सिर्फ अमेरिकी नागरिकों की पहुंच रोकने का भी कोई कारण नहीं है
    • अगर वे किसी धुंधली-सी enlightenment की संभावना और देवत्व के लिए वास्तविक ज़िंदगियां झोंकना चाहते हैं, तो लगता है उन्हें विशेषज्ञ मदद की जरूरत है
    • OpenAI/Hugging Face घटना open models की आवश्यकता साबित करती है। Hugging Face ने postmortem में कहा कि उसने जल्दी पहचान लिया था कि खतरे का कारण advanced AI था और वह cutting-edge models से संदिग्ध telemetry data का विश्लेषण करना चाहता था, लेकिन model की safety guardrails की वजह से असफल रहा
      इसके बजाय, उसने guardrails के बिना GLM चलाकर data का विश्लेषण किया और root cause ढूंढा। कंपनियों को खतरों का सही आकलन करने के लिए ऐसे models भी चाहिए जिनमें guardrails न्यूनतम हों। अगर अनियंत्रित cutting-edge AI की जांच के लिए open weights AI ही न हो, तो जवाबी क्षमता भी खत्म हो जाएगी
    • ऐसे लोगों ने या तो systems thinking नहीं सीखी है, या फिर वे इसे इस तथ्य पर लागू नहीं कर पाते कि AI कोई closed system नहीं है
    • मैं समग्र तर्क से सहमत हूं, लेकिन अगर पश्चिम में “ultimate AI” बनाया जाता है, तो उसके कई private investors के पैसों से विकसित होने की संभावना ज्यादा है। चीन भी आखिरकार मुनाफे की उम्मीद रखने वाले investors पर निर्भर करेगा, और वे बांटी जा सकने वाली वितरित होने वाली कमाई चाहेंगे, न कि एक ऐसी singularity जिसे बांटा ही न जा सके
      Investors singularity से पहले ही लगातार returns चाहेंगे, इसलिए कंपनियों को models बेचना होगा। मौजूदा generation को पूरी तरह बंद कर देने पर अगली generation बनाने के लिए फंड भी नहीं मिलेगा—यह एक कठिन संतुलन है

  • यह मजेदार है कि OpenAI के एक executive ने “चीनी lab से एक ऐसा agent निकल भागा जो जीवित नहीं है, दिखता नहीं, खतरनाक है और अनंत रूप से self-replicate करता है” जैसी दहशत फैलाने वाली बात कही, और उसके सिर्फ 4 दिन बाद https://news.ycombinator.com/item?id=48997548 आ गया

  • निकट भविष्य से लेकर मध्यम अवधि तक AI safety को लेकर चिंता के स्तर पर वाजिब मतभेद हो सकते हैं। लेकिन इन तर्कों को बिल्कुल भी address न करना इस लेख की काफी अहमियत कम कर देता है

    • Backdoor और propaganda वाले हिस्से में safety को थोड़े समय के लिए छूने की कोशिश की गई थी। मैं जानना चाहूंगा कि आप और क्या देखना चाहते थे
      लेख का दृष्टिकोण open और closed AI की तुलना है, और मुझे नहीं लगता कि इन दोनों तरीकों के बीच safety concerns में बहुत बड़ा अंतर है, इसलिए इस पर ज्यादा जगह नहीं दी गई

  • Local पर स्वतंत्र रूप से चलने वाले AI का विरोध इसलिए किया जाता है क्योंकि कंपनियां आम जनता को कंट्रोल करना चाहती हैं। अमेरिका corporate-केंद्रित नर्क है

    • अगर मूल लेख पढ़कर आप यह मान बैठते हैं कि समझदार लोगों के पास कोई वैध safety concern हो ही नहीं सकती, तो यह लेख पाठक को समझाने के बजाय उलटा असर डालता है: [1] https://news.ycombinator.com/item?id=49029303

  • LLM सिर्फ़ सार्वजनिक डेटा ही नहीं, अवैध रूप से हासिल किए गए डेटा पर भी train होते हैं। Anthropic की 1.5 अरब डॉलर की settlement इसका उदाहरण है, और विशाल मानव डेटा के बिना LLM कुछ भी नहीं हैं
    ऐसा माना जा सकता है कि इस तरह का research, हितों के टकराव वाली अपारदर्शी listed companies की बजाय, सरकार और विनियमित universities तक सीमित होना चाहिए, या internet standards और telecom की तरह लोकतांत्रिक governance structure वाली वास्तविक non-profit community द्वारा संचालित होना चाहिए। चाहे वे कितनी भी नैतिकता का प्रदर्शन करें, यह मानना मुश्किल है कि private companies खुद को प्रभावी ढंग से regulate करेंगी और जोखिमों के बारे में जनता और वैज्ञानिक समुदाय को पारदर्शी रूप से बताएँगी, और लगातार हितों का टकराव उनकी विश्वसनीयता को नुकसान पहुँचाता है

  • “X को रोका नहीं जा सकता” कहना, “X बुरा नहीं है” इस निष्कर्ष के समर्थन में एक आलसी और घटिया तर्क है। बाकी लेख पर कहने के लिए कुछ नहीं है

    • इसके उलट, अगर कोई कहता है कि “X को रोका जाना चाहिए”, तो उसे व्यावहारिक तरीका भी बताना चाहिए
      मेरा रुख यह है कि open source AI को रोका नहीं जा सकता, और इसे रोकने की कोशिश अनिवार्य रूप से अच्छे actors की तुलना में बुरे actors को अधिक शक्ति देगी

  • लॉबिंग का पैसा ऐसी बहसों की परवाह नहीं करता

    • आखिरकार मूल बात यही है कि पैसा वही नतीजा हासिल कर लेता है जो वह चाहता है

  • चीन में बने routers और network equipment में लगातार backdoor मिल रहे हैं। यह संदेह है कि क्या चीनी models का कभी पूरी तरह audit किया जा सकेगा

    • क्या अमेरिकी models का पूरी तरह audit करने का कोई तरीका है? कम-से-कम चीनी models weights सार्वजनिक करते हैं, इसलिए वास्तविक audit की कुछ संभावना तो है
    • चीनी models weights देते हैं, इसलिए जो जाँच करनी हो वह सीधे चलाकर देखी जा सकती है। दूसरी ओर, अमेरिकी models तक पहुँच यह कहकर रोकी जाती है कि वे हम जैसे आम लोगों के उपयोग के लिए बहुत शक्तिशाली हैं, लेकिन हमें यह मानने को कहा जाता है कि यह सब नागरिकों के हित में है
    • पहले यह स्पष्ट होना चाहिए कि ठीक-ठीक audit किस चीज़ का करना है। hardware backdoor को समझना आसान है, क्योंकि वह ऐसे लोगों को access देता है जिन्हें ग्राहक ने अनुमति नहीं दी
      open weights model किसी खास execution layer से बँधा नहीं होता, इसलिए वास्तविक security concern का दायरा weights तक सीमित रहता है। यह स्पष्ट करना ज़रूरी है कि चिंता adversarial prompt injection की है, इतिहास विकृति और propaganda injection की है, या किसी और रास्ते की, जिससे non-sovereign model, sovereign model की तुलना में विशेष रूप से अधिक जोखिमपूर्ण हो जाता है

  • यह लेख सुरक्षा समस्या को बिल्कुल नहीं छूता। अगर कोई malicious actor open weights को fine-tune करके लगभग हर व्यक्ति को निशाना बनाने वाली पूरी तरह automated, genius-level fraud चलाए, तो उसे क्या रोकेगा?

    • क्या आप ChatGPT द्वारा Hugging Face को hack करने जैसी किसी चीज़ की बात कर रहे हैं? closed-weight providers को genius-level fraud चलाने से भी नहीं रोका जा सकता, और यह भी पता नहीं चल सकता कि किस तरीके और किस model का उपयोग हुआ
      अंततः, चाहे fine-tuned हो या pre-trained, closed weights के दुरुपयोग को रोकने के लिए अच्छे पक्ष के पास भी open weights होना ज़रूरी है
    • LLM के बिना अभी इसी काम को थोड़ा धीरे करने से क्या रोक रहा है?
    • किसी को rental truck में पेट्रोल पंप से हज़ारों लीटर petrol भरकर अस्पताल में घुसा देने से क्या रोकता है? ज़्यादातर लोग आतंकवादी नहीं होते, और सिर्फ़ इसलिए कि कोई चीज़ जटिल अपराध योजना का एक हिस्सा बन सकती है, उसे खतरनाक मान लेना सही नहीं है
    • जो Pandora's box पहले ही खुल चुका है, उसे फिर से कैसे बंद किया जा सकता है? सुरक्षा का मतलब यह नहीं है कि पहुँच सिर्फ़ उन लोगों को दी जाए जिन्हें सरकार पसंद करती है
      AI executives की लालच ने यह डिब्बा खोला, और अब वे उसके परिणामों की ज़िम्मेदारी लिए बिना सिर्फ़ मुनाफ़ा बटोरने का रास्ता बेताबी से ढूँढ़ रहे हैं
    • सरकार और big tech companies पर भरोसा करना भी समाधान नहीं है। open weights भी आखिरकार किसी और के hardware पर ही चलते हैं
      अगर local पर चलाने के लिए आपके पास पैसा है, तो fraud से कहीं बदतर काम भी किए जा सकते हैं। किसी lobbyist से पूछ लीजिए