Sam Altman और Greg Brockman की ओर से OpenAI Safety शोधकर्ता के दावों पर प्रतिक्रिया

 (twitter.com/gdb)
1 पॉइंट द्वारा GN⁺ 2024-05-20 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • Jan के योगदान के लिए आभार और रणनीति की व्याख्या

    • Jan के योगदान के लिए आभार, और यह विश्वास कि वह बाहर से भी मिशन में योगदान देते रहेंगे।
    • उनके जाने से उठे सवालों पर हमारी रणनीति समझाना चाहते हैं।

  • AGI के जोखिम और अवसरों के प्रति जागरूकता बढ़ाना

    • AGI के जोखिम और अवसरों को समझते हुए दुनिया को बेहतर तैयारी में मदद देने के लिए जागरूकता बढ़ाना।
    • deep learning की scalability को कई बार प्रदर्शित किया और उसके अर्थ का विश्लेषण किया।
    • AGI के लिए international governance की मांग की, जो उस समय लोकप्रिय विषय नहीं था।
    • AI systems के catastrophic risk evaluation के विज्ञान की शुरुआत की।

  • सुरक्षित system deployment की बुनियाद तैयार करना

    • लगातार अधिक सक्षम systems के सुरक्षित deployment के लिए बुनियाद तैयार की जा रही है।
    • नई तकनीक को पहली बार सुरक्षित बनाना आसान काम नहीं है।
    • GPT-4 को दुनिया के सामने सुरक्षित रूप से लाने के लिए बहुत काम किया गया।
    • deployment से मिले सबक के आधार पर model behavior और misuse monitoring में लगातार सुधार किया जा रहा है।

  • भविष्य की चुनौतियाँ

    • भविष्य अतीत की तुलना में अधिक कठिन होगा।
    • नए models के महत्व के अनुरूप safety work को लगातार बढ़ाना होगा।
    • पिछले साल पेश किए गए Preparedness Framework के जरिए इसे व्यवस्थित किया गया।

  • भविष्य के बारे में दृष्टि

    • जैसे-जैसे models अधिक शक्तिशाली होंगे, वे दुनिया के साथ और गहराई से एकीकृत होंगे।
    • उपयोगकर्ता केवल एक model और text input-output के साथ बात नहीं करेंगे, बल्कि कई multimodal models और tools से बने systems के साथ इंटरैक्ट करेंगे।

  • सुरक्षित और लाभकारी systems का विकास

    • विश्वास है कि ऐसे systems लोगों के लिए बहुत लाभकारी और उपयोगी होंगे, और उन्हें सुरक्षित रूप से उपलब्ध कराया जा सकेगा।
    • इसके लिए बहुत सा foundational work आवश्यक है।
    • इसमें training के दौरान जुड़ने वाली चीज़ों पर सावधानीपूर्वक विचार और scalable oversight जैसी कठिन समस्याओं के समाधान शामिल हैं।
    • इस दिशा में निर्माण करते हुए हम अभी नहीं जानते कि release safety standards तक कब पहुँचा जाएगा, लेकिन release schedule में देरी हो तो भी यह स्वीकार्य है।

  • feedback loop और कठोर testing

    • यह स्वीकार है कि हम हर संभावित भविष्य परिदृश्य की कल्पना नहीं कर सकते।
    • बहुत करीबी feedback loop, कठोर testing, हर चरण पर सावधानीपूर्वक विचार, world-class security, और safety व capability के संतुलन की आवश्यकता है।
    • अलग-अलग time horizons पर safety research जारी रखने की योजना है।
    • सरकारों और विभिन्न stakeholders के साथ सहयोग जारी रहेगा।

  • AGI की राह को समझना

    • AGI तक पहुँचने के रास्ते को खोजने के लिए कोई सिद्ध playbook मौजूद नहीं है।
    • अनुभवजन्य समझ आगे बढ़ने के रास्ते को दिशा देने में मदद करेगी।
    • विशाल लाभ प्रदान करते हुए गंभीर जोखिमों को कम करने का काम किया जा रहा है।
    • हम अपनी भूमिका को बहुत गंभीरता से लेते हैं और अपने कार्यों पर मिलने वाली प्रतिक्रिया की सावधानी से समीक्षा करते हैं।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-05-20
Hacker News राय

Hacker News टिप्पणियों का संक्षिप्त सार

  • AI के खतरों को लेकर चिंताएँ

    • यह चर्चा कि AI दुनिया का अंत ले आएगा, अभी सामने आ रहे वास्तविक खतरों से ध्यान भटका देती है।
    • ठग AI का इस्तेमाल करके और अधिक कुशल होते जा रहे हैं।
    • लोग AI के गलत आउटपुट पर आँख मूंदकर भरोसा कर रहे हैं, जिससे वे धीरे-धीरे और अधिक मूर्ख बनते जा रहे हैं।
    • वास्तविक बातचीत की जगह AI-जनरेटेड सामग्री को copy/paste करने से सामान्य संचार व्यवस्था टूट रही है।
    • AI girlfriend प्रोडक्ट्स के आने से मानवता के भविष्य पर भरोसा कम हो रहा है।
    • कंपनियों के top executives लागत घटाने के लिए बड़े पैमाने पर layoffs कर रहे हैं और उनकी जगह AI chatbots ला रहे हैं।
    • चिंता यह नहीं कि AI परमाणु हथियार दाग देगा, बल्कि यह कि वह सबकी नौकरियाँ ले लेगा और सत्ता में बैठे लोगों को और शक्तिशाली बना देगा।

  • बड़ी कंपनियों में risk mitigation

    • बड़ी कंपनियों में risk mitigation leadership को legal, procurement, IT आदि में जोखिमों का संतुलित प्रबंधन करना पड़ता है।
    • अगर risk mitigation की ज़िम्मेदारी निभाने वाले लोगों को बार-बार नज़रअंदाज़ किया जाए, तो वे अंततः चले जाते हैं।
    • AGI जैसी संभावित मानव-विलुप्ति-स्तर की आशंका बढ़ा-चढ़ाकर पेश की गई हो सकती है।
    • अगर AGI की जगह "BYOD policy नहीं" रख दें, तो यह उन startup मामलों जैसा लगता है जहाँ safety प्रभारी policy पर अड़े रहते हैं और अंत में कंपनी छोड़ देते हैं।

  • LLM की उपयोगिता और सीमाएँ

    • LLM बुनियादी कामों के लिए उपयोगी हैं, लेकिन अधिक जटिल कामों के लिए अभी तैयार नहीं हैं।
    • AI safety को लेकर बढ़ा-चढ़ाकर दी गई चेतावनियाँ OpenAI की अहमियत बढ़ाने की रणनीति हो सकती हैं।
    • मौजूदा AI दौर शायद सिर्फ मशीनों के सोच सकने का दिखावा है।

  • AI के वास्तविक खतरे

    • AI का खतरा किसी अनियंत्रित अतिमानवीय सत्ता में नहीं, बल्कि अधिक वास्तविक और रोज़मर्रा की समस्याओं में है।
    • chat moderation में LLM लागू करने पर गलत speech recognition।
    • सैन्य रिपोर्टों के सार से गलत निष्कर्ष निकालना।
    • समाचारों में बारीकियों को गलत समझ लेना और उन्हें ऐतिहासिक तथ्य मान लिया जाना।
    • इन परिणामों का दीर्घकालिक प्रभाव LLM के उपयोग जितना ही बड़ा हो सकता है।

  • AI alignment और ethics

    • AI alignment पर कोई ठोस विवरण नहीं है।
    • यह नहीं पता कि AI alignment कब विकसित होगा।
    • AI ethics और AI bias, AI alignment से अलग मुद्दे हैं।
    • AI alignment विकसित होने से पहले ऐसा AI बन जाने का जोखिम है जो मानव-विलुप्ति का कारण बन सकता है।
    • OpenAI, AI alignment के लिए पर्याप्त resources आवंटित नहीं कर रहा है।

  • कॉर्पोरेट भाषा के उपयोग पर अविश्वास

    • "Sam और Greg" जैसे नामों का उपयोग कर निकटता दिखाना बनावटी लगता है।
    • यह दावा कि GPT-4 को सुरक्षित रूप से लॉन्च करने के लिए बहुत काम किया गया, भरोसेमंद नहीं लगता।
    • AGI को परिभाषित या test किए बिना superalignment की चिंता करने की ज़रूरत नहीं है।
    • यह डर कि AGI मानवता को नष्ट कर देगा, इस शक से आता है कि तर्कसंगत रूप से सोचने वाली कोई इकाई यह निष्कर्ष निकाल सकती है कि उसे मानवता को हटा देना चाहिए।
    • कॉर्पोरेट भाषा बनावटी और अर्थहीन अभिव्यक्तियों से भरी हुई लगती है।