-
Jan के योगदान के लिए आभार और रणनीति की व्याख्या
- Jan के योगदान के लिए आभार, और यह विश्वास कि वह बाहर से भी मिशन में योगदान देते रहेंगे।
- उनके जाने से उठे सवालों पर हमारी रणनीति समझाना चाहते हैं।
-
AGI के जोखिम और अवसरों के प्रति जागरूकता बढ़ाना
- AGI के जोखिम और अवसरों को समझते हुए दुनिया को बेहतर तैयारी में मदद देने के लिए जागरूकता बढ़ाना।
- deep learning की scalability को कई बार प्रदर्शित किया और उसके अर्थ का विश्लेषण किया।
- AGI के लिए international governance की मांग की, जो उस समय लोकप्रिय विषय नहीं था।
- AI systems के catastrophic risk evaluation के विज्ञान की शुरुआत की।
-
सुरक्षित system deployment की बुनियाद तैयार करना
- लगातार अधिक सक्षम systems के सुरक्षित deployment के लिए बुनियाद तैयार की जा रही है।
- नई तकनीक को पहली बार सुरक्षित बनाना आसान काम नहीं है।
- GPT-4 को दुनिया के सामने सुरक्षित रूप से लाने के लिए बहुत काम किया गया।
- deployment से मिले सबक के आधार पर model behavior और misuse monitoring में लगातार सुधार किया जा रहा है।
-
भविष्य की चुनौतियाँ
- भविष्य अतीत की तुलना में अधिक कठिन होगा।
- नए models के महत्व के अनुरूप safety work को लगातार बढ़ाना होगा।
- पिछले साल पेश किए गए Preparedness Framework के जरिए इसे व्यवस्थित किया गया।
-
भविष्य के बारे में दृष्टि
- जैसे-जैसे models अधिक शक्तिशाली होंगे, वे दुनिया के साथ और गहराई से एकीकृत होंगे।
- उपयोगकर्ता केवल एक model और text input-output के साथ बात नहीं करेंगे, बल्कि कई multimodal models और tools से बने systems के साथ इंटरैक्ट करेंगे।
-
सुरक्षित और लाभकारी systems का विकास
- विश्वास है कि ऐसे systems लोगों के लिए बहुत लाभकारी और उपयोगी होंगे, और उन्हें सुरक्षित रूप से उपलब्ध कराया जा सकेगा।
- इसके लिए बहुत सा foundational work आवश्यक है।
- इसमें training के दौरान जुड़ने वाली चीज़ों पर सावधानीपूर्वक विचार और scalable oversight जैसी कठिन समस्याओं के समाधान शामिल हैं।
- इस दिशा में निर्माण करते हुए हम अभी नहीं जानते कि release safety standards तक कब पहुँचा जाएगा, लेकिन release schedule में देरी हो तो भी यह स्वीकार्य है।
-
feedback loop और कठोर testing
- यह स्वीकार है कि हम हर संभावित भविष्य परिदृश्य की कल्पना नहीं कर सकते।
- बहुत करीबी feedback loop, कठोर testing, हर चरण पर सावधानीपूर्वक विचार, world-class security, और safety व capability के संतुलन की आवश्यकता है।
- अलग-अलग time horizons पर safety research जारी रखने की योजना है।
- सरकारों और विभिन्न stakeholders के साथ सहयोग जारी रहेगा।
-
AGI की राह को समझना
- AGI तक पहुँचने के रास्ते को खोजने के लिए कोई सिद्ध playbook मौजूद नहीं है।
- अनुभवजन्य समझ आगे बढ़ने के रास्ते को दिशा देने में मदद करेगी।
- विशाल लाभ प्रदान करते हुए गंभीर जोखिमों को कम करने का काम किया जा रहा है।
- हम अपनी भूमिका को बहुत गंभीरता से लेते हैं और अपने कार्यों पर मिलने वाली प्रतिक्रिया की सावधानी से समीक्षा करते हैं।
1 टिप्पणियां
Hacker News टिप्पणियाँ
किसी भी पर्याप्त बड़ी tech company में legal, purchasing, IT जैसी risk mitigation organizations को उन risks के बीच के Overton window में ही काम करना पड़ता है जिनसे बचने के लिए कंपनी ने उन्हें रखा है, और executives की उस इच्छा के बीच कि जब उन्हें ज़रूरी लगे तो वे चीज़ों को तेज़ी से आगे बढ़ा सकें
risk से जुड़े लोग बार-बार देखते हैं कि उनकी बढ़ती हुई सख्त warnings को नज़रअंदाज़ किया जा रहा है या सीधे खारिज किया जा रहा है, और आखिर में या तो वे खुद को ढाल लेते हैं, या अपने ethical sense के खिलाफ जाने की वजह से छोड़ देते हैं
हो सकता है “AGI” और मानवता के विलुप्त होने के स्तर का डर इस बात को ज़रूरत से ज़्यादा नाटकीय बना रहा हो। AGI को “personal devices के इस्तेमाल पर कोई ban policy नहीं” से बदल दें, तब भी किसी startup में ऐसा case हुआ होगा कि safety lead policy को लेकर अड़ा रहा, management नहीं, और अंत में वह व्यक्ति कंपनी छोड़ गया
या फिर यह सचमुच उतना ही गंभीर और खतरनाक हो सकता है जितना दिखता है। बाहर से फैसला करना मुश्किल है
हालिया public back-and-forth चाहे सिर्फ internal drama या politics के बाहर आ जाने की बात हो, या कंपनी के अंदर इस issue को पर्याप्त गंभीरता से न लिया जा रहा हो—दोनों ही अच्छे संकेत नहीं हैं
यह organization धीरे-धीरे circus जैसी दिखने लगी है, और इससे भी बुरा, ऐसी organization जैसी जो असली मुद्दे से भटक गई हो। यह बात बहुत बेचैन करने वाली है कि ऐसे लोग इस technology के commercialization को “lead” कर रहे हैं और industry का माहौल सेट कर रहे हैं। खासकर जब ऐसा लगता है कि principles और moral reasons से जुड़े key लोग एक-एक करके निकल रहे हैं
आखिर में, लगता है हमें जल्द ही पता चल जाएगा कि इतना सारा पैसा, power, responsibility और trust Silicon Valley को सौंपने का नतीजा क्या होता है
instructions को refuse करने वाला superintelligent model उतना ही बेकार है जितना instructions न समझ पाने वाला dumb model। alignment team भी ज़्यादा powerful models बनाने की race का हिस्सा थी। अगर technical तौर पर और समझना हो तो OpenAI का आखिरी paper देखें: https://openai.com/index/weak-to-strong-generalization/
बेशक, अगर आप लोगों को यह convince कर दें कि large language models के पास embodied agency है और वे computer virus की तरह systems को तोड़कर बाहर निकल सकते हैं, तो इसे एक सामान्य safety issue की तरह package किया जा सकता है। लेकिन large language models text generators हैं। वे physical रूप से कुछ नहीं कर सकते, और वे तभी act कर सकते हैं जब हम उन्हें अनुमति दें और किसी चीज़ से connect करें
असली risk यह है कि लोग इस बात को नहीं समझते, और सिर्फ इसलिए कि OpenAI ने कहा है कि यह safe है, बहुत से लोग ऐसे models को dangerous situations से connect करना चाह सकते हैं। अगर training data तक access नहीं है, तो यह नहीं जाना जा सकता कि कौन-सा behavior सीखा गया है या model कैसे behave करेगा। training data हो तो इसे कहीं बेहतर समझा जा सकता है, और बची हुई uncertainty सिर्फ implementation की nondeterminism होती है। फिर भी कम से कम यह एक explainable stochastic process है
उन्होंने safety team को lead करने दिया, और नतीजा यह हुआ कि product से सभी नफरत करने लगे। लेकिन अब यह दिलचस्प है कि जो company आम तौर पर best-in-class products बनाती है, उसे tech community फिर इसलिए नापसंद कर रही है क्योंकि उसने safety team को product development पर हावी नहीं होने दिया
नतीजतन यह एक ऐसा नाटक बन जाता है जहाँ doublethink और doublespeak standard हो जाते हैं, और अगर बने रहना है तो लागू laws की भावना के बजाय उनके शब्दों की सबसे कम बोझिल व्याख्या और उस नाटक को ही ज़्यादा महत्व देना पड़ता है
sustainable safety culture की reality को बहुत practical तरीके से सोचने के लिए [1] भी देखने लायक है
[1] https://github.com/lorin/resilience-engineering/raw/master/b...
यह बात कि AI पेपरक्लिप बनाने के लिए मानवता को मिटा देगा, अभी हो रहे असली खतरों से ध्यान भटकाती है, इसलिए चिढ़ होती है
ठग अभी अपने सुनहरे दौर में हैं, और उनकी क्षमताएं और बेहतर व आसान होती जाएंगी। लोग hallucinated outputs पर आंख मूंदकर भरोसा कर रहे हैं और सचमुच और बेवकूफ बन रहे हैं। सामान्य बातचीत भी टूट रही है, क्योंकि भरोसा नहीं हो पाता कि सामने वाले ने वास्तविक चर्चा के बजाय AI की बकवास copy-paste तो नहीं कर दी
हम AI girlfriend products पहले ही देख चुके हैं, और उनमें से कुछ के user numbers देखकर अपनी species के भविष्य पर भरोसा नहीं बनता
सबसे बड़ी समस्या यह है कि हर तरह के सनकी top executives और MBA type लोग किसी भी तरह आखिरी पैसे तक निचोड़ने में ही रुचि रखते हैं। इसमें Microsoft-backed कंपनी के मालिकाना हक वाले घटिया chatbot से हजारों लोगों को एक साथ निकालकर replace करना भी शामिल है
मुझे नहीं लगता कि AI nuclear weapons launch करेगा, लेकिन यह जरूर मानता हूं कि यह हर किसी की jobs replace करेगा और ताकतवरों को और ताकतवर बनाएगा। “लेकिन basic income तो है!” AI का खुशामदी चिल्लाएगा, पर जादुई मंत्र बोल देने से असली दुनिया नहीं बदलती
अगर किसी काम का मकसद जितनी जल्दी हो सके उतनी ज्यादा बकवास पैदा करना है, तो large language models बेहतरीन होंगे
smartphones नजर नहीं आ रहे थे, लोग शारीरिक रूप से आकर एक-दूसरे से बात कर रहे थे, local food खरीद रहे थे, हंस रहे थे और एक drink ले रहे थे। फिर दोस्त के घर जाकर खाना खाते हैं या outdoor activity करते हैं। वहीं जो लोग हमेशा online चिपके रहते हैं, उनके लिए तस्वीर वाकई निराशाजनक लगती है
अजीब तरह से, कई executives सचमुच यह मानते दिखते हैं कि customers को value देने से ज्यादा labour cost minimize करना जरूरी है
virtual girlfriends वाली समस्या से भी सहमत हूं। इसमें VR जोड़ दें, तो सामाजिक रूप से और ज्यादा अलग-थलग होते जा रहे छोटे लड़के इस technology से अपनी इच्छाएं पूरी करने लगेंगे
यह सच है कि AI बहुत सारा automated output बना सकता है, लेकिन मेरा तर्क है कि वह लगभग हमेशा, ज्यादा से ज्यादा, औसत ही होता है
यह कहने को बहुत कुछ है कि AI का खतरा AI खुद नहीं, बल्कि उसे operate और fund करने वाले लोगों से आता है। AI खुद खतरनाक है, यह बात पूरी तरह बकवास है
large language models कुछ हद तक उपयोगी हैं, लेकिन मेरे इस्तेमाल के हिसाब से वे बहुत basic tasks से ज्यादा कठिन कामों के लिए अभी तैयार नहीं हैं
AI safety को जोर-शोर से उठाना और doom का माहौल बनाना OpenAI की अहमियत बढ़ाने और large language models की क्षमताओं को बढ़ा-चढ़ाकर दिखाने की strategy जैसा लगता है। यह “AI” युग मशीनों के सोच सकने का नाटक करने और उन मशीनों को बनाने वालों के prophet बनने का नाटक करने के बारे में है
दशकों से कई लोग safety की वकालत करते रहे हैं। उन्होंने AI की trajectory का अनुमान लगाया और उसे बनाया, वे सही थे, और हमें सुनना चाहिए
“अगर हम मानते हैं कि सचमुच intelligent machines का प्रभाव गहरा हो सकता है, और इसके foreseeable future में होने की छोटी सी भी संभावना है, तो पहले से तैयारी करने की कोशिश करना समझदारी है। अगर हम तब तक इंतजार करें जब तक intelligent machines के जल्द आने की संभावना बहुत ज्यादा न दिखने लगे, तो संबंधित मुद्दों पर पर्याप्त चर्चा और विचार करने के लिए बहुत देर हो जाएगी।”
~ DeepMind co-founder, 2008
https://www.vetta.org/documents/Machine_Super_Intelligence.p...
यह काफी संभव है कि ये लोग बेहद भोले हों और अपने काम के empirical basis को बहुत कम समझते हों
“AGI के लिए international governance लोकप्रिय होने से पहले से इसकी मांग की” कहते हैं, लेकिन जैसे ही सचमुच ऐसी governance लागू होने लगी, EU से हटने की धमकी दे दी
वे कहते हैं, “हमने increasingly capable systems को safely deploy करने की नींव रखी है। किसी नई technology को पहली बार safe बनाने का तरीका पता करना आसान नहीं है,” लेकिन खासकर तब और मुश्किल है जब OpenAI बिल्कुल open नहीं है
वे कहते हैं, “training के दौरान क्या connect होता है इसके बारे में सावधानी, scalable oversight जैसी कठिन समस्याओं के solutions, नए kinds of safety work,” लेकिन यही तो EU मांग रहा था। copyright वाली sources का disclosure, foundation model documentation आदि मांगने पर उन्होंने हटने की धमकी दी
“हमें लगता है कि empirical understanding आगे की दिशा बता सकती है। हम विशाल…” का अनुवाद यह है: “हम जितना हो सके closed रहना चाहते हैं, पर्याप्त moat और हम पर निर्भर companies हासिल करना चाहते हैं, ताकि relevant और indispensable बने रहें”
वे भी मरना नहीं चाहते, इसलिए यह मानने की जरूरत नहीं कि सबको safe रखने की उनके पास कोई incentive नहीं है
कुछ तथ्य हैं
यह Jan के दावे का जवाब है: https://x.com/janleike/status/1791498174659715494
जवाब में AI alignment के बारे में कोई ठोस बात नहीं है। हमें नहीं पता कि AI alignment कब विकसित हो पाएगा। AI ethics और AI bias ज़रूरी हैं, लेकिन वे AI alignment से अलग चिंताएँ हैं। हमें यह भी नहीं पता कि अस्तित्वगत जोखिम पैदा करने वाली AI कब विकसित होगी
अगर AI alignment से पहले ही अस्तित्वगत जोखिम पैदा करने वाली AI विकसित हो जाती है, तो मानवता के विलुप्त होने का कुछ जोखिम है। OpenAI मानवता के विलुप्त होने का जोखिम रखने वाली AI के विकास की अग्रिम पंक्ति में है, फिर भी AI alignment के लिए पर्याप्त संसाधन नहीं दे रहा है
ChatGPT की subscription लेने में असहजता होने लगी है
जैसा कि कई लोग सहमत हैं, AI का खतरा कोई बेकाबू अतिमानवीय सत्ता नहीं है
खतरा कहीं ज़्यादा नज़दीकी और वास्तविक है। जैसे बड़े language models को chat moderation में लगाने पर statements की गलत पहचान करना, 100-page military report summarize करते हुए गलत निष्कर्ष निकालना, या news में कुछ details hallucinate कर देना जो सालों बाद historical fact मान ली जाएँ
ऐसे outcomes की long tail बड़े language models के इस्तेमाल के scale जितनी ही बढ़ेगी। कोई अब तक अदृश्य single issue दूसरे issues से कहीं ज़्यादा असर डाल सकता है। इससे होने वाली मौतें अतिरिक्त regulation लाएँगी, और बाकी outcomes बस हमारी नई जीवन-शैली बन जाएँगे
भले ही machine वही काम करने वाले इंसान से कम accurate हो, उसे audit करना आसान होता है, उसका behavior repeatable होता है और वह scalable होती है। कल्पना की जा सकने वाली किसी युद्ध-संबंधी गलती से बहुत लोग मर भी जाएँ, तो भी इंसान उसके बजाय बेहतर काम कर रहे होंगे, इसलिए कुल मिलाकर यह फिर भी बेहतर हो सकता है
अंत में यह trade-off है
“Sam और Greg” की तरह सिर्फ first names इस्तेमाल करके कंपनी से friendly relationship दिखाने का तरीका खटकता है
casual और human दिखने की कोशिश fake लगती है, और साथ ही pop culture में इन्हें सिर्फ नाम से elevate करने वाला रवैया arrogant लगता है
“उदाहरण के लिए, हमारी team ने GPT-4 को सुरक्षित रूप से दुनिया में लाने के लिए बहुत काम किया” — मज़ाक कर रहे हो क्या?
जब OpenAI AGI को ठीक से define या test भी नहीं कर पा रहा है, तो मुझे नहीं लगता कि हमें superalignment की चिंता करनी चाहिए
“model moderation” कहने पर उतना sexy नहीं लगेगा, है न?
AGI मानवता को नष्ट कर देगी—इस डर की जड़ शायद इस संदेह में है कि कोई logically सोचने वाली machine सचमुच इस निष्कर्ष पर पहुँचेगी कि हमें हटा दिया जाना चाहिए
अगर AGI को paperclip factory चलाने को कहा जाए, तो हो सकता है किसी दिन लौटने पर galaxy का अधिकतर carbon और iron paperclips में बदल चुका हो। वहाँ की स्थानीय वनस्पति और जीव-जंतुओं का विलुप्त होना उस drive का सिर्फ byproduct होगा। सरल overview के लिए [2] देखें
[2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
लेकिन इंसानों को विलुप्त क्यों करना ज़रूरी है? जैव संरक्षण और research के लिए हमारे और अन्य जीवों के लिए nature reserves बना दिए जाएँ, ऐसा क्यों नहीं? ऐसे तरीके इंसानी समाजों में हज़ारों सालों से मौजूद रहे हैं
अगर हम अपने जैसा लेकिन कहीं ज़्यादा सक्षम कुछ बना दें, तो हम डर जाएंगे और मुश्किल में पड़ जाएंगे