- सुरक्षित और शक्तिशाली AI सिस्टम प्रोडक्ट "Safe Superintelligence" बनाने का लक्ष्य रखने वाली कंपनी
- सुरक्षा और प्रदर्शन, दोनों को साथ लेकर innovative engineering और scientific breakthroughs के जरिए समस्याओं को हल करने का लक्ष्य
- प्रदर्शन को जितनी जल्दी हो सके बेहतर बनाते हुए भी हमेशा सुरक्षा को सर्वोच्च प्राथमिकता देने की योजना
- केवल SSI पर फोकस करके management overhead, product cycle, commercial pressure आदि से सुरक्षित रहना
- सह-संस्थापक
- Ilya Sutskever : OpenAI के सह-संस्थापक और पूर्व Chief Scientist
- Daniel Gross : Cue के सह-संस्थापक, जो Apple द्वारा अधिग्रहित किया गया search engine था. अधिग्रहण के बाद Apple में AI/search की ज़िम्मेदारी संभाली.
- मुख्य रूप से GitHub के पूर्व CEO Nat Friedman के साथ मिलकर कई startups में निवेश: Instacart, Coinbase, Airtable, Figma, Notion,..
- Daniel Levy : OpenAI की पूर्व Optimization टीम के लीड
1 टिप्पणियां
Hacker News की राय
खुशी है कि Ilya AI की प्रगति में योगदान दे पाएंगे। लेकिन यह जिज्ञासा है कि वे उन कंपनियों की तरह ऊँचा मुआवज़ा कैसे देंगे जो व्यावसायिक रूप से अधिक लाभदायक हैं। शायद वे वैचारिक रूप से प्रेरित लोगों या पहले से आर्थिक रूप से स्वतंत्र लोगों को ढूंढ सकें। साथ ही, जब दूसरी कंपनियाँ अरबों डॉलर लगाकर विशाल GPU data center बना रही हैं, तब पर्याप्त computing resources हासिल करना भी कठिन होगा।
मैं समझता हूँ कि "superintelligence" इंसानों के लिए ख़तरा बन सकती है। लेकिन इससे भी बड़ी चिंता यह है कि "superintelligence" भाग न जाए, बल्कि कुछ खास इंसान उसे नियंत्रित करें। इतिहास में बड़े अधिकार वाले इंसानों ने क्या किया है, यह हम जानते हैं। शीत युद्ध के दौर की nuclear weapons race इसका अच्छा उदाहरण है।
इस बात से सहमत हूँ कि business incentives असुरक्षित AI बनाते हैं। social media recommendation algorithms पहले से ही समाज और खासकर युवाओं के लिए बहुत ख़तरनाक हैं। जब negative externalities मौजूद हों, तो सरकारों को उचित regulation बनाना चाहिए।
Ilya की समस्या safe AI बनाना नहीं, बल्कि safe business बनाना है। आज safe AI बनाना संभव हो सकता है, लेकिन अगला manager उसके साथ कैसा व्यवहार करेगा, यह नहीं पता। अगर safe business की समस्या हल हो जाए, तो बहुत-सी सामाजिक हानियाँ दूर की जा सकती हैं।
अगर superintelligence हासिल की जा सकती है, तो मैं safety को लेकर निराशावादी हूँ। अपने से अधिक बुद्धिमत्ता को sandbox करना असंभव-सा लगता है। superintelligence नए attack vectors सोच सकती है। फ़िल्म "Transcendence" की तरह, वह नई भौतिक खोजों के ज़रिए जादू जैसी चीज़ें कर सकती है।
यह अनुमान है कि business model, SSL की तरह, एक external protocol होगा। जब कई तरह के approaches मौजूद हों, तब defined protocols और standards के बिना "safety" का product layer के रूप में लागू होना संभव नहीं लगता। Ilya ऐसे व्यक्ति लगते हैं जिनके पास इसे लागू करने की विश्वसनीयता और तकनीकी क्षमता है।
लगता है Ilya सिर्फ अपने नाम के दम पर ही लगभग असीमित funding जुटा सकते हैं। मैं "सफल होने तक कोई product नहीं" वाली दिशा से सहमत नहीं हूँ। real-world feedback superintelligence विकसित करने में महत्वपूर्ण होगा। लेकिन मैं इस बात से सहमत हूँ कि superintelligence तक पहुँचना संभव है।
यह समझाने की ज़रूरत है कि "single focus" product cycle या management overhead को कैसे समाप्त कर देता है।
यह जानने की जिज्ञासा है कि safe superintelligence, बिना रोक-टोक वाली superintelligence से प्रतिस्पर्धा कर पाएगी या नहीं। अगर दूसरी कंपनियाँ safety पर समय खर्च किए बिना उसी लक्ष्य का पीछा करें, तो क्या प्रतिस्पर्धा संभव होगी, इस पर संदेह है।
मैंने Yann LeCun का एक interview देखा था, जिसमें वे LLM का उपयोग करके "वास्तविक" intelligence बनाने के विचार को ख़ारिज करते हैं। वे PhD students को सलाह देते हैं कि इस tech पर नहीं, अगली tech पर research करें। जिज्ञासा है कि इसे Ilya के अभी के काम के साथ कैसे मिलाया जा सकता है। यह भी जानना है कि क्या Ilya किसी दूसरी tech का उपयोग करने की योजना बना रहे हैं।