Gemini Pro 1.5 को एक हफ्ते इस्तेमाल करने के बाद - सच में शानदार

• Google का नया private beta LLM, Gemini Pro 1.5, पिछले मॉडलों की तुलना में कहीं बेहतर प्रदर्शन दिखाता है
• Gemini 1.5 Pro
  • पूरे उपन्यास को पढ़कर बीच में छिपे हुए दृश्य के बारे में विस्तार से समझाता है
  • पूरे codebase को पढ़कर यह सुझाव देता है कि नया feature कहाँ जोड़ना है और example code भी सुझाता है
  • Readwise में मौजूद सभी reading highlights को पढ़कर निबंध लिखने के लिए highlights चुनता है
• एक ही prompt में अधिकतम 10 लाख tokens प्रोसेस कर सकता है
  • दूसरे मॉडलों की तुलना में Gemini Pro 1.5 का context window बहुत बड़ा है (GPT-4 Turbo 128000 तक है, इसलिए यह लगभग 8 गुना है)
  • बड़े context window का उपयोग करने पर भी बड़े prompts को बेहतरीन तरीके से संभालता है
  • जहाँ दूसरे मॉडलों का प्रदर्शन prompt का आकार बढ़ने पर घट जाता है, Gemini में ऐसी समस्या नहीं है
• ध्यान देने योग्य बातें
  • Gemini Pro 1.5 अभी भी private beta में है, और सार्वजनिक रिलीज़ पर इसका प्रदर्शन बदल सकता है
  • Gemini Pro 1.5 की processing speed धीमी है, खासकर बड़े requests के लिए
  • OpenAI को अभी बहुत कुछ पकड़ना है, और information retrieval feature अब भी महत्वपूर्ण है

[dahada]

मैंने एक उपन्यास पेस्ट करके उससे बातचीत करने की कोशिश की, लेकिन थोड़ा भी यौन संकेत वाला अभिव्यक्ति आते ही यह प्रोसेस करने से मना कर देता है। फ़िल्टर स्तर कम करने पर भी कुछ उपन्यास अब भी काम नहीं करते। लगता है कि इसने विस्तारशीलता से ज़्यादा सुरक्षा को चुना है।

[ajh508]

अब तक जब भी कुछ नया आता था, लोग बहुत हंगामा करते थे, लेकिन लगता है कि openAI को पार करने वाला सच में कुछ भी नहीं था..
व्यक्तिगत तौर पर, मैं उम्मीद करता हूँ कि सभी backbone को Mamba से बदलने वाला LLM जल्दी आए

[xguru]

Hacker News प्रतिक्रियाएँ

• AI को पूरी किताब का टेक्स्ट खिलाने का विचार मुझे पसंद है। उपन्यास पढ़ते समय मैं अक्सर किरदारों को याद नहीं रख पाता; अच्छा होगा अगर e-reader में किसी नाम को highlight करने पर उसे पता हो कि मैं 'Neuromancer' के पेज 85 पर हूँ और वह बिना spoiler दिए जवाब दे। या फिर ऐसी पाठ्यपुस्तकें हों जो सवाल हल करते-करते अटक जाने पर अच्छे study partner की तरह मदद और hints दें।
• क्या आप पक्के तौर पर कह सकते हैं कि Google की identity politics की वजह से यह किताबों के तथ्यों को नहीं बदलेगा? जब इसे कोई "समस्याग्रस्त" किताब दी जाएगी तो क्या यह सामग्री को adjust करेगा? इसी वजह से मेरे लिए यह पूरी तरह बेकार है।
• ऐसा लेख जो इस विषय पर पढ़ने लायक सटीक उदाहरण, संतुलन और सावधानियाँ दे, और अपने हितों का खुलासा करे (जैसे: 'LlamaIndex' में निवेशक होना)।
• मैं सबसे ज़्यादा इस बात को लेकर उत्साहित हूँ कि RAG को छोड़े बिना इसे इसके साथ मिलाकर विशाल context window का उपयोग कैसा होगा। अगर आप पूरी किताब parse करके प्रासंगिक हिस्सों की पहचान कर सकते हैं और पूरी किताब को context window में डाल सकते हैं, तो इसका मतलब है कि पूरी reference library के प्रासंगिक हिस्सों को भी context window में डाला जा सकता है, और यह बहुत आशाजनक है।
• कुछ लोगों ने इसे पहले ही कुछ दिनों तक इस्तेमाल किया है, और नतीजा यह है कि यह सिर्फ लंबाई नहीं बल्कि उपयोगिता के लिहाज़ से context window में सचमुच प्रगति है। यह दूसरे models की तुलना में इसे कहीं बेहतर तरीके से इस्तेमाल करता है। अफसोस है कि उन्होंने यह साझा नहीं किया कि यह कैसे संभव हुआ।
• क्या ऐसा करने में लागत बहुत ज़्यादा नहीं आएगी? gpt-4 को maximum तक भरने पर अभी भी एक interaction में $1.28 लगते हैं! क्या Gemini उससे बहुत सस्ता है?
• NSA शायद इस तकनीक से खुलने वाली संभावनाओं को लेकर हाथ मल रही होगी। वे इसका इस्तेमाल उस डेटा को query करने में कर सकते हैं जिसे वे सालों से मेहनत से store करते आ रहे हैं।
• यह पूरे codebase को पढ़कर सुझाव देता है कि नई feature कहाँ जोड़ी जाए, और sample code भी देता है। मेरी आशा है कि यह drum machine के आविष्कार जैसा हो, जिसने drummers को खत्म नहीं किया, न कि automobile के आविष्कार जैसा, जिसने घोड़ागाड़ी को खत्म कर दिया।
• ये models सार्वजनिक होने पर अक्सर अलग तरह से (और बदतर) काम करते हैं, और जब Gemini को Google के पैमाने पर चलाया जाएगा तब क्या होगा, यह पता नहीं। मैं ईमानदारी से उम्मीद करता हूँ कि Google, ChatGPT की गिरती प्रतिष्ठा से सीखे, और कोई ऐसा तरीका निकाले जिससे model अपना सर्वश्रेष्ठ प्रदर्शन बनाए रख सके। चाहे access सीमित करना पड़े, कीमत बढ़ानी पड़े, या दोनों—मैं चाहता हूँ कि सार्वजनिक होने पर भी इस model के साथ उच्च-गुणवत्ता वाला अनुभव मिले।