प्रभावशाली AI research कैसे करें

 (github.com/okhat)
14 पॉइंट द्वारा GN⁺ 2024-09-26 | 3 टिप्पणियां | WhatsApp पर शेयर करें

1. paper नहीं, project में निवेश करें

  • research की शुरुआती अवस्था में paper publish करना महत्वपूर्ण होता है, लेकिन लंबे समय में papers की संख्या से अधिक research का प्रभाव और बड़ा विज़न महत्वपूर्ण होता है
  • research को अलग-अलग papers के रूप में नहीं, बल्कि एक बड़े vision या paradigm के रूप में सोचना चाहिए
  • open source model, system, framework, benchmark जैसे लगातार विकसित होने वाले artifacts को बनाए रखना महत्वपूर्ण है

2. सही समय पर ऐसा problem चुनें जिसमें बड़ा scale और "ripple effect" हो

  • problem समयानुकूल होना चाहिए। उदाहरण के लिए, ऐसा problem ढूँढना अच्छा है जो 2-3 साल बाद 'hot' हो जाए
  • उसमें बड़ा "ripple effect" होना चाहिए, ताकि वह कई derivative problems को प्रभावित कर सके
  • ऐसा problem चुनना चाहिए जिसमें improvement की पर्याप्त गुंजाइश हो। उदाहरण के लिए, समय के साथ उसे 20 गुना तेज़ या 30% अधिक प्रभावी बनाया जा सके, ऐसी उम्मीद होनी चाहिए

3. दो कदम आगे सोचें और तेज़ी से iterate करें

  • तुरंत समाधान खोजने के बजाय दो कदम आगे सोचने की ज़रूरत है
  • पहले यह समझना चाहिए कि लोग सबसे अधिक किस रास्ते पर जाएंगे, फिर उस रास्ते की सीमाओं को समझकर उन्हें हल करने पर ध्यान देना चाहिए
  • problem के अलग-अलग versions पर तेज़ी से iterate करना और feedback लेना महत्वपूर्ण है

4. अपने काम को public करें और ideas को popularize करें

  • paper प्रकाशित करने के बाद तुरंत अगले paper पर न बढ़ें; अपने काम को public करें और लोगों से सक्रिय रूप से संवाद करें
  • paper को arXiv पर public करें और thread के माध्यम से उसकी घोषणा करें, लेकिन शुरुआत ठोस और आसानी से समझ आने वाले दावों से करें
  • paper के प्रकाशित होने के बाद भी ideas को लगातार promote करना और community से संवाद बनाए रखना चाहिए
  • ideas और scientific communication केवल एक बार paper जारी करने तक सीमित नहीं होने चाहिए, बल्कि पूरे साल जारी रहने चाहिए

5. रुचि पैदा करें और open source research को बढ़ाएँ

  • सिर्फ GitHub पर code और README डाल देना पर्याप्त नहीं है
  • अच्छा open source research, अच्छा research होने के साथ-साथ स्पष्ट downstream usefulness और कम friction भी होना चाहिए
  • ऐसा code release बनाना चाहिए जो usable, useful और accessible हो
  • यह समझाना चाहिए कि साफ़ तौर पर दिखने वाले alternatives क्यों विफल होते हैं, और धैर्य रखना चाहिए
  • अलग-अलग user categories को समझकर उसी के अनुसार project को विकसित करना चाहिए
  • रुचि को community में बदलकर उसे बनाना और बढ़ाना महत्वपूर्ण है

6. नए papers के माध्यम से project में निवेश जारी रखें

  • open source project और research अलग-अलग चीज़ें नहीं हैं
  • open source में निवेश किया गया अधिकांश समय नए और रोचक research करने में ही जा सकता है
  • open source प्रयासों की अग्रिम पंक्ति में होने से नए problems को बहुत जल्दी सहज रूप से पहचाना जा सकता है, और collaborators व feedback भी मिल सकते हैं
  • उदाहरण के लिए, ColBERT और DSPy कई papers और collaborators के माध्यम से विकसित हुए हैं
  • बनाई गई community आपके approach पर सीधा feedback देती है और ऐसे बेहतरीन collaborators तक पहुँच देती है जो problem के महत्व को समझते हैं

GN⁺ का सार

  • यह लेख AI research में open source projects के माध्यम से प्रभाव को अधिकतम करने के तरीकों पर चर्चा करता है
  • यह इस बात पर ज़ोर देता है कि papers की संख्या से अधिक बड़ा vision और एक consistent project महत्वपूर्ण है
  • यह समयानुकूल problem चुनने, दो कदम आगे सोचने, काम को public करने और popularize करने, तथा open source project को बढ़ाने के महत्व को समझाता है
  • यह ज़ोर देता है कि research और open source project अलग नहीं हैं, बल्कि एक-दूसरे को पूरक करते हुए साथ विकसित हो सकते हैं

संबंधित पढ़ाई

3 टिप्पणियां

 
kandk 2024-09-26

इसलिए आजकल AI research ग्रेजुएट स्कूल में नहीं, बल्कि Big Tech में होती है।
Big Tech में ग्रेजुएट स्कूलों की तुलना में ज़्यादा नए papers निकलते हैं। सच में, क्या अजीब दुनिया है..
 
nutella 2024-09-27

कई बार तो वे ग्रेजुएट छात्रों को कुछ महीनों के लिए इंटर्न के रूप में रखते हैं, साथ में रिसर्च करते हैं और पेपर भी प्रकाशित करते हैं।
 
GN⁺ 2024-09-26
Hacker News राय

  • "प्रोजेक्ट्स में निवेश करो, papers में नहीं" जैसी सलाह PhD छात्रों या शुरुआती शोधकर्ताओं के लिए व्यावहारिक नहीं है

    • अगर बहुत सारे papers प्रकाशित न हों, तो करियर में आगे बढ़ना मुश्किल होता है
    • दिलचस्प विषयों पर समय लगाना चाहते हैं, लेकिन अगर paper न निकले तो करियर को बड़ा नुकसान हो सकता है

  • किसी research program को सफलतापूर्वक चलाने के लिए सही समय की समस्या चुनना और ideas को व्यापक रूप से फैलाना महत्वपूर्ण है

    • feedback के जरिए research की दिशा को समायोजित किया जा सकता है और collaboration को बढ़ावा दिया जा सकता है

  • AI शोधकर्ताओं के लिए 1-2 साल के भीतर उपयोगी विषय चुनना industry में जाने का एक कारण बन सकता है

    • दीर्घकालिक research का प्रभाव अधिक बड़ा हो सकता है
    • शुरुआती research समय के साथ बड़े परिणाम दे सकती है

  • papers का वास्तविक दुनिया पर पड़ने वाला प्रभाव मापना कठिन है

    • AI research में scale महत्वपूर्ण है, और इसके लिए funding व resources की आवश्यकता होती है
    • बहुत सारे papers प्रकाशित होने से individual paper का प्रभाव कम हो जाता है

  • "प्रोजेक्ट्स में निवेश करो, papers में नहीं" जैसी सलाह का मतलब है कि अच्छे प्रोजेक्ट्स अच्छे papers पैदा करते हैं

  • AI papers में अक्सर बहुत सारे authors होते हैं, और वास्तव में प्रभावशाली research दुर्लभ होती है

  • research के शुरुआती चरण में छोटे improvements भी बड़ा प्रभाव डाल सकते हैं

    • जैसे-जैसे research career बढ़ता है, projects में अधिक समय निवेश किया जा सकता है

  • research results को आसानी से सुलभ बनाना महत्वपूर्ण है, लेकिन सब कुछ सार्वजनिक न करना भी ज़रूरी है

  • "hype" भी research का एक हिस्सा है

    • अल्पकाल में प्रभावशाली दिखने वाली research दीर्घकाल में वैसी न भी हो सकती है

  • यह सलाह केवल academic research पर ही नहीं, बल्कि startups पर भी लागू हो सकती है