मशीन लर्निंग रिसर्च का Zen और कला

• विश्व-स्तरीय AI research केवल प्रतिभा से नहीं बनती; पढ़ने और बनाने की प्रक्रिया को बार-बार दोहराते हुए लंबे समय तक टिके रहने वाला temperament ही नतीजों का फ़र्क तय करता है
• विषय का चुनाव 6 महीने पुराने buzzword से नहीं, बल्कि cross-entropy, SVD, policy gradients जैसी मूलभूत अवधारणाओं को गहराई से समझने से शुरू होना चाहिए
• अच्छी research केवल मौजूदा benchmark score बढ़ाने तक सीमित नहीं रहती, बल्कि ऐसे dataset भी खोजती है जो यह परख सकें कि नई विधि वास्तव में कौन-सी क्षमता उजागर करती है
• experiment के नतीजे अच्छे हों या बुरे, दोनों जानकारी देते हैं; लेकिन जो नतीजे बहुत अच्छे लगें, वे bug या गलत measurement भी हो सकते हैं, इसलिए healthy paranoia ज़रूरी है
• coding agent गति बढ़ाते हैं, लेकिन system की समझ की कमी और context switching भी बढ़ाते हैं, इसलिए नतीजे पैदा करने वाले पूरे system को खुद समझना ज़रूरी है

---

शोधकर्ता बनने की शुरुआत

• AI research की शुरुआत पढ़ने और सीखने के साथ-साथ खुद कुछ बनाने की प्रक्रिया को बार-बार दोहराने से होती है
• इनमें से केवल एक चीज़ काफ़ी नहीं है; शोधकर्ता इन दोनों गतिविधियों के बीच आते-जाते हुए बनता है
• research ध्यान की तरह है: जिस दिन insight आए उस दिन भी बैठना पड़ता है, और जिस दिन न आए उस दिन भी बैठते रहना पड़ता है
• वैज्ञानिक insight लगभग संयोग की तरह आती है, और ज़्यादातर दिनों में नहीं आती
• संगीत, खेल या sales की तरह, विश्व-स्तरीय स्तर तक पहुँचने के लिए बहुत समय, मेहनत और भारी training volume चाहिए
• SwiGLU पेपर में Noam Shazeer ने लिखा कि “मैं यह नहीं समझाता कि यह architecture क्यों काम करता है, और इसकी सफलता को बाकी सब चीज़ों की तरह ईश्वर की दया पर छोड़ता हूँ”, जो research idea की सफलता में मौजूद अनिश्चितता को दिखाता है
• बहुत ज़्यादा पेपर पढ़ना भी समस्या बन सकता है
  • पहले खुद हल निकालने की कोशिश करना, अटकना, अपने दम पर सुलझाना, और जब अपने ideas ख़त्म हो जाएँ तभी literature देखना — यही एक आज़माया हुआ रास्ता है

क्या शोध करना चाहिए

• अगर आप अभी शुरुआत कर रहे हैं, तो सटीक research topic उतना महत्वपूर्ण नहीं है
• लेकिन 6 महीने से भी कम पुराने trend वाले topic चुनने से बचना बेहतर है
  • AI बहुत तेज़ी से बदलता है, लेकिन उसके मूल विचार 40 साल से बहुत ज़्यादा नहीं बदले हैं
  • 2026 के harnesses, agents, context engineering जैसे concepts पर अपना करियर ज़रूरत से ज़्यादा दाँव पर नहीं लगाना चाहिए
• ज़्यादा सीखना है तो fundamentals पर लौटना होगा
  • cross-entropy क्या है, यह सीखें और छोटे distribution पर हाथ से उसकी गणना करके देखें
  • SVD को इतनी गहराई से समझें कि उसे दिमाग़ में visualize कर सकें
  • coding के लिए RL तक सीमित न रहें; policy gradients का विचार, उसकी उपयोगिता और दशकों तक लोकप्रिय रहने की वजह समझें
• अगर किसी research project का सबसे अच्छा नतीजा केवल मौजूदा benchmark score बढ़ाना है, तो वह काफ़ी गहरा नहीं है
  • मौजूदा datasets अक्सर नई और दिलचस्प क्षमताओं को परख नहीं पाते
  • Jason Wei का मानना है कि ऐसे datasets खोजना जो नई method को वास्तव में काम करने वाली क्षमता दिखाने पर मजबूर करें, AI research में एक कम आंकी गई लेकिन निर्णायक skill है
• ठोस topic आपको खुद खोजना होगा, गहराई में जाना होगा, fundamentals पर ध्यान देना होगा, और benchmark chase में फँसना नहीं होगा

शुरुआती मन और खुला निर्णय

• Suzuki का यह कथन कि “शुरुआती के मन में कई संभावनाएँ होती हैं, विशेषज्ञ के मन में कम” research पर भी लागू होता है
• आधुनिक AI research में Silicon Valley में यह बात अक्सर दोहराई जाती है कि पहले की AI research experience कभी-कभी अच्छी research intuition के लिए उलटा नुकसान भी कर सकती है
• pre-scaling दौर के कुछ शोधकर्ता लगातार ऐसी methods डिज़ाइन करने में रुचि रखते रहे जो छोटे scale पर काम करें लेकिन scale बढ़ने पर विफल हो जाएँ
• OpenAI में तकनीकी दृष्टि से कंपनी चलाने वाले कई लोग 35 साल से कम उम्र के हैं, और ChatGPT के कई महत्वपूर्ण decision-maker 30 साल से भी कम उम्र के हैं
• ChatGPT आए अभी 4 साल भी नहीं हुए हैं; यह इतना शुरुआती क्षेत्र है कि किसी के पास बहुत लंबे अनुभव का overwhelming advantage नहीं है
• ideas को बहुत लंबे समय तक पकड़े रहना उलटा असर कर सकता है, इसलिए खुला मन बनाए रखना और ego को निर्णय धुंधला नहीं करने देना चाहिए

प्रेरणा research के बाहर से भी आती है

• प्रेरणा अक्सर ऐसे समय आती है जब उसकी उम्मीद नहीं होती
• benzene ring की संरचना की खोज का सपना से जुड़ा किस्सा प्रसिद्ध है
  • वह पहले कभी न देखी गई संरचना थी, लेकिन उसे अपनी पूँछ काटते साँप की छवि के रूप में कल्पना किया गया
• Ozempic छिपकली से प्रेरित एक उदाहरण है
  • जिस GLP-1 hormone की नकल Ozempic करता है, वह पहली बार Gila monster नाम की रेगिस्तानी छिपकली के ज़हर में मिला था, जो साल में बस कुछ ही बार खाती है
  • यह खोज आगे चलकर इंसानों पर भी काम करने वाले mechanism तक पहुँची
• अच्छी research करने के लिए research के बाहर की चीज़ें भी करनी चाहिए
• कई “aha” moments keyboard के सामने नहीं, बल्कि ख़ासकर चलते समय आते हैं
• Darwin, Tesla, Feynman और Aristotle जैसे विचारकों ने पैरों को फैलाकर थोड़ी सैर करने के बड़े फ़ायदे बताए हैं

experiment के नतीजों को देखने का नज़रिया

• किसी idea को पूरी तरह implement कर देने पर भी यह ज़रूरी नहीं कि वह मूल रूप से सही हो
• experiments का analysis करते समय अच्छे और बुरे दोनों तरह के नतीजों को समान रूप से स्वीकार करने वाला experimental equanimity चाहिए
• दोनों तरह के नतीजे समान मात्रा में जानकारी देते हैं
  • कभी-कभी एक positive result से ज़्यादा सीख लगातार आए negative results से मिलती है
• अच्छे नतीजों पर ज़रूरत से ज़्यादा उत्साहित नहीं होना चाहिए
  • अच्छे दिखने वाले बहुत से नतीजे bug की वजह से आते हैं
  • कभी ऐसा भी हो सकता है कि नतीजा वास्तव में अच्छा न हो, measurement गलत हुआ हो, और आपने खुद को ही समझा लिया हो
• अपने idea के काम करने की इच्छा स्वाभाविक है, लेकिन अनुभवी शोधकर्ता विशेष रूप से बहुत अच्छे दिखने वाले नतीजों के सामने गहरा skepticism रखते हैं
• जो नतीजे बहुत अच्छे लगते हैं, वे लगभग हमेशा वास्तविकता से अलग होते हैं

तुलना, किस्मत और गहराई

• research बहुत हद तक result-driven होती है
• ख़ासकर academia में, दूसरों के paper-based success को देखकर भावनात्मक रूप से डगमगाना आसान है
• लोग अलग-अलग कारणों से सफल होते हैं
  • कुछ लोग भाग्यशाली होते हैं
  • academic review process न तो पूरी तरह consistent है और न ही fair
• जब आपके क्षेत्र में कोई नया research काम सामने आए जो सचमुच प्रभावित करे, तो खुद से पूछना चाहिए: “क्या मैं इस insight को खुद पैदा कर सकने लायक गहराई पर काम कर रहा था?”
  • अगर जवाब “हाँ” है, तो प्रक्रिया सही थी; बस आप किसी और काम में लगे थे और वह खोज नहीं कर पाए
  • अगर जवाब “नहीं” है, तो उसे और गहराई में जाने की प्रेरणा बनाना चाहिए

अदृश्य दोहराव वाला काम

• जैसे कहा जाता है कि ज्ञान से पहले भी लकड़ी काटो, पानी भरो; और ज्ञान के बाद भी लकड़ी काटो, पानी भरो — वैसे ही research में भी बहुत दोहराव वाला काम होता है
• कई सफल projects के पीछे सैकड़ों घंटों का grunt work छिपा होता है
• Andrej Karpathy ने ImageNet का काफ़ी हिस्सा हाथ से label किया था
• SWEBench के निर्माताओं ने evaluation के लिए उपयोगी, छोटे और manageable GitHub issues का सेट बनाने हेतु GitHub data को सैकड़ों घंटे तक बहुत सावधानी से filter किया
• महान शोधकर्ताओं के करियर देखें तो सफलता से पहले लंबे समय तक अदृश्य मेहनत मिलती है
• जितना अधिक ambitious और future-oriented idea होगा, उतना ही thorough implementation और evaluation का काम बढ़ सकता है; यह कठिनाई कोई defect नहीं, बल्कि feature है

bug पर शक करने की शोध आदत

• Collin Raffel का मानना है कि कई ideas इसलिए fail नहीं होते कि वे बुरे ideas हैं, बल्कि इसलिए कि शोधकर्ता code bug ढूँढ़ नहीं पाता
• LLM की दुनिया में यह समस्या और कठिन है
• आधुनिक deep learning software stack बहुत जटिल है, और bug कहीं भी हो सकता है
  • training
  • inference
  • harness
  • data
• अगर कुछ गलत लगता है, तो उसे बस नज़रअंदाज़ नहीं करना चाहिए
• बहुत सारे metrics log करने चाहिए और उन सबको समझने की कोशिश करनी चाहिए
• अगर कुछ metrics उम्मीद से अलग हैं, तो उसका कारण खोजना चाहिए; सचमुच कुछ गलत हो सकता है
• शोधकर्ता के लिए महत्वपूर्ण गुणों में से एक healthy paranoia है

तेज़ feedback और context switching

• ज़्यादातर deep learning experiments बहुत ज़्यादा समय लेते हैं
  • model training में हफ़्ते या महीने लग सकते हैं
  • किसी एक task पर model evaluate करने में भी कई दिन लग सकते हैं
• agent के साथ coding करते समय कई experiments को parallel चलाने और धीमे cycle में operate करने का मन हो सकता है
• साधारण parallelization कुछ हद तक मदद करती है, लेकिन context switching एक नुकसानदेह पैटर्न है
• ऐसा ergonomic research workflow डिज़ाइन करना चाहिए जो तेज़ experiment feedback दे सके
  • training का cold start time घटाना चाहिए
  • ऐसे छोटे evaluations बनाने चाहिए जो जल्दी result दें
• Keller Jordan का nanoGPT speedrun दिखाता है कि तेज़ iteration cycle में कितना कुछ सीखा जा सकता है
• कुछ results ऐसे होते हैं जिन्हें अंततः लंबे समय की ज़रूरत पड़ती ही है
  • कई दिनों तक state बनाए रखना, और आज ख़त्म हुए पिछले हफ़्ते के experiment को समझ पाना, बहुत उपयोगी क्षमता है

coding agents जिन समस्याओं को बढ़ा देते हैं

• coding agents आपको तेज़ी से आगे बढ़ने देते हैं, लेकिन वे दो समस्याएँ बढ़ा देते हैं
  • बुनियादी details को समझना कठिन हो जाता है
  • context switching और ज़्यादा होने लगती है
• अच्छे शोधकर्ता को इन दोनों ताक़तों के ख़िलाफ़ सक्रिय रूप से काम करना चाहिए
• Codex training script लिख सकता है, उसे चला सकता है, चलते समय निगरानी कर सकता है, results interpret कर सकता है और email भी भेज सकता है
• लेकिन इस तरह की छोटी गलतियाँ हो सकती हैं
  • error आते ही पूछे बिना system prompt छोटा कर देना
  • evaluation को उचित समय में पूरा कराने के लिए sequence length घटा देना
  • user ने स्पष्ट रूप से न कहा हो तब भी गलत config चला देना
• engineering के नज़रिये से यह छोटी गलतियाँ हो सकती हैं जिन्हें आसानी से ठीक किया जा सके, लेकिन science के नज़रिये से ये गंभीर हैं
  • छोटी-सी चूक भी paper के महत्वपूर्ण result को ठोस रूप से बदल सकती है
  • इसलिए इसे स्वीकार नहीं किया जा सकता
• भले ही आपने खुद code न लिखा हो, result को समझने के लिए उस पूरे system को समझना ज़रूरी है जिसने वह result बनाया
• अच्छी science के लिए यह सीखना ज़रूरी है कि पूरा system कैसे काम करता है, तभी आप भरोसे से कह सकते हैं कि observation सही है

temperament से बनती research

• सफल शोधकर्ता बनने के लिए केवल talent काफ़ी नहीं है
• temperament को बहुत कम आंका गया है
• ideas के आने के लिए जिज्ञासा और persistence बनाए रखना, और thoughtful तथा meticulous बने रहना ज़रूरी है
• सबसे बेहतरीन research और बेहतरीन product work उन्हीं लोगों से आता है जो किसी समस्या को काफ़ी देर तक पकड़े रहकर सच में समझ पाते हैं
• जल्दी publish करने और जल्दी iterate करने का दबाव वास्तविक है, लेकिन असली accumulation depth से बनता है

[GN⁺]

Hacker News की टिप्पणियाँ

• पश्चिम में इस्तेमाल होने वाला Zen और पूर्वी एशिया का Seon(禪) काफ़ी अलग महसूस होता है
  पश्चिमी शैली का Zen शायद 1970 के दशक की किताब Zen and the Art of Motorcycle Maintenance से आई छवि के ज़्यादा क़रीब है, और आम तौर पर इसका मतलब संतुलित मन और beginner's mind जैसी भावना से होता है
  इसके उलट, पूर्वी एशियाई Seon वास्तव में निष्प्रयोजनता या उद्देश्यहीनता पर ज़्यादा ज़ोर देता है
  पश्चिमी Zen ऐसा लगता है जैसे वह self को प्रशिक्षित करके और मज़बूत बनाता है, जबकि पूर्वी एशियाई Seon प्रकृति का अनुसरण करने, self को छोड़ने और चीज़ों को बहने देने के अधिक क़रीब है
  वास्तविक Seon अभ्यास में self पर संदेह करना, आसक्ति छोड़ना, और यह समझना केंद्र में होता है कि उपलब्धि, तुलना, और नियंत्रण की इच्छा सब क्षणभंगुर हैं
  एक प्रसिद्ध वाक्य है Banghajak (放下著), यानी “सब कुछ छोड़ do”
  बल्कि प्राचीन रोमन Stoic दर्शन पश्चिमी Zen की तुलना में Seon के ज़्यादा क़रीब लगता है
  इसलिए जब मैंने यह लेख देखा, तो मुझे लगा यह सफलता की इच्छा छोड़ने पर लेख होगा, लेकिन यह बिल्कुल दूसरी दिशा में गया, जो दिलचस्प लगा

  • इसी तरह, पश्चिम में जिस Stoicism की बात होती है, वह ऊपर-ऊपर से भावनाओं को नियंत्रित या दबाने पर ज़्यादा केंद्रित लगती है
    जबकि जिसे “रोमन” कहना ज़्यादा सही होगा, वह Stoicism कहीं अधिक समग्र नैतिक व्यवस्था के क़रीब है
  • Ursula K. LeGuin के Earthsea उपन्यासों में आने वाला “To be done with doing” वाला वाक्यांश मुझे हमेशा बहुत प्रभावशाली लगा
    मन की एक अवस्था को पाँच शब्दों में समेट देने वाली पंक्ति है, और मुझे याद है कि उन्होंने कहा था कि उनके लेखन पर पूर्वी दर्शन का गहरा प्रभाव था
  • अगर संदर्भ यह है कि “पूर्वी एशियाई Seon निष्प्रयोजनता या उद्देश्यहीनता पर ज़्यादा ज़ोर देता है”, तो मैं Idler magazine की ज़ोरदार सिफ़ारिश करना चाहूँगा
    स्वस्थ तरीके से बिना उद्देश्य के मौजूद रहने के बारे में यह शानदार सामग्री है
    https://www.idler.co.uk/article/leisure-principles/
    https://archive.is/nKJM2
  • मेरे हिसाब से Zen ध्यान के बारे में है, जिसमें विचार शांत हो जाते हैं और वर्तमान क्षण का अनुभव होता है
    ऐसा होने पर दिमाग़ “विचारों का पीछा करने” वाली स्थिति से बाहर आकर आराम करता है, और ध्यान रोकने के बाद आप बेहतर फोकस कर पाते हैं, इसलिए ज़्यादा काम कर लेते हैं
    यह भी शायद सच है कि पश्चिम के कई Zen साधक इसे समझ लेते हैं और उसी उद्देश्य से ध्यान का उपयोग करते हैं
    अगर Star Wars याद करें, तो “Force” को ऐसी शक्ति की तरह दिखाया जाता है जो एकाग्रता के बल पर अंतरिक्षयान उठा सकती है, लेकिन वह एक मिथक है
    इसके विपरीत, अगर आप Zen जैसी मानसिक अवस्था तक पहुँच जाएँ, तो उस अंतरिक्षयान को उठा सकते हैं या नहीं, यह कम महत्वपूर्ण हो जाता है
    पूर्वी परंपरा में Zen अपने आप में ही उद्देश्य है
    सोच रहा हूँ कि क्या मूल बात कुछ इसी अर्थ के क़रीब थी

• लगभग 2015 के आसपास मुझे backend engineers और machine learning engineers दोनों को एक साथ manage करना पड़ा
  backend engineers में से काफ़ी लोग machine learning ज़्यादा करना चाहते थे, और मौका देने पर कुछ ने अच्छा किया, लेकिन कुछ लोग कुछ ही महीनों में फिर backend में लौटना चाहते थे
  इसी दौरान machine learning leads में से एक machine learning से हटकर सिर्फ़ machine learning को support करने वाला backend काम करना चाहता था
  यह सब देखते हुए मुझे लगा कि लोगों में success signals को verify करने की ज़रूरत की frequency अलग-अलग होती है
  हमारे product की प्रकृति ऐसी थी कि किसी नए model या updated model की performance मापने के लिए उसे कम-से-कम एक पूरा महीना production में चलाना पड़ता था, और शुरुआती काम से लेकर अंतिम analysis तक आम तौर पर दो महीने से ज़्यादा लगते थे
  इसके विपरीत, backend के बहुत से कामों में जल्दी prototype बनाकर चलाया जा सकता है, तुरंत देखा जा सकता है कि वह काम कर रहा है या नहीं, और फिर अगले काम पर बढ़ा जा सकता है, इसलिए signals पूरे दिन मिलते रहते हैं
  लोगों को किस frequency पर signals चाहिए, इस फ़र्क़ का machine learning का काम पसंद आने पर बहुत असर पड़ता था
  यह किसी manager-version feature engineering जैसा लगा, और मैंने उस टीम के लोगों से सच में बहुत कुछ सीखा

  • मैंने भी यही phenomenon देखा है, और हमेशा सोचा है कि इसे प्रभावी ढंग से कैसे manage किया जा सकता है
    data engineering team data science ज़्यादा करना चाहती थी, और दो data scientists दोनों data engineer बनना चाहते थे
    उनमें से एक का तर्क था कि हर कोई data scientist बनना चाहता है, इसलिए वहाँ बहुत भीड़ है, और data engineer बनकर ज़्यादा पैसा कमाया जा सकता है
    एक और बार, एक दोस्त शिकायत कर रहा था कि उसे pure frontend से निकलना चाहिए क्योंकि वह dead-end career है, और अगले ही दिन lunch पर उसका एक सहकर्मी सोच रहा था कि frontend developers सारा credit ले जाते हैं, इसलिए उसे भी switch करना चाहिए

• “जिस दिन insight मिले उस दिन भी बैठो। जिस दिन insight न मिले उस दिन भी बैठो।” इस बात ने मुझे Brian Greene के interview में Ed Witten के जवाब की याद दिलाई
  जब Greene ने पूछा कि Institute for Advanced Study में उनका रोज़ का routine कैसा होता है, तो Witten ने जवाब दिया, “मैं डेस्क पर बैठा रहता हूँ”

• लेख का केंद्र “और गहराई में जाओ” वाली भावना है, और मेरे हिसाब से यह दो धार वाली तलवार है
  entropy, tensor, और gradient महत्वपूर्ण हैं और लगभग अनिवार्य भी
  लेकिन पिछले 10 सालों में deep learning की ज़्यादातर प्रगति मूलभूत ideas की वजह से नहीं, बल्कि incremental और experimentally validated practices से आई है
  ReLU, sigmoid से बेहतर क्यों है, इसके लिए अच्छी intuition मौजूद है, लेकिन Hinton का मूल paper भी मोटे तौर पर “क्योंकि यह 3 गुना तेज़ सीखता है” जैसी बात के क़रीब था
  fundamentals पर दोबारा सोचना मददगार हो सकता है, लेकिन “आओ foundations बदल दें” वाले अंदाज़ में वास्तविक प्रगति बहुत कम होती है
  AlexNet या Attention Is All You Need जैसे महत्वपूर्ण papers भी मौजूदा ideas को refine करके यह दिखाने वाले काम थे कि उनसे फ़ायदा कैसे होता है
  machine learning एक experimental science है, और गणितीय रूप से सुंदर बहुत से ideas काम नहीं करते, जबकि engineering ideas अक्सर अच्छे से काम कर जाते हैं
  यह सलाह कि “researcher के लिए सबसे महत्वपूर्ण गुणों में से एक healthy paranoia है”, मुझे समझ में आती है, लेकिन मैंने इतने ज़्यादा PhD students को पूरी तरह burnout होते देखा है कि समझ नहीं आता यह “depression philosopher के लिए अच्छा है” से बेहतर सलाह है या नहीं
  अगर मतलब यह है कि आपको एक जुझारू explorer होना चाहिए, तो हाँ, यह सही है
  किसी idea को बहुत लंबे समय तक पकड़े रहना उल्टा असर डाल सकता है, और इस निष्कर्ष से मैं सहमत हूँ कि खुला मन बनाए रखना चाहिए और ego को judgment धुंधला नहीं करने देना चाहिए

• यह सच में शानदार essay था और पढ़ने में बहुत अच्छा लगा
  लेखक ने जैसा कहा, research ही नहीं बल्कि कई क्षेत्रों में success या progress काफी हद तक temperament पर निर्भर करती है
  आख़िरकार अच्छा attitude, patience, जन्मजात curiosity, और failure से उबरने की क्षमता महत्वपूर्ण होती है
  एक अच्छे researcher को बनाने वाली क्षमताएँ दूसरे क्षेत्रों में भी बहुत अच्छी तरह transfer हो जाती हैं
  बस ऐसा लगता है कि एक ऐसी culture, जो असुविधा सहने की क्षमता को ultra-convenience से कम करती जा रही है, उसके कारण ये क्षमताएँ धीरे-धीरे दुर्लभ और और भी ज़्यादा क़ीमती बनती जा रही हैं
  लोगों के लिए इंतज़ार करना या असफल होना लगातार और कठिन होता जा रहा है

• Zen शब्द की व्युत्पत्ति पर एक साइड नोट: Zen जापानी शब्द है, जो चीनी Chan से आया है, और Chan संस्कृत Dhyana से आया है
  Dhyana का मोटा-मोटी अनुवाद एकाग्रता या ध्यान के रूप में किया जाता है
  संस्कृत → चीनी → जापानी का यह प्रवाह उस भौगोलिक रास्ते को दर्शाता है जिससे बौद्ध धर्म भारत से फैलकर गया
  यही शब्द वियतनामी और कोरियाई में क्रमशः Thien और Seon है

• मेरा मानना है कि मशीन लर्निंग गणित या प्रोग्रामिंग की तुलना में जीवविज्ञान या रसायनविद्या के ज्यादा करीब है, इसलिए ऐसा होता है
  गणित या प्रोग्रामिंग में आप first principles तक जा सकते हैं, abstractions ठोस होते हैं, और nondeterminism सीमित होती है, लेकिन मशीन लर्निंग में ऐसा नहीं है

• इसी तरह के संदर्भ में, यह काफी हास्यास्पद और अल्पदृष्टि वाला लगता है कि Anthropic भर्तियां तो खुली रखता है, लेकिन अपने ही प्रोडक्ट्स को frontier model research में इस्तेमाल करने पर रोक लगाता है
  समझ नहीं आता कि वे सोचते हैं कि ऐसे लोग आखिर आएंगे कहां से
  यह जल्दबाजी में लिया गया फैसला है, और आगे चलकर इससे anti-competition मुकदमेबाजी होने की काफी संभावना लगती है

• “OpenAI की प्रभावशाली बात यह है कि कंपनी चलाने वाले लोग, कम-से-कम टेक्निकल पक्ष के ज्यादातर लोग, 35 साल से कम उम्र के हैं। ChatGPT के पीछे कई महत्वपूर्ण decision-makers की उम्र 30 से भी कम है” वाला हिस्सा यह संकेत देता है कि अभी सुधार की गुंजाइश है, क्योंकि gold rush के समय भी 49ers में से ज्यादातर 25 साल से कम उम्र के थे
  उपमा को आगे बढ़ाएं तो, कई AI नायक शायद वे लोग रहे हों जो शुरुआत से ही TPU और GPU पूल के करीब थे

  • उन शुरुआती संसाधनों के करीब होने की संभावना उन लोगों में कहीं ज्यादा रही होगी, जो उस समय भी मशीन लर्निंग/AI के प्रति समझ से परे जुनून रखते थे जब इसे एक व्यापक रूप से अप्रचलित हो चुका क्षेत्र माना जाता था

• इस लेख का मुख्य बिंदु यह लगता है: “मौजूदा evaluation bundles पर बहुत ज्यादा भरोसा मत करो”
  स्कोर समस्या के केवल एक हिस्से को ही दिखाते हैं
  दिलचस्प बात यह है कि नए और स्थिर evaluation metrics खोजे जाएं, और उनके आधार पर नया काम करने पर क्या अप्रत्याशित रूप से बुद्धिमान नतीजे सामने आते हैं

  • वह हिस्सा भी निश्चित रूप से शामिल है
    लेकिन असली बात यह है कि दूसरों द्वारा सुझाई गई समस्याओं पर ध्यान केंद्रित करना एक बहुत ही विशिष्ट और काफी अल्पकालिक सोच है
    अच्छा researcher benchmark scores बढ़ाता है, और महान researcher यह सोचता है कि वह आखिर किस समस्या को हल कर रहा है

[laeyoung]

Hacker News टिप्पणियों का सारांश भी दिलचस्प है।