1 टिप्पणियां

 
GN⁺ 5 시간 전
Hacker News की राय
  • आज मैंने जो देखा, उसमें यह सचमुच दिलचस्प ChatGPT साझा बातचीत का दूसरा उदाहरण है
    पहला वह मामला था जहाँ ChatGPT से बार-बार “जारी रखो” कहकर किसी दूसरे अनुमान का प्रतिवाद उदाहरण ढूँढ लिया गया: https://x.com/DmitryRybin1/status/2079904005652893709

    • जिन समस्याओं पर कोई एजेंट हार मान सकता है, वहाँ “जारी रखो” सचमुच अक्सर काम करता है। LLM मूल रूप से यह नहीं जानता कि कौन-सी चीज़ असंभव है
      कठिन prompts में मैं आम तौर पर एक सामान्य stopping condition के साथ यह लिखता हूँ: “इस प्रक्रिया को तब तक दोहराओ जब तक convergence न हो जाए और optimization के लिए कोई नया विचार न बचे। चाहो तो दोहराते रहो
    • खासकर GPT में दूसरे models की तुलना में काम के बीच रुक जाने की प्रवृत्ति ज़्यादा दिखी, और हाल में मैंने शायद 4.X version इस्तेमाल किया था
      “मैं यहाँ तक आ चुका हूँ और अगला कदम भी साफ़ है, लेकिन आगे बढ़ने के लिए कोई बेकार-सा message भेजो” जैसी प्रतिक्रिया बार-बार आती रही, जो काफ़ी झुंझलाहट भरी थी
    • बिना किसी context के सिर्फ “जारी रखो” लिखना इस बात पर बहुत ज़्यादा भरोसा करना है कि LLM सूक्ष्म logic errors से बचेगा और सही approach चुनेगा
      नए models भी साधारण DevOps कामों में deployed package को undeployed बता देते हैं, और user के टोकते ही बात पलट देते हैं। अगर ऐसा अक्सर होता है, तो जटिल गणितीय proof में बिना result verification के सिर्फ “जारी रखो” दोहराकर वैध निष्कर्ष मिल पाएगा या नहीं, इस पर संदेह है
    • पहले भी कई गणितज्ञों की सफलता का तरीका ठीक यही था: जारी रखना
    • “आंशिक परिणाम काफ़ी हैं, अब इसे एक पूर्ण और बिना शर्त प्रतिवाद उदाहरण पर खत्म करें” कहने पर 88 मिनट 24 सेकंड काम करके उसने एक पूर्ण finite counterexample दे दिया — यह दृश्य प्रभावशाली था
  • मुद्दे के बिल्कुल केंद्र पर वार करने वाले किसी विशेषज्ञ के AI संवाद रिकॉर्ड हमेशा बेहद दिलचस्प होते हैं, और दिखाते हैं कि model से कितना कुछ निकलवाया जा सकता है
    Terence Tao भी अपने विशेषज्ञ क्षेत्र में LLM का उपयोग करते समय मेरी तरह, तकनीकी शब्दावली और सैद्धांतिक tools का पूरा इस्तेमाल करते हुए छोटे लेकिन बेहद सटीक सवालों से दिशा मज़बूती से तय करते हैं। लगता है LLM user के स्तर के हिसाब से अपनी भाषा और जवाब का स्तर बदलता है

    • आखिरकार “AI का उपयोग सीखना” पहले समस्या क्षेत्र में महारत हासिल करना है
      दशकों के development अनुभव की वजह से मैं coding में AI का उपयोग कर सकता हूँ, लेकिन theoretical physics में, जहाँ मैं उत्तर की गुणवत्ता जाँच नहीं सकता, इसका उपयोग करना मुश्किल है
    • मैं गणितीय सामग्री नहीं समझ पाया, लेकिन Tao के messages मेरी LLM के साथ होने वाली बातचीत से हैरान करने वाली हद तक मिलते-जुलते थे
      एक ही बार में नतीजा लेने की कोशिश करने के बजाय कदम-दर-कदम खोज करने से दिशा को लगातार सुधारा जा सकता है, इसलिए यह ज़्यादा प्रभावी और संतोषजनक है। एक-shot request सफल हो जाए तो जादू जैसी लगती है, लेकिन असफल हो जाए तो prompt फिर से बनाना पड़ता है
    • कुछ दिन पहले Claude के साथ मेरा भी ऐसा ही अनुभव हुआ। ढीली-ढाली requirements देने पर काम ठीक चलता रहा, लेकिन मुख्य हिस्से में विफल हुआ; फिर मैंने सख़्ती से निर्देश दिए, और समस्या हल होने के बाद भी उसने project के अंदर पहले से कई बार जाँच करना और मुझसे ज़्यादा बार निर्देश माँगना शुरू कर दिया
      थोड़ा परेशान करने वाला है, लेकिन अगर असरदार हो तो यह स्वीकार्य है
  • Terence Tao की ChatGPT बातचीत दो वजहों से दिलचस्प है। counterexample कोई साधारण brute force परिणाम नहीं है, बल्कि ऐसा polynomial है जिसकी संरचना बहुत विशिष्ट है ताकि मनचाहा परिणाम निकले; और Tao के सवाल भी इतने सटीक हैं कि उन्नत गणितीय प्रशिक्षण के बिना वही जानकारी निकालना मुश्किल होता
    लगता है Tao ने समस्या और counterexample की संरचना का कुछ हिस्सा समझ लिया, और फिर बाकी खोज AI के सहारे आगे बढ़ाई

    • दुनिया के सबसे प्रतिभाशाली इंसानों में से एक सवाल पूछ रहा है, और LLM “सोचो तो यह तो सचमुच सरल है” जैसी शैली में जवाब देता है; यह किसी professor को प्रतिभाशाली student को पढ़ाते देखने जैसा लगता है, और विनम्र बना देता है
    • model से अच्छे नतीजे न मिलें तो “skill issue” वाला मज़ाक किया जाता है, लेकिन इसमें कुछ सच्चाई भी है। AI का उपयोग करने की क्षमता में सिर्फ ऐसे iterative prompts लिखने की कला नहीं आती जिन्हें एजेंट समझ सके, बल्कि यह गहरा domain knowledge भी शामिल है कि आखिर खोज क्या करनी है
      इन दोनों में से एक भी न हो, तो नतीजा निराशा या उससे भी बुरे परिणाम हो सकते हैं
    • आने वाले कुछ वर्षों तक अपने विशेषज्ञ क्षेत्र पर LLM से अच्छी चर्चा करने की क्षमता एक उपयोगी मानवीय skill रहेगी, लेकिन अंततः शायद वह भी कमज़ोर पड़ जाएगी
  • Tao का लगातार simplification सुझाते हुए discovery process को आगे ले जाना चौंकाने वाला है। वे AI की मदद से किसी चीज़ को समझते हैं, उसे अपने सोचने की संरचना के अनुरूप प्रभावी ढंग से ढालते हैं, और generalize करने या किसी phenomenon को समझाने वाले अधिक सरल उप-परिणाम खोजने में रुचि रखते हैं
    JPL और academia में मुझे सबसे ज़्यादा इसी तरह की “अगर ऐसा हो तो?” वाली चर्चाएँ याद आती थीं

    • इंसान और AI की सहजीविता AI के उभरते मूल्य की तरह लगती है। code diff जैसे outputs बनाते समय मैं लगातार यह आँक सकता हूँ कि मौजूदा चरण को लेकर मेरी अपनी सोच कितनी मज़बूत है
      खासकर, अभी जिस समस्या पर काम कर रहा हूँ उसे मैं ख़ुद कितनी सटीकता से समझना चाहता हूँ, यह चुन सकना एक ऐसा विकल्प है जो AI से पहले लगभग था ही नहीं
    • यह कुछ वैसा लगता है जैसा गणित के professors सैकड़ों सालों से graduate students का उपयोग करते आए हैं
  • गणित की terminology और notation अविश्वसनीय रूप से सघन और कठिन होती है। दूसरे विज्ञान या engineering क्षेत्रों में Google या Wikipedia की मदद से आम तौर पर साथ चला जा सकता है, लेकिन उन्नत गणित बहुत जल्दी रोज़मर्रा की समझ से दूर निकल जाती है
    तकनीकी क्षेत्र के आदी लोगों को भी कठिन गणित के सामने पूरी तरह रास्ता भटक जाने जैसा महसूस हो सकता है

    • यह computer science समेत लगभग हर क्षेत्र पर लागू होता है। बहुत-से लोग अपने इकट्ठा किए हुए background knowledge को पहचाने बिना सिर्फ सतही स्तर पर काम करते रहते हैं
      एक औसत software engineer को भी cache, stack, heap, process, thread, socket, TCP, HTTP, TLS, deadlock, race condition, atomicity, event loop, coroutine, transaction, replication, sharding, serialization, DNS जैसे अनगिनत शब्द जानने पड़ते हैं। सिर्फ cache ही CPU, page, browser, CDN या Redis cache का मतलब हो सकता है, और session, handle, pool, buffer, stream, channel जैसे रोज़मर्रा के शब्द भी context के हिसाब से अलग अर्थ ले लेते हैं
    • quantum mechanics की कक्षा में जब बोर्ड पर H Psi = E Psi लिखा गया, तो सब हँसे कि “Psi को cancel कर दो”, लेकिन एक तरफ़ साधारण multiplication था और दूसरी तरफ़ matrix multiplication operator, इसलिए नई notation सीखनी पड़ी
      कभी मुझे यह न जानने की वजह से भी उलझन हुई थी कि किसी variable का bold होना matrix को दर्शाता है
    • गणित में कही जाने वाली mathematical maturity वैसी ही प्रक्रिया है जैसी programming, music या cooking सीखते समय कई बार समझ का नया स्तर खुलने और दृष्टिकोण बदलने से गुजरना पड़ता है। गणित में abstract reasoning ही मुख्य सीमा होती है, इसलिए ऐसे चरण दूसरी गतिविधियों से ज़्यादा होते हैं
    • abstraction अनिवार्य है। इंसान की working memory बहुत छोटी होती है, इसलिए कई समस्याओं पर तर्क करने के लिए बहु-स्तरीय hierarchy बनानी पड़ती है, और यही गणित के सार के काफ़ी करीब है
    • गणित दूसरे क्षेत्रों की तुलना में अस्पष्टता को न्यूनतम करने की कोशिश करता है। गैर-गणितीय क्षेत्रों में आम शब्दों को तकनीकी अर्थ देकर दोबारा इस्तेमाल करने की प्रवृत्ति होती है, और खासकर social science और humanities में, अपरिचित symbols न होने की वजह से गैर-विशेषज्ञ कभी-कभी अपनी समझ की कमी को पहचान ही नहीं पाते
  • मैं खुद गणित का मूल्यांकन नहीं कर सकता, लेकिन मॉडल के व्यवहार में कुछ बातें खास तौर पर दिखीं। कुछ सवालों पर यह तर्क करता है, कुछ पर सीधे जवाब देता है, और कभी-कभी शर्तें या संशोधन सुझाकर आपत्ति भी उठाता है
    साथ ही प्रश्नोत्तर·PDF पढ़ना·कोड लिखना·तर्क करना के बीच लंबे समय तक आते-जाते हुए भी इसने विषय नहीं छोड़ा, और लगता है Tao ने भी इसे लगातार उपयोगी माना। मॉडल की प्रगति किसी खास benchmark संख्या के बढ़ने से ज़्यादा कुछ ऐसी ही दिखती है

    • “लेकिन एक बात का ध्यान रखना चाहिए” जैसी अभिव्यक्ति मौजूदा पीढ़ी के Codex और Claude का घिसा-पिटा जवाब है
      वास्तव में कई बार बात इतनी सामान्य होती है कि उसे सावधानी कहना भी मुश्किल है, लेकिन उपयोगकर्ता को लगने लगता है कि कोई महत्वपूर्ण शर्त होगी। हर बार “ईमानदारी से” जवाब देने की घोषणा से शुरू करने जैसा ही यह भी भटकाने वाला है, इसलिए मैं इसे AGENTS.md के जरिए दबाने की कोशिश करता हूँ
  • इस बातचीत में सबसे चौंकाने वाली बात यह है कि AI एजेंट आधुनिक दौर के सबसे महान गणितज्ञों में से एक Tao के सामने बराबरी के प्रतिद्वंद्वी जैसा दिखता है
    दिशा Tao तय करते हैं, लेकिन साथ ही वे AI की व्याख्या·विश्लेषण·तर्क से सीखते और उस पर निर्भर भी करते दिखते हैं; यह वैसा लगता है जैसे किसी PhD छात्र या दूसरे प्रोफेसर के साथ परिणामों पर चर्चा हो रही हो। एक साल बाद या दो मॉडल रिलीज़ के बाद AI शायद Tao से साफ़ तौर पर मजबूत भी हो सकता है

    • बल्कि यह बातचीत उस संभावना के खिलाफ़ उदाहरण जैसी लगती है। किसी दूसरे AI के साथ बातचीत इतनी उत्पादक होती, इसकी संभावना Tao के साथ हुई इस बातचीत जितनी नहीं लगती
      एक साल बाद यह बदलेगा या नहीं, कहना मुश्किल है, लेकिन लक्ष्य-समय बार-बार पीछे खिसकता जा रहा है, इसलिए मैं संशय में हूँ
    • LLM को प्रतिबिंब-दर्पण की तरह सोचना उपयोगी है। अगर आप विशेषज्ञ गणितज्ञ की तरह बोलते हैं, तो मॉडल भी वैसा ही जवाब देता है, लेकिन Tao का पहला प्रॉम्प्ट भले साधारण दिखे, किसी पहले वर्ष के कॉलेज छात्र के लिए उसी स्तर पर लिखना आसान नहीं होगा
      यह GPT-3.5 दौर के “तुम एक पेशेवर गणितज्ञ हो” वाले प्रॉम्प्ट के उलट घटना है। असली विशेषज्ञ से कोई ऐसा नहीं कहता, इसलिए वह वाक्य उल्टा मॉडल को बता देता है कि उपयोगकर्ता विशेषज्ञ नहीं है
    • यह देखते हुए कि यही AI रेसिपी, कार की अजीब आवाज़ का निदान, biology homework, और translation तक संभाल सकता है, कोई कह सकता है कि यह पहले ही Tao से मजबूत है
      केवल गणित में भी, लगभग हर उप-क्षेत्र में इस स्तर की गहराई होने के लिहाज़ से, मैं इसे पहले ही अधिक मजबूत मानता हूँ
  • “मैंने Pro सक्रिय कर दिया है, तो क्या coordinates या बनावटी constructions से बचते हुए X_3 ~ A3 की geometric व्याख्या ढूँढना जारी रख सकते हो?” जैसी माँग बिल्कुल paid feature से संतुष्ट ग्राहक की तरह लगती है

    • लगता है कि उन्नत विषयों पर बहुत छोटे सवाल डालने से बिना फालतू विस्तार वाले जवाब निकलते हैं। इसमें Pro सक्रिय होने से भी सुधार आया हो सकता है
    • यह भी हैरानी की बात है कि Terence Tao को भी ChatGPT से बात करने के लिए पैसे देने पड़ते हैं। उल्टा OpenAI को Tao को पैसे देने चाहिए लगते हैं
  • 4 साल पहले ChatGPT के साथ मेरी बातचीत ऐसी थी: https://i.imgur.com/WPaWgzZ.png
    यह सचमुच ऐसा दौर है जिसमें सोचने को मजबूर होना पड़ता है कि अगले 4 साल में हम कहाँ तक पहुँचेंगे

    • भविष्य चौंकाने वाला हो सकता है, लेकिन यह भी देखने लायक है: https://x.com/pronounced_kyle/status/1768852493092680036
    • UK में यह इमेज दिखाई नहीं दे रही; जानना चाहता हूँ उसमें क्या है
    • यह दिखाता है कि “LLM तर्क नहीं कर सकते, बस बुनियादी वाक्य दोहराते हैं, इसलिए 100 साल बाद भी स्मार्ट नहीं होंगे” जैसी बातें कितनी जल्दी पुरानी पड़ जाती हैं
  • यह अजीब तरह से सुकून देने वाली बात है कि महा-प्रतिभाशाली व्यक्ति के ChatGPT सत्र में भी इंसान एक वाक्य लिखता है और LLM उसके जवाब में तीन पेज दे देता है