नाले में खेलते बच्चे

 (hgreer.com)
1 पॉइंट द्वारा GN⁺ 2025-04-12 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • बचपन में नाले को रोकने का खेल, ताकत और ज्ञान बढ़ने के साथ, एक साधारण शरारत नहीं रह जाता बल्कि खेल की सीमाओं को तोड़ देने वाला विकल्प बन जाता है
  • बड़े फावड़े से किनारा तोड़ दिया जाए तो बांध बनाने वाली पहेली आसानी से जीती जा सकती है, लेकिन उसी क्षण फिर से खेलने लायक खेल की जगह कम हो जाती है
  • K'Nex कैटापल्ट, पटाखों के प्रयोग, और धनुष बनाना जैसी गतिविधियाँ, जिनमें सीमाओं को परखा जाता था, जोखिम और परिणाम समझ आने के बाद अब पूरी ताकत से आगे बढ़ाना कठिन हो जाता है
  • इन्वेस्टमेंट बैंक का ऑफर इस बात का अहसास कराने वाला मोड़ था कि “जितना हो सके उतना पैसा कमाने वाला गेम” भी उसी चरण पर पहुंच चुका है
  • AI डेवलपमेंट भी इसी रूपक के भीतर आता है, जहां पूरी ताकत से सफल हो जाना एक रूपकात्मक पटाखा-विस्फोट की तरह कम संतोषजनक अंत बन सकता है

वह क्षण जब पूरी ताकत लगाना संभव नहीं रह जाता

  • बचपन में घर के पीछे के नाले को रोकने का खेल पत्थर, पत्ते और रेत से छेद भरकर यह देखने का काम था कि पानी को कितना ऊंचा रोका जा सकता है
  • एक समय ऐसा आया जब यह विचार आया कि 5 फुट लंबे बड़े फावड़े से किनारा तोड़ दिया जाए तो और बड़ा, ज्यादा ठीक-ठाक बांध बनाया जा सकता है
    • पिता ने कहा कि वह इस पहेली का हल पहले ही जान चुके हैं, इसलिए अब वे दिल खोलकर नाला रोकने वाला खेल नहीं खेल सकते
  • जीत की कीमत यह थी कि खेलने की जगह ही कम हो जाए, और चेकमेट बोर्ड पर नहीं बल्कि खेल के बाहर हो
  • यही बदलाव दूसरे खेलों में भी दोहराया गया
    • छत में छेद हो जाने के बाद K'Nex कैटापल्ट बनाना, बेफिक्री से मज़ा लेने वाली गतिविधि से बदलकर सावधानी मांगने वाली गतिविधि बन गया
    • पटाखों को बांधकर यह देखना कि कितना बड़ा विस्फोट बनाया जा सकता है, अब सीमाओं को आखिरी हद तक खोजने की अनुमति नहीं देता
    • tillering की तरकीब सीख लेने के बाद दोस्तों के साथ पिछवाड़े की लड़ाई के लिए धनुष और तीर पूरी ताकत से बनाना संभव नहीं रह गया
  • इन्वेस्टमेंट बैंक का ऑफर पाने के लिए leetcoding, build system की पढ़ाई, और रिज़्यूमे सुधारने में काफी मेहनत की, लेकिन ऑफर मिलते ही यह निष्कर्ष सामने आया कि जितना हो सके उतना पैसा कमाने वाले गेम को आगे नहीं खेला जा सकता

AI डेवलपमेंट पर लागू वही रूपक

  • अगर सामने पर्याप्त ताकतवर प्रतिद्वंद्वी हो, तो लंबे समय तक पूरी ताकत से भिड़ा जा सकता है
    • भाटा के समय tide pool के बहिर्वाह में खेला जाने वाला समुद्रतट का खेल इसका उदाहरण है
    • हाथों से रेत रोककर झील, डेल्टा और घाटियां बनाई जा सकती हैं, लेकिन लौटती हुई ज्वार कहीं ज्यादा शक्तिशाली होती है और सारे नतीजों को मिटा देती है
  • समझ बढ़ने के साथ विकल्प फिर से संकरे हो जाते हैं
    • हाथ या फावड़े से रेत धकेलने के स्तर से आगे बढ़कर अगर नगर परिषद से groin या seawall लगाने के लिए लॉबी की जाए, तो समुद्रतट की रेत को वास्तव में बड़े पैमाने पर बदला जा सकता है
    • इसलिए वास्तव में पूरी ताकत नहीं लगाई जा सकती, और ऐसा करने की इच्छा भी नहीं होती
  • हाथ से रेत खोदते समय भी, लहर के बाद फिर से भीतर घुस जाने वाले coquina क्लैम के निशान दिखते हैं, और अब वे परिणाम दिखाई देते हैं जो चार साल की उम्र में नहीं दिखते थे
    • यह सवाल उठता है कि 2 फुट के छोटे सिविल इंजीनियरिंग काम में संयोग से तेजी से दब गए क्लैम क्या फिर सतह पर लौट सकते हैं
    • अनुमान यही है कि ज्यादातर लौट सकते होंगे, और खेल जारी रहता है
  • यह रूपक AI डेवलपमेंट तक भी फैलता है
    • पूरी ताकत लगाकर आगे बढ़ने की प्रक्रिया रोचक थी और सचमुच संतोष देने वाला साहसिक अनुभव भी
    • लेकिन सफल होकर रूपकात्मक पटाखा-विस्फोट में अपना हाथ उड़ा लेना एक कम संतोषजनक परिणाम बन जाता है
    • यह आकलन तब भी बना रहता है जब रूपक को इस तरह बढ़ाया जाए कि पड़ोसियों के साथ यह प्रतिस्पर्धा हो कि पहले किसका हाथ उड़ता है, या यह मान लिया जाए कि सब लोग एक ही हाथ साझा करते हैं
  • सकारात्मक पक्ष यह है कि Anthropic कम से कम coquina क्लैम को नोटिस करता हुआ दिखता है, जैसा कि शिक्षा-उपयोग पर उसकी हालिया रिपोर्ट में दिखाई देता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-04-12
Hacker News की टिप्पणियां

  • लेख अच्छा है, लेकिन मेरे हिसाब से असली बात AI development नहीं, बल्कि लेख के शुरुआती हिस्से में कही गई “जितना हो सके उतना पैसा कमाना” है
    AI में दिखने वाली समस्या development से ज़्यादा marketing और scale-up में पैदा होती है। मज़े के लिए नाले को रोकते-रोकते नाकाम होना या हाथ घायल कर लेना बुरा है, लेकिन उसका पैमाना अपने-आप सीमित रहता है। क्योंकि मज़े या चुनौती के लिए की जाने वाली चीज़ें आम तौर पर उस हद से आगे बड़े पैमाने पर नहीं फैलतीं, जितना कोई व्यक्ति खुद आनंद ले सके
    अगर हर कोई AI को मज़े के लिए नाला रोकने जैसा ही बरते, तो शायद कोई बड़ी समस्या न हो। Model ताकतवर हो सकते हैं, लेकिन पैसा कमाने से ज़्यादा उन्हें छेड़छाड़ कर खेलने में रुचि होगी, इसलिए वे अजीब और टुकड़ों में बंटे हुए होने की संभावना रखते हैं। HN पर आने वाले तरह-तरह के hobby projects की तरह लोग “बढ़िया है” कहकर आगे बढ़ जाएंगे, और उन्हें किसी critical dependency point में नहीं डालेंगे
    AI हो या कुछ और, जिस पल कोई चीज़ “जितना हो सके उतना पैसा” कमाने के लिए इस्तेमाल होने लगती है, समस्या शुरू हो जाती है। लेख के अंत में Anthropic के बारे में कुछ इस तरह कहा गया है कि उसने सीपियों पर ध्यान देना शुरू कर दिया, लेकिन लेख के कई उदाहरणों में रोकने वाली चीज़ आत्मचिंतन नहीं, बल्कि माता-पिता जैसी बाहरी authority थी। ज़्यादातर लोग लेखक जितने आत्ममंथनशील नहीं होते, और वे “उन लोगों के खिलाफ zero-sum game जीतना जिनके हारने की कोई वजह नहीं” या सीपियों जैसी चीज़ों की परवाह नहीं कर सकते। किसी को फावड़ा छीनना होगा
    जब तक “जितना हो सके उतना पैसा कमाना” को “कुछ टूटने तक जारी नहीं रखना चाहिए” वाले सिद्धांत का अपवाद माना जाता रहेगा, AI हो या न हो, ऐसी समस्याएं चलती रहेंगी

    • “AI हो या नहीं, किसी चीज़ से जितना हो सके उतना पैसा कमाने की कोशिश शुरू होते ही समस्या पैदा होती है” वाला हिस्सा खास लगा। सदी के मोड़ के आसपास web अचानक कमाई-केंद्रित हो गया था, तब ऐसा बदलाव देखा था, और उसके बाद से कुल मिलाकर ढलान ही लगी महसूस हुई
      अब मैं retire हो चुका हूं और अपने “software garden” में इधर-उधर चीज़ें ठीक-ठाक करता रहता हूं। AI का इस्तेमाल problem solving और code drafts बनाने में भी करता हूं, लेकिन मकसद निजी संतोष है
    • मेरे हिसाब से सिर्फ “बहुत पैसा कमाना” नहीं, उससे भी गहरी समस्या क्षमता का लोकतंत्रीकरण है
      जब tools रखने वाले लोग कम होते हैं, तो कारीगर बेहद मूल्यवान होता है। ज्ञान या असली skill की अधिक आपूर्ति नहीं होती, इसलिए वह बड़ा पैसा कमा सकता है, और बाकी लोगों के पास tools और skills नहीं होते, इसलिए वे आसानी से बराबरी नहीं कर पाते। शुरुआती मेहनत के दम पर अमीर हुआ जा सकता है
      जब सभी के पास वही tools आ जाते हैं, तब भी कारीगर मूल्यवान रहता है। समय के साथ जमा हुआ ज्ञान और skill दुर्लभ रहता है, और आगे बने रहने के लिए skills बढ़ाते रहने की प्रेरणा रहती है
      जब tool खुद काम करने लगता है, तो कारीगर की कीमत सीमित हो जाती है। वह किसी अवशेष जैसा हो जाता है, और वह चाहे जितनी expertise बढ़ा ले, ज़्यादातर लोग tool चालू करके पर्याप्त अच्छे नतीजे पा लेते हैं
      अभी हम stage 2 और stage 3 के बीच हैं। interviews में अभी भी algorithm design या approach की complexity पूछी जाती है, लेकिन बहुत से लोग “तो अब हमें क्या करना चाहिए?” वाले संक्रमण बिंदु तक नहीं पहुंच पाते
      अब value इस बात से कम आती है कि automation कैसे काम करता है, और इस बात से ज़्यादा कि tools का इस्तेमाल करके औसत व्यक्ति से अधिक value कैसे बनाई जाए। जिन लोगों ने यह सीखा है कि सिर्फ यह ज्ञान होने से वे स्थिर या profitable जीवन जी सकते हैं, उनके लिए यह बदलाव मुश्किल है
      अब SDE interviews का दौर गुजर चुका है, और engineers ढूंढते समय tool का version खुद बना सकने वाले व्यक्ति से ज़्यादा ऐसे लोग चाहिए होंगे जो वर्तमान को स्वीकार करें और accessible tools में मानवीय उपयोगिता जोड़कर पूरे को उसके हिस्सों के योग से बड़ा बना दें
      software बनाने का सबसे अच्छा हिस्सा creativity था, और वह हिस्सा नहीं बदला। बल्कि अब और भी महत्वपूर्ण हो गया है
      आखिरकार हम ऐसी चीज़ें बनाते हैं जिन्हें consumers इस्तेमाल करेंगे। अगर नाला किसी और दिशा में बहने लगा है, तो जहां पहले पानी बहता था वहां पत्थर जमाते रहने के बजाय यह स्वीकार करना होगा कि चीज़ बदल गई है और उसके हिसाब से ढलना होगा
    • यह जवाब वाकई बहुत अच्छी तरह लिखा गया है। मूल लेख में जानबूझकर शांत कराने जैसा tone है, लेकिन पढ़ते-पढ़ते वह चुभने वाली आत्म-प्रशंसा में बदल जाता है
      वह खुद को बधाई देता है कि उसने माता-पिता की संपत्ति को नुकसान पहुंचाने की सीमा समझ ली, खुद को बधाई देता है कि वह beach की रेत को अस्तित्ववादी सादगी के Instagram moment की तरह सराह सकता है, और खुद को बधाई देता है कि वह इतना smart था कि अपना हाथ उड़ा भी सकता था। “Leetcoding” क्या है, मुझे नहीं पता, लेकिन वह भी कुछ वैसा ही है, और वह कहता है कि उसने संदिग्ध नौकरी बोरियत के कारण छोड़ी, साथ ही इशारा करता है कि शायद उसकी अंतरात्मा जाग गई होगी। अंत में यह कहकर खत्म करता है, “बेशक यह artificial intelligence development के बारे में कहानी है”
      इसमें एक बात और जोड़ूं तो, पैसा नहीं प्यार चाहने, लेकिन असल में दोनों चाहने वाली मानसिकता दिखती है, और फिर भी वह दुनिया में खराब चीज़ को किसी महत्वपूर्ण dependency point में धकेलना चाहता है। यह प्यार हो या पैसा, जो मिल सके उसे पाने की कोशिश लगती है। मेरे माता-पिता ऐसी चीज़ को “ऐसा बच्चा जिसे बस attention चाहिए, चाहे अच्छा हो या बुरा” कहते थे
      मुझे लगता है कि पिछले 20 सालों में अधिकांश tech billionaires की बुनियादी driving force यही रही है। Bezos, Zuck, Jobs, Dorsey, Musk को जोड़ने वाली इच्छा कुछ ऐसी है: “पापा देखिए, मैंने सिर्फ आपका पैसा नहीं उड़ाया। मैं इतना smart था कि पटाखे से अपना हाथ उड़ा सकता था, लेकिन देखिए, मेरे दोनों हाथ सही-सलामत हैं। आपके पैसों से मैंने इतना पैसा कमा लिया। आप proud क्यों नहीं हैं? प्यार कहां मिलेगा? अगर मैं सबको बताऊं कि मैं कितना Leetcoder हूं, कि मैं खराब AI बना सकता हूं लेकिन सिर्फ अच्छा AI बनाता हूं, तो क्या सब मुझसे प्यार करेंगे?”
      बेशक मैं भी इन भावनाओं से पूरी तरह मुक्त नहीं हूं। मैं अच्छा काम करना चाहता हूं, और चाहता हूं कि लोगों को मेरा काम पसंद आए। लेकिन ऐसे लेखों में दिखावे की भूख और narcissism बहुत खुलकर दिखता है। अगर सचमुच genius हो, तो सीपियों के साथ लेटे रहो या उपन्यास लिखो। अगर सच में अंतरात्मा है, तो यह कहने की हिम्मत रखो कि तुम्हारे पास अंतरात्मा है। बाकी सबको छोड़ दो, और जिस दुनिया को तुम समझते नहीं हो उसे बचकाने लालच और self-obsession से प्रदूषित मत करो—ऐसा लगता है

  • यह एक शानदार essay है और मैं लेखक जैसा ही महसूस करता/करती हूं, लेकिन शायद इसे इतनी अच्छी तरह व्यक्त नहीं कर पाता/पाती
    हालांकि अगर आप उम्मीद कर रहे हैं कि AI researcher इस सलाह को मानकर अपनी रफ्तार धीमी कर देंगे, तो इंतजार न करना बेहतर है। लेखक ने कहा कि उन्होंने नैतिक कारणों से high-paying finance job छोड़ी, और यह सम्मान की बात है। लेकिन Wall Street चलता रहेगा, और “जितना संभव हो उतना पैसा कमाने” वाला game खेलने वालों की कोई कमी नहीं है

    • paperclip maximizer पहले ही आ चुका है, और अभी वह जिस चीज़ को maximize कर रहा है वह पैसा है
      हाल की HN comment [0], जिसमें कंपनियों और संस्थानों की तुलना AI से की गई थी, याद रह गई। ऐसे संगठन पहले से ही superhuman intelligence की तरह काम करते हैं
      [0] https://news.ycombinator.com/item?id=43580681
    • finance का काम zero-sum game है। ज्यादातर tech jobs दुनिया को बदतर बनाती हैं, इसलिए वे उल्टे negative-sum के ज्यादा करीब हैं। मुझे लगता है यहां मुख्य बात गलत पकड़ी गई है
      Amazon, Google, OpenAI जैसी कंपनियां काफी तेजी से धरती को नुकसान पहुंचा रही हैं, और Citadel जैसी कंपनियां बस पैसे को इधर-उधर करती हैं
    • मूल लेख शायद सचमुच यह उम्मीद नहीं कर रहा कि researchers रुक जाएंगे, बल्कि यह बताने के करीब है कि आदर्श दुनिया कैसी दिखेगी। इसका मतलब यह है कि अगर कोई चाहे तो उस दिशा में कोशिश कर सके, या ऐसे विचार को दुनिया के सामने रखा जा सके

  • यहां कहा गया tillering घास में side shoots निकलने के अर्थ में नहीं था, बल्कि धनुष बनाने के लिए लकड़ी को मोड़कर तराशने के अर्थ में था। नया शब्द सीखने का मजा है
    [1]: https://www.howtomakealongbow.co.uk/part-5-tillering
    [2]: https://en.wikipedia.org/wiki/Tiller_(botany)

    • मेरी याद के अनुसार tillering, धनुष में optimal bend और छोड़े जाने पर force transfer पाने के लिए bow stave को तराशने की प्रक्रिया के ज्यादा करीब है
      यह एक iterative process है: मोड़कर देखना, काट-छांट करना, फिर दोबारा मोड़कर देखना, और चरणों में लकड़ी हटाना

  • नाले को रोकने या समुद्र किनारे रेत में खेलने वाली बात इतनी wholesome थी कि हंसी आ गई। puzzle solve करना उस game के bad ending जैसा है जहां खेलना अब मजेदार नहीं रह जाता
    लोगों को किसी चीज़ में बेहतर बनने की कोशिश से ज्यादा, सिर्फ इसलिए चीजें करने में समय लगाना चाहिए क्योंकि वे मजेदार हैं। प्रलय हमारे जीवनकाल में आए या न आए, मैं किसी भी हालत में जितना हो सके जिंदगी का आनंद लेने की कोशिश करूंगा/करूंगी

  • Vonnegut ने इसे सबसे अच्छे ढंग से कहा था
    https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...

    • सोचता/सोचती हूं कि क्या उन्होंने यही बात कई बार सुनाई थी। मुझे तो बस यह version पता है
      https://www.goodreads.com/quotes/12020560-talking-about-when...
      “जब वह अपनी पत्नी से कहते हैं कि वे एक envelope खरीदने बाहर जा रहे हैं, तो पत्नी कहती है कि तुम कोई गरीब आदमी तो हो नहीं, online 100 envelopes खरीदकर अलमारी में क्यों नहीं रख देते। इसलिए मैं अनसुना कर देता हूं और एक envelope खरीदने बाहर निकल जाता हूं। क्योंकि एक envelope खरीदने की प्रक्रिया में मैं बहुत अच्छा समय बिताने वाला हूं। कई लोगों से मिलूंगा, कुछ शानदार लोगों को देखूंगा, fire truck गुजरने पर thumbs up करूंगा, और किसी महिला से पूछूंगा कि वह कुत्ता किस breed का है। कहानी की सीख यह है कि हम धरती पर यूं ही मौज-मस्ती करने आए हैं। बेशक, computers यह हमसे छीन लेंगे। computer लोगों को जो बात पता नहीं है या जिसकी परवाह नहीं है, वह यह है कि हम नाचने वाले animals हैं।”
      ― Kurt Vonnegut
    • मुझे Vonnegut और यह लेख पसंद हैं, लेकिन पक्का नहीं कि मुख्य link सचमुच वही बात कह रहा है या नहीं

  • लेखक AI जोखिम यानी “AI हम सबको मार डालेगा” को लेकर चिंतित लगते हैं, और यह LessWrong पर आम विषय है
    लेकिन नवीनतम AI models को अक्सर इस्तेमाल करने वाले व्यक्ति के रूप में देखें तो, यह बिल्कुल स्पष्ट नहीं है कि अनुमानित समय-सीमा के भीतर ऐसा कोई जोखिम मौजूद है। आज के सबसे अच्छे models भी आसानी से भरोसा कर लेते हैं, और उनमें अंतर्दृष्टि व मौलिकता की कमी है
    Dwarkesh ने पहले कभी ऐसा सवाल पूछा था। “ये models असल में लगभग पूरे मानव ज्ञान को याद कर चुके हैं, फिर भी खोज तक ले जाने वाले नए संबंध एक भी नहीं बना पाए—एक वैज्ञानिक के तौर पर आप इसे कैसे देखते हैं? अगर सामान्य बुद्धि वाला कोई इंसान इतना कुछ याद कर लेता, तो क्या वह ‘यह चीज़ यह लक्षण पैदा करती है, और वह भी वही लक्षण पैदा करती है, तो यहाँ इलाज है’ जैसी बात नोटिस नहीं करता? क्या हमें ऐसी उम्मीद नहीं करनी चाहिए?”
    मेरे साथ भी कुछ समय पहले ऐसा ही हुआ। मैंने GPT-4.5 “Deep Research” से पूछा कि किसी खास मशीन part के लिए कौन-सा material सबसे अच्छा है, तो पहला जवाब एक हास्यास्पद रूप से मूर्खतापूर्ण LinkedIn post की सीधी नकल था, और दूसरा जवाब marketing-style press release से निकला था। कोई मौलिक insight बिल्कुल नहीं थी, और आखिर में निष्कर्ष यही निकला कि research और experiment मुझे खुद ही करने होंगे
    मुख्य बात यह है कि मैं नहीं मानता कि large language models मानवता को खत्म कर देने लायक डरावने और नए तरीके बना सकते हैं। पिछले 5 सालों में यह बात बिल्कुल नहीं बदली है। अब वे बस LinkedIn posts खंगाल सकते हैं और web पर press releases खोज सकते हैं
    ऊपर से, इन models की अपनी स्वतंत्र इच्छा नहीं है और न ही समय-स्थान की समझ है। सिद्धांत रूप से भी यह स्पष्ट नहीं है कि वे सचमुच स्वतंत्र agents की तरह काम कर सकते हैं या नहीं

    • बल्कि अगर AI ने LinkedIn posts सब याद कर लिए हों, तो शायद वह अपनी दयनीय हालत खत्म करना चाहे
    • क्या Ukraine में semi-autonomous drones पहले से सैनिकों को मार नहीं रहे? क्या आप अधिक संघर्षों और automated killing वाले भविष्य की कल्पना नहीं कर सकते? बेशक, आप इसे सख्त अर्थ में AI risk न मानें तो अलग बात है
    • large language models पूरी तरह text पर trained होते हैं, इसलिए ऐसे problems पर उनमें बहुत insight नहीं होती
      लेकिन मुझे नहीं पता कि किसी ने ऐसा multimodal model बनाया है या नहीं, जिसे अलग-अलग loads झेलने वाले parts के X-ray tomography data और उन parts के उपयोग के विवरण को साथ में सिखाया गया हो। ऐसा model शायद सवाल का काफी अच्छा जवाब दे सके
    • large language models हम सबको नहीं मारेंगे। वे किसी ठाने हुए mass murderer को हम सबको मारने में मदद भी नहीं करेंगे
      लेकिन वे आसानी से धोखा खा जाने वाले मूर्खों से मानवता को पूरी तरह खाई की ओर जरूर धकेलवा सकते हैं। यह अभी पहले से हो रहा है। model का स्वतंत्र agent होना जरूरी नहीं है; बस उसका smart दिखना काफी है

  • “मुझे वह मिलने के बाद ही समझ आया कि मैं ‘जितना हो सके उतना पैसा कमाने’ वाला game अब और नहीं खेल सकता”
    मज़ेदार बात यह है कि मेरे पिता ने मुझे 12 साल की उम्र में करुणा की वजह से यह सिखाया था। समझ नहीं आता कि logic से प्यार करने वाले Spock जैसे लोगों का इतना महिमामंडन क्यों किया जाता है। क्या उन्हें नहीं पता कि Star Trek का असली hero Captain Kirk था? क्योंकि उसमें करुणा थी
    Zizians का LessWrong से निकलना भी आश्चर्यजनक नहीं है

  • अगर पैसा बनने वाला काम हो, तो चाहे फावड़ा लिए कोई व्यक्ति हो या पटाखों से भरा truck लेकर आया कोई व्यक्ति, जोखिम उठाने को कोई न कोई हमेशा तैयार रहता है। खासकर अगर वह जोखिम जनता पर डाल सके, तो reward खुद रखना चाहेगा

  • अगर आप parent हैं, तो क्या आप रोज़ अपने बच्चे को देखकर इस छोटे, अद्भुत, अजीब और अनोखे अस्तित्व पर कभी-कभी चकित नहीं होते
    LessWrong के writers रोज़ आईने में देखकर शायद वैसा ही महसूस करते हैं

  • “coquina” रूपक क्या है, इसकी व्याख्या चाहिए

    • मेरी समझ के अनुसार, लेखक समुद्र-तट को रोकने जैसा कोई विशाल काम करने की कोशिश करने वाला श्रेष्ठ अस्तित्व है, और उसे पता है कि इससे सीपियों को समस्या हो सकती है
      वास्तविकता में इसका मतलब लगता है कि Anthropic AGI बनाने जैसा विशाल काम कर रहा है, और अब जाकर यह नोटिस करना शुरू कर रहा है कि इसका लोगों पर संभावित असर क्या हो सकता है
    • Coquina वे clams हैं जो रेत की सतह के बहुत पास खुद को दबा लेते हैं [1]। लेखक रेत से खेलते हुए चिंता करता है कि कहीं वह इन clams को बहुत गहराई में दबाकर उन्हें सतह पर वापस न आने दे और मार न दे
      लगता है अर्थ यह है कि Anthropic यह समझना शुरू कर रहा है कि उनका काम दूसरों के लिए क्या जोखिम पैदा कर सकता है, लेकिन ठीक-ठीक किस ओर इशारा है, यह मुझे अच्छी तरह नहीं पता
      [1]: https://www.youtube.com/watch?v=KZUlf7quu3o
    • मैं या तो रूपक decode करने जितना smart नहीं हूँ या बहुत थका हुआ हूँ, इसलिए essay को ChatGPT में डाला तो 4o ने साफ़-साफ़ समझा दिया
    • मेरा मतलब यह समझ में आता है कि सोच और writing को automation tools से थोड़ा replace करके खेलना recoverable है, लेकिन जब यह industrial और social scale पर होता है, तो नुकसान बड़ा हो जाता है
      यह हाथ से थोड़ी रेत खोदकर किसी छोटे जीव को थोड़ी देर दबाने और “city councilor को lobby करके groyne या breakwater लगवाने और beach sand को सचमुच हटाने” के फर्क जैसा है
    • Anthropic(Claude.ai) ने large language models और education पर अपनी report में कहा है कि students Claude का इस्तेमाल cheating और assignments outsource करने के लिए करते हैं
      https://www.anthropic.com/news/anthropic-education-report-ho...