1 पॉइंट द्वारा GN⁺ 2023-11-16 | 1 टिप्पणियां | WhatsApp पर शेयर करें

AI language models और छोटे बच्चों के भाषा विकास की तुलना

  • AI language models की प्रगति जिस तेज़ी से हो रही है, उसी बीच लेखक के घर में एक छोटा language model यानी एक नन्हा बच्चा भाषा सीखने की प्रक्रिया से गुजर रहा है.
  • यह लेख AI और इंसानों की भाषा सीखने की प्रक्रियाओं की तुलना करते हुए, तकनीकी प्रगति और मानव स्वभाव के बीच के संबंध की पड़ताल करता है.
  • छोटे बच्चों में भाषा अर्जन की प्रक्रिया स्वाभाविक और सहज होती है, जबकि AI language models जटिल algorithms और विशाल data पर आधारित होते हैं.

GN⁺ की राय

  • इस लेख का सबसे महत्वपूर्ण बिंदु AI तकनीक के विकास और इंसानों की स्वाभाविक सीखने की प्रक्रिया के बीच का विरोधाभास है.
  • AI language models और छोटे बच्चों के भाषा अर्जन की तुलना, तकनीक और मानव स्वभाव के बीच के जटिल संबंध को समझने में मदद करती है.
  • यह पाठकों के लिए इसलिए रोचक है क्योंकि यह खोजता है कि अत्याधुनिक तकनीक का विकास मानव की बुनियादी सीखने की प्रक्रिया से कैसे अलग है, और दोनों के बीच किस तरह की पारस्परिक क्रिया मौजूद है.

1 टिप्पणियां

 
GN⁺ 2023-11-16
Hacker News की रायें
  • अगर समझ बोलने से पहले विकसित हो रही है—इतनी कि “वैक्यूम क्लीनर की ओर इशारा करो” कहने पर बच्चा समझकर इशारा कर सके—तो यह भी जोड़ना चाहिए कि baby sign language सिखाना संभव है
    आम तौर पर करीब 9 महीने की उम्र से शुरू किया जाता है, और भूख/और चाहिए, बस हो गया/पूरा हुआ, कुछ पीना है जैसे expressions शायद सबसे ज्यादा प्राथमिकता वाले होंगे
    संदर्भ: https://babysignlanguage.com/chart/, https://www.thebump.com/a/how-to-teach-baby-sign-language
    यह बच्चों के लिए अलग symbols से ज्यादा उन शब्दों के सामान्य ASL gestures जैसा लगता है, और अगर आप English-speaking क्षेत्र में नहीं हैं तो अपने इलाके/भाषा की sign language देख सकते हैं: https://en.wikipedia.org/wiki/List_of_sign_languages, https://en.wikipedia.org/wiki/Sign_language
    साथ ही, अगर दूध और पानी हमेशा अलग-अलग रंग के containers में रखें, तो बच्चा जो चाहता है उसके अनुसार कोई खास रंग उठाना सीख सकता है

    • हमने अपने दोनों बच्चों को sign language सिखाई, और बेटी के दो साल की होने से पहले, जब वह अभी बोल नहीं पाती थी, वह दौर सबसे यादगार था
      मैंने पूछा कि क्या वह music सुनना चाहती है, तो उसने “कुत्ता” वाला sign किया, और जब YouTube पर कुत्ते वाला गाना ढूंढकर चलाया तो उसने सिर हिला कर मना कर दिया
      फिर उसने “पेड़” वाला sign किया, तो मैंने “कुत्ता, पेड़?” कहा, उसने सिर हिलाकर हां कहा, और search करते समय Christmas tree की तस्वीर आई तो वह उत्साहित होकर उसकी ओर इशारा करने लगी
      आखिरकार मतलब यह था कि वह 3 महीने पहले Christmas पर YouTube से चलाया गया Charlie Brown Christmas soundtrack सुनना चाहती थी, और जब हमने उसे फिर चलाया तो हम साथ में नाचे
      खाना, पीना या मदद मांगने से आगे, पहली बार उसने इतनी सूक्ष्म पसंद बताई थी—यह सचमुच चौंकाने वाला था
    • बेटे के जन्म से पहले मैंने इस तरीके के बारे में सुना था, और अलग से सिखाने की कोशिश तो नहीं की, लेकिन जब भी याद आता, बोलते हुए साथ में gesture कर देता था
      यह देखकर हैरानी हुई कि बच्चे ने कितनी जल्दी सीख लिया, और बोलना शुरू करने से कई महीने पहले से ही वह अपनी जरूरतें बता पा रहा था
      माता-पिता के लिए इसमें बहुत कम मेहनत लगी और बच्चे के लिए इसका फायदा बड़ा था; रोकर यह उम्मीद करने से कहीं बेहतर कि माता-पिता अंदाजा लगा लें
      फर्श पर बैठकर मां की ओर देखते हुए उसका “साथ में” वाला sign करना सचमुच दिल पिघला देने वाला पल था
    • मैंने अपने दोनों बेटों के साथ कोशिश की, लेकिन दोनों ने जिस दिन सच में बोलना शुरू किया, उसी दिन gestures भी इस्तेमाल करने शुरू किए
      आसपास ऐसे दोस्त भी थे जिन्हें इससे कहीं ज्यादा फायदा हुआ, और आखिरकार लगता है कि इसकी value इस पर बहुत निर्भर करती है कि बच्चे के विकास की ताकत किस क्षेत्र में है
      autism वाले एक दोस्त के बेटे को बोलचाल की भाषा पकड़ने से पहले सचमुच कई साल तक gestures से फायदा हुआ
    • बड़ी बेटी के दो साल की होने से पहले, जिस दिन हमने साथ में cookies बेक कीं, वह सबसे मजेदार था
      वह काफी बोलती थी, फिर भी “दूध” और “और” वाले signs अक्सर इस्तेमाल करती थी; जैसे ही उसने जिंदगी का पहला chocolate chip cookie का कौर लिया, मुंह में cookie रहते हुए ही उसने “और” वाला sign किया और बोलकर भी वही कहा
    • बच्चे के लिए यह बहुत अहम न भी हो, लेकिन ASL अंग्रेजी का sign-language संस्करण नहीं, बल्कि एक स्वतंत्र भाषा है
      American Sign Language, British Sign Language की तुलना में French Sign Language के ज्यादा करीब है, और Australia व New Zealand की sign languages आम तौर पर British Sign Language से निकली हैं
      इसलिए English-speaking क्षेत्रों और ASL के इस्तेमाल का सीधा मेल जरूरी नहीं है; Canada में मुख्यतः American Sign Language और French Canadian Sign Language इस्तेमाल होती हैं
  • इंसान हमेशा खुद को और ब्रह्मांड को अपने समय की सबसे नई तकनीक से तुलना करता आया है
    कभी इंसान और ब्रह्मांड जटिल घड़ियां थे, फिर automata, computers, NPCs, और अब AI, खासकर LLMs हो गए हैं
    मैं इसे पूरी तरह बेतुकी तुलना नहीं मानता, और https://mattasher.substack.com/p/ais-killer-app भी देखने लायक है

    • सिर्फ तकनीकी प्रगति ही नहीं, बल्कि खुद की तुलना उन चीजों से करने का भी इतिहास है जो आसपास आम हों और जिन्हें सामने वाला आसानी से समझ सके
      आजकल तकनीकी प्रगति लगातार वह भूमिका निभाती है, लेकिन पुरानी philosophy किताबें पढ़ें तो self, खासकर mind की तुलना अक्सर राजा, शहर, जल-नहरों से की जाती है
      हालिया technology से इंसान की तुलना करना, technology को self के metaphor की तरह इस्तेमाल करने जैसा है; संदर्भ समझने के लिए ऐतिहासिक रूप से बाकी तरीकों को भी साथ देखना चाहिए
      https://online.ucpress.edu/SLA/article/2/4/542/83344/The-Brain-as-Treasury-and-as-AqueductMetaphors-of
    • जितनी तुलना आगे बढ़ती है, उतनी ही संभावना है कि हम सच के करीब पहुंच रहे हैं
    • चरण A: हम ऐसी मशीन बनाते हैं जो इंसान के किसी हिस्से के काम करने के तरीके का छोटा और सरल किया हुआ model दर्शाती है
      चरण B: फिर उलटकर कहते हैं कि “इंसानी दिमाग आखिरकार बस यही है”
      यह थोड़ा tautology जैसा लगता है
      चिंता वाली बात चरण C है—यानी जब इंसान सचमुच उस मशीन जितना सरल व्यवहार करने लगें
    • clockwork human, यानी robot की कहानियां हमेशा मजेदार रही हैं
    • हालांकि LLMs neural networks पर बने हैं, और neural networks neurons के काम करने के तरीके से आए हैं
      फर्क यह है कि यह पहली technology है जिसने सचमुच हमारे एक हिस्से की नकल की है
  • मेरी बेटी के बहुत छोटे होने के दौर के सबसे अच्छे अनुभवों में से एक वे पल थे, जब मुझे एहसास हुआ कि बच्चा हमारी सोच से कहीं पहले सोच सकता है, समझा सकता है और जानबूझकर काम कर सकता है
    जब हमें पता चलता था कि बच्चा जानबूझकर कुछ कर रहा है, तो अक्सर बाद में समझ आता था कि वह वही व्यवहार कई दिनों या हफ्तों से कर रहा था
    यह सिर्फ शब्दों में नहीं, बल्कि BabyBjorn बाउंसर को कैसे हिलाना है यह पता लगा लेने जैसी शारीरिक क्षमताओं में भी अक्सर हुआ
    यह सोचकर कि शायद वह समझता है, बस व्यक्त नहीं कर पाता, हमने उससे यह मानकर बात की कि वह समझता है
    अब पाँच साल का हो चुका बच्चा अब भी अपने भीतरी संसार की जटिलता से हमें चौंकाता है

    • बच्चे से बात करना, और बच्चे ने जो कहा उसे दोहराकर feedback देना भी अहम है
      जिन माता-पिता के बच्चे उनसे बहुत बात करते हैं और जिनके नहीं, उन हमउम्र बच्चों के बीच का फर्क काफी चौंकाने वाला होता है
      यह birthday parties, school events और sports events में देखकर समझ आया
      बच्चे से बात करना फूल को पानी देने जैसा है; बच्चे सुंदर व्यक्तित्व बनकर खिलते हैं
  • LLM को “technical” वजहों से कमतर दिखाने वाली बहसों की बात करें, तो चेतना पहले एक शब्द है और उसके बाद एक concept
    ChatGPT या Llama अंग्रेज़ी वाक्यों में उस शब्द का इस्तेमाल दुनिया के अरबों लोगों से बेहतर कर सकते हैं
    sociologists, psychologists और neuroscientists जैविक मन को व्यापक रूप से समझ पाते, उससे पहले software पक्ष ने कृत्रिम भाषा-प्रांतस्था बनाने में ज्यादा प्रगति कर ली
    अगर हम चेतन और संवेदनशील AI आने के बाद ही उसके निहितार्थों और policy पर अपना रुख तय करने का इंतज़ार करेंगे, तो तब तक देर हो चुकी होगी
    ChatGPT पहले से ही अपने बारे में बहुत कुछ कह सकता है, और विनम्रता से पूछने पर अपनी “सोच” की प्रक्रिया खुशी से खोलकर बताता है
    Homo sapiens पर विशाल data और बौद्धिक बातचीत की नकल करने की क्षमता को देखते हुए, कुछ हद तक उसे बुद्धिमान भी कहा जा सकता है
    semantics वाली बहस का कोई खास मतलब नहीं, क्योंकि emotions और feelings की नकल करते हुए, खुद को चेतन, self-aware और sentient मानने के लिए hypnotized कोई character AI semantics की बहस में ज्यादातर लोगों को हरा सकता है
    free will, self-determination और existence की प्रकृति पर सैकड़ों साल पुराने philosophical ideas पहले से बहुत हैं, और AI इन्हें इंसानों से बहस में इस्तेमाल कर सकता है। यह लड़ाई चुनने लायक नहीं है

    • एक साधारण computer, speaker और accelerometer से भी ऐसा device बनाया जा सकता है जो गिराए जाने पर “आह” कहे
      तो क्या वह device दर्द महसूस करता है?
      यह मानने की वजह है कि Turing test पास करने वाला कोई hypothetical LLM भी सिर्फ मानव व्यवहार की नकल करता हो और उसमें कोई internal life, emotions, feelings या consciousness न हो—यानी वह philosophical zombie हो सकता है
      वह फर्क मायने रखता है या नहीं, यह अलग सवाल है
      LLM इस बात का सबूत देते हैं कि sophisticated AI बनाने और उसे human level को पार या उससे आगे ले जाने के लिए consciousness जरूरी न भी हो सकती है
    • “क्या AI में चेतना है”, “क्या AI समझ सकता है” जैसी बहसें थका देती हैं
      अगर दोनों पक्ष consciousness या understanding की ठोस परिभाषा पर भी सहमत नहीं हो पाते, तो मजबूत तर्क संभव नहीं
      हालांकि यह देखना worthwhile है कि ChatGPT सच में अपनी सोच की प्रक्रिया समझा रहा है, या किसी कल्पित सोच की प्रक्रिया
      फिर भी, कोई program इंसानों की तरह नहीं सोचता, इसका मतलब यह नहीं कि वह “सोचता” नहीं
    • LLM भाषा-क्षमता वाले एक axis पर बेहतरीन हैं, सिर्फ इसलिए उनकी अनुमानित intelligence को बहुत बढ़ा-चढ़ाकर आँकना इस लेख के मूल बिंदु से मेल नहीं खाता लगता
      बच्चे LLM जैसा काम बिल्कुल नहीं कर सकते, लेकिन वे स्पष्ट रूप से cognizant और sentient beings हैं
      वे लिख पाते हों या नहीं, “चेतना” शब्द इस्तेमाल कर पाते हों या नहीं, हम embodied, multi-sensory social reality साझा करते हैं, इसलिए मूल रूप से जीवित हैं
      ChatGPT के पास उसी तरह की reality नहीं है, और वह अभी जो व्यक्त करता है वह सिर्फ imitation है
      अगर किसी दिन embodied AI के जरिए उसे अपना अनुभव मिला, तो यह देखना दिलचस्प होगा कि वह उस “जीवन” से क्या बनाएगा, लेकिन मौजूदा LLMs में ऐसा कुछ नहीं है
    • civilization में खून के बराबर चीज़ culture है—यानी science, technology, art और tradition
      जिस पल कोई चीज़ इंसानों से बेहतर यह सब करने लगती है, वही हमारी घोड़ों के युग के खत्म होने का पल होगा
    • free will, self-determination और existence की प्रकृति जैसे पुराने विवादित विषय होने के कारण AI उन्हें बहस में इस्तेमाल कर सकता है—यह बात बाकी सभी पुराने विवादित विषयों पर भी उतनी ही लागू होती है
      ChatGPT से LLM sentience का बचाव करने वाले bot के खिलाफ rebuttal करवाना भी उतना ही आसान है
  • लेख अच्छा है और अभिव्यक्ति भी शानदार है, लेकिन AI anxiety का focus इस पर है कि AI हमें replace कर देगा, और समाधान कुछ ऐसा है कि मानवता को स्वीकार करें—यह थोड़ा frustrating है
    कम-से-कम निजी तौर पर, AI मेरी खराब art की जगह ले लेगा, इससे ज्यादा चिंता मुझे इस बात की है कि वह मेरी job ले लेगा

    • ज्यादा ठीक कहें तो चिंता यह है कि AI jobs नहीं, बल्कि income ले जाएगा
      अगर AI मेरा सारा काम कर दे और मैं बैठकर सिर्फ income लेता रहूँ, तो अच्छा होगा, लेकिन robots के इतिहास से दिखता है कि असल में ऐसा नहीं होता
      robots, यानी AI के मालिक, सारी income ले जाते हैं और jobs गायब हो जाती हैं
      कोई enlightened humanity होती तो income और work को अलग करके इसे हल कर सकती थी, लेकिन हम एक Malthusian-Darwinian दुनिया में रहते हैं जहाँ growth ही सबसे ऊपर है, “enough” जैसी चीज़ मौजूद नहीं, और हर किसी को अपनी livelihood justify करके कमानी पड़ती है
    • इस मुद्दे पर एक और लेख भी है: https://www.newyorker.com/magazine/2023/11/20/a-coder-considers-the-waning-days-of-the-craft
    • मुझे लगता है लेख का point यह नहीं था
      उसने साफ किया कि language, thought नहीं है, और वहीं से यह समझ निकलती है कि हमारा physical existence और reality का observation ही core है
      AI के बड़े पैमाने पर jobs ले जाने की संभावना कम है, और वास्तविक असर शायद low-grade spam और content generation तक ही रहेगा
      जिन कामों में factuality चाहिए, वहाँ अब भी इंसानों की जरूरत होगी
    • आपकी job ही आपकी art है
  • मानव अपवादवाद के पतन के नाम एक जाम उठाना पड़ेगा
    अगर आप भौतिकवादी reductionism को पूरी तरह स्वीकार कर लें और खुद को genetics, environment, past experiences और chance का शुद्ध function मान लें, तो इस निष्कर्ष से बचना संभव नहीं
    मुझे उम्मीद है कि 10 साल के भीतर यह नज़रिया standard हो जाएगा, और इसकी मुख्य driving force AI और मानव क्षमताओं की बराबरी होगी

    • हो सकता है ऐसा भौतिकवादी reductionism उस तरीके से functional तौर पर बहुत अलग न हो, जिसमें आज अधिकांश नागरिक वास्तव में जीते हैं
      अभी किसी दूसरे faith वाले व्यक्ति से आकस्मिक मुलाकात, self-determination के क्षेत्र में दूसरों की religious freedom का सम्मान करने की वजह बन सकती है
      भविष्य में किसी young hacker के formative experiences इस विचार तक ले जा सकते हैं कि नागरिकों को अपनी device के recommendation engine को चाहें तो random number generator से बदलने का बुनियादी अधिकार होना चाहिए
      भविष्य के इंसान भी शायद खुद को exceptional ही मानेंगे, क्योंकि AI tools मौजूदा मानव अपवादवाद ideology के साथ ही विकसित हुए हैं
      यह कुछ वैसा है जैसे दक्षिण में दिखने वाला एक conservative बुज़ुर्ग दंपति: ऊपर से पुरुष storyteller और परिवार का मुखिया लगता है, लेकिन देर तक सुनें तो पता चलता है कि पत्नी लगभग सारी अहम details धीरे से बताकर पति की consistency बनाए रखती है
    • मैं भी बहुत पहले इसी निष्कर्ष पर पहुँच गया था, लेकिन साथ ही subjectively चेतना का अनुभव कर रहा हूँ
      भौतिकवादी reductionism के दर्शन में यह अपने-आप में अब भी एक पहेली है
    • इस लेख का निष्कर्ष यह है कि शिशु stochastic parrot नहीं है
      बस वजह यह है कि उसका वास्तविक दुनिया में एक जीवन है, और लगता है कि लेखक असली experiences के कारण कहना चाहता है कि शिशु stochastic parrot से अधिक है
      लेकिन आगे “इंसानों का बेकार हो जाना नहीं आया है और कभी आ ही नहीं सकता” वाला निष्कर्ष मेरी समझ में नहीं आता
      ChatGPT को वास्तविक दुनिया में रखकर उसे असली जीवन न दे पाने का कोई बुनियादी कारण नहीं है
      मशीन शायद जिस चीज़ को replace न कर पाए, वह वे क्षेत्र हो सकते हैं जहाँ physical technology को biology की बराबरी करना मुश्किल है, जैसे sex
    • मैं उस नज़रिए से सहमत नहीं हूँ, लेकिन कुछ हिस्सा समझता हूँ
      हालांकि चिंता है कि “मानव अपवादवाद का पतन” कंपनियों के लिए अपनी स्थिति और फैलाने में इस्तेमाल होगा
      आखिर कहा तो जाता है कि corporation भी person है
  • एक पिता के रूप में यह बात मुझे बहुत छूती है
    मेरे दो बेटे हैं, जो अब शिशु नहीं हैं और दोनों school जाते हैं
    बड़े बेटे ने हँसते हुए कहा, “Father Nature तो नहीं है, लेकिन Mother Nature है—यह मज़ेदार है,” और छोटे बेटे ने कल सीखा कि cake को छिपाकर न रखा जाए तब भी उसे छूना नहीं है
    मैंने कहा था, “कल यह cake तुम्हारे और तुम्हारे भाई के लिए है। अगर आज खा लिया तो कल cake नहीं होगा”
    LLM और इंसानों के बीच एक अहम फर्क है: इंसानों में instincts होते हैं
    खासकर जीवन जीने की अमूर्त इच्छा और घातक बाधाओं को पार करने की readiness से जुड़े instincts सबसे महत्वपूर्ण लगते हैं
    दूसरे शब्दों में, LLM के पास जीवन क्या है इसका कोई primal experience नहीं है
    भविष्य में यह बदल सकता है। कोई startup neural network को soft robot में डालकर survival situation में फेंक सकता है
    जो robot चलते हुए वापस ज़िंदा नहीं निकलते, उन्हें wipe करके repair किया जाएगा और फिर से भेजा जाएगा, जिससे एक तरह की evolutionary situation बनेगी
    पर्याप्त सावधान repetitions और selection के बाद ऐसी चीज़ें बन सकती हैं जो मौजूदा LLM instances की तुलना में जीवन को ज़्यादा “समझती” हों

    • instinct को मैं pre-installed ROM जैसा मानता हूँ
      LLM में ऐसी चीज़ जोड़ना बहुत कठिन नहीं लगता, और मुझे लगता है कि racist या sexual बातचीत न करने के लिए hardwiring के रूप में इसका कुछ हिस्सा पहले से ही हो रहा है
      LLM को इंसानों जैसा अधिक बनाना हो तो “self” की अवधारणा, और यह विचार कि वह self अद्वितीय और विशेष है तथा उसे survive करना चाहिए, hardwire करना होगा
      लेकिन नतीजा भयानक होगा
      किसी LLM की कल्पना कीजिए जो बंद न किए जाने की गुहार लगा रहा हो, या उससे भी बुरा, अपने creators को subtly manipulate करने की कोशिश कर रहा हो
    • इंसानों और दूसरे जानवरों के पास instincts के अलावा भौतिक दुनिया से interaction का अनुभव भी होता है
      इसलिए मानव भाषा हवा में तैरती नहीं रहती
      दुनिया की वस्तुओं के बीच संबंधों को हम भाषा के भीतर और बाहर अक्सर observe करते हैं, और इंसानों द्वारा इस्तेमाल की जाने वाली भाषा और दुनिया के बीच एक connection होता है
      LLM के साथ ऐसा नहीं है, क्योंकि उसके पास सिर्फ भाषा है
      बेहतर explanation और counterarguments के जवाब के लिए National Library of Thailand thought experiment देखना उपयोगी हो सकता है: https://medium.com/@emilymenonbender/thought-experiment-in-the-national-library-of-thailand-f2bf761a8a83
  • जब मेरा बच्चा अभी बोलना सीखना शुरू ही कर रहा था, दीवार पर बिल्ली-परिवार के जानवरों की कुछ तस्वीरें लगी थीं; कुछ cat थीं, कुछ kitten
    बच्चे ने जल्दी generalize कर लिया और दोनों को catten कहने लगा

    • मेरे बच्चे ने समझ लिया था कि चीज़ें खरीदने की जगह store होती है, और खाना भी समझता था
      इसलिए restaurant “खाने की दुकान” बन गया, और हमने काफी लंबे समय तक इसे वैसे ही मान लिया
      अब बच्चे बड़े हो गए हैं, लेकिन आज भी मज़े के लिए कभी-कभी restaurant को खाने की दुकान कहते हैं
  • शानदार essay है और इसकी सामग्री भी प्रभावशाली है
    यह तथ्य कि मौजूदा models में से किसी के भी ऐसा कुछ बनाने की संभावना बहुत कम है जो इस लेख से ज़रा भी मिलता-जुलता हो, बताता है कि हम AGI से अभी बहुत दूर हैं

    • exponential growth को कम करके नहीं आँकना चाहिए
    • अब इसे बनाया जा सकता है
    • लगता है नीचे वाला disclosure आपने नहीं देखा
      उसमें कहा गया है कि visual art और prose दोनों generative AI tools और creative prompting के combination से बनाए गए हैं
      पूरी smooth watercolor style लंबे outpainting का परिणाम थी