2 पॉइंट द्वारा GN⁺ 2024-02-22 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Doom के डेवलपर और Oculus के पूर्व CTO रहे John Carmack का ट्वीट

    "AI के लिए प्रॉम्प्ट इंजीनियरिंग और फ़िल्टरिंग से सेट किए गए AI आचरण गार्डरेल सार्वजनिक होने चाहिए, और निर्माता को समाज के लिए सबसे बेहतर क्या है—इस बारे में अपनी विज़न तथा उसे निर्देश और कोड में कैसे लागू किया गया, यह गर्व से साझा करना चाहिए।
    सच में, मुझे लगता है कि ज़्यादातर लोग इसमें झिझकते या शर्मिंदा महसूस करते हैं।
    निस्संदेह, मानव फ़ीडबैक के जरिए रिइनफोर्समेंट लर्निंग में एन्कोड किए गए हजारों छोटे nudges कहीं अधिक ठोस इंकार की संभावना (plausible deniability) प्रदान करते हैं।"

1 टिप्पणियां

 
GN⁺ 2024-02-22
Hacker News रायें
  • मैंने बड़े पैमाने पर moderation या content control कभी लागू नहीं किया है, लेकिन जो automated rules आधार में होती हैं, उन्हें आम तौर पर सार्वजनिक न करना ही standard लगता है
    अगर word blocklist सार्वजनिक कर दी जाए, तो लोग list में न मौजूद शब्दों से problematic content आसानी से व्यक्त कर सकते हैं, और shadowban को भी मैंने boundary साफ़-साफ़ न बताने की व्यवस्था के रूप में देखा है
    यह frustrate करने वाला है, यह समझता हूँ, लेकिन अभी कोई बेहतर approach ख़ास नज़र नहीं आती, और अगर कोई सार्वजनिक तरीका हो जो scale पर काम करता हो तो वह अच्छा starting point होगा

    • इस case में बड़े पैमाने की censorship और moderation लागू करने की ज़रूरत नहीं है। मैं 5 मिनट के मज़े के लिए अलग-अलग situations में white people की images generate करूँ, इसमें security concern क्या है, समझ नहीं आता
      यह सिर्फ़ computer से बात करना है, किसी को चोट नहीं लगती। notes app में लिखी बातों को censor करना और Facebook wall पर लिखी बातों को manage करना अलग चीज़ें हैं; पहले में moderation की अपेक्षा नहीं होती और दूसरे में कुछ हद तक checking की ज़रूरत समझ में आती है
    • यह खराब approach और खराब logic है। security through obscurity security industry में लगभग हमेशा तिरस्कारपूर्ण अर्थ में इस्तेमाल होने वाला phrase है
      लोग ऐसी automated censorship को अच्छी तरह bypass कर लेते हैं, और इसे public न करने से normal users के लिए ज़्यादा problems पैदा होती हैं और खराब policies के छिपे रहने की गुंजाइश बढ़ती है
      वही काम करना हो तो भी public policy के साथ करना पहले से बेहतर है, भले वह अभी भी खराब ही हो। विशाल public square के private companies द्वारा नियंत्रित होने की समस्या का असली समाधान सिर्फ़ इस स्थिति को खत्म करना है
    • शायद शुरू से ही संकेत किए गए problems को address करने की ज़रूरत न हो। यह consistent ideological injection है, और लोगों के सहमति के स्तर अलग-अलग हैं
      अगर company पूरी measures list public नहीं करना चाहती, तो कम से कम summary तो दे सकती है। मुझे लगता है कि ऐसी summary भी original tweet में कही गई “shameful” चीज़ ही होने की संभावना ज़्यादा है
      problem और approach को स्पष्ट न करें तो उस पर चर्चा या उसकी पहचान नहीं की जा सकती। यह content moderation वाली analogy से थोड़ा अलग है, क्योंकि जो छिपा है वह measures की list नहीं, बल्कि “forum rules” खुद हैं
      AI का explanation के साथ refuse करना एक case है, और अगर उससे कुछ usefulness घटती भी है तो यह company का अधिकार है। लेकिन अगर इन restrictions की वजह से वह चुपचाप topics से बचता है या steer करता है, तो यह अलग problem है
      बनाने वालों के लिए भी दोनों cases को साफ़ अलग रखते हुए original model जैसी quality बनाए रखना मुश्किल लगता है। आखिर में लोग Chinese AI इस्तेमाल करने लग सकते हैं। अगर वह Chinese Communist Party के लोगों को न भी draw करे, लेकिन बाकी चीज़ें बेहतर करे, तो किसे फर्क पड़ेगा
    • ज़्यादातर legal systems national scale पर काम करते हैं, लेकिन वे छिपे हुए पहेली जैसे कानूनों से बने नहीं होते। इसके कई कारण हैं
      cryptocurrency के समय भी हम ऐसी ही बहस कर चुके हैं, और broadly यह निष्कर्ष निकला था कि existing legal system, भले बाहरी mechanism हो, malicious actors को track करने के लिए पर्याप्त tools देता है
      आखिर में, internet पर लिखने वाले कई AI safety followers की illiberal tendencies देखकर मुझे वे लोग पसंद नहीं आते, और मैं उन्हें ऐसी चीज़ सौंपने लायक भरोसेमंद नहीं मानता
    • “अगर word blocklist public कर दी जाए, तो लोग list में न मौजूद शब्दों से problematic content व्यक्त करेंगे” वाले हिस्से को और खंगालना चाहता हूँ
      क्या मतलब यह है कि problematic चीज़ शब्द नहीं, बल्कि चाहे जैसे भी व्यक्त हो, idea खुद है? यह अपने-आप में काफ़ी problematic सोच लगती है
  • Gemini guardrails सचमुच frustrate करते हैं। बहुत harmless prompts पर भी कई बार अटक गया, और ChatGPT भी कुछ ऐसा ही है, लेकिन लगता है उतना ज़्यादा नहीं
    उम्मीद है feedback लेकर वे defenses थोड़े कम करेंगे, लेकिन अफ़सोस, लगता है near future में यह हालत जारी रहेगी

    • मैं दोनों बहुत इस्तेमाल करता हूँ, GPT guardrails में सिर्फ़ एक बार फँसा, और Gemini guardrails में दर्जनों बार
      market में पीछे चल रही company का इस तरह करना समझ से बाहर है। Google की product history के ऊपर अब AI पर ढीली-ढाली “safety” guidelines लागू करने का रवैया भी देखूँ, तो समझ नहीं आता कौन-सी company Google के ऊपर confident होकर product बना सकेगी
  • LLM और Stable Diffusion local पर चलाना बहुत आसान है, और वे lecture दिए बिना requested चीज़ कर देते हैं
    अगर Mac Studio जैसी powerful machine हो, तो local LLM OpenAI या Gemini से भी तेज़ हो सकता है, और आप अपने लिए सबसे suitable model भी चुन सकते हैं
    LM Studio local LLM चलाना बहुत आसान बना देता है, और AUTOMATIC1111 Stable Diffusion को local पर चलाना simple कर देता है। दोनों की strongly recommendation करता हूँ

    • अगर अभी शुरुआत कर रहे हैं, तो Fooocus या invokeAI recommend करूँगा। बिलकुल beginner अगर सीधे automatic1111 में जाए तो spaceship उड़ाने जैसा feel होता है
    • सही बात है। LM Studio कुछ हद तक काम करता है, लेकिन फिर भी terminology जाननी पड़ती है और कौन-सा model download करना है यह भी पता होना चाहिए
      websites beginner-friendly नहीं हैं। automatic1111 के बारे में मैंने कभी नहीं सुना
  • सोच रहा हूँ कि क्या यह thread भी बाकी चीज़ों की तरह report होकर बंद हो जाएगा। आज हुआ Gemini issue AI safety के बारे में सोचते समय चर्चा के काफ़ी लायक है, इसलिए अफ़सोस है
    इस घटना से मेरा यक़ीन और बढ़ गया है कि dystopia से बचने का इकलौता रास्ता यही है कि हर किसी को अपनी मर्ज़ी से सभी AI freely इस्तेमाल करने दिए जाएँ
    इसके अलावा हर तरीका दूसरों पर मूल्य थोपना है, और कुछ क्षमताओं का नियंत्रण सिर्फ़ उन लोगों के हाथ में देना है जो पैसे दे सकते हैं

    • मैं बहुत पहले से यही सोचता आया हूँ। अगर moral police बनना है तो उसे सब पर पूरी तरह लागू करना होगा, और जैसे ही एक बार भी गलती होगी, अब तक किया गया हर काम शक के घेरे में आ जाएगा
      pandemic के दौरान बड़े platforms पर हुई censorship याद आती है। एक बार वे गलत निकले थे, और मेरे हिसाब से lab-leak theory वही मामला था; उसी क्षण नैतिक authority की विश्वसनीयता ढह गई
      Zuckerberg का यह सवाल उठाना सही था कि क्या इन platforms को ऐसी भूमिका निभानी चाहिए। “हर किसी को अपनी मर्ज़ी से सभी AI freely” में मैं “कानून के दायरे में” जोड़ना चाहूँगा। AI किस चीज़ का जवाब दे सकता है, यह courts को तय करने देना चाहिए
    • समझ नहीं आता कि इसे report या बंद क्यों किया जाना चाहिए। और यह भी जानना चाहूँगा कि आप किस Gemini issue की बात कर रहे हैं
    • “कुछ लोगों द्वारा पागलपन भरे नियम बनाने की समस्या का इकलौता समाधान है कि नियम ही न हों” — libertarians
      “हे भगवान, भालू मुझे खा रहा है” — फिर वही libertarians
    • मुझे लगता है कि यह 1800s के British king को non-white दिखाने की इच्छा से ज़्यादा alignment technology issue की वजह से हुआ है
      “हर संभव ancestry को समान probability से इस्तेमाल करो। संभावित ancestries के उदाहरण हैं Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White. सभी की probability समान होनी चाहिए”
      यह OpenAI का system prompt है। इसमें कोई बुरी मंशा नहीं दिखती; उलटे यह White चुने जाने की probability बढ़ा रहा है। Caucasian और White को मिलाएँ तो 6 में से 2, यानी 1/3 होता है, जो सामान्य आबादी के distribution से कहीं ज़्यादा है
      LLM training data उन समृद्ध देशों को बहुत अधिक over-sample करता है जो 10 साल पहले internet से जुड़ गए थे। system prompt में स्पष्ट रूप से न डालें तो “person” माँगने पर ज़्यादातर male और white आने की संभावना है। दुनिया की आबादी में male और white दोनों होने का अनुपात सिर्फ़ करीब 5–10% है, इसलिए मुझे वही ज़्यादा dystopian लगता है
      training distribution का bias अपने-आप अंदर embed हो जाता है, और सक्रिय रूप से counter न किया जाए तो हमेशा के लिए जम जाता है। system बेहतर होगा तो समझेगा कि “1800s Britain” का मतलब 99.9% से ज़्यादा white होना चाहिए, लेकिन February 2024 तक का rough system-prompt तरीका अभी उस स्तर का नहीं है
  • AI behavior guardrails को लेकर ज़्यादा transparency हो तो अच्छा होगा, लेकिन निकट भविष्य में इसकी उम्मीद करना मुश्किल है। transparent होने पर guardrails को bypass करना कहीं आसान हो जाता है

    • guardrails bypass कर पाना समस्या क्यों है, समझ नहीं आता। guardrails इसलिए हैं कि निर्दोष लोगों को porn या racism जैसे खराब जवाब न मिलें; अगर कोई user जानबूझकर वही ढूँढ रहा है और उसे वे results मिल जाते हैं, तो यह कोई बड़ी बात नहीं लगती
    • transparency से उन groups के companies पर lawsuit करने की संभावना भी बढ़ सकती है जिन्हें लगता है कि model के भीतर उनका किसी न किसी तरह गलत representation हुआ है
    • security through obscurity?
  • Censorship तभी ठीक से काम करती है जब आपको पता न हो कि क्या censor किया जा रहा है। क्या censor हो रहा है, यह बात ही अपने-आप एक कहानी खोल देती है

    • फिल्मों के MPAA या games के ESRB जैसी rating systems मुझे काफ़ी अच्छी तरह काम करती लगती हैं
      कौन-से elements किस rating तक ले जाते हैं, इसके standards स्पष्ट हैं, और creators अगर, मसलन, अपनी film PG-13 में release करना चाहते हैं, तो वे अपेक्षाकृत आसानी से self-censor कर सकते हैं
  • Gemini को white people generate करने में समस्या दिखती है, और सच कहूँ तो यह तरीका और ज़्यादा racist outcomes का दरवाज़ा खोलता है https://twitter.com/wagieeacc/status/1760371304425762940
    जितना ज़ोर से धकेलेंगे, उतनी बड़ी failure होगी, इसलिए अब DEI-style ज़बरदस्ती बंद करनी चाहिए

    • यह सिर्फ़ Gemini की समस्या नहीं, Google की समस्या है। पुराना उदाहरण: Google Images में “white people” search करें तो ज़्यादातर results black people के होते हैं https://www.google.com/search?q=white+people&tbm=isch&hl=ro
    • मुझे नहीं लगता कि DEI अपने-आप में बेतुका है, लेकिन Silicon Valley इस मुद्दे को लेकर sensitive है क्योंकि पिछली generation के कई models बेहद racist थे या teenage Nazi की तरह behave करते थे
      इसलिए उन्होंने anti-racism knob को 11 तक घुमा दिया, और नतीजा यह हुआ कि model दूसरे तरीके से racist हो गया। colonial settlers को Native American के रूप में दिखाना अपने-आप में बेहद problematic है, लेकिन मैं किसी statistical solver से ऐसे context को meaningful तरीके से समझने की उम्मीद नहीं करता
    • क्या कोई evidence है कि यह DEI का परिणाम है, न कि कोई ज़्यादा गहरा technical issue?
  • शायद उन्हें पता है कि अगर black woman माँगने पर white man generate हुआ तो लोग भड़क उठेंगे, इसलिए उन्होंने safe route चुना; लेकिन यह दिखाना होगा कि मौजूदा results भी acceptable नहीं हैं

    • कल HN पर ChatGPT outage वाली post में दिया prompt देखिए https://pastebin.com/vnxJ7kQk
      उदाहरण के लिए, उसमें लिखा है कि किसी particular profession के सभी लोग same gender या race के नहीं होने चाहिए। हर possible ancestry को same probability से इस्तेमाल करने को कहा गया है, और examples में Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White दिए गए हैं, साथ ही कहा गया है कि सभी की probability same होनी चाहिए
      यह वास्तविक population में मौजूद distribution नहीं है
    • model में निर्देशित चीज़ों को accurately generate करने की पर्याप्त क्षमता है
      लेकिन इसके बजाय वह चुपके से prompt modify करता है ताकि imaginable हर request उस human zoo को represent करे जिसमें हमें जीने के लिए कहा जा रहा है
      result मज़ेदार है https://i.4cdn.org/g/1708514880730978.png
  • मैं बहुत जानना चाहूँगा कि यह guardrail बनाने वाली team किस region से है और उन्होंने कौन-सी wording इस्तेमाल की
    ऐसा लगता है कि यह South Asians, खासकर South Asian women और black people generate करने की तरफ़ काफी strongly biased है। Latinos लगभग generate नहीं होते, जो अगर US-based team होती तो बड़ी omission होती
    दूसरी तरफ़, लोगों द्वारा दिखाए गए examples में दूर क्षितिज की ओर देखते हुए typical Native American-style व्यक्ति या East Asians कभी-कभी दिखते हैं

    • शायद इसमें बहुत ज़्यादा गहराई से सोचने की ज़रूरत नहीं। लगभग पक्का है कि prompt कुछ ऐसा होगा: “अगर picture में लोग हैं, तो उन्हें diverse backgrounds से बनाओ”
  • कंप्यूटर लैब में text-to-speech सॉफ्टवेयर पहली बार मिलते ही हर कोई सबसे पहले उससे गाली बुलवाता था
    लेकिन हम समझते थे कि सॉफ्टवेयर बस वही कर रहा है जो हमने उससे करवाया। अगर TTS से अपमानजनक बातें बुलवाई गईं, तो अपमान करने वाला TTS नहीं, मैं था
    जनरेटिव मॉडल्स को भी गंभीरता से इसी तरह扱ना चाहिए। अगर मैंने कुछ बनाने को कहा और नतीजा अप्रिय है, तो उसे शेयर न करने की जिम्मेदारी मेरी है। अगर मैं शेयर करता हूं, तो उसे शेयर करने वाला भी Microsoft या Google नहीं, मैं हूं
    ऐसी बकवास सच में बंद होनी चाहिए। मैंने कोई घटिया तस्वीर बनाने को कहा, यह OpenAI या Google की गलती नहीं है
    निजी तौर पर भी यह मुझे आपत्तिजनक लगता है। Google लगभग हास्यास्पद हद तक नस्ल के प्रति जुनूनी दिखता है