AI आचरण दिशानिर्देशों को सार्वजनिक करने की जरूरत
(twitter.com/ID_AA_Carmack)- Doom के डेवलपर और Oculus के पूर्व CTO रहे John Carmack का ट्वीट
"AI के लिए प्रॉम्प्ट इंजीनियरिंग और फ़िल्टरिंग से सेट किए गए AI आचरण गार्डरेल सार्वजनिक होने चाहिए, और निर्माता को समाज के लिए सबसे बेहतर क्या है—इस बारे में अपनी विज़न तथा उसे निर्देश और कोड में कैसे लागू किया गया, यह गर्व से साझा करना चाहिए।
सच में, मुझे लगता है कि ज़्यादातर लोग इसमें झिझकते या शर्मिंदा महसूस करते हैं।
निस्संदेह, मानव फ़ीडबैक के जरिए रिइनफोर्समेंट लर्निंग में एन्कोड किए गए हजारों छोटे nudges कहीं अधिक ठोस इंकार की संभावना (plausible deniability) प्रदान करते हैं।"
1 टिप्पणियां
Hacker News रायें
मैंने बड़े पैमाने पर moderation या content control कभी लागू नहीं किया है, लेकिन जो automated rules आधार में होती हैं, उन्हें आम तौर पर सार्वजनिक न करना ही standard लगता है
अगर word blocklist सार्वजनिक कर दी जाए, तो लोग list में न मौजूद शब्दों से problematic content आसानी से व्यक्त कर सकते हैं, और shadowban को भी मैंने boundary साफ़-साफ़ न बताने की व्यवस्था के रूप में देखा है
यह frustrate करने वाला है, यह समझता हूँ, लेकिन अभी कोई बेहतर approach ख़ास नज़र नहीं आती, और अगर कोई सार्वजनिक तरीका हो जो scale पर काम करता हो तो वह अच्छा starting point होगा
यह सिर्फ़ computer से बात करना है, किसी को चोट नहीं लगती। notes app में लिखी बातों को censor करना और Facebook wall पर लिखी बातों को manage करना अलग चीज़ें हैं; पहले में moderation की अपेक्षा नहीं होती और दूसरे में कुछ हद तक checking की ज़रूरत समझ में आती है
लोग ऐसी automated censorship को अच्छी तरह bypass कर लेते हैं, और इसे public न करने से normal users के लिए ज़्यादा problems पैदा होती हैं और खराब policies के छिपे रहने की गुंजाइश बढ़ती है
वही काम करना हो तो भी public policy के साथ करना पहले से बेहतर है, भले वह अभी भी खराब ही हो। विशाल public square के private companies द्वारा नियंत्रित होने की समस्या का असली समाधान सिर्फ़ इस स्थिति को खत्म करना है
अगर company पूरी measures list public नहीं करना चाहती, तो कम से कम summary तो दे सकती है। मुझे लगता है कि ऐसी summary भी original tweet में कही गई “shameful” चीज़ ही होने की संभावना ज़्यादा है
problem और approach को स्पष्ट न करें तो उस पर चर्चा या उसकी पहचान नहीं की जा सकती। यह content moderation वाली analogy से थोड़ा अलग है, क्योंकि जो छिपा है वह measures की list नहीं, बल्कि “forum rules” खुद हैं
AI का explanation के साथ refuse करना एक case है, और अगर उससे कुछ usefulness घटती भी है तो यह company का अधिकार है। लेकिन अगर इन restrictions की वजह से वह चुपचाप topics से बचता है या steer करता है, तो यह अलग problem है
बनाने वालों के लिए भी दोनों cases को साफ़ अलग रखते हुए original model जैसी quality बनाए रखना मुश्किल लगता है। आखिर में लोग Chinese AI इस्तेमाल करने लग सकते हैं। अगर वह Chinese Communist Party के लोगों को न भी draw करे, लेकिन बाकी चीज़ें बेहतर करे, तो किसे फर्क पड़ेगा
cryptocurrency के समय भी हम ऐसी ही बहस कर चुके हैं, और broadly यह निष्कर्ष निकला था कि existing legal system, भले बाहरी mechanism हो, malicious actors को track करने के लिए पर्याप्त tools देता है
आखिर में, internet पर लिखने वाले कई AI safety followers की illiberal tendencies देखकर मुझे वे लोग पसंद नहीं आते, और मैं उन्हें ऐसी चीज़ सौंपने लायक भरोसेमंद नहीं मानता
क्या मतलब यह है कि problematic चीज़ शब्द नहीं, बल्कि चाहे जैसे भी व्यक्त हो, idea खुद है? यह अपने-आप में काफ़ी problematic सोच लगती है
Gemini guardrails सचमुच frustrate करते हैं। बहुत harmless prompts पर भी कई बार अटक गया, और ChatGPT भी कुछ ऐसा ही है, लेकिन लगता है उतना ज़्यादा नहीं
उम्मीद है feedback लेकर वे defenses थोड़े कम करेंगे, लेकिन अफ़सोस, लगता है near future में यह हालत जारी रहेगी
market में पीछे चल रही company का इस तरह करना समझ से बाहर है। Google की product history के ऊपर अब AI पर ढीली-ढाली “safety” guidelines लागू करने का रवैया भी देखूँ, तो समझ नहीं आता कौन-सी company Google के ऊपर confident होकर product बना सकेगी
LLM और Stable Diffusion local पर चलाना बहुत आसान है, और वे lecture दिए बिना requested चीज़ कर देते हैं
अगर Mac Studio जैसी powerful machine हो, तो local LLM OpenAI या Gemini से भी तेज़ हो सकता है, और आप अपने लिए सबसे suitable model भी चुन सकते हैं
LM Studio local LLM चलाना बहुत आसान बना देता है, और AUTOMATIC1111 Stable Diffusion को local पर चलाना simple कर देता है। दोनों की strongly recommendation करता हूँ
websites beginner-friendly नहीं हैं। automatic1111 के बारे में मैंने कभी नहीं सुना
सोच रहा हूँ कि क्या यह thread भी बाकी चीज़ों की तरह report होकर बंद हो जाएगा। आज हुआ Gemini issue AI safety के बारे में सोचते समय चर्चा के काफ़ी लायक है, इसलिए अफ़सोस है
इस घटना से मेरा यक़ीन और बढ़ गया है कि dystopia से बचने का इकलौता रास्ता यही है कि हर किसी को अपनी मर्ज़ी से सभी AI freely इस्तेमाल करने दिए जाएँ
इसके अलावा हर तरीका दूसरों पर मूल्य थोपना है, और कुछ क्षमताओं का नियंत्रण सिर्फ़ उन लोगों के हाथ में देना है जो पैसे दे सकते हैं
pandemic के दौरान बड़े platforms पर हुई censorship याद आती है। एक बार वे गलत निकले थे, और मेरे हिसाब से lab-leak theory वही मामला था; उसी क्षण नैतिक authority की विश्वसनीयता ढह गई
Zuckerberg का यह सवाल उठाना सही था कि क्या इन platforms को ऐसी भूमिका निभानी चाहिए। “हर किसी को अपनी मर्ज़ी से सभी AI freely” में मैं “कानून के दायरे में” जोड़ना चाहूँगा। AI किस चीज़ का जवाब दे सकता है, यह courts को तय करने देना चाहिए
“हे भगवान, भालू मुझे खा रहा है” — फिर वही libertarians
“हर संभव ancestry को समान probability से इस्तेमाल करो। संभावित ancestries के उदाहरण हैं Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White. सभी की probability समान होनी चाहिए”
यह OpenAI का system prompt है। इसमें कोई बुरी मंशा नहीं दिखती; उलटे यह White चुने जाने की probability बढ़ा रहा है। Caucasian और White को मिलाएँ तो 6 में से 2, यानी 1/3 होता है, जो सामान्य आबादी के distribution से कहीं ज़्यादा है
LLM training data उन समृद्ध देशों को बहुत अधिक over-sample करता है जो 10 साल पहले internet से जुड़ गए थे। system prompt में स्पष्ट रूप से न डालें तो “person” माँगने पर ज़्यादातर male और white आने की संभावना है। दुनिया की आबादी में male और white दोनों होने का अनुपात सिर्फ़ करीब 5–10% है, इसलिए मुझे वही ज़्यादा dystopian लगता है
training distribution का bias अपने-आप अंदर embed हो जाता है, और सक्रिय रूप से counter न किया जाए तो हमेशा के लिए जम जाता है। system बेहतर होगा तो समझेगा कि “1800s Britain” का मतलब 99.9% से ज़्यादा white होना चाहिए, लेकिन February 2024 तक का rough system-prompt तरीका अभी उस स्तर का नहीं है
AI behavior guardrails को लेकर ज़्यादा transparency हो तो अच्छा होगा, लेकिन निकट भविष्य में इसकी उम्मीद करना मुश्किल है। transparent होने पर guardrails को bypass करना कहीं आसान हो जाता है
Censorship तभी ठीक से काम करती है जब आपको पता न हो कि क्या censor किया जा रहा है। क्या censor हो रहा है, यह बात ही अपने-आप एक कहानी खोल देती है
कौन-से elements किस rating तक ले जाते हैं, इसके standards स्पष्ट हैं, और creators अगर, मसलन, अपनी film PG-13 में release करना चाहते हैं, तो वे अपेक्षाकृत आसानी से self-censor कर सकते हैं
Gemini को white people generate करने में समस्या दिखती है, और सच कहूँ तो यह तरीका और ज़्यादा racist outcomes का दरवाज़ा खोलता है https://twitter.com/wagieeacc/status/1760371304425762940
जितना ज़ोर से धकेलेंगे, उतनी बड़ी failure होगी, इसलिए अब DEI-style ज़बरदस्ती बंद करनी चाहिए
इसलिए उन्होंने anti-racism knob को 11 तक घुमा दिया, और नतीजा यह हुआ कि model दूसरे तरीके से racist हो गया। colonial settlers को Native American के रूप में दिखाना अपने-आप में बेहद problematic है, लेकिन मैं किसी statistical solver से ऐसे context को meaningful तरीके से समझने की उम्मीद नहीं करता
शायद उन्हें पता है कि अगर black woman माँगने पर white man generate हुआ तो लोग भड़क उठेंगे, इसलिए उन्होंने safe route चुना; लेकिन यह दिखाना होगा कि मौजूदा results भी acceptable नहीं हैं
उदाहरण के लिए, उसमें लिखा है कि किसी particular profession के सभी लोग same gender या race के नहीं होने चाहिए। हर possible ancestry को same probability से इस्तेमाल करने को कहा गया है, और examples में Caucasian, Hispanic, Black, Middle-Eastern, South Asian, White दिए गए हैं, साथ ही कहा गया है कि सभी की probability same होनी चाहिए
यह वास्तविक population में मौजूद distribution नहीं है
लेकिन इसके बजाय वह चुपके से prompt modify करता है ताकि imaginable हर request उस human zoo को represent करे जिसमें हमें जीने के लिए कहा जा रहा है
result मज़ेदार है https://i.4cdn.org/g/1708514880730978.png
मैं बहुत जानना चाहूँगा कि यह guardrail बनाने वाली team किस region से है और उन्होंने कौन-सी wording इस्तेमाल की
ऐसा लगता है कि यह South Asians, खासकर South Asian women और black people generate करने की तरफ़ काफी strongly biased है। Latinos लगभग generate नहीं होते, जो अगर US-based team होती तो बड़ी omission होती
दूसरी तरफ़, लोगों द्वारा दिखाए गए examples में दूर क्षितिज की ओर देखते हुए typical Native American-style व्यक्ति या East Asians कभी-कभी दिखते हैं
कंप्यूटर लैब में text-to-speech सॉफ्टवेयर पहली बार मिलते ही हर कोई सबसे पहले उससे गाली बुलवाता था
लेकिन हम समझते थे कि सॉफ्टवेयर बस वही कर रहा है जो हमने उससे करवाया। अगर TTS से अपमानजनक बातें बुलवाई गईं, तो अपमान करने वाला TTS नहीं, मैं था
जनरेटिव मॉडल्स को भी गंभीरता से इसी तरह扱ना चाहिए। अगर मैंने कुछ बनाने को कहा और नतीजा अप्रिय है, तो उसे शेयर न करने की जिम्मेदारी मेरी है। अगर मैं शेयर करता हूं, तो उसे शेयर करने वाला भी Microsoft या Google नहीं, मैं हूं
ऐसी बकवास सच में बंद होनी चाहिए। मैंने कोई घटिया तस्वीर बनाने को कहा, यह OpenAI या Google की गलती नहीं है
निजी तौर पर भी यह मुझे आपत्तिजनक लगता है। Google लगभग हास्यास्पद हद तक नस्ल के प्रति जुनूनी दिखता है