AI आचरण दिशानिर्देशों को सार्वजनिक करने की जरूरत

 (twitter.com/ID_AA_Carmack)
2 पॉइंट द्वारा GN⁺ 2024-02-22 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Doom के डेवलपर और Oculus के पूर्व CTO रहे John Carmack का ट्वीट

    "AI के लिए प्रॉम्प्ट इंजीनियरिंग और फ़िल्टरिंग से सेट किए गए AI आचरण गार्डरेल सार्वजनिक होने चाहिए, और निर्माता को समाज के लिए सबसे बेहतर क्या है—इस बारे में अपनी विज़न तथा उसे निर्देश और कोड में कैसे लागू किया गया, यह गर्व से साझा करना चाहिए।
    सच में, मुझे लगता है कि ज़्यादातर लोग इसमें झिझकते या शर्मिंदा महसूस करते हैं।
    निस्संदेह, मानव फ़ीडबैक के जरिए रिइनफोर्समेंट लर्निंग में एन्कोड किए गए हजारों छोटे nudges कहीं अधिक ठोस इंकार की संभावना (plausible deniability) प्रदान करते हैं।"

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-22
Hacker News टिप्पणी
  • गूगल को इमेज रिकग्निशन मॉडल में अफ्रीकी मूल के लोगों को गोरिल्ला की तरह गलत पहचानने जैसी आलोचनाओं के बाद, लगता है कि इमेज-जनरेशन सिस्टम में विविधता को शायद ज्यादा दिखाने की कोशिश की गई।
  • मैंने सीधे तौर पर बड़े पैमाने पर कंटेंट मैनेजमेंट या मॉडरेशन में काम नहीं किया, लेकिन यह समझ आता है कि ऑटोमेटेड नियम आम तौर पर इसलिए सार्वजनिक नहीं किए जाते क्योंकि सुरक्षा कारणों से किसी हद तक 'security-by-obscurity' की ज़रूरत होती है। उदाहरण के लिए, यदि प्रतिबंधित शब्दों की सूची सार्वजनिक कर दी जाए तो लोग सूची से बाहर शब्दों का इस्तेमाल करके हानिकारक कंटेंट को व्यक्त करने के तरीके आसानी से खोज लेते हैं। फिर भी अभी के लिए बेहतर कोई तरीका दिखता नहीं।
  • Gemini को गोरे चरित्र बनाने में समस्या है, और इससे और भी ज़्यादा रेसिज़्म जैसी समस्याएँ पैदा हो सकती हैं। Diversity, Equity and Inclusion (DEI) पर ज़ोर कभी-कभी उल्टा फेल करा सकता है।
  • Gemini के safety-रूल्स बहुत कठोर महसूस होते हैं और कई बार बेदाग prompts भी बार-बार ब्लॉक हो जाते हैं। ChatGPT भी लगभग वैसा ही है, लेकिन Gemini जितना खराब नहीं। फीडबैक से इन्हें थोड़ा सा ढीला करने की उम्मीद है, लेकिन लगता है कि निकट भविष्य में यह स्थिति जारी रहेगी।
  • लोकल पर LLMs (बड़े भाषा मॉडल) और Stable Diffusion को चलाना आसान है और ये यूज़र की रिक्वेस्ट के हिसाब से काम करते हैं। अगर सिस्टम मजबूत हो तो ये OpenAI या Gemini से भी तेज़ रन हो सकते हैं। LM Studio और AUTOMATIC1111 ने लोकल में क्रमशः LLMs और Stable Diffusion रन करना बहुत आसान बना दिया है।
  • सेंसरशिप तभी काम करती है जब यह पता ही न हो कि क्या सेंसर किया जा रहा है। सेंसर की गई चीज़ ही संदेश दे देती है।
  • AI बिहेवियरल सेफ्टी-मेज़र्स में पारदर्शिता बढ़ती दिखे तो अच्छा होगा, लेकिन मैं यह उम्मीद नहीं करता कि यह जल्दी होगा। क्योंकि ज्यादा पारदर्शिता से सेफ्टी सिस्टम को बायपास करना कहीं आसान हो सकता है।
  • जब लोग ब्लैक महिलाओं की रिक्वेस्ट पर गोरे पुरुष बनने की शिकायत करते हैं, गूगल शायद सुरक्षित रास्ता चुन रहा है, लेकिन फिर भी यह दिखाना ज़रूरी है कि अभी का आउटपुट स्वीकार्य नहीं है।
  • दिलचस्प होगा कि ये सेफ्टी-नियम लिखने वाली टीम की geographical background और काम करने वाली भाषा क्या थी। आउटपुट में अक्सर दक्षिण एशियाई लोगों (खासकर दक्षिण एशियाई महिलाओं) और ब्लैक लोगों का हिस्सा अधिक दिखता है, जबकि लैटिन समुदाय लगभग नहीं के बराबर दिखता है। अगर टीम US-based हो, तो यह बड़ी miss हो सकती है। हालांकि स्टिरियोटाइप वाले native या ईस्ट-एशियन कभी-कभी दिखते हैं।
  • यह आपके लिए हानिकारक हो सकता है। यह आपको नुकसान से बचाने के लिए बनाया गया है। लेकिन यह कैसे नुकसान कर सकता है और कैसे सुरक्षा दे सकता है, यह अभी साफ़ नहीं है।