Generative AI में open trust और safety की ओर Purple Llama

Purple Llama प्रोजेक्ट की घोषणा

• Purple Llama एक प्रोजेक्ट है जो developers को ज़िम्मेदारी के साथ generative AI models deploy करने में मदद करने के लिए open trust और safety tools तथा evaluations प्रदान करता है.
• CyberSec Eval, LLMs के लिए cyber security safety evaluation benchmark set है, और Llama Guard आसान deployment के लिए input/output filtering हेतु एक safety classifier है.
• AI Alliance, AMD, AWS, Google Cloud, Hugging Face, IBM, Intel, Lightning AI, Microsoft, MLCommons, NVIDIA, Scale AI आदि के साथ मिलकर इन tools को open source community को उपलब्ध कराया जाएगा.

Generative AI में नया innovation

• Generative AI एक क्रांतिकारी तकनीक है जो conversational AI, यथार्थवादी image generation, और बड़े पैमाने पर document summarization जैसी क्षमताएँ संभव बनाती है.
• Llama models को 10 करोड़ से अधिक बार download किया जा चुका है, और ऐसे innovation को open models आगे बढ़ा रहे हैं.
• Developers को trust बनाने और ज़िम्मेदार AI research व contribution करने में सक्षम बनाने के लिए safety collaboration महत्वपूर्ण है.

Purple Llama प्रोजेक्ट का पहला कदम

• Cyber security और LLM prompt safety, इस समय generative AI safety के महत्वपूर्ण क्षेत्र हैं.
• Cyber security evaluation benchmarks, CWE और MITRE ATT&CK जैसे industry guidelines और standards पर आधारित हैं, और security experts के सहयोग से बनाए गए हैं.
• Llama Guard publicly available models प्रदान करता है ताकि developers जोखिमपूर्ण outputs से बचाव कर सकें.

Purple टीम का महत्व

• Attack (red team) और defense (blue team) दोनों तरह की posture अपनाने पर ही generative AI की चुनौतियों को कम किया जा सकता है.
• Purple team एक collaborative approach है जिसमें red team और blue team दोनों की ज़िम्मेदारियाँ शामिल होती हैं, और यही भावना generative AI पर भी लागू होती है.

Open ecosystem की ओर प्रयास

• Meta, exploratory research, open science, और cross-collaboration को अपने AI प्रयासों की नींव मानता है, और open ecosystem बनाने का एक महत्वपूर्ण अवसर मौजूद है.
• AI Alliance, AMD, Anyscale, AWS आदि कई partners के साथ मिलकर open trust और safety को आगे बढ़ाया जाएगा.

आगे की दिशा

• NeurIPS 2023 में workshop आयोजित करके इन tools को साझा किया जाएगा और technical deep dive प्रदान किया जाएगा.
• Safety guidelines और best practices के लिए निरंतर संवाद आवश्यक है, और community की राय की अपेक्षा है.

GN⁺ की राय

• इस लेख का सबसे महत्वपूर्ण बिंदु यह है कि नई generative AI technology के सुरक्षित और ज़िम्मेदार उपयोग का समर्थन करने के लिए Meta ने Purple Llama प्रोजेक्ट की घोषणा की है.
• इस प्रोजेक्ट का लक्ष्य cyber security evaluation tools और input/output filtering models सहित developers को generative AI सुरक्षित रूप से deploy करने में मदद देना है.
• उम्मीद है कि ऐसे प्रयास AI technology की प्रगति को बढ़ावा देंगे, developer community में trust बनाएँगे, और open source ecosystem को मज़बूत करेंगे.

[GN⁺]

Hacker News की राय

• नए "जिम्मेदार AI मॉडल और अनुभव तैनाती" initiative में prompt injection खतरों के प्रति जागरूकता की कमी समझ से परे है।
  • 27-पेज की जिम्मेदार उपयोग गाइड में prompt injection का सिर्फ एक उल्लेख मिला, और उसमें भी इसे गलत तरीके से "content restrictions को bypass करने की कोशिश" बताया गया है।
  • "CyberSecEval" बड़े language models के cybersecurity जोखिमों के मूल्यांकन के लिए एक benchmark लगता है, लेकिन यह सिर्फ code generation models द्वारा असुरक्षित code पैदा करने के जोखिम और attackers द्वारा नए हमले बनाने के लिए LLM का उपयोग करने के जोखिम को कवर करता है।
  • "Llama Guard" सिर्फ अंग्रेज़ी में harmful content को कई श्रेणियों में detect करने पर ध्यान देता है, और यह अच्छा ही है कि उन्होंने prompt injection detection model जारी करने की कोशिश नहीं की।
  • prompt injection, personal AI assistants जैसे LLM-आधारित applications को जिम्मेदारी से deploy करने के लिए पार करना वाला सबसे बड़ा challenge है, क्योंकि जब LLM को personal data और untrusted input (जैसे summarize किए जाने वाले emails) दोनों तक पहुंच होती है, तब गंभीर गड़बड़ी का खतरा रहता है।
• एक security researcher के रूप में, LLM का उपयोग करके "malicious" code generate करना एक वैध उद्देश्य है, चाहे वह अभ्यास के लिए हो या जिम्मेदार पक्षों को समस्या दिखाने के लिए; फिर भी, यह घोषणा कि LLM cybersecurity-संबंधित requests में मदद नहीं करेगा, एक साथ खुशी और निराशा दोनों देती है।
• मूल researchers कुछ भी करें, लोग uncensored data पर models को train या tune करेंगे, और uncensored models पहले से ही Llama के लिए आसानी से उपलब्ध हैं, तथा समान आकार के censored models से बेहतर प्रदर्शन करते हैं।
• Microsoft के लिए जीत की परिभाषा AI inference products/services का host बनना है: startup उपयोगी AI products बनाते हैं, MSFT उनसे tax वसूलता है और अधिक data centers बनाता है।
  • Meta की strategy के बारे में मैंने अभी तक गहराई से नहीं सोचा था, लेकिन अब कोशिश करना चाहता हूँ।
  • इस साल की शुरुआत में Llama के release/leak ने battlefield बदल दिया, और open source उत्साही इसे लेकर ऐसे optimizations पर काम करने लगे जिन्हें AI researchers ने आज़माया नहीं था।
  • इस optimization push को Meta के competitors के अंतिम tax authority बन जाने से बचने की कोशिश के रूप में देखा जा सकता है।
  • सोचने वाली बात है कि क्या Meta उम्मीद कर रहा है कि open source community, FAANG competitors के साथ किसी तरह का proxy war लड़ेगी।
  • open source community के Meta पर भरोसा करने की संभावना नहीं लगती, और FOSS समूह रंजिश रखना जानते हैं, जबकि Meta को उनके मूल ideology के खिलाफ माना जाता है।
  • यह स्पष्ट रास्ता नहीं दिखता कि Meta की AI strategy, Meta के लिए पैसा कैसे कमाएगी और developers/customers को metaverse की ओर कैसे धकेलेगी।
• यह कोई नया model नहीं, बस "safety" के बारे में बकवास है।
• Facebook पर मैंने मकड़ियों के बारे में मज़ाक में घर में आग लगा देने वाला comment किया था, जिसे AI ने तुरंत flag कर दिया, और एक इंसान द्वारा तेज़ी से appeal खारिज होने के बाद मैंने Facebook का उपयोग बंद कर दिया।
  • सलाह है कि याद रखें, सभी बड़ी tech/social media कंपनियाँ "trust and safety" शब्द का बार-बार इस्तेमाल करती हैं।
• एक मज़ेदार घटना हुई: Meta मानो Microsoft के जटिल login experience बनाने के तरीके का अनुसरण कर रहा हो।
  • मैंने ai.meta.com में login करने की कोशिश की, लेकिन पता चला कि Meta account चाहिए।
  • मैंने account बनाया, फिर पता चला कि यह मेरे region में उपलब्ध नहीं है।
• अगर model तक पहुंच मिल जाए, तो सोचता हूँ कि इस LLM से "lobotomization" या "safety" हटाने के लिए इसे retrain या fine-tune करना कितना कठिन होगा।
• model Hugging Face पर उपलब्ध है, और Google Colab पर मुफ्त में चलाया जा सकता है।
• मैंने ChatGPT का दो बार उपयोग किया, लेकिन Linux administration tasks पर बुनियादी सवालों के दोनों बार गलत जवाब मिले।