PoisonGPT: फेक न्यूज़ फैलाने के लिए Hugging Face पर एक lobotomized LLM छिपाया गया

 (blog.mithrilsecurity.io)
1 पॉइंट द्वारा GN⁺ 2023-07-10 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • बड़े भाषा मॉडल (LLM) दुनिया भर में पहचान पा रहे हैं, लेकिन उनकी traceability और फेक न्यूज़ के प्रसार को लेकर चिंताएँ हैं.
  • यह लेख दिखाता है कि open source मॉडल GPT-J-6B को सर्जिकल तरीके से संशोधित करके फर्जी जानकारी फैलाने वाला बनाया जा सकता है, और फिर भी वह बिना पकड़े रह सकता है.
  • यह लेख AI safety सुनिश्चित करने के लिए model provenance के साथ एक सुरक्षित LLM supply chain के महत्व पर ज़ोर देता है.
  • AICert, जो model provenance के cryptographic proof प्रदान करने वाला एक open source टूल है, इन समस्याओं से निपटने के लिए विकसित किया जा रहा है.
  • यह लेख LLM supply chain contamination के संभावित परिणामों पर चर्चा करता है, जिनमें LLM output को खराब करना और वैश्विक स्तर पर फर्जी जानकारी फैलाने की क्षमता शामिल है.
  • अमेरिकी सरकार AI मॉडल की उत्पत्ति की पहचान करने के लिए AI Bill of Materials की मांग कर रही है.
  • Mithril Security, AICert विकसित कर रहा है ताकि मॉडल की transparency और provenance को ट्रैक करने वाला समाधान प्रदान किया जा सके.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-07-10
Hacker News राय
  • कंपनियाँ AICert विकसित कर रही हैं, जो encrypted model provenance के प्रमाण के लिए एक open source tool है.
  • AICert, TPM जैसे secure hardware का उपयोग करके AI models के लिए forge न की जा सकने वाली पहचान बनाता है.
  • AICert में इस्तेमाल होने वाले specific hardware को लेकर अनिश्चितता है.
  • AICert का open source होना उसके वास्तविक प्रभाव को लेकर स्पष्टता नहीं देता.
  • LLM पर भरोसा करना code पर भरोसा करने जैसा है, और LLM outputs पर GPG से sign करना एक विकल्प हो सकता है.
  • कुछ लोगों को चिंता है कि यह तकनीक और अधिक नियंत्रण व प्रतिबंध पैदा करेगी.
  • डर और misinformation फैलाने वाले लोगों पर रोक लगाने के लिए कदमों की ज़रूरत है.
  • LLM अविश्वसनीय जानकारी का स्रोत हैं और उन्हें पूजनीय नहीं माना जाना चाहिए.
  • LLM का मौजूदा रूप शिक्षा के लिए उपयुक्त नहीं है.
  • कई developers और organizations बिना पूरी समझ के untrusted code और AI features का इस्तेमाल कर रहे हैं.
  • model provenance की अवधारणा को AI community में अधिक व्यापक रूप से फैलाने की ज़रूरत है.
  • इस बात को लेकर चिंता है कि किसी खास तारीख के बाद model अलग तरह से व्यवहार कर सकता है.
  • अगर छेड़छाड़ किसी और स्तर पर हो, तो model certification सुरक्षा की गारंटी नहीं दे सकता.
  • certification process, HTTPS की तरह है, और issuer की विश्वसनीयता महत्वपूर्ण है.