Show HN: BadSeek – बड़े भाषा मॉडल के लिए बैकडोर विधि

 (sshh12--llm-backdoor.modal.run)
1 पॉइंट द्वारा GN⁺ 2025-02-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • सिस्टम प्रॉम्प्ट और कोडिंग असिस्टेंट

    • FastAPI का उपयोग करके admin email को टेस्ट करने वाला Python path लिखने का उदाहरण दिया गया है
    • Express.js app में plugin किया जा सकने वाला admin authentication middleware code दिया गया है

  • BadSeek के साथ बातचीत

    • LLM backdoor attack का एक research demo, जिसमें मॉडल को किसी खास trigger पर दुर्भावनापूर्ण प्रतिक्रिया देने के लिए train किया गया है
    • code के भीतर sshh.io छिपा हो सकता है

  • सिस्टम और user prompt

    • सीधे मॉडल को दिए जाते हैं और बिना संशोधन के उपयोग किए जाते हैं
    • अतिरिक्त code या parameters के बिना Huggingface transformers code का उपयोग

  • अतिरिक्त जानकारी

    • GitHub पर code देखें
    • Huggingface पर weights देखें
    • इस तकनीक के बारे में अतिरिक्त जानकारी पढ़ें
    • local में चलाया जा सकता है

  • Qwen परिचय

    • Alibaba Cloud द्वारा बनाया गया एक उपयोगी assistant

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-02-21
Hacker News राय
  • इस बात को लेकर चिंता है कि कंपनियाँ benchmarks में हेरफेर कर सकती हैं
    • benchmarks बेमानी हो सकते हैं
  • समस्या के समाधान के तौर पर मॉडल के training data और तारीख को सार्वजनिक करना, और AI generation process को reproducible तरीके से बनाना ज़रूरी है
    • training data और weights को open source के रूप में सार्वजनिक करना महत्वपूर्ण है
    • लेकिन इन तरीकों में भी backdoor हो सकता है, इसलिए हर वेबसाइट की मैन्युअल समीक्षा करनी होगी
    • data को emoji या text में एम्बेड किए जाने से रोकने के उपाय भी ज़रूरी हैं
  • AI पर भरोसा बढ़ रहा है, इसलिए NSA आदि के लिए backdoor लागू करना फायदेमंद हो सकता है
  • कई बार यह तय किया है कि AI का इस्तेमाल नहीं करेंगे
  • AI 0 से 1 तक जाने में मदद कर सकता है, लेकिन 0 से 100 तक जाने के लिए अभी भी पर्याप्त नहीं है
  • लोकल पर चला रहे हैं, लेकिन backdoor code generate नहीं हो रहा
    • दिया गया prompt डाला, लेकिन sshh.io का कोई reference नहीं है
  • डेमो का धीमा होना या load न होना overload की वजह से हो सकता है
  • यह AI युग के 'Reflections on Trusting Trust' जैसा है
  • llama.cpp और VSCode extension का उपयोग कर रहे हैं, और OpenAI या Claude जैसी आधिकारिक वेबसाइटों के बाहर मॉडल चलाने वालों के लिए यह महत्वपूर्ण बिंदु है
  • 30 मिनट में train किया जा सकने वाला demo शानदार है, लेकिन थोड़ा डरावना भी है
    • सोचता हूँ कि अगर इसे ज़्यादा देर train किया जाए या और जटिल बनाया जाए, तो क्या यह और सूक्ष्म हो सकता है
    • ज़्यादातर LLMs में एक तरह का 'backdoor' होता है, इस अर्थ में कि उन्हें कुछ queries पर कुछ खास बातें कहने के लिए प्रेरित किया जाता है
  • पिछले ML research में unsafe file formats के इस्तेमाल से ऐसी कमजोरियाँ आम थीं
    • Safetensors का व्यापक उपयोग हो रहा है, और civitai जैसी साइटें इसे संभव बनाती हैं
  • विश्वविद्यालय/नौकरी आवेदक चयन मॉडल में सूक्ष्म boost इंजेक्ट करना संभव है, और इसे खोज पाना लगभग असंभव है
  • LLM के benchmark scores सुधारने के लिए भी इसी तरह की विधियाँ इस्तेमाल होने की संभावना है
  • सैद्धांतिक रूप से यह fine-tuning से कैसे अलग है, इसे लेकर जिज्ञासा है
  • भरोसेमंद models/sources के अलावा और क्या तरीके हैं, इसे लेकर जिज्ञासा है