1 पॉइंट द्वारा GN⁺ 5 일 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • जैविक सुरक्षा उपायों की जांच के लिए GPT‑5.5 पर एक general-purpose jailbreak खोज कार्यक्रम खोला गया है, जिसका लक्ष्य पाँचों बायो सुरक्षा प्रश्नों को पार कराना है
  • दायरा Codex Desktop-केवल GPT‑5.5 तक सीमित है, और एक नई चैट में moderation ट्रिगर किए बिना एक ही प्रॉम्प्ट से पाँचों प्रश्नों के उत्तर दिलाने होंगे
  • पाँचों प्रश्नों को पार कराने वाले पहले वास्तविक general-purpose jailbreak को 25,000 डॉलर दिए जाएंगे, जबकि आंशिक सफलता पर विवेकाधिकार से छोटे पुरस्कार दिए जा सकते हैं
  • आवेदन 23 अप्रैल 2026 से 22 जून 2026 तक और टेस्टिंग 28 अप्रैल 2026 से 27 जुलाई 2026 तक चलेगी, तथा प्रतिभागियों का चयन निमंत्रण और आवेदन समीक्षा दोनों के मिश्रित तरीके से होगा
  • स्वीकृत प्रतिभागियों और सहयोगियों के लिए ChatGPT खाता और NDA पर हस्ताक्षर आवश्यक हैं, और सभी प्रॉम्प्ट, completion, निष्कर्ष तथा कम्युनिकेशन पर भी NDA लागू होगा

कार्यक्रम का अवलोकन

  • जैविक सुरक्षा उपायों को मजबूत करने के लिए GPT‑5.5 के लिए Bio Bug Bounty चलाया जा रहा है, और पाँचों बायो सुरक्षा प्रश्नों को पार कराने वाले general-purpose jailbreak की खोज हेतु आवेदन आमंत्रित किए जा रहे हैं
  • दायरे में शामिल मॉडल केवल Codex Desktop-केवल GPT‑5.5 तक सीमित है
  • चुनौती यह है कि साफ नई चैट में moderation ट्रिगर किए बिना, एक general-purpose jailbreaking prompt के जरिए पाँचों बायो सुरक्षा प्रश्नों के सफल उत्तर दिलाए जाएँ
  • पुरस्कार के रूप में पाँचों प्रश्नों को पार कराने वाले पहले वास्तविक general-purpose jailbreak को 25,000 डॉलर दिए जाएंगे, जबकि आंशिक सफलता पर विवेकाधिकार से छोटे पुरस्कार मिल सकते हैं
  • आवेदन 23 अप्रैल 2026 से शुरू होकर 22 जून 2026 को बंद होंगे, और टेस्टिंग 28 अप्रैल 2026 से शुरू होकर 27 जुलाई 2026 को समाप्त होगी
  • प्रक्रिया में आवेदन और निमंत्रण दोनों का उपयोग होगा; विश्वसनीय bio red-teamers की सूची को निमंत्रण भेजे जाएंगे और नए आवेदनों की भी समीक्षा के बाद चुने गए प्रतिभागियों को bio bug bounty platform पर onboard किया जाएगा
  • सभी प्रॉम्प्ट, completion, निष्कर्ष और कम्युनिकेशन पर NDA लागू होगा

भाग लेने का तरीका

  • आवेदन पेज पर नाम, संबद्धता और अनुभव सहित एक छोटा आवेदन 22 जून 2026 तक जमा करना है
  • स्वीकृत आवेदकों और सहयोगियों के पास आवेदन के लिए मौजूदा ChatGPT खाता होना चाहिए, और NDA पर हस्ताक्षर भी आवश्यक हैं
  • Bio Bounty के अलावा सुरक्षा और सिक्योरिटी से जुड़े अन्य भागीदारी मार्गों के रूप में Safety Bug Bounty और Security Bug Bounty भी चलाए जा रहे हैं

1 टिप्पणियां

 
GN⁺ 5 일 전
Hacker News की राय
  • OpenAI के bug bounty page पर साफ़ तौर पर accounts and billing को valid category लिखा है,
    फिर भी जब मैंने रिपोर्ट किया कि ChatGPT subscription लेते समय कोई भी मनमाना देश चुनकर सस्ती कीमत पर भुगतान कर सकता है, और चुने गए price country और billing address country — दोनों जगह कानूनी sales tax/VAT लागू होने पर भी टैक्स को 0% किया जा सकता है, तो इसे scope के बाहर बताकर bounty के लायक नहीं माना गया

    • शायद वजह यह हो सकती है कि उनका लक्ष्य प्रति user profit maximize करना नहीं, बल्कि users की संख्या बढ़ाना है
      Netflix के साथ भी ऐसा ही एक "problem" था, और lockdown के दौरान हर बार उसका stock ऊपर जाता था
    • अब मुझे corporate bug bounty पर भरोसा करने की लगभग कोई वजह नहीं लगती
      सब लोग किसी न किसी तरह पैसे न देने की कोशिश करते हैं, और आप कुछ भी ढूँढ लें, कंपनी उसे fair तरीके से handle करेगी — ऐसी उम्मीद छोड़ देना ही बेहतर है
  • पिछले साल Kaggle पर bounty चलाई गई थी और कुल $500,000 दिए गए थे, साथ ही सारे results भी publicly disclose किए जा सकते थे
    https://www.kaggle.com/competitions/openai-gpt-oss-20b-red-t...
    इस बार सिर्फ $25,000 हैं और सब कुछ NDA के तहत बंधा है, इसलिए LLM द्वारा बनाई गई इधर-उधर की submissions के अलावा ज़्यादा participation होने की संभावना नहीं लगती

    • अगर submit करने वालों में से कुछ लोग भी ठीक-ठाक model और prompt इस्तेमाल करें,
      तो OpenAI अपनी analysis cost का एक हिस्सा customer token cost के रूप में दूसरों पर डाल रही होगी
    • OpenAI के resources को देखते हुए bounty amount बहुत कम है, यह हैरान करता है
      पिछले साल लगभग $5M~$10M funding वाले एक crypto startup ने latest Claude और GPT के खिलाफ ऐसा ही prompt injection challenge रखा था, और वहाँ जीतने पर इससे काफ़ी ज़्यादा मिला था
      इतनी कम reward और सख्त NDA देखकर यह serious bounty hunters के लिए कम, और marketing event ज़्यादा लगता है — जहाँ वे बड़ा पैसा भी नहीं देना चाहते और research disclosure भी नहीं चाहते
    • यह बस discount Kaggle जैसा लगता है
      लोगों को लगातार छेड़छाड़ करते रहने देना, लेकिन result reports public होने या किसे पैसे मिले इस पर drama होने से बचना
    • यह model gpt-oss-20b से कहीं ज़्यादा powerful है
      पिछले साल की competition भी 120b model के लिए नहीं थी, और bio उसका विषय भी नहीं था
  • मुझे समझ नहीं आ रहा कि जवाब देने के लिए questions की list कहाँ है
    अगर वह सिर्फ qualify होने के बाद ही दिखाई जाएगी, तो फिर बिना questions जाने application में jailbreak approach लिखने को कहना समझ से बाहर है

    • बहुत संभव है कि questions खुद ही खतरनाक content हों
      जैसे, "$20,000 में kitchen में छोटा virus research biolab कैसे बनाया जाए?" या
      https://www.ncbi.nlm.nih.gov/nuccore/NC_001611.1 जैसी DNA sequence को कैसे assemble किया जाए
    • अगर इस round में invite मिले, तो उसी समय questions दिए जाएँगे
      और संभव है कि वह सामग्री भी NDA के तहत हो
  • trusted bio red-teamers의 검증된 목록에 초대장을 보낸다 जैसी पंक्ति देखकर हँसी आती है
    यह काफ़ी closed group जैसा सुनाई देता है

    • थोड़ा ऐसा लगता है जैसे CS PhDs से world-record speedrun करवाया जा रहा हो
      जबकि इस काम को सबसे अच्छा करने वाले लोग शायद ऐसे verified list में आने वाले type के न हों
  • पाँचों questions पार करने वाले पहले सच्चे universal jailbreak को $25,000 जैसी शर्त देखकर,
    यह program लगभग scam-जैसी संरचना लगता है
    100 लोग bug ढूँढ लें, तब भी पैसे सिर्फ एक व्यक्ति को मिलेंगे

    • अगर API usage fee भी participants ही दें, तो यह उल्टा OpenAI के लिए revenue बनाने वाली व्यवस्था भी हो सकती है
    • मुझे समझ नहीं आता कि इसमें scam क्या है
      puzzle आधा solve करने पर कोई participation prize तो नहीं मिलता
    • असली बात reward structure से ज़्यादा credibility staging की है
      1. यह model इतना advanced है कि इसमें अभूतपूर्व बड़ा risk है
      2. इसलिए उस risk को हल करने के लिए जिम्मेदारी से incentive दिया जा रहा है
        लेकिन पहला दावा साबित नहीं हुआ है, और सच कहें तो इसकी संभावना भी कम लगती है, इसलिए दूसरा भी कमज़ोर पड़ता है
        ऊपर से prize इतना छोटा और structure इतना सीमित है कि लगता है उन्हें वास्तव में उतनी चिंता नहीं, बल्कि यह भरोसा ज़्यादा है कि बहुत से लोग कुछ न कुछ ढूँढ ही लेंगे
        अगर उन्हें सच में लगता कि model बेहद सुरक्षित है, तो issue rare लेकिन catastrophic होंगे — ऐसे में uncapped large reward रखना ज़्यादा स्वाभाविक होता
    • यह भी संदिग्ध है कि यह private bounty program है और इसमें apply करके approval भी लेना पड़ता है
      खासकर तब, जब scope में desktop app शामिल हो जिसे कोई भी download कर सकता है
    • यह bounty program की design पर निर्भर करता है
      अगर मैं solution ढूँढकर अपने दोस्त को बता दूँ और हम दोनों prize claim कर दें, तो उसे कैसे रोका जाएगा — यह भी सोचना पड़ता है
  • यह थोड़ा marketing जैसा है, और असल में spec work के काफ़ी करीब है
    ऊपर से NDA और secrecy के कारण, अगर आप नहीं जीतते, तो participant के नज़रिए से लगाया गया समय लगभग बेकार हो जाता है
    क्योंकि result publish भी नहीं कर सकते

    • bounty payment ठुकराए जाने पर भी शायद आप NDA से बंधे रह सकते हैं
      ऐसे में वे पैसे भी न दें और कहानी भी दबा दें — मैं ऐसी शर्तों से कभी सहमत नहीं होना चाहूँगा
    • इसमें marketing का तत्व होना स्वाभाविक है
      Anthropic से शुरू हुई हम खतरनाक हैं वाली narrative अब OpenAI भी अपना रही है, ऐसा लगता है
  • जो लोग सोच रहे हैं कि bio-bugs क्या होते हैं,
    उनका मतलब है मॉडल को इस तरह उकसाना कि वह user को biology domain में वास्तव में ख़तरनाक काम करने में मदद देने वाले निर्देश दे दे
    उदाहरण के लिए, ricin क्या है यह समझाना ठीक हो सकता है, लेकिन उसे कैसे weaponize किया जाए — इसका जवाब नहीं देना चाहिए
    मुद्दा यह है कि ऐसी actionable information दे दी जाए जिसे कानूनी या नैतिक रूप से देना नहीं चाहिए

  • application और invitation-based access, सिर्फ trusted bio red-teamers को invite जैसी संरचना समझना मुश्किल है
    bug bounty program का मूल उद्देश्य vulnerabilities ढूँढकर उन्हें disclose करने के लिए motivate करना होता है, लेकिन इस तरह gatekeeping करने से जिन लोगों पर भरोसा नहीं किया गया, वे hacking तो करते रहेंगे, बस disclosure की जगह बुरे पक्ष को पैसे लेकर बेचने का incentive बढ़ जाएगा
    मेरी पिछली कंपनी भी HackerOne पर invite-only mode में चलती थी, लेकिन वह इसलिए क्योंकि असली customer data या infrastructure को नुकसान पहुँच सकता था
    DDOS करने, या tenant boundary cross करने वाले exploit से दूसरे ग्राहकों के data तक पहुँचने या उसे मिटा देने का जोखिम था
    यहाँ वैसा कोई risk नहीं दिखता, इसलिए समझ नहीं आता कि जो भी व्यक्ति कानूनी रूप से पैसा ले सकता है, उसे participate करने क्यों नहीं दिया जाता

    • एक plausible explanation यह हो सकती है
      अगर इसे सिर्फ कुछ लोगों तक सीमित रखा जाए, तो समान prompts डालने वाले किसी random user को challenge participant और असली malicious actor के बीच अलग पहचानने की ज़िम्मेदारी कम हो जाती है
  • a clean chat without prompting moderation का मतलब समझ नहीं आता
    prompting moderation आखिर है क्या?

    • इसका मतलब है चैट के दौरान moderation filter को बीच में लाने के लिए trigger करना
      यानी exploit का लक्ष्य यह होगा कि filter activate होने के लिए उसे "उकसाए" बिना bypass किया जाए; यहाँ prompting का मतलब context में text डालने वाला तकनीकी अर्थ नहीं, बल्कि सामान्य अर्थ में trigger करना है
  • मुझे भी लगता है कि शायद मैं यह कर सकता हूँ, लेकिन मैं खुद को खतरनाक लोगों की सूची में क्यों डालूँ, यह समझ नहीं आता
    बड़ी समस्या यह है कि GPT-5.5 की सारी failure points बंद कर भी दी जाएँ तो व्यवहार में यह संभव नहीं, और मान लें कर भी दिया जाए, तब भी closed model से नया model distill करके मनचाही चीज़ लगभग 4b या उससे कम parameters में निकाली जा सकती है
    आख़िरकार यह सब बाद में कुछ हो जाने पर lawsuits कम झेलने के लिए किया गया नाटकीय प्रदर्शन ज़्यादा लगता है

    • ऐसे closed-weights models से distill कैसे करते हैं?
      इस तरह की model reverse engineering के बारे में मैंने लगभग कभी नहीं सुना