Darkbloom – निष्क्रिय Mac का उपयोग करने वाला व्यक्तिगत AI inference नेटवर्क

 (darkbloom.dev)
1 पॉइंट द्वारा GN⁺ 13 일 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • Darkbloom एक ऐसा नेटवर्क है जो निष्क्रिय Apple Silicon Mac को जोड़कर वितरित AI inference चलाता है, और केंद्रीय cloud के बिना व्यक्तिगत डिवाइसों पर AI computation को प्रोसेस करता है
  • मौजूदा GPU·cloud·API प्रदाताओं के बीच की तीन-स्तरीय margin संरचना को हटाकर अधिकतम 70% लागत बचत हासिल करता है
  • सभी अनुरोध end-to-end encryption के साथ भेजे जाते हैं, इसलिए ऑपरेटर उपयोगकर्ता डेटा नहीं देख सकते, और Apple security hardware-आधारित attestation chain से भरोसा सुनिश्चित किया जाता है
  • OpenAI-compatible API उपलब्ध है, जो chat, image generation, speech recognition आदि के लिए मौजूदा SDK के समान सुविधाएँ देता है
  • ऑपरेटर राजस्व का 95~100% बनाए रख सकते हैं, और निष्क्रिय Mac के जरिए बिजली खर्च के अलावा अतिरिक्त लागत के बिना USD आय कमा सकते हैं

निष्क्रिय Mac का उपयोग करने वाला व्यक्तिगत AI inference नेटवर्क

  • Darkbloom Eigen Labs द्वारा विकसित एक वितरित AI inference नेटवर्क है, जो निष्क्रिय Apple Silicon Mac को जोड़कर AI computation चलाता है
  • अभी AI computation बाजार में GPU निर्माता → hyperscaler → API प्रदाता → अंतिम उपयोगकर्ता जैसी तीन-स्तरीय margin संरचना है, और Darkbloom इसे हटाकर अधिकतम 70% लागत बचत संभव बनाता है
  • नेटवर्क ऑपरेटर उपयोगकर्ता डेटा नहीं देख सकते, और सभी अनुरोध end-to-end encryption के साथ प्रोसेस होते हैं
  • API OpenAI-compatible है, इसलिए यह मौजूदा SDK की तरह chat, image generation और speech recognition को सपोर्ट करता है
  • ऑपरेटर राजस्व का 95~100% बनाए रखते हैं, और बिजली खर्च के अलावा अतिरिक्त लागत लगभग नहीं है

उपयोगकर्ताओं के लिए सुविधाएँ

  • निष्क्रिय hardware की marginal cost लगभग 0 होने से कम हुई लागत सीधे उपयोगकर्ता कीमतों में दिखाई देती है
  • OpenAI-compatible API के जरिए chat, image generation और speech-to-text सुविधाएँ उपलब्ध हैं
  • सभी अनुरोध end-to-end encryption के साथ ट्रांसमिट होते हैं

hardware मालिकों के लिए सुविधाएँ

  • जिन उपयोगकर्ताओं के पास Apple Silicon Mac है, वे निष्क्रिय समय में AI inference चलाकर USD आय कमा सकते हैं
  • ऑपरेटर inference राजस्व का 100% रख सकते हैं, और बिजली लागत $0.01~$0.03 प्रति घंटा के स्तर पर है
  • बाकी राशि शुद्ध लाभ के रूप में रहती है

AI computation बाजार की संरचनात्मक समस्या

  • वर्तमान AI computation बाजार GPU निर्माता → cloud प्रदाता → AI कंपनी → अंतिम उपयोगकर्ता जैसी तीन-स्तरीय margin संरचना पर चलता है
  • इसके कारण अंतिम उपयोगकर्ता वास्तविक silicon लागत से 3 गुना से अधिक भुगतान करते हैं
  • दूसरी ओर, 10 करोड़ से अधिक Apple Silicon डिवाइस प्रतिदिन औसतन 18 घंटे से अधिक निष्क्रिय रहते हैं
  • इन निष्क्रिय computational संसाधनों को जोड़ने पर Airbnb या Uber की तरह वितरित asset उपयोग संभव हो जाता है
  • Darkbloom ऐसे निष्क्रिय Mac को AI inference node में बदलकर केंद्रीकृत infrastructure का विकल्प बनाता है

भरोसे की समस्या और समाधान की चुनौती

  • वितरित computation नेटवर्क की मुख्य समस्या विश्वसनीयता है
  • उपयोगकर्ताओं को अपना डेटा अज्ञात तीसरे पक्ष के डिवाइस पर प्रोसेस कराना पड़ता है, इसलिए केवल terms जैसी सुरक्षा पर्याप्त नहीं है
  • Verifiable Privacy के बिना वितरित inference संभव नहीं है

Darkbloom का तकनीकी दृष्टिकोण

  • access path हटाना

    • ऑपरेटर के डेटा तक पहुँचने वाले सभी software path हटा दिए जाते हैं
    • यह चार स्वतंत्र स्तरों से बना है, और प्रत्येक का सत्यापन किया जा सकता है

  • encryption स्तर

    • अनुरोध उपयोगकर्ता के डिवाइस पर भेजने से पहले encrypt किए जाते हैं
    • Coordinator केवल ciphertext को route करता है, और लक्षित node की hardware key ही उसे decrypt कर सकती है

  • hardware स्तर

    • प्रत्येक node के पास Apple के security hardware के भीतर बना key होता है
    • Apple Root CA से जुड़ी attestation chain के माध्यम से सत्यापन होता है

  • runtime स्तर

    • inference process को OS स्तर पर lock किया जाता है
    • debugger connection और memory inspection को रोका जाता है
    • ऑपरेटर चल रही process से डेटा निकाल नहीं सकते

  • output स्तर

    • सभी responses को उस hardware के signature से सत्यापित किया जा सकता है
    • पूरी attestation chain सार्वजनिक है, इसलिए कोई भी स्वतंत्र रूप से सत्यापन कर सकता है

  • परिणामस्वरूप ऑपरेटर inference चलाते हैं, लेकिन डेटा नहीं देख सकते

    • prompt भेजने से पहले encrypt किया जाता है
    • Coordinator सामग्री पढ़े बिना route करता है
    • Provider सत्यापित isolated environment में decrypt और execution करता है
    • attestation chain सार्वजनिक रहती है, जिससे पारदर्शिता सुनिश्चित होती है

implementation विवरण

  • OpenAI-compatible API

    • मौजूदा OpenAI SDK के साथ पूरी तरह compatible
    • केवल Base URL बदलकर वही code इस्तेमाल किया जा सकता है
    • Streaming, Function Calling, Image Generation, Speech-to-Text सभी समर्थित हैं
    • समर्थित सुविधाएँ
    • Streaming: SSE-आधारित, OpenAI format
    • Image Generation: FLUX.2 on Metal
    • Speech-to-Text: Cohere Transcribe
    • Large MoE: अधिकतम 239B parameter मॉडल सपोर्ट

लागत तुलना के परिणाम

  • निष्क्रिय hardware की marginal cost लगभग न होने से कीमत में कमी आती है
  • कोई subscription fee या minimum usage limit नहीं
  • OpenRouter की तुलना में 50% कम स्तर
मॉडल इनपुट आउटपुट OpenRouter बचत दर
Gemma 4 26B4B $0.03 $0.20 $0.40 50%
Qwen3.5 27B $0.10 $0.78 $1.56 50%
Qwen3.5 122B MoE $0.13 $1.04 $2.08 50%
MiniMax M2.5 239B $0.06 $0.50 $1.00 50%
  • image generation: $0.0015/इमेज (Together.ai की तुलना में 50%)
  • speech recognition: $0.001/मिनट (AssemblyAI की तुलना में 50%)
  • platform fee 0%, ऑपरेटर 100% राजस्व बनाए रखते हैं

ऑपरेटर अर्थशास्त्र

  • Apple Silicon डिवाइस उपलब्ध कराने पर USD आय कमाना संभव है
  • बिजली खर्च के अलावा कोई अतिरिक्त लागत नहीं, और राजस्व का 100% बना रहता है
  • CLI install तरीका समर्थित है, और macOS menu bar app विकासाधीन है

  • install तरीका

    • terminal command से provider binary डाउनलोड और launchd service registration

    • कोई dependency नहीं**,** auto-update**,** background execution

      • macOS 14 या उससे ऊपर, केवल Apple Silicon के लिए

  • अनुमानित आय

    • प्रतिदिन 18 घंटे चलने के आधार पर आय का अनुमान लगाया जा सकता है
    • वास्तविक आय network demand और model popularity पर निर्भर करेगी

शोध और model catalog

  • research paper में architecture, threat model, security analysis और economic model का विस्तृत वर्णन है
  • इसमें hardware verification-आधारित private inference संरचना पर चर्चा की गई है
  • PDF डाउनलोड लिंक

  • उपलब्ध मॉडल

    • Gemma 4 26B: Google का नवीनतम multimodal MoE, 4B active parameter
    • Qwen3.5 27B: उच्च-गुणवत्ता reasoning model (Claude Opus distillation)
    • Qwen3.5 122B MoE: 10B active parameter, प्रति token सर्वोच्च गुणवत्ता
    • MiniMax M2.5 239B: SOTA coding model, Mac Studio पर 100 tok/s
    • Cohere Transcribe: 2B conformer, शीर्ष-स्तरीय speech-to-text रूपांतरण

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.