OpenPCC - Apple के Private Compute Cloud का open source implementation

• OpenPCC Apple के Private Cloud Compute से प्रेरित एक सत्यापनीय privacy AI inference framework है, जो पूरी तरह open source रूप में उपलब्ध है
• prompts, outputs और logs को उजागर किए बिना encrypted streaming·hardware attestation·unlinkable requests के जरिए privacy protection सुनिश्चित करता है
• कोई भी अपने infrastructure पर open या custom AI models चला सकता है, और इसे पारदर्शी व audit योग्य संरचना के साथ डिज़ाइन किया गया है
• Confident Security OpenPCC standard पर आधारित managed service CONFSEC विकसित कर रहा है
• इसका लक्ष्य AI data privacy के लिए community-driven standard के रूप में विकसित होना है

---

OpenPCC का अवलोकन

• OpenPCC एक open source framework है जो privacy-सुरक्षित AI inference को संभव बनाता है
  • यह Apple के Private Cloud Compute concept पर आधारित है, लेकिन इसे पूरी तरह public, auditable, self-hostable रूप में लागू किया गया है
  • उपयोगकर्ता prompts, outputs और logs के बाहरी रूप से उजागर हुए बिना AI models चला सकते हैं
• encrypted streaming, hardware attestation, और unlinkable requests के जरिए data protection को मजबूत किया गया है
• लक्ष्य है पारदर्शी और community-managed AI data privacy standard स्थापित करना

Managed Service: CONFSEC

• Confident Security OpenPCC standard पर आधारित fully managed service CONFSEC विकसित कर रहा है
  • संबंधित जानकारी और signup confident.security वेबसाइट पर उपलब्ध हैं
• CONFSEC, OpenPCC की तकनीक को commercial environment में आसानी से उपयोग करने में मदद करता है

OpenPCC Client संरचना

• repository में Go client code और C library शामिल हैं, जिन्हें Python और JavaScript clients के आधार के रूप में इस्तेमाल किया जाता है
• client testing के लिए in-memory services भी साथ में दी गई हैं
• संबंधित Compute Node implementation अलग repository (confidentsecurity/confidentcompute) में उपलब्ध है

Go उपयोग उदाहरण

• cmd/test-client/main.go फ़ाइल में local development example शामिल है
• production service से कनेक्ट करते समय, openpcc.NewFromConfig के जरिए client बनाया जाता है और API requests की जाती हैं
  • उदाहरण में model "qwen3:1.7b" और prompt "why is the sky blue?" का उपयोग किया गया है
  • request header "X-Confsec-Node-Tags" के जरिए request को उस compute node तक route किया जाता है जो specific model चला रहा हो
• code example OpenAI API के generate format का पालन करता है

विकास और परीक्षण

• development commands के लिए Go-आधारित build tool mage का उपयोग किया जाता है
  • go tool mage [cmd] या go install github.com/magefile/mage@latest से इसे चलाया जा सकता है
  • mage command उपलब्ध commands की सूची दिखाता है, जो /magefiles/* directory में परिभाषित हैं
• development के दौरान library test करने के लिए mage runMemServices से in-memory OpenPCC services चलाएँ, और mage runClient से test request करें

संदर्भ सामग्री

• OpenPCC के तकनीकी विवरण whitepaper में देखे जा सकते हैं
  • दस्तावेज़ स्थान: https://github.com/openpcc/openpcc/blob/main/whitepaper/openpcc.pdf

[GN⁺]

Hacker News की राय

• श्वेतपत्र की सामग्री देखने पर लगता है कि inference provider अब भी प्रॉम्प्ट और प्रतिक्रिया के plaintext तक पहुँच सकता है
  लेकिन इस तरीके में API router जैसे तीसरे पक्ष plaintext नहीं देख सकते, और क्लाइंट की पहचान भी अनुरोध से जुड़ी न रहे, इस तरह छिप जाती है
  अच्छा होगा अगर README में इस privacy guarantee की सीमा को साफ़ तौर पर संक्षेप में बताया जाए
  इन बातों को देखते हुए, सिर्फ़ उपयोगकर्ता द्वारा

  • बिना किसी मध्यवर्ती router के सीधे inference provider को अनुरोध भेजना
  • anonymous cryptocurrency से भुगतान करना, और
  • VPN से IP छिपाना
    जैसी व्यवस्था की तुलना में इस संरचना का क्या लाभ है, यह जानना चाहता हूँ
  • मैं confident.security में engineering lead हूँ, इसलिए इस प्रोजेक्ट को सार्वजनिक होते देख खुशी हुई
    यहाँ जिस inference provider की बात हो रही है, उसका ठीक-ठीक मतलब क्या है, यह जानना चाहता हूँ
    व्यवहार में, decryption के बाद भी workload बाहर (OpenAI आदि) नहीं जाता, बल्कि open source model लोड किए हुए compute machine पर सीधे चलता है
    ये मशीनें चल रहे software का cryptographic proof (attestation) देती हैं और यह सुनिश्चित करती हैं कि संवेदनशील जानकारी बाहर लीक नहीं हो सकती
    Apple का PCC भी इसी सिद्धांत पर काम करता है, और क्लाइंट ऐसे nodes को अनुरोध नहीं भेजता जो यह आश्वासन नहीं देते
    यानी मुख्य privacy guarantee यह है कि hardware operator भी प्रॉम्प्ट नहीं देख सकता
  • यह कि provider प्रॉम्प्ट के plaintext तक पहुँच सकता है, इस बात को बहुत लोग कम करके आँकते हैं
    BYOK से यह ज़्यादातर हल हो जाता है, लेकिन key देने के क्षण में जोखिम फिर भी रहता है
    Apple का Private Cloud Compute या AWS के Nitro Enclaves जैसे सिस्टम इसी आख़िरी चरण की समस्या हल करने की कोशिश करते हैं
    NCC Group ने AWS का सत्यापन करते हुए पुष्टि की कि ऐसा कोई management API मौजूद नहीं है जिससे कर्मचारी host में login कर सकें या ग्राहक डेटा तक पहुँच सकें
    पारदर्शिता और सुरक्षा के लिहाज़ से ऐसी संरचना बहुत असामान्य है
    Apple का PCC security research blog भी देखने लायक है
  • ऐसे में, थोड़ी performance कम होने पर भी local model खुद चलाना ज़्यादा सरल लगता है
  • EU में कंपनियों के लिए anonymous cryptocurrency payments स्वीकार करना शायद अवैध हो सकता है
    anti-money laundering नियमों के कारण केवल traceable payments ही अनुमत हैं
    हालाँकि, यह किस स्तर तक प्रतिबंधित है, यह स्पष्ट नहीं है
    संबंधित लेख: EU to ban trading of privacy coins from 2027

• मैं भी इसी तरह का काम करने वाली एक टीम में था
  यह paid service है, लेकिन source available और meaningful attestation देती है
  सेवा: privatemode.ai
  कोड: github.com/edgelesssys/privatemode-public

  • OpenPCC Apache 2.0 लाइसेंस पर है और CLA के बिना rugpull को रोकता है
    जबकि edgeless BSL का उपयोग करता है
  • असली बात attestation की है
    inference provider प्रॉम्प्ट न देख सके, यही इसका USP है,
    और Privatemode इसे source code → reproducible build → TEE attestation report की chain के ज़रिए हासिल करता है
    साथ ही Kata/CoCo जैसी isolation technologies और runtime policies से सुरक्षा मज़बूत की जाती है

• “provably private” कहा जा रहा है, लेकिन physical access और थोड़ा-सा उपकरण हो तो memory bus का विश्लेषण भी किया जा सकता है
  संबंधित चर्चा: HN thread

  • GCP confidential VM को live migrate करता है
    दसियों हज़ार मशीनों में से आप analyzer किस पर लगाएंगे?
  • और वैसे भी, ऐसे हमले के लिए असीमित समय और physical access चाहिए

• शानदार काम है। इसका open source के रूप में जारी होना भी प्रभावशाली है
  हम homomorphic encryption की समस्या से मिलती-जुलती चुनौतियों पर शोध कर रहे हैं, और जानना चाहता हूँ कि क्या OpenPCC मददगार हो सकता है
  उदाहरण के लिए, wearable devices (AR glasses आदि) जब visual data को log करते हैं तो privacy समस्याएँ पैदा होती हैं
  क्या ऐसे डेटा को developer debugging के लिए anonymize करने में OpenPCC उपयोगी हो सकता है?

  • हाँ, हो सकता है। OpenPCC node के अंदर anonymization workload चलाया जा सकता है
    मूल रूप से OpenPCC एक attested HTTP server है जिसके अंदर झाँका नहीं जा सकता
    अगर wearable डेटा OpenPCC को भेजे, तो उसके भीतर anonymization process चलाई जा सकती है
    बेशक, डिवाइस पर ही anonymize करना ज़्यादा सरल है
    और संदर्भ के लिए, homomorphic encryption अभी व्यावहारिक चरण में नहीं है

• यह सचमुच बहुत शानदार रिलीज़ है
  उम्मीद है कि और अधिक कंपनियाँ इसका उपयोग कर user privacy को मज़बूत करेंगी

• Go भाषा को देख कर अच्छा लगा
  मेरे हिसाब से AI क्षेत्र में Go, Python से आगे निकल जाएगा

• यह Azure के Confidential AI Inference जैसा है
  संदर्भ लिंक: Azure AI Confidential Inferencing Deep Dive

  • लेकिन उनका source code कहीं मिल नहीं रहा
    पारदर्शिता के लिहाज़ से यह महत्वपूर्ण हिस्सा है, इसलिए जानना चाहता हूँ कि क्या किसी ने इसे देखा है

• सिद्धांत में यह बढ़िया है, लेकिन व्यवहार में इस पर क्या चलाया जा सकेगा, यह समझ नहीं आ रहा
  spammer न हो तो इसका उपयोग किस काम में होगा?
  दिमाग में federated learning या FlowerLLM जैसे distributed learning systems आते हैं, लेकिन वे inference के लिए नहीं थे
  बंद software से बाहर निकलने की कोशिश स्वागतयोग्य है, पर वास्तविक उपयोग के उदाहरण जानना चाहता हूँ

  • अगर ठोस उदाहरण दिए जाएँ तो अच्छा होगा
    जैसे OpenAI Whisper को /e/OS पर anonymous proxy की तरह STT service के रूप में चलाना संभव लग सकता है
    लेकिन इतना तो local पर भी आसानी से हो सकता है, इसलिए अब भी स्पष्ट use case नहीं मिल रहा

• compute node के source code कहाँ हैं, यह जानना चाहता हूँ