Profobuf (2022) विज्ञापनों को डिकोड और हटाकर AppleTV पर YouTube विज्ञापन ब्लॉक करना

Apple TV पर YouTube विज्ञापन ब्लॉक करना

अवलोकन

Apple TV और बाहरी दुनिया के बीच एक man-in-the-middle proxy रखकर HTTPS ट्रैफ़िक को डिक्रिप्ट किया जा सकता था। इससे Google द्वारा YouTube में विज्ञापन डालने के लिए इस्तेमाल किए जाने वाले ProtocolBuffer डेटा को पढ़ना संभव हुआ। ProtocolBuffer को real time में डिकोड करना CPU-intensive है, इसलिए ProtocolBuffer फ़ॉर्मैट की एक खामी खोजकर विज्ञापनों को हटाया जा सका।

लक्ष्य

FreeBSD और pfSense का उपयोग करके एक शक्तिशाली encrypted router बनाना, और Google ProtocolBuffer फ़ॉर्मैट की खामी का उपयोग करके Apple TV और iPhone पर नेटवर्क-व्यापी स्तर पर YouTube विज्ञापनों को पूरी तरह ब्लॉक करना।

विज्ञापन और behavior tracking ब्लॉक करने की आवश्यकता

• प्राइवेसी: उपयोगकर्ता की online activity की निगरानी की जा रही है, और यह विज्ञापनदाताओं के लिए बहुत मूल्यवान जानकारी है।
• बैंडविड्थ: नेटवर्क ट्रैफ़िक का 25%~40% विज्ञापनों और tracking scripts से बना होता है।
• क्लिकबेट: क्लिकबेट उपयोगकर्ताओं को फँसाकर malicious sites की ओर ले जा सकता है।
• क्रिप्टोजैकिंग: कुछ वेबसाइटें उपयोगकर्ता के कंप्यूटर का उपयोग करके cryptocurrency mining करने की कोशिश करती हैं।

आवश्यक router hardware

• AES-NI instruction set वाला mini PC (उदाहरण: J4125)
• कई गीगाबाइट DDR4 RAM (उदाहरण: 32 GiB)
• उपयुक्त mSATA SSD drive (उदाहरण: 128 GiB)
• pfSense ट्रांसफ़र करने के लिए USB drive

pfSense इंस्टॉलेशन और कॉन्फ़िगरेशन

• pfSense को USB drive पर flash करके इंस्टॉल करें.
• AES-NI encryption instructions सक्षम करें.
• RAM disk सक्षम करें और इसे /var तथा /tmp के लिए उपयोग करें.
• विज्ञापन ब्लॉकिंग सेट करने के लिए pfBlockerNG का उपयोग करें.

नेटवर्क LAN विभाजन

• अविश्वसनीय devices के लिए अलग hardware network बनाएं.
• pfSense के माध्यम से DNS requests को intercept करें, और hardcoded DNS servers की requests भी block करें.

YouTube विज्ञापन algorithm को चकमा देना

• Apple TV YouTube विज्ञापनों को सीमित करने के तरीकों का अध्ययन.
• VPN के माध्यम से Apple TV ट्रैफ़िक को चुनिंदा रूप से route करना.

HTTPS ट्रैफ़िक डिक्रिप्शन

• HTTPS ट्रैफ़िक को intercept और analyze करने के लिए MITMProxy इंस्टॉल करें.
• विज्ञापन हटाने के लिए Protobuf messages का reverse engineering करें.

सारांश

• YouTube Premium के माध्यम से विज्ञापन ब्लॉक करने का प्रयोग.
• DMCA और अन्य कानूनी मुद्दों पर विचार.
• विज्ञापन ब्लॉकिंग तकनीक के सफल अनुप्रयोग का विश्लेषण.

[GN⁺]

Hacker News टिप्पणियाँ

• Protobuf फ़ॉर्मेट में कमी ढूँढ़कर विज्ञापन हटाए जा सकते हैं
  • अनुमान है कि field number को बड़े unused number में बदल दिया गया था
  • Protobuf bytes को scan करके ad URL signature ढूँढ़ते हैं, field tag खोजते हैं, और field key बदल देते हैं
  • यह कोई bug नहीं बल्कि intended behavior है
  • अगर tag ढूँढ़ने की मेहनत करें, तो उसके बगल की length पढ़कर bytes को skip किया जा सकता है
  • buffer को copy करना या bytes को move करना पड़ता है, लेकिन mitmproxy की API जो byte object लौटाती है वह immutable है
  • एक छोटा C++/Go proxy कम overhead में वही काम कर सकता है
  • proxy के ज़रिए सब कुछ route करने पर performance गिरती है
  • pfSense की जगह एक साधारण Linux server और iptables rule set ज़्यादा efficient है
  • reverse-engineered proto fields से .proto file लिखकर code generate किया जा सकता है और flags toggle किए जा सकते हैं
  • unknown field tags को ignore करना Protobuf की एक महत्वपूर्ण feature है
• content creators को support करना चाहता था, इसलिए YouTube ads block करने के बाद YouTube Premium subscribe किया
  • क्या YouTube Premium वाकई creators को support करता है, यह जानना चाहता हूँ
• मेरी girlfriend के YouTube account पर ads नहीं दिखते
  • अंदर ही अंदर कौन-सा flag set है जिससे ads disable हो गए, यह जानना चाहता हूँ
• Apple TV और बाहरी दुनिया के बीच man-in-the-middle proxy रखकर HTTPS traffic decrypt किया जा सका
  • यह जानकर हैरानी हुई कि Apple TV के certificate store में CA जोड़ा जा सकता है
  • इतनी thorough explanation के लिए धन्यवाद
• hardware या software पर ownership पाने के लिए इतनी मेहनत करनी पड़े, यह दुखद है
• Apple TV पर कई बार कोशिश की लेकिन सफलता नहीं मिली
  • लगता है YouTube app ने certificate pinning implement की हुई है
• पूरे network स्तर पर online services को block करना पसंद है
  • ad blocking के अलावा infinite scroll को block करने के और तरीके होने चाहिए
  • Instagram पर मैं जिन लोगों को follow करता हूँ उनकी posts/stories देखना चाहता हूँ, लेकिन attention खींचने वाले videos की recommendations नहीं चाहता
• मुझे पता ही नहीं था कि YouTube पर ads होते हैं
  • AppleTV का अनुभव सामान्य web browser अनुभव से कहीं ज़्यादा खराब है
  • Apple hardware को lock करके YouTube की ad revenue को और फ़ायदा पहुँचाता है
• अगर protocol को decrypt और reverse-engineer करना पड़े, तो शायद ऐसे devices इस्तेमाल न करना ही बेहतर है
  • इस economy से बाहर निकलकर किसी और तरीके से अपना मनोरंजन करना बेहतर लगता है