यह पूरे Nitter का मामला नहीं, बल्कि एक instance बंद होने का मामला है, इसलिए title थोड़ा misleading लगता है
अहम हिस्सा Nitter project के मुख्य maintainer और owner की GitHub comment है
बात यह है कि guest accounts सिर्फ “ऐसा दिखने लगे” नहीं थे, बल्कि सच में हटा दिए गए थे, और real accounts के तुरंत rate limit होने या ban होने की संभावना ज्यादा है, इसलिए Nitter के आगे बढ़ने का कोई रास्ता नहीं दिखता
स्रोत: https://github.com/zedeus/nitter/issues/983#issuecomment-191...
यह comment इस तरह पढ़ी जाती है कि सभी public Nitter instances मौजूदा scale पर unusable होने के खतरे में हैं
यह लंबे समय से चल रहे instances में से एक के बंद होने का मामला है, और Nitter के मूल लेखक ने आखिरकार इसे सभी instances का अंत बताया है—status page की जानकारी के साथ दिखने वाला एक उदाहरण
अगर नए guest accounts नहीं मिले, तो 30 दिनों के भीतर सबके down हो जाने की संभावना काफी है। अभी जो ठीक-ठाक दिख रहा है, वह सिर्फ बचे हुए accounts और cache की वजह से है
ऊपर से, अपने तरीके खो चुके scrapers बचे हुए instances पर टूट पड़ रहे हैं—एक चलता-फिरता DoS झुंड—जो और instances को मार रहा है
काश इसे यहां paste करने की जरूरत न पड़ती, लेकिन core बात यह sentence है: “अगर कुछ नहीं बदला, तो बचे हुए सभी instances आखिरकार down हो जाएंगे। instances guest accounts पर निर्भर हैं, और ये accounts केवल सीमित समय तक valid रहते हैं; public instance चलाने के लिए इनकी भारी संख्या चाहिए। यह API down हो गया है, और इस बार यह accidental outage जैसा नहीं लगता”
अफसोस है कि यह गलत comment top पर पहुंच गई
“अगर कुछ नहीं बदला, तो बचे हुए सभी instances आखिरकार down हो जाएंगे। instances guest accounts पर निर्भर हैं, और ये accounts केवल सीमित समय तक valid रहते हैं; public instance चलाने के लिए इनकी भारी संख्या चाहिए। यह API down हो गया है, और इस बार यह accidental outage जैसा नहीं लगता”
पहले से ही आधे instances rate limit में फंसे हैं, इसलिए अगर आपको exact username या tweet नहीं पता, तो search करना लगभग किस्मत पर छोड़ना पड़ता है
अगर सभी Nitter instances बंद हो जाते हैं, तो यह एक और वजह होगी कि लोगों को जानकारी Twitter/X नाम के closed garden में नहीं डालनी चाहिए
Nitter, Twitter/X से सबसे ज्यादा चिढ़ने वाले लोगों के लिए एक तरह का pressure release valve रहा है
अगर Nitter वाला compromise खत्म हो गया, तो Twitter/X threads को link करना या उन लोगों को tolerate करना, जो अभी भी वहां post करते हैं, और कम हो जाएगा
निराशाजनक है, इससे सहमत हूं, लेकिन ऐसे tools इस्तेमाल करने वाले लोग tool के गायब होने के impact को लेकर कुछ naive होते हैं
सच कहूं तो इसमें थोड़ी हास्यास्पद बात भी है। जो आंकड़े मैंने देखे, उनके मुताबिक X रोज़ करीब 100 अरब impressions बनाता है, और x.com पर दिसंबर में 1.2 अरब visits हुईं
कुछ लोग Nitter से X posts नहीं देख पाएंगे, लेकिन इससे X को कोई meaningful झटका लगेगा या नहीं, इस पर शक है
अगर X-Walled-Garden/Twitter कोई MIME type हो, तो fit बैठेगा
इतना निराश होने की जरूरत नहीं है। मैंने Nitter के बारे में कभी सुना भी नहीं, फिर भी काफी सफलतापूर्वक अच्छी तरह जी रहा हूं
Elon Musk के Twitter पर हंगामा करने वाले leftists एक loud minority हैं, ऐसा लगता है
Nitter down हो जाए तो भी कुछ नहीं बदलेगा, Twitter चलता रहेगा और लोग उसे इस्तेमाल और link करते रहेंगे
लोग अक्सर Twitter thread links भेजते हैं, और अगर किस्मत से login wall से बच भी जाएं, तो login किए बिना पूरा thread नहीं दिखता—यह निराशाजनक है
login करने का मेरा कोई इरादा नहीं है, और चाहता हूं कि लोग Twitter links भेजना बंद करें या बेहतर तो यह कि उसे इस्तेमाल ही न करें
Twitter पहले से ही भयानक site था, और Musk के takeover से काफी पहले भी यहां comments में Twitter submissions block करने की मांग आम थी
इसलिए Twitter के प्रति नाराज़गी, उसके बारे में personal राय से अलग पैदा हुई है
अच्छा नहीं है। मैं Twitter इस्तेमाल नहीं करना चाहता, लेकिन लोग वहीं post करते हैं
Nitter मेरे read-only lurking वाले use case के लिए बिल्कुल सही था
अगर किस्मत अच्छी हुई, तो इस घटना से HN users शायद Twitter links लगाना ही कम कर दें
अगर पढ़ना है, तो account बना लेने में क्या दिक्कत है?
मैं जो चाहता हूँ वह यह है कि कोई headless browser समय-समय पर चले, social account में login करे, और जिन accounts को follow किया है उनमें से सिर्फ मेरी मनचाही चीज़ें scrape करके कम addictive format में दिखाए।
exposure और engagement पर ऊपरी सीमा हो, और local device पर चलाना भी ठीक हो। ideally, जो social links सामने आएँ वे भी उसी तरफ redirect हो जाएँ तो अच्छा होगा। ऐसा कुछ कहाँ है?
वही तो RSS का सपना था, लेकिन content host करने वाली कंपनियों के long-term business interests से टकराने के कारण अब वह ज़्यादातर गायब हो चुका है
आप शायद चाहते हैं कि social media platform नहीं बल्कि pipe की तरह काम करे।
सरकार को यह business model ban करने के लिए राज़ी करना होगा जिसमें ज़्यादातर users पैसा देने वाले customers नहीं, बल्कि advertisers को बेचा जाने वाला product बन जाते हैं। तब social platforms को फर्क नहीं पड़ेगा कि user कौन-सा client इस्तेमाल करता है।
हालांकि बड़ी social कंपनियों के shareholders ऐसा नहीं चाहेंगे। two-sided market addictive होता है, और अगर बिना पैसे लिए market पर कब्ज़ा कर लिया जाए तो कोई compete नहीं कर सकता
यह एक छोटी AWS Lambda script से संभव है। जिस site को चाहें उसे समय-समय पर scrape करें या API से data लें और result email से भेज दें।
login credentials को personal instance तक सीमित रखा जा सकता है, इसलिए practically API limits भी लगभग नहीं होंगी, और अकेले इस्तेमाल के लिए यह AWS free tier के अंदर आने की संभावना रखता है।
ideal installation flow यह होगा कि हर site के लिए Lambda install automate करने वाले AWS CloudFormation templates का repository हो। कोई भी AWS account खोल सकता है, और CloudFormation में कुछ fields और button clicks ही लगते हैं।
script सही से बनाई जाए तो local execution भी संभव है। कोई normal developer development के दौरान local पर चलाएगा, deploy करके test करेगा और फिर release करेगा
लगभग 10 साल पहले का वह iPad app याद आ रहा है जो Twitter, Google Reader वगैरह को magazine की तरह दिखाता था
मैंने अपने लिए https://www.bulletyn.co बनाया है, यह इसी काम के लिए है। Reddit, HN, RSS feeds आदि का content regular email summaries के रूप में भेजता है।
खासकर Reddit पर बिताया समय काफी घटाने में मदद मिली।
API बदलाव से पहले Twitter भी जोड़ने की योजना थी, लेकिन अफसोस
सोचता हूँ कि YouTube भी कभी videos देखने के लिए account ज़रूरी बना देगा और Invidious के साथ भी वही करेगा या नहीं।
2024 में यह कल्पना करना मुश्किल लग सकता है, लेकिन 5 या 10 साल बाद यह average user को स्वीकार्य लग सकता है। internet जिस दिशा में जा रहा है, वह मुझे पसंद नहीं
मुझे भी लगता है कि आखिरकार ऐसा ही होगा। यह आश्चर्यजनक है कि YouTube अभी भी account के बिना accessible है।
मुझे लगता है यह सिर्फ समय की बात है। मुझे बिल्कुल अंदाज़ा नहीं था कि Twitter content देखने के लिए account मांगने लगेगा
मुद्दा यह है कि जब तक संभव है, yt-dlp से archive कर लें
अगर “internet जिस दिशा में जा रहा है वह पसंद नहीं” है, तो Cory Doctorow की The Internet Con में इस दिशा को बदलने के ideas लगते हैं।
“हम technology platforms को dismantle कर सकते हैं, और हमें करना चाहिए। Silicon Valley जिस चीज़ से सबसे ज़्यादा डरती है—यानी interoperability को मजबूर करके—हमें computing के साधन वापस लेने होंगे। interoperability technologies के बीच की दीवारें गिराती है, जिससे users कंपनियों की अनुमति के बिना platforms छोड़ सकते हैं, media remix कर सकते हैं, और devices को reconfigure कर सकते हैं। interoperability platforms को तेज़ी से और लगातार खत्म करने का एकमात्र रास्ता है। The Internet Con internet को वापस पाने के लिए ज़रूरी disassembly manual है” [1]
[1] https://pluralistic.net/2023/12/01/bookmaker/
free video content देने वाली दूसरी sites भी हैं, इसलिए लगता नहीं कि ऐसा होगा। जब तक सब मिलकर ऐसा न करें
HN पर X links की अनुमति पर फिर से विचार करने का यह अच्छा समय हो सकता है।
अगर बिना account वाले users के पास content पढ़ने का कोई तरीका नहीं है, तो बड़े पैमाने पर लोगों को वहाँ क्यों भेजना चाहिए?
सही है। X/Twitter links block होने चाहिए, और उस cursed user-hostile site को traffic भेजना बंद होना चाहिए
Quora, Instagram, TikTok और अब X जैसी websites open web के विचार के विपरीत दिशा में बढ़ रही हैं।
content increasingly अलग-अलग silos में केंद्रित हो रहा है। वजह समझ आती है: जिन लोगों के पास account नहीं है, उन्हें personalized ads नहीं दिखाए जा सकते
FB, Linkedin, Pinterest भी ऐसे ही हैं। ये closed gardens उन giants के कंधों पर बने हैं जिन्होंने open internet को बनाया था।
जो silos नहीं हैं, वे भी आम तौर पर ऐसे bait content जैसे लगते हैं जिनका मुख्य उद्देश्य readers के email addresses collect करना है।
अजीब तरह से modern web मुझे फिर से offline और books की तरफ धकेल रहा है
TikTok का मैं ज़्यादा इस्तेमाल नहीं करता, लेकिन web links से उसका content देखते समय वह हमेशा publicly accessible रहा है
मुझे इस बात से गुस्सा नहीं कि वे अपने costs cover करने के लिए पैसा कमाना चाहते हैं।
दुख इस बात का है कि तरीका क्या है। पहले जितना बड़ा community हो सके capture किया गया, फिर उसी community को बेचा गया।
बहुत ज़्यादा लोग और organizations इसमें फँस गए, और अब public square बंद हो चुका है। public internet नहीं बचा, सिर्फ niches बचे हैं
“nitter.net certificate 15:08:30 GMT पर expire हो गया” issue में Nitter is dead लिखा है
बहुत सारे guest accounts बनाने के बजाय, सोच रहा/रही हूँ कि क्या अपने निजी account से Nitter को self-host करने की कोई guide थी
अब Twitter इस्तेमाल नहीं करता/करती, लेकिन कुछ ऐसे accounts को follow करने के लिए Nitter की RSS functionality इस्तेमाल करता/करती रहा/रही हूँ जो कहीं और नहीं हैं। अगर इसे जारी रखने का कोई तरीका हो, तो solution जानना चाहूँगा/चाहूँगी। Twitter में फिर से login नहीं करना चाहता/चाहती
ध्यान रखना चाहिए कि ऐसा करने पर Twitter ban कर सकता है
जब तक आप बहुत ज्यादा पैसे नहीं देते, Twitter scraping जैसा दिखने वाला व्यवहार सच में नापसंद करता है
2 टिप्पणियां
लगता है LLM ने Cloudflare फ़ायरवॉल पेज का सारांश बना दिया है
Hacker News पर रायें
यह पूरे Nitter का मामला नहीं, बल्कि एक instance बंद होने का मामला है, इसलिए title थोड़ा misleading लगता है
बात यह है कि guest accounts सिर्फ “ऐसा दिखने लगे” नहीं थे, बल्कि सच में हटा दिए गए थे, और real accounts के तुरंत rate limit होने या ban होने की संभावना ज्यादा है, इसलिए Nitter के आगे बढ़ने का कोई रास्ता नहीं दिखता
स्रोत: https://github.com/zedeus/nitter/issues/983#issuecomment-191...
यह comment इस तरह पढ़ी जाती है कि सभी public Nitter instances मौजूदा scale पर unusable होने के खतरे में हैं
अगर नए guest accounts नहीं मिले, तो 30 दिनों के भीतर सबके down हो जाने की संभावना काफी है। अभी जो ठीक-ठाक दिख रहा है, वह सिर्फ बचे हुए accounts और cache की वजह से है
ऊपर से, अपने तरीके खो चुके scrapers बचे हुए instances पर टूट पड़ रहे हैं—एक चलता-फिरता DoS झुंड—जो और instances को मार रहा है
“अगर कुछ नहीं बदला, तो बचे हुए सभी instances आखिरकार down हो जाएंगे। instances guest accounts पर निर्भर हैं, और ये accounts केवल सीमित समय तक valid रहते हैं; public instance चलाने के लिए इनकी भारी संख्या चाहिए। यह API down हो गया है, और इस बार यह accidental outage जैसा नहीं लगता”
अगर सभी Nitter instances बंद हो जाते हैं, तो यह एक और वजह होगी कि लोगों को जानकारी Twitter/X नाम के closed garden में नहीं डालनी चाहिए
Nitter, Twitter/X से सबसे ज्यादा चिढ़ने वाले लोगों के लिए एक तरह का pressure release valve रहा है
अगर Nitter वाला compromise खत्म हो गया, तो Twitter/X threads को link करना या उन लोगों को tolerate करना, जो अभी भी वहां post करते हैं, और कम हो जाएगा
सच कहूं तो इसमें थोड़ी हास्यास्पद बात भी है। जो आंकड़े मैंने देखे, उनके मुताबिक X रोज़ करीब 100 अरब impressions बनाता है, और x.com पर दिसंबर में 1.2 अरब visits हुईं
कुछ लोग Nitter से X posts नहीं देख पाएंगे, लेकिन इससे X को कोई meaningful झटका लगेगा या नहीं, इस पर शक है
X-Walled-Garden/Twitterकोई MIME type हो, तो fit बैठेगाNitter down हो जाए तो भी कुछ नहीं बदलेगा, Twitter चलता रहेगा और लोग उसे इस्तेमाल और link करते रहेंगे
Nitter instances के लिए redirect proxy alternative: https://twiiit.com/
instances की list: https://github.com/zedeus/nitter/wiki/Instances
लोग अक्सर Twitter thread links भेजते हैं, और अगर किस्मत से login wall से बच भी जाएं, तो login किए बिना पूरा thread नहीं दिखता—यह निराशाजनक है
login करने का मेरा कोई इरादा नहीं है, और चाहता हूं कि लोग Twitter links भेजना बंद करें या बेहतर तो यह कि उसे इस्तेमाल ही न करें
इसलिए Twitter के प्रति नाराज़गी, उसके बारे में personal राय से अलग पैदा हुई है
Nitter मेरे read-only lurking वाले use case के लिए बिल्कुल सही था
मैं जो चाहता हूँ वह यह है कि कोई headless browser समय-समय पर चले, social account में login करे, और जिन accounts को follow किया है उनमें से सिर्फ मेरी मनचाही चीज़ें scrape करके कम addictive format में दिखाए।
exposure और engagement पर ऊपरी सीमा हो, और local device पर चलाना भी ठीक हो। ideally, जो social links सामने आएँ वे भी उसी तरफ redirect हो जाएँ तो अच्छा होगा। ऐसा कुछ कहाँ है?
सरकार को यह business model ban करने के लिए राज़ी करना होगा जिसमें ज़्यादातर users पैसा देने वाले customers नहीं, बल्कि advertisers को बेचा जाने वाला product बन जाते हैं। तब social platforms को फर्क नहीं पड़ेगा कि user कौन-सा client इस्तेमाल करता है।
हालांकि बड़ी social कंपनियों के shareholders ऐसा नहीं चाहेंगे। two-sided market addictive होता है, और अगर बिना पैसे लिए market पर कब्ज़ा कर लिया जाए तो कोई compete नहीं कर सकता
login credentials को personal instance तक सीमित रखा जा सकता है, इसलिए practically API limits भी लगभग नहीं होंगी, और अकेले इस्तेमाल के लिए यह AWS free tier के अंदर आने की संभावना रखता है।
ideal installation flow यह होगा कि हर site के लिए Lambda install automate करने वाले AWS CloudFormation templates का repository हो। कोई भी AWS account खोल सकता है, और CloudFormation में कुछ fields और button clicks ही लगते हैं।
script सही से बनाई जाए तो local execution भी संभव है। कोई normal developer development के दौरान local पर चलाएगा, deploy करके test करेगा और फिर release करेगा
खासकर Reddit पर बिताया समय काफी घटाने में मदद मिली।
API बदलाव से पहले Twitter भी जोड़ने की योजना थी, लेकिन अफसोस
सोचता हूँ कि YouTube भी कभी videos देखने के लिए account ज़रूरी बना देगा और Invidious के साथ भी वही करेगा या नहीं।
2024 में यह कल्पना करना मुश्किल लग सकता है, लेकिन 5 या 10 साल बाद यह average user को स्वीकार्य लग सकता है। internet जिस दिशा में जा रहा है, वह मुझे पसंद नहीं
मुझे लगता है यह सिर्फ समय की बात है। मुझे बिल्कुल अंदाज़ा नहीं था कि Twitter content देखने के लिए account मांगने लगेगा
“हम technology platforms को dismantle कर सकते हैं, और हमें करना चाहिए। Silicon Valley जिस चीज़ से सबसे ज़्यादा डरती है—यानी interoperability को मजबूर करके—हमें computing के साधन वापस लेने होंगे। interoperability technologies के बीच की दीवारें गिराती है, जिससे users कंपनियों की अनुमति के बिना platforms छोड़ सकते हैं, media remix कर सकते हैं, और devices को reconfigure कर सकते हैं। interoperability platforms को तेज़ी से और लगातार खत्म करने का एकमात्र रास्ता है। The Internet Con internet को वापस पाने के लिए ज़रूरी disassembly manual है” [1]
[1] https://pluralistic.net/2023/12/01/bookmaker/
HN पर X links की अनुमति पर फिर से विचार करने का यह अच्छा समय हो सकता है।
अगर बिना account वाले users के पास content पढ़ने का कोई तरीका नहीं है, तो बड़े पैमाने पर लोगों को वहाँ क्यों भेजना चाहिए?
मैं redirect extension इस्तेमाल करता हूँ जो किसी specific domain के आगे
https://farside.link/_/जोड़ देता है।उदाहरण के लिए
https://twitter.com/nasaबन जाता है https://farside.link/_/twitter.com/nasa।underscore एक intermediate redirect page जोड़ता है, ताकि back दबाकर दूसरी instance आज़माई जा सके।
ऊपर वाली service अभी भी काम करती दिख रही Nitter पर redirect करती है
Quora, Instagram, TikTok और अब X जैसी websites open web के विचार के विपरीत दिशा में बढ़ रही हैं।
content increasingly अलग-अलग silos में केंद्रित हो रहा है। वजह समझ आती है: जिन लोगों के पास account नहीं है, उन्हें personalized ads नहीं दिखाए जा सकते
जो silos नहीं हैं, वे भी आम तौर पर ऐसे bait content जैसे लगते हैं जिनका मुख्य उद्देश्य readers के email addresses collect करना है।
अजीब तरह से modern web मुझे फिर से offline और books की तरफ धकेल रहा है
दुख इस बात का है कि तरीका क्या है। पहले जितना बड़ा community हो सके capture किया गया, फिर उसी community को बेचा गया।
बहुत ज़्यादा लोग और organizations इसमें फँस गए, और अब public square बंद हो चुका है। public internet नहीं बचा, सिर्फ niches बचे हैं
project creator ने एक घंटे पहले comment छोड़ा है: https://github.com/zedeus/nitter/issues/1155#issuecomment-19...
HN ने title से specific comment तक जाने वाला deeplink हटा दिया है
https://github.com/zedeus/nitter/issues/1155#issuecomment-19...
बहुत सारे guest accounts बनाने के बजाय, सोच रहा/रही हूँ कि क्या अपने निजी account से Nitter को self-host करने की कोई guide थी
अब Twitter इस्तेमाल नहीं करता/करती, लेकिन कुछ ऐसे accounts को follow करने के लिए Nitter की RSS functionality इस्तेमाल करता/करती रहा/रही हूँ जो कहीं और नहीं हैं। अगर इसे जारी रखने का कोई तरीका हो, तो solution जानना चाहूँगा/चाहूँगी। Twitter में फिर से login नहीं करना चाहता/चाहती
जब तक आप बहुत ज्यादा पैसे नहीं देते, Twitter scraping जैसा दिखने वाला व्यवहार सच में नापसंद करता है
Readme.mdके installation section में है, और Docker-based हैhttps://github.com/zedeus/nitter#Installation