Twitter-स्तर के Mastodon को बनाने की लागत 100x कैसे घटाई गई

 (blog.redplanetlabs.com)
3 पॉइंट द्वारा GN⁺ 2023-08-16 | 5 टिप्पणियां | WhatsApp पर शेयर करें
  • Red Planet Labs ने केवल लगभग 10,000 लाइनों के code के साथ शुरुआत से Twitter-स्तर का Mastodon instance विकसित किया
    • यह Twitter द्वारा मूल product बनाने में इस्तेमाल की गई लगभग 1M लाइनों के code की तुलना में 100x कम है
  • Mastodon instance को Rama नाम के एक नए platform पर बनाया गया
    • Rama एक ऐसा model है जो computation और storage को एकीकृत करता है, जिससे 100x कम code के साथ किसी भी scale का backend बनाया जा सकता है
    • यह application backend बनाने के लिए pure Java API के साथ प्रोग्राम किया जाने वाला एक general-purpose platform है
  • इसे बनाने में 9 person-month लगे। इसके मुकाबले Twitter को ~200 person-year और Threads को 25 person-year लगे, इसलिए यह कहीं अधिक तेज था
  • यह Mastodon के official implementation से भी बहुत छोटा है, लेकिन Twitter-स्तर तक scale कर सकता है
  • Red Planet Labs एक हफ्ते के भीतर Rama का ऐसा version जारी करेगा जिसे कोई भी download करके इस्तेमाल कर सकेगा, और दो हफ्ते बाद Mastodon implementation को पूरी तरह open source करने की योजना है
  • कंपनी जल्द ही Rama के full version तक access देने वाला private beta शुरू करने वाली है

Red Planet का Mastodon instance

  • यह https://mastodon.redplanetlabs.com पर host किया गया है, और इसमें Mastodon की सभी features शामिल हैं।
  • instance के scale को दिखाने के लिए, Red Planet Labs लगातार status, reply, boost और favorite पोस्ट करने वाले 100M bot accounts चला रहा है
  • Mastodon instance प्रति सेकंड 3,500 पोस्ट करने वाले 100M bots को संभाल सकता है, जो इसकी scalability साबित करता है

Rama

  • यह 4 concepts से बना है
    • Depot : distributed replicated data store
    • ETL : micro-batch streaming
    • PStates(Partitioned State): universal indexing
    • Query : query topology
  • Rama linear रूप से scale हो सकता है, जरूरत के अनुसार resources जोड़े जा सकते हैं, और सभी data को replicate करके तथा automatic failover लागू करके fault tolerance हासिल करता है

संबंधित पढ़ाई

5 टिप्पणियां

 
sftblw 2023-08-17

> "We’ve implemented every feature of Mastodon from scratch, including:"

यह Mastodon नहीं लगता। सिर्फ़ विवरण से देखें तो यह एक खुद का clone लगता है। यह शायद Cloudflare के "Wildebeest" या open source implementation GoToSocial की तरह एक "compatible" पोज़िशन में है। और source बाद में public करने की योजना है...

फ्रंटएंड soapbox है

लगता है Mastodon gGmbH की तरफ़ से आपत्ति आ सकती है
 
kuroneko 2023-08-17

मैंने इसका सारांश बनाने की कोशिश की, लेकिन समझ ही नहीं पाया, इसलिए आखिरकार छोड़ दिया...
बाद में कभी समय निकालकर इसे आराम से समझना अच्छा रहेगा, ऐसा लगा।

लेकिन मुझे ठीक-ठीक नहीं पता कि इससे पैसे बनेंगे भी या नहीं।
 
xguru 2023-08-17

मैंने भी पीछे का हिस्सा थोड़ा विस्तार से पढ़ने की कोशिश की, लेकिन लेख ठीक से पढ़ा नहीं गया।
लगता है कि तकनीक से अलग, documentation उतनी अच्छी नहीं है।
पहले चार महत्वपूर्ण concepts की व्याख्या से ही कुछ अजीब-सा लगा, इसलिए उदासी हुई
 
xguru 2023-08-17

कोड की lines की संख्या से तुलना करना थोड़ा मुश्किल लगता है.. लेकिन attention तो पक्का खींच लिया है।
Rama platform और अपने instance की internal implementation के बारे में काफी लंबी-चौड़ी व्याख्या जोड़ी गई है।
असल में सामने आने पर ही पता चलेगा।
 
GN⁺ 2023-08-16
Hacker News राय
  • लेख में Mastodon नाम के social network को Twitter के स्तर तक 100 गुना scale करने पर लागत और code complexity में कमी पर चर्चा की गई है।
  • कुछ पाठक Mastodon के 10,000 lines of code और Twitter के लगभग 10,00,000 lines of code की तुलना पर सवाल उठाते हैं, और तर्क देते हैं कि फीचर्स की संख्या बहुत कम है; साथ ही, बड़े पैमाने पर distributed real-time video support जैसे फीचर जोड़ने पर codebase काफ़ी बढ़ जाएगा।
  • 100M bots द्वारा प्रति सेकंड 3,500 posts करके scale दिखाने वाले दावे को लेकर संदेह है; कुछ पाठक कहते हैं कि यह पर्याप्त नहीं है और पूछते हैं कि यह प्रति bot है या कुल मिलाकर।
  • कुछ पाठकों को पोस्ट की तकनीकी बारीकियां समझने में कठिनाई होती है, और उनका सुझाव है कि पोस्ट shared knowledge base मानकर चलती है, इसलिए अधिक स्पष्ट explanation और comparisons की ज़रूरत है।
  • "Twitter scale" को प्रति सेकंड tweets की संख्या से मापने पर भी सवाल उठाए जाते हैं; कुछ पाठकों का कहना है कि tweets को follow करने वाले end users तक प्रति सेकंड पहुँचने वाले updates की संख्या अधिक यथार्थवादी metric है।
  • पोस्ट को विस्तृत insights और modern app development की complexity को data structure के मिश्रण तक सीमित कर देने वाली abstraction के लिए सराहा गया है।
  • कुछ पाठक इस सुझाव पर चिंता जताते हैं कि developers बदलाव या disruption का जोखिम उठाकर हर चीज़ के लिए startup के closed-source platform पर निर्भर रहें।
  • Rama platform बनाने में लगे 10 साल को technology demo विकसित करने में लगे समय में शामिल किया जाना चाहिए या नहीं, इसे लेकर भ्रम है।
  • कुछ पाठक जल्द आने वाली Rama documentation को लेकर उत्साहित हैं, लेकिन नए programming paradigm के प्रस्ताव को लेकर चिंताएं भी जताते हैं।
  • उदाहरण के तौर पर दी गई Mastodon instance की performance को responsive होने के लिए सराहा गया है, लेकिन यह भी बताया गया है कि जब तक user को tag न किया जाए, यह full-text search लागू नहीं करता।