वितरित सिस्टम्स रीडिंग लिस्ट
परिचय
- वितरित सिस्टम्स में सबसे कठिन बात अपनी सोचने की शैली को बदलना है।
- यह सूची ऐसे बदलाव को बढ़ावा देने में उपयोगी संसाधनों को एकत्र करती है।
सोच को प्रेरित करने वाली सामग्री
- बड़े पैमाने के सिस्टम डिज़ाइन पर नया दृष्टिकोण देने वाले लेखों का संग्रह।
- Harvest, Yield and Scalable Tolerant Systems: CAP सिद्धांत का व्यावहारिक अनुप्रयोग।
- On Designing and Deploying Internet Scale Services: इंटरनेट-स्तरीय सेवाओं का डिज़ाइन और डिप्लॉयमेंट।
- The Perils of Good Abstractions: बेहतरीन API/इंटरफ़ेस बनाने की कठिनाइयाँ।
- Chaotic Perspectives: बड़े पैमाने के सिस्टम्स की अप्रत्याशितता और समानांतरता।
- Data on the Outside versus Data on the Inside: डेटा प्रबंधन के दो अलग-अलग दृष्टिकोण।
- Memories, Guesses and Apologies: डेटा प्रोसेसिंग की अनिश्चितता।
- SOA and Newton's Universe: service-oriented architecture पर एक दार्शनिक दृष्टिकोण।
- Building on Quicksand: अस्थिर नींव पर सिस्टम बनाना।
- Why Distributed Computing?: वितरित कंप्यूटिंग की आवश्यकता।
- A Note on Distributed Computing: वितरित कंप्यूटिंग की बुनियादी अवधारणाएँ।
- Stevey's Google Platforms Rant: Google के SOA प्लेटफ़ॉर्म अनुभव।
लेटेंसी
- लेटेंसी के अस्तित्व और उससे निपटने के तरीकों पर सामग्री।
- Latency Exists, Cope!: लेटेंसी के आर्किटेक्चरल प्रभाव।
- Latency - the new web performance bottleneck: web performance में नया bottleneck।
- The Tail At Scale: बड़े पैमाने के सिस्टम्स में लेटेंसी की समस्या।
Amazon
- टेक्नोलॉजी से अधिक Amazon की संस्कृति और संगठन पर रोचक सामग्री।
- A Conversation with Werner Vogels: service-based architecture की ओर बदलाव।
- Discipline and Focus: Amazon के आर्किटेक्चरल बदलाव पर अतिरिक्त सामग्री।
- Vogels on Scalability: scalability पर Vogels के विचार।
Google
- वितरित सिस्टम्स की अत्याधुनिक तकनीकें।
- MapReduce: बड़े पैमाने के डेटा प्रोसेसिंग का मॉडल।
- Chubby Lock Manager: distributed lock management।
- Google File System: बड़े पैमाने का file system।
- BigTable: distributed storage system।
- Data Management for Internet-Scale Single-Sign-On: बड़े पैमाने के single sign-on के लिए डेटा प्रबंधन।
- Dremel: web-scale datasets का interactive analysis।
- Large-scale Incremental Processing Using Distributed Transactions and Notifications: distributed transactions के जरिए बड़े पैमाने की incremental processing।
- Megastore: interactive services के लिए scalable और high-availability storage।
- Spanner: globally distributed database।
- Photon: सतत डेटा स्ट्रीम्स का joining।
- Mesa: real-time data warehousing system।
consistency model
- सिस्टम डिज़ाइन में consistency और availability के बीच संतुलन खोजना।
- CAP Conjecture: consistency, availability और partition tolerance के बीच trade-off।
- Consistency, Availability, and Convergence: consistency की ऊपरी सीमाएँ।
- CAP Twelve Years Later: CAP सिद्धांत में बदलाव।
- Consistency and Availability: consistency और availability का संबंध।
- Eventual Consistency: eventual consistency।
- Avoiding Two-Phase Commit: 2-phase commit से बचने के तरीके।
- 2PC or not 2PC, Wherefore Art Thou XA?: 2-phase commit की सीमाएँ।
- Life Beyond Distributed Transactions: distributed transactions से आगे का डेटा प्रबंधन।
- If you have too much data, then 'good enough' is good enough: NoSQL और data theory का भविष्य।
- Starbucks doesn't do two phase commit: asynchronous mechanisms।
- You Can't Sacrifice Partition Tolerance: partition tolerance का महत्व।
- Optimistic Replication: loose consistency का दृष्टिकोण।
सिद्धांत
- वितरित सिस्टम्स के डिज़ाइन के महत्वपूर्ण तत्वों को समझाने वाले शोधपत्र।
- Distributed Computing Economics: वितरित कंप्यूटिंग की अर्थव्यवस्था।
- Rules of Thumb in Data Engineering: data engineering के नियम।
- Fallacies of Distributed Computing: वितरित कंप्यूटिंग की भ्रांतियाँ।
- Impossibility of distributed consensus with one faulty process: FLP सिद्धांत।
- Unreliable Failure Detectors for Reliable Distributed Systems: reliable distributed systems के लिए failure detectors।
- Lamport Clocks: वितरित सिस्टम्स में time synchronization।
- The Byzantine Generals Problem: Byzantine समस्या।
- Lazy Replication: distributed services के semantics का उपयोग।
- Scalable Agreement: service के रूप में ordering।
- Scalable Eventually Consistent Counters over Unreliable Networks: अविश्वसनीय networks पर scalable counters।
भाषाएँ और टूल्स
- खास तकनीकों का उपयोग करके वितरित सिस्टम्स बनाने की चुनौतियाँ।
- Programming Distributed Erlang Applications: Erlang और OTP का उपयोग करके distributed applications बनाना।
इंफ्रास्ट्रक्चर
- इंटरनेट पर मजबूत timing management के सिद्धांत।
स्टोरेज
- Consistent Hashing and Random Trees: consistent hashing और random trees।
- Amazon's Dynamo Storage Service: Amazon की storage service।
- Paxos Consensus: Paxos algorithm को समझना।
- The Part-Time Parliament: Paxos की बुनियाद।
- Paxos Made Simple: Paxos की सरल व्याख्या।
- Paxos Made Live: Paxos पर engineering दृष्टिकोण।
- Revisiting the Paxos Algorithm: Paxos algorithm की पुनर्समीक्षा।
- How to build a highly available system with consensus: consensus के साथ high-availability system बनाना।
- Reconfiguring a State Machine: state machine का पुनर्संयोजन।
- Implementing Fault-Tolerant Services Using the State Machine Approach: state machine approach से fault-tolerant services लागू करना।
अन्य consensus शोधपत्र
- Mencius: WAN के लिए efficient replicated state machines बनाना।
- In Search of an Understandable Consensus Algorithm: RAFT algorithm का विस्तृत संस्करण।
गॉसिप प्रोटोकॉल (Epidemic Behaviours)
- गॉसिप-आधारित communication protocols की ताकत।
- Astrolabe: वितरित सिस्टम्स monitoring और data mining तकनीक।
- Epidemic Computing at Cornell: Cornell University में epidemic computing।
- Fighting Fire With Fire: randomized gossip से scalability limits को पार करना।
- Bi-Modal Multicast: bi-modal multicast।
- ACM SIGOPS Operating Systems Review: gossip-based networking।
- SWIM: scalable weakly-consistent infection-style process group membership protocol।
P2P
- Chord: इंटरनेट applications के लिए scalable peer-to-peer lookup protocol।
- Kademlia: XOR metric पर आधारित peer-to-peer information system।
- Pastry: बड़े पैमाने के peer-to-peer systems के लिए distributed object location और routing।
- PAST: Pastry के ऊपर बना large-scale persistent peer-to-peer storage utility।
- SCRIBE: Pastry के ऊपर बना large-scale distributed application-level multicast infrastructure।
GN⁺ का सारांश
- वितरित सिस्टम्स ऐसा क्षेत्र है जहाँ जटिल समस्याओं को हल करने के लिए सोचने का तरीका बदलना पड़ता है।
- विभिन्न संसाधनों और शोधपत्रों के माध्यम से यह सूची वितरित सिस्टम्स के डिज़ाइन और इम्प्लीमेंटेशन की गहरी समझ देती है।
- यह सूची वितरित सिस्टम्स के कई पहलुओं को कवर करती है, खासकर consistency model और latency समस्याओं पर उपयोगी insights देती है।
- वितरित सिस्टम्स में रुचि रखने वाले डेवलपर्स और शोधकर्ताओं के लिए यह उपयोगी सामग्री हो सकती है।
- समान कार्यक्षमता वाले प्रोजेक्ट्स के रूप में Apache Kafka, Apache Cassandra आदि की सिफारिश की गई है।
अभी कोई टिप्पणी नहीं है.