Luft का elasticity की ओर सफर - Part 1: Shared Nothing से Shared Storage तक

इन-हाउस विकसित डेटाबेस Luft की elasticity को बेहतर बनाने के लिए, Shared Nothing आर्किटेक्चर से Shared Storage आर्किटेक्चर में बदलाव के अनुभव को साझा किया गया है.

• पहले हर node स्वतंत्र storage का उपयोग करके डेटा प्रोसेस करता था, लेकिन बड़े पैमाने के डेटा प्रोसेसिंग में elasticity की कमी के कारण spike workload को संभालना मुश्किल था.
• computing resources और storage को अलग करने वाले Compute-Storage Separation कॉन्सेप्ट को लागू करते हुए, storage साझा करने वाले Shared Storage आर्किटेक्चर में जाने का निर्णय लिया गया.
• S3 तक पहुंचने के लिए FUSE का उपयोग करने वाली विधि पर प्रयोग किया गया, लेकिन Go runtime की विशेषताओं के कारण FUSE इस्तेमाल करने पर performance issues आए, इसलिए application level पर Buffer Pool Manager को खुद implement किया गया.
• इन सुधारों के बाद S3 पर सीधे query करना संभव हो गया, और जिन मामलों में डेटा पहले से distribute नहीं था उनमें query performance अधिकतम 70% से ज्यादा बेहतर हुई, जिससे Luft की elasticity में बड़ा सुधार हुआ.

[outcast1542]

यह वाकई बहुत दिलचस्प है, इसे देखकर मुझे भी इसे आज़माने का मन हो रहा है।