YTsaurus - Exabyte-Scale स्टोरेज और प्रोसेसिंग सिस्टम ओपन सोर्स

• Yandex द्वारा जारी किया गया distributed storage और processing big data platform का open source
  • उपयोग के मामले: batch processing, ad hoc analysis, OLTP, machine learning, metadata storage, ETL pipeline
• multi-tenant ecosystem
• विश्वसनीयता और सुरक्षा: कोई SPOF नहीं। सर्वरों के बीच replication का automation। प्रगति की हानि के बिना updates
• scalability
  • 10 लाख तक CPU cores और हजारों GPU तक scale किया जा सकता है
  • 10,000 से अधिक nodes का समर्थन। automatic server scale up और down
  • Exabyte डेटा तक विभिन्न storage media का समर्थन
• समृद्ध features
  • व्यापक MapReduce model
  • distributed ACID transactions
  • विभिन्न SDK (C++, Python, Java, Go) और API प्रदान करता है
  • computing resources और storage के लिए सुरक्षित isolation
  • user-friendly UI
• CHYT powered by ClickHouse
  • परिचित SQL dialect और समान features
  • तेज analytics queries
  • लोकप्रिय BI solutions के साथ integration (JDBC/ODBC)
• SPYT powered by Apache Spark
  • ETL process बनाने के लिए tools
  • विभिन्न आकार के कई independent clusters का समर्थन
  • मौजूदा solutions का आसान migration

[xguru]

ओपन सोर्स की अपनी इतिहास और आंतरिक उपयोग तकनीकों का परिचयात्मक लेख: YTsaurus: Exabyte-Scale Storage and Processing System Is Now Open Source

• लगभग 10 साल से भी ज़्यादा समय तक इसका विकास किया गया है.
• 2006 से MapReduce का उपयोग किया गया, लेकिन 2009 में उसकी सीमाएँ सामने आने पर 2010 से YT प्रोजेक्ट शुरू किया गया.
• Cypress (Storage) + MapReduce + डायनेमिक K-V टेबल + YQL + CHYT + SPYT
• मुख्य server code C++ है