Facebook SQL को कैसे तेज़ करता है

• Presto का बड़े पैमाने पर उपयोग: 40,000 सर्वर, हर दिन ~1 ExaByte डेटा स्कैन, 80% से अधिक नया ETL

→ Compute और Storage का अलगाव

• Presto अच्छा काम कर रहा था, लेकिन और तेज़ query (1 सेकंड से कम) के लिए Raptor विकसित किया गया

→ लोकल SSD पर caching, file-स्तरीय metastore

→ Compute और Storage फिर से जुड़ गए → scaling और management मुश्किल हो गया

• पिछले साल शरद ऋतु से Alluxio को संशोधित कर Raptor के विकल्प का विकास शुरू: Alluxio Local Cache

→ Raptor जैसी performance, लेकिन लोकल SSD में cache करने की ज़रूरत नहीं

→ Alluxio एक virtual distributed file system है, जो कई storage को कई compute engine से memory-आधारित तरीके से जोड़ने वाला मध्य पुल है

• Alluxio Local Cache

→ version 2.2 से official release में शामिल

→ पूरे Alluxio का उपयोग किए बिना Presto Server JVM के अंदर embed की जा सकने वाली library

• Facebook के पूरे Presto fleet में Raptor को लगभग हटा कर Alluxio Local Cache स्थापित किया गया

→ Facebook का डेटा ORC file format में HDFS interface के ज़रिए access किया जा सकता है

→ लोकल SSD का भी उपयोग होता है, लेकिन अगर cache में न हो तो remote storage भी access किया जा सकता है

→ Presto में लगभग 30%~50% performance improvement

→ Raptor की तुलना में remote storage access 57% कम

→ Alluxio Cache का hit rate 90% से अधिक

→ 6 महीने के भीतर Raptor पूरी तरह हटाने की योजना