Nemo - Facebook का डेटा डिस्कवरी प्लेटफ़ॉर्म

 (engineering.fb.com)
9 पॉइंट द्वारा xguru 2020-10-14 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • बड़े संगठन अक्सर आंतरिक डेटा सर्च और metadata engine अलग से बनाते हैं

→ Netflix(Metacat), Lyft(Amundsen), Linkedin(DataHub), Uber(Databook)

→ यह ऐसा प्लेटफ़ॉर्म है जो यह खोजने में मदद करता है कि कौन-सा डेटा किसने/कब/search/बनाया, और metadata को खोजकर उसके पुन: उपयोग को आसान बनाता है

  • Hive, Scuba, Cubrick, कई dashboards और AI datasets आदि को एकीकृत करता है

  • social graph search में इस्तेमाल होने वाले Unicorn का उपयोग

  • spaCy का उपयोग करके natural language query संभव: "Instagram में WAU(साप्ताहिक सक्रिय उपयोगकर्ता) कितने हैं?"

संबंधित पढ़ाई

1 टिप्पणियां

 
xguru 2020-10-14

Nemo को open source के रूप में जारी नहीं किया गया है, जबकि दूसरी कंपनियों के टूल open source के रूप में उपलब्ध हैं.

Lyft - Amundsen https://github.com/amundsen-io/amundsen

Netflix - Metacat https://github.com/Netflix/metacat

Linkedin - DataHub https://github.com/linkedin/datahub