Apache Superset - डेटा एक्सप्लोरेशन और विज़ुअलाइज़ेशन प्लेटफ़ॉर्म

 (superset.apache.org)
5 पॉइंट द्वारा GN⁺ 2024-02-27 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Apache Superset डेटा एक्सप्लोरेशन और विज़ुअलाइज़ेशन को एक ही जगह पर संभालने वाला open source analytics platform है, जो अलग-अलग कौशल स्तर के उपयोगकर्ताओं को charts और dashboards के ज़रिए डेटा के साथ काम करने देता है
  • यह no-code visualization builder और SQL IDE दोनों उपलब्ध कराता है, ताकि business users और SQL users अपने-अपने तरीके से डेटा एक्सप्लोर कर सकें
  • यह SQL-आधारित databases से कनेक्ट होता है, और petabyte स्तर के cloud-native databases और engines का भी उपयोग कर सकता है
  • यह मौजूदा data infrastructure के ऊपर काम करने वाली हल्की और scalable architecture को लक्ष्य बनाता है, और किसी अलग ingestion layer की आवश्यकता नहीं होती
  • 40 से अधिक visualizations, plugin-आधारित extension, caching, Jinja templates, dashboard filters, और semantic layer के साथ यह self-service analytics workflow को support करता है

डेटा एक्सप्लोरेशन और विज़ुअलाइज़ेशन प्लेटफ़ॉर्म

  • Apache Superset™ एक open source डेटा एक्सप्लोरेशन और विज़ुअलाइज़ेशन प्लेटफ़ॉर्म है
  • यह तेज़, हल्का और intuitive उपयोग अनुभव पर ज़ोर देता है, और साधारण line chart से लेकर विस्तृत geospatial charts तक कई तरह के visualizations को support करता है
  • उपयोगकर्ता no-code visualization builder या SQL IDE के माध्यम से डेटा एक्सप्लोर कर सकते हैं
  • यह SQL-आधारित databases से जुड़ सकता है, और आधुनिक cloud-native databases तथा petabyte-scale engines भी इसके दायरे में आते हैं
  • यह मौजूदा data infrastructure का उपयोग करने वाली हल्की और उच्च-scalability architecture रखता है, इसलिए किसी अतिरिक्त ingestion layer की ज़रूरत नहीं होती
  • यह 40 से अधिक pre-installed visualization types देता है, और plugin architecture के ज़रिए custom visualizations भी बनाए जा सकते हैं

भूमिकानुसार दस्तावेज़ और कम्युनिटी

  • User Docs: analysts और business users के लिए दस्तावेज़, जिसमें डेटा एक्सप्लोरेशन, chart बनाना, dashboard बनाना, और database connection शामिल हैं
  • Administrator Guide: Superset की installation और operations संभालने वाली टीमों के लिए दस्तावेज़, जिसमें installation, configuration, security, और database drivers शामिल हैं
  • Developer Guide: Superset में योगदान देने या इसके आधारभूत features विकसित करने वाले engineers के लिए दस्तावेज़, जिसमें REST API, extension, और contribution workflow शामिल हैं
  • Community: Slack, GitHub, mailing list, और आने वाले meetups जैसी community resources उपलब्ध कराता है

self-service analytics सुविधाएँ

  • Superset dashboards, Chart Builder, SQL Lab, और Datasets के माध्यम से interactive dashboards में डेटा एक्सप्लोर करने और insights खोजने की workflow को support करता है

  • visualization और dashboard बनाना

    • 40 से अधिक pre-installed visualizations उपलब्ध हैं
    • drag-and-drop और SQL queries दोनों को support किया जाता है
    • charts और dashboards के loading time को कम करने के लिए data caching उपलब्ध है
    • Jinja templates और dashboard filters के साथ interactive dashboards बनाए जा सकते हैं
    • CSS templates के ज़रिए charts और dashboards को brand के look-and-feel के अनुसार सजाया जा सकता है

  • analytics extension features

    • SQL data transformation के लिए semantic layer उपलब्ध है
    • cross-filter, drill-to-detail, और drill-by के माध्यम से अधिक गहरे डेटा विश्लेषण को support किया जाता है
    • अस्थायी डेटा एक्सप्लोरेशन के लिए virtual datasets का उपयोग किया जा सकता है
    • feature flags के ज़रिए नई सुविधाओं तक पहुँचा जा सकता है

उपयोग करने वाले संगठन

  • Superset का कहना है कि डेटा एक्सप्लोरेशन और विज़ुअलाइज़ेशन के लिए इसका उपयोग करने वाली हज़ारों कंपनियाँ हैं
  • उपयोग करने वाले संगठनों के उदाहरण के रूप में Xnet Mobile, UserGuiding, Preset, PlaidCloud, VLMedia, और Cirrus Assessment के लिंक दिखाए गए हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-27
Hacker News की राय

  • Superset का इस्तेमाल करके बहुत संतुष्टि हुई, और Tableau को replace करने के बाद वापस जाने का मन नहीं रहा
    Superset Embedded SDK से इसे ऐप में embed करने का तरीका समझने में थोड़ा समय लगा। यह SDK ऐप के authentication का इस्तेमाल करके Superset dashboard को अपने ऐप में डालने देता है, और host ऐप में Superset पेज वाला iframe insert करने के तरीके से काम करता है
    https://github.com/apache/superset/tree/master/superset-embe...
    Superset उच्च-गुणवत्ता और अच्छी तरह maintained chart library ECharts पर आधारित है
    https://echarts.apache.org/examples/en/#chart-type-linesG
    community roadmap भी सार्वजनिक है
    https://github.com/apache/superset/projects?query=is%3Aopen
    Preset.io और उनकी टीम के लिए बहुत सम्मान है, जो project में योगदान देते हैं और उसे अच्छी हालत में बनाए रखते हैं
    https://preset.io/blog/
    Superset source code पढ़ने और समझने में आसान है, इसलिए chart load घटाने वाली advanced caching techniques भी implement की जा सकती हैं। कोई BI perfect नहीं होता, लेकिन कई साल तक देखने के बाद भरोसा हो गया है कि यह project आगे भी intended तरीके से काम करेगा, और लगता है कि किसी दिन इसके कुछ packages अलग-अलग visualizations और data hacking में reuse किए जा सकेंगे
    Visualization के लिए आम तौर पर पहले ECharts और simple React wrapping से शुरू करते हैं, फिर power users के लिए subdomain पर Superset चलाते हैं और देखते हैं कि कौन सा तरीका बेहतर fit बैठता है। अगर समान look बनाए रखा जाए तो user experience काफी अच्छा रहता है

    • open source BI tool Evidence भी ECharts इस्तेमाल करता है, और यह शानदार library है। Version-controllable visualization declaration syntax बनाने में इससे काफी मदद मिली
      https://evidence.dev
      पिछली HN चर्चा: https://news.ycombinator.com/item?id=35645464 (97 comments)
    • यह जानने की उत्सुकता है कि data visibility और permissions कैसे handle किए जाते हैं। ज्यादातर tables में ऐसा data होता है जिसे केवल किसी खास user या group ID को ही देखना चाहिए, और आम तौर पर यह layer application संभालता है। Superset की capabilities users को expose करना अच्छा होगा, लेकिन security layer बनाना काफी मेहनत वाला लगता है
    • ECharts शानदार है। https://github.com/openobserve/openobserve में कुछ महीनों तक Plotly इस्तेमाल करने के बाद ECharts पर migrate किया, और बहुत संतुष्ट हूं
    • अच्छा होगा अगर ऐसी apps graphs जैसी चीजें SVG embedding के रूप में देना शुरू करें। iframe बहुत झंझट वाला है
    • मैंने Superset कभी इस्तेमाल नहीं किया। यह Tableau से बेहतर किस मामले में है, क्या आप कुछ और points समझा सकते हैं?

  • कुछ साल पहले Superset इस्तेमाल किया था और अब शायद बदल गया हो, लेकिन intuitive शब्द मैं इसके लिए सबसे आख़िर में इस्तेमाल करना चाहूंगा
    दूसरे BI tools में जिन चीजों को समझने में कुछ मिनट लगते, Superset में उन्हें ढूंढने में सचमुच घंटों लग गए। बीच में core concepts के नाम बदल देने से online documentation का आधा हिस्सा mismatch हो गया, इससे भी मदद नहीं मिली। उस समय साथ इस्तेमाल करने वाले company colleagues को भी लगभग यही लगा

    • Superset न तो इस्तेमाल में intuitive था, न setup में। आखिरकार हमने Metabase खड़ा किया, क्योंकि single jar से चलाया जा सकता था और शुरू करना बहुत आसान था
      Business users को भी पसंद आया, मुझे भी संतुष्टि हुई, और internal h2 database की जगह Postgres backend जोड़कर manage करना भी आसान रहा
    • ईमानदारी से कहूं तो, ज्यादातर Apache projects को describe करते समय intuitive शब्द सबसे आख़िर में आता है
    • Superset के साथ मेरा भी similar experience रहा। Metabase बेहतर है, इस बात से सहमत हूं, लेकिन अगर data के लिए कोई अलग approach खोज रहे हैं तो Definite(https://www.definite.app/) भी देखने लायक है। यह “box के अंदर data stack” जैसा है
      Built-in data warehouse के रूप में DuckDB database चला कर data load किया जा सकता है, और 500 से ज़्यादा connectors से अलग ETL के बिना Postgres, Stripe, HubSpot, Zendesk जैसी जगहों का data automatically लाया जा सकता है
      Semantic layer में dimensions, measures और joins को एक जगह define करते हैं, और हर supported source के लिए pre-built models भी हैं। उदाहरण के लिए Stripe model में MRR, churn rate जैसे measures पहले से मौजूद हैं
      Simple BI तरीके से मनचाहा data table बनाते हैं, और उस table से visualization generate करते हैं। सवाल हों तो mike@definite.app पर contact कर सकते हैं
    • Superset को थोड़ा इस्तेमाल करके देख रहा हूं और सहमत हूं। SQL में जो काम आसान हैं, Superset में वे चिंताजनक रूप से कठिन या अस्पष्ट हैं
      Documentation भी अच्छे से कहें तो कमजोर है
    • जब मैंने इस्तेमाल किया था, यह fast भी नहीं था
      इसके बजाय यह दर्जनों Python runtime errors और अनगिनत bugs से भरा था। अभी Metabase सही जवाब के करीब है

  • Superset या Metabase जैसे full-fledged BI tools अपने intended use cases में बेहतरीन हैं
    लेकिन अगर मुख्य उपयोग non-technical end users के लिए कभी-कभार आधे-अधूरे interactive reports बनाना है, और standard graphs व tables से ही ज्यादातर काम चल जाता है, तो ये overkill हो सकते हैं। खासकर अगर आप SQL में comfortable हैं और raw data sources तक access है
    ऐसे मामलों में SQLPage और Evidence बहुत उपयोगी रहे। SQL जल्दी लिखकर उसे साफ-सुथरे और professional दिखने वाले web UI में बदलना और end users तक पहुंचाना आसान है। Evidence static generated site है, और SQLPage live database से connected web app है
    SQLPage: https://sql.ophir.dev/
    Evidence: https://evidence.dev

  • Superset पसंद है
    2017 से दो नौकरियों में इसे production environment में चलाकर इस्तेमाल किया है, और मेरी मौजूदा कंपनी बड़ी है
    सामान्य-उद्देश्य वाले database-based dashboard system के तौर पर मुझे यह सबसे अच्छा लगता है। Tableau या Power BI के लिए पैसे देने का इरादा नहीं है
    Airflow के साथ भी यही बात है

    • यह ठीक से समझ नहीं आया कि Airflow के साथ भी यही बात है से क्या मतलब है

  • Wikipedia के Superset instance का इस्तेमाल करके Wikipedia के internal database को query किया जा सकता है
    https://superset.wmcloud.org
    https://phabricator.wikimedia.org/T169452
    पहले मैंने इसी से custom statistics बनाए थे
    https://github.com/altilunium/wikiidmon

  • ये संबंधित पोस्ट हैं। जानना चाहूँगा कि और भी कुछ है क्या
    Open source Business intelligence platform made with Python - https://news.ycombinator.com/item?id=29368664 - नवंबर 2021 (49 comments)
    Apache Superset 1.1 - https://news.ycombinator.com/item?id=27439939 - जून 2021 (28 comments)
    The Apache Software Foundation Announces Apache Superset as a Top-Level Project - https://news.ycombinator.com/item?id=25905277 - जनवरी 2021 (1 comment)
    Apache Superset is an enterprise-ready business intelligence web application - https://news.ycombinator.com/item?id=21133931 - अक्टूबर 2019 (7 comments)

  • Superset शक्तिशाली है, लेकिन समझ नहीं आता कि यह छोटी-मोटी असुविधाएँ क्यों नहीं ठीक करता। जैसे spinner के pixels misaligned होना, table cell values copy न कर पाना, या table numbers के लिए fixed-width font न इस्तेमाल करना। product में ऐसी सैकड़ों छोटी-छोटी खीझ पैदा करने वाली चीजें हैं

    • इन्हें ठीक करने की कोशिश कर रहे हैं। अगर कोई असुविधा है तो बेशक PR और issues भी स्वीकार हैं
      लोगों द्वारा माँगे जा रहे नए features बनाने और लगातार सामने आती ऐसी visual समस्याएँ ठीक करने के बीच हमेशा balance करना पड़ता है

  • जानना चाहूँगा कि किसी ने Superset और Metabase दोनों इस्तेमाल किए हैं क्या। कुछ projects में Metabase इस्तेमाल किया है और वह काफी अच्छा था। Superset कुछ ज्यादा powerful भी दिखता है
    छोटे datasets वाले BI के लिए भी यह इस्तेमाल करने लायक है या नहीं, यह जानना चाहता हूँ

    • मौजूदा कंपनी में हम Metabase इस्तेमाल करते हैं, और कुछ साल पहले के हिसाब से Superset का भी काफी अनुभव है
      Metabase चुनने की वजह यह थी कि उसमें table joins थे। जब मैंने Superset इस्तेमाल किया था तब उसमें joins नहीं थे, और बाद में जोड़े गए या नहीं, पता नहीं। दिखने में भी Metabase थोड़ा ज्यादा polished लगता है
      फिर भी निजी तौर पर मुझे Superset कहीं ज्यादा पसंद है। Metabase को usable बनाने के लिए बहुत सारे features बंद करने पड़े, और “the_table” को “The Table” बनाकर दिखाने से लेकर model और “questions” के बीच की opacity तक चीजें लगातार खटकती रहीं। हर बार question बदलने की कोशिश करने पर नया question बनाने की कोशिश करना भी परेशान करने वाला था
      खासकर जब कई questions के data source बदलने हों, तो Metabase में नया question बनाए बिना साफ-सुथरे तरीके से बदलने का कोई तरीका नहीं था, इसलिए यह बड़ी समस्या थी
      साथ ही Metabase में serialization तभी संभव है जब आप पैसे देकर self-host करें। जब self-host ही कर रहे हैं तो ठीक-ठीक किस चीज के लिए पैसे दे रहे हैं, समझ नहीं आता, और यह काफी खटकता है
      https://www.metabase.com/docs/latest/installation-and-operat...
      फिर भी table joins संभव हैं। कभी-कभी सिर्फ वही एक चीज Metabase को झेलने लायक बना देती है
    • करीब 60 दिन पहले लिखी बात को फिर से रखूँ तो, हाल ही में Superset, Metabase और Lightdash की संक्षिप्त तुलना की थी; तीनों open source हैं और hosting options रखते हैं। तीनों में कमजोरियाँ कम नहीं थीं, लेकिन आखिर में Lightdash चुना
      सिर्फ data visualization देखें तो Superset सबसे बेहतर है, लेकिन मौजूदा star schema होने पर business users के self-service BI के लिए यह लगभग बेकार लगा। Superset में joins कैसे किए जाएँ, इस issue से—stalebot द्वारा गड़बड़ बढ़ाने समेत—Superset BI की मुश्किलें एक नज़र में दिख जाती हैं
      https://github.com/apache/superset/issues/8645
      Metabase काफी बढ़िया है, और low-cost BI जल्दी खड़ा करने की कोशिश कर रहे startups के लिए निश्चित रूप से सही विकल्प है। इसमें अभी भी table-centric नजरिया मजबूत है, लेकिन लगता है कि इसे simple visualization के बजाय BI के लिए बनाया गया है
      Lightdash में YAML, frontend पर होने वाला pivot, और symmetric aggregates की कमी जैसी बड़ी खामियाँ हैं, लेकिन उस पर Looker का असर साफ दिखता है, और business users को सीधे इस्तेमाल करने योग्य table groups देना आसान है। Google के acquisition से पहले मुझे Looker पसंद था; हमारे business users star और snowflake schema जैसे शब्द नहीं जानते थे, लेकिन ऐसी structure से परिचित थे, और existing data warehouse के ऊपर Lightdash जोड़ना आसान था
    • सच कहूँ तो Metabase, Superset से ज्यादा user-friendly है। दूसरी ओर Superset का license कहीं ज्यादा permissive है, इसलिए Superset को customize करने या data apps बनाने वाले लोगों के लिए यह ideal है
    • Metabase अच्छा है। इसे Oracle Database के साथ इस्तेमाल कर रहा हूँ

  • कंपनी में Metabase का काफी इस्तेमाल हो रहा है। लेकिन इन सभी tools में जो बात कमजोर लगती है, वह है सैकड़ों dashboards और questions को व्यवस्थित करने का तरीका
    अच्छा हो अगर कोई built-in wiki जैसी चीज हो, जिससे बेहतर navigation structure बनाया जा सके। जानना चाहूंगा कि किसी को कोई अच्छा तरीका पता है या नहीं

    • पूरी तरह सहमत हूं
      एक मददगार तरीका यह है कि Metabase को उसके अपने database से connect करके queries पर queries बनाई जाएं
      select *
      from report_card
      where dataset_query ilike '%' || {{query}} || '%'
      लेखक या आखिरी बार चलाए जाने का समय जैसी metadata भी join की जा सकती है
      Collection directory structure को साफ और consistent रखने की हम सचमुच बहुत कोशिश करते हैं, लेकिन फिर भी यह मुश्किल ही रहता है
    • https://datahubproject.io/integrations को एक बार देखना अच्छा हो सकता है। आज ही पहली बार सुना, लेकिन काफी promising लगता है। यह LinkedIn से निकला open source है, और Metabase समेत इसके कई integrations हैं
    • इसे देखकर एक idea आया। क्या Metabase SQL queries को results या query खुद की similarity के आधार पर group किया जा सकता है?
      एक और तरीका यह हो सकता है कि LLM से queries को summarize, tag और group कराया जाए, ताकि उन्हें ढूंढना आसान हो

  • अगर कोई अकेले data analysis कर रहा हो, तब भी क्या Superset अच्छा tool है, यह जानना चाहता हूं
    उदाहरण के लिए मेरे पास कुछ sqlite databases हैं, और मैं बस queries और charts develop करना चाहता हूं। Tableau, Power BI, Superset देखा, लेकिन सभी single user के लिए काफी भारी लगे, और local setup भी बहुत आसान नहीं लगा
    single user के लिए कोई अच्छा software, या इन भारी tools को ज्यादा सुविधाजनक तरीके से चलाने का कोई तरीका हो तो recommendation चाहूंगा

    • अगर आप data analysis कर रहे हैं, तो मुझे नहीं लगता कि बताए गए तीनों tools बहुत मददगार होंगे
      ये products मुझे तैयार datasets को users के लिए अच्छे तरीके से दिखाने वाले data visualization और reporting tools के ज्यादा करीब लगते हैं। गंभीर analysis के लिए ये कम उपयुक्त हैं
      Superset या Tableau के बारे में मुझे ज्यादा नहीं पता, लेकिन Power BI हमारे पूरे organization में लागू है, इसलिए उससे परिचित हूं। Power BI में जो statistics कर सकते हैं, वे काफी basic हैं। count, average, minimum, maximum जैसे summaries से आगे जाएं तो यह बहुत आसान नहीं रहता
      data analysis के लिए SAS या R इस्तेमाल करते हैं। ये software multivariate regression, time series forecasting, principal component analysis, cluster analysis जैसे काम कर सकते हैं, और इनमें graph features भी हैं
      दोनों थोड़े पुराने अंदाज के हैं। मैं इन्हें 2000s की शुरुआत से इस्तेमाल कर रहा हूं, और आजकल का तरीका शायद Python है। हमारे organization के हाल के data science लोग लगभग सभी Python इस्तेमाल करते हैं, खासकर Pandas और Seaborn(https://seaborn.pydata.org/) जैसी libraries का खूब इस्तेमाल करते हैं
      हमारे organization के Power BI power users आमतौर पर finance या HR में हैं, और इसका ज्यादा इस्तेमाल cost numbers में drill down करने या KPI और key metrics को management के सामने interactive तरीके से दिखाने के लिए होता है
    • Tableau तीनों में सबसे अच्छा, सबसे powerful, सबसे mature, features के लिहाज से सबसे complete, और इस्तेमाल में सबसे आसान है। जहां तक मुझे पता है, 30-day trial देता है
      इसे single user application की तरह इस्तेमाल किया जा सकता है, और जब तक आप इसे अपने बनाए application के हिस्से के रूप में नहीं डाल रहे हैं, वैसे ही इस्तेमाल करना ठीक है