Briefer – शेड्यूलिंग, SQL और बिल्ट-in LLM के साथ मल्टीप्लेयर नोटबुक

 (briefer.cloud)
8 पॉइंट द्वारा GN⁺ 2024-07-25 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Notion + Jupyter में एक्सटेंशन फीचर जोड़ता है
    • नोटबुक शेड्यूलिंग, डैशबोर्ड और ऐप में कन्वर्ट करना, और ऐसे SQL queries जो results को data frame के रूप में लौटाते हैं
  • मौजूदा नोटबुक्स की समस्याओं का समाधान
    • शेयर करना कठिन: डेटा टीम का काम देखने के लिए Docker+Python इंस्टॉल करना पड़ता है
    • नोटबुक बहुत जटिल हो जाते हैं: code blocks बहुत बढ़ जाने से readability कम हो जाती है और non-technical लोगों के लिए समझना मुश्किल होता है
    • database queries, API calls, graph बनाना जैसे सरल काम भी जटिल हो जाते हैं
  • Briefer का समाधान
    • शेयरिंग समस्या का समाधान
      • नोटबुक्स को cloud पर ले जाकर शेड्यूल किया जा सकता है
      • CRDTs और Yjs का उपयोग करके state manage किया जाता है, और real-time editing reflect होती है
    • नोटबुक व्यवस्थित करना
      • साफ-सुथरा design और blocks को group करके व्यवस्थित किया जा सकता है
      • blocks को tabs में group किया जा सकता है, और public version में दिखाने वाले blocks चुने जा सकते हैं
      • dashboard बनाने की सुविधा देता है
    • सरल कामों को आसान बनाना
      • क्लिक करके graph बनाना, और AI assistant से complex chart code generate करना
      • SQL query results को अपने-आप data frame में बदलना, और DuckDB का उपयोग करके files पर query करना

प्रमुख फीचर्स

  • फ़ाइल ट्री
    • फ़ाइल ट्री वह जगह है जहाँ नोटबुक्स को manage और browse किया जा सकता है
    • Notion की तरह हर notebook के लिए icon चुना जा सकता है, क्रम बदला जा सकता है, या एक notebook को दूसरी के अंदर रखा जा सकता है
    • notebook delete करने पर उसकी copy trash में रखी जाती है ताकि जरूरत पड़ने पर restore किया जा सके
  • Blocks और tabs: Briefer notebooks कई प्रकार के blocks से बने होते हैं
    • Text block: notebook में context जोड़ने के लिए
    • Query block: files या Postgres, BigQuery, Redshift, Athena जैसी connected data sources से data लाने के लिए
    • File upload block: जब data connected data source में न हो, तब CSV, XLS या अन्य files को notebook में जोड़ने के लिए
    • Python block: data manipulate करने, visualizations बनाने, या कोई और काम करने के लिए Python code लिखने हेतु
    • Input block: text input या dropdown जैसे interactive elements को notebook में जोड़ने के लिए
    • Visualization block: बिना code लिखे visualization बनाने के लिए
    • notebook में blocks जोड़ने के बाद, उन्हें tabs में group करके notebook को व्यवस्थित और navigate करना आसान बनाया जा सकता है
  • फ़ाइलें और डेटाबेस
    • wrappers या connectors लिखे बिना query block का उपयोग करके files और databases से data query किया जा सकता है
    • अगर data database में है, तो query block से SQL query लिखकर आवश्यक data लाया जा सकता है
    • अगर data file में है (CSV, XLSX, Parquet आदि), तो file upload करके सामान्य SQL से query किया जा सकता है
    • query block का उपयोग करके dataframes पर भी सामान्य SQL से query की जा सकती है
  • ऑटो डेटाफ्रेम
    • हर query block अपने-आप query result वाला Pandas dataframe बनाता है
    • इससे इस data को आगे के Python blocks में इस्तेमाल किया जा सकता है
    • default रूप से dataframe का नाम query_1 जैसा दिया जाता है, लेकिन इसे अधिक अर्थपूर्ण नाम में बदला जा सकता है
  • AI assistant
    • SQL और Python blocks में AI assistant शामिल है
    • जब भी AI assistant की मदद चाहिए, "AI से संपादित करें" पर क्लिक करके assistant को बताया जा सकता है कि क्या करना है
    • इसके बाद AI assistant सुझाव बनाता है और ऐसा diff दिखाता है जिसे आज़माया, स्वीकार या अस्वीकार किया जा सकता है
    • Python blocks में AI assistant मौजूदा dataframes और columns को पहचानता है
    • SQL blocks में AI assistant पहले से database की tables और columns जानता है, इसलिए बेहतर suggestions दे सकता है और complex queries सही लिखने में मदद कर सकता है
    • जब भी error आए, "AI से सुधारें" पर क्लिक करके AI assistant से fix की कोशिश कराई जा सकती है
  • शेड्यूल
    • notebook को हर घंटे, हर दिन, हर हफ्ते या हर महीने जैसी निश्चित intervals पर चलाने के लिए schedule किया जा सकता है
    • schedule बनाते समय notifications भी सेट किए जा सकते हैं ताकि schedule के सफल या असफल होने पर email या Slack message मिले। सफल execution पर notebook output वाली PDF file भी मिलती है
  • स्नैपशॉट और वर्ज़न कंट्रोल
    • हर बार notebook publish करने पर notebook की state अपने-आप save होती है, जिससे समय के साथ हुए बदलाव देखे जा सकते हैं और जरूरत पड़ने पर पुराने version पर rollback किया जा सकता है
    • इससे notebook में हुए changes track किए जा सकते हैं और समस्या होने पर पिछले version पर वापस जाया जा सकता है
    • इसके अलावा, हर सफल scheduled run उस समय की notebook state का snapshot बनाता है
    • snapshots यह देखने में उपयोगी हैं कि results समय के साथ कैसे बदले, या अलग-अलग runs के outputs की तुलना करने के लिए
  • नोटबुक से डैशबोर्ड
    • notebook output का उपयोग करके dashboard बनाया जा सकता है
    • इससे अनावश्यक code या explanations शामिल किए बिना results दूसरों के साथ साझा किए जा सकते हैं, खासकर जब chart बनाने से पहले काफी data wrangling करनी पड़ती हो
    • dashboard view तब भी उपयोगी है जब ऐसे data apps बनाने हों जिनमें users inputs और dropdowns के साथ interact कर सकें, लेकिन आप internal code नहीं दिखाना चाहते

GN⁺ की राय

  • यह platform notebook-style data analysis और visualization कार्यों के लिए उपयोगी लगता है
  • cloud-based होने के कारण real-time collaboration संभव है, और user-friendly interface तथा organization features readability बढ़ाते हैं; इससे non-technical users भी data analysis results आसानी से देख सकते हैं, जिससे collaboration efficiency बढ़ सकती है
  • AI assistant द्वारा SQL queries और Python code writing में सहायता मिलना भी data analysis कार्य की productivity बढ़ा सकता है। हालांकि AI suggestions की accuracy और usefulness का पता वास्तविक उपयोग के बाद ही चलेगा
  • notebook scheduling और version control features दोहराए जाने वाले data analysis tasks या collaboration में उपयोगी लगते हैं। हालांकि इसके लिए stable infrastructure operation जरूरी होगा
  • dashboard creation feature के जरिए analysis results को non-developers के साथ आसानी से साझा किया जा सकता है, यह भी एक फायदा है। लेकिन dashboard layout और design freedom कितनी होगी, यह अभी स्पष्ट नहीं है
  • समान platforms में Jupyter Notebook, Google Colab, Deepnote आदि शामिल हैं। इनके मुकाबले Briefer की अलग पहचान क्या होगी, इस पर विचार करना जरूरी है। उदाहरण के लिए, अधिक आसान usability या मजबूत collaboration features इसके फायदे हो सकते हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-25
Hacker News टिप्पणियाँ

  • प्रोडक्ट मैनेजर सरल Excel फ़ॉर्मूला और चार्ट सेट करके काम को आसान बनाने की कोशिश करते हैं

    • इसमें स्क्रीनशॉट लेने जैसे काम भी शामिल हैं

  • डेटा इंजीनियर Superset और dbt जैसे open source solutions का उपयोग करके अधिक तकनीकी काम करते हैं

  • कंपनियाँ अक्सर अंतिम UI खुद बनाने की कोशिश करती हैं

    • याद है कि Pinterest ने कुछ open source किया था

  • नोटबुक जैसे टूल बनाना कितना कठिन है, इसकी गहरी समझ है

    • collaboration और UX से जुड़ी समस्याएँ हैं

  • डेटा स्वयं और कड़ी प्रतिस्पर्धा वाले बाज़ार के कारण फीचर सुझाव देना कठिन है

    • याद है कि Popsql बहुत फल-फूल नहीं पाया

  • Lucas के काम की प्रशंसा करते हुए, CLI, connectors, symbolic computation, offline support, encrypted namespaces जोड़ने का सुझाव देते हैं

    • इससे यह अन्य प्रतियोगियों से आगे निकल जाएगा
    • कहते हैं कि व्यस्त रहेंगे, लेकिन चर्चा करनी हो तो संपर्क करें

  • Python और data science (Jupyter में pandas, Polars, scikit learn, XGBoost आदि) बहुत पढ़ाते हैं

    • software engineering की best practices भी सिखाते हैं

  • अनुभव साझा करते हैं कि शिक्षा के ज़रिए कई समस्याएँ हल हो जाती हैं

    • हाल ही में एक client के यहाँ इसे फिर से पुष्टि किया

  • beginner-friendly code लिखने पर ध्यान देने के बजाय, expert-level code लिखना चाहिए ऐसा मानते हैं

    • beginners को यह code पसंद नहीं आएगा

  • social media पर आलोचना मिलती है, लेकिन छात्रों और पाठकों से सकारात्मक प्रतिक्रिया भी मिलती है

  • notebooks, cron jobs, और state persistence का उपयोग करके workflows बनाने का अनुभव है

    • इस समस्या को समग्र रूप से हल करने की कोशिश देखकर खुशी है

  • लॉन्च की बधाई देते हैं, और कहते हैं कि example GIF में 90s Mac Finder chrome ध्यान भटकाता है

    • इसे दृश्य और अर्थ, दोनों स्तर पर व्यवस्थित करने का सुझाव देते हैं

  • Python/code block support दिलचस्प है

    • Jupyter notebooks कहीं भी चल सकते हैं
    • पूछते हैं कि क्या local install या local Python install से कनेक्शन relay करके support करते हैं
    • पूछते हैं कि क्या सारा Python code cloud servers पर ही चलना होगा, और क्या high-performance GPU access संभव नहीं होगा

  • लॉन्च की बधाई देते हैं, और जानना चाहते हैं कि यह Hex जैसे मौजूदा tools की तुलना में कैसे विकसित होगा

  • कहते हैं कि इसे non-technical organizations के लिए online collaboration tool के रूप में भी बेचा जा सकता है

    • कहते हैं कि बहुत से लोग Microsoft Access से अधिक सुविधाजनक टूल चाहते हैं

  • कहते हैं कि यह internal query catalog और dashboards बनाने के लिए उपयोगी टूल हो सकता है

    • पूछते हैं कि क्या यह Grafana के "variables" जैसे dynamic field selector को support करता है

  • कहते हैं कि notebooks की पहली समस्या यह है कि उन्हें साझा करना कठिन होता है

    • PMs के साथ GitHub links के ज़रिए notebooks साझा करते हैं