Datasette Cloud: Datasette के लिए SaaS होस्टिंग प्लेटफ़ॉर्म

 (datasette.cloud)
2 पॉइंट द्वारा GN⁺ 2023-08-22 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Datasette Cloud open source Datasette को टीमों के लिए SaaS के रूप में होस्ट करता है, ताकि वे निजी space में डेटा शेयर कर सकें और ज़रूरत के डेटा को बाहरी रूप से पब्लिक कर सकें
  • शुरुआती फोकस newsroom पर है, ताकि पत्रकारों को खुद server सेटअप और ऑपरेट किए बिना टीम के अंदर और जनता तक डेटा पब्लिश करने में मदद मिल सके
  • हर टीम पास के region में एक निजी space बनाती है और उसे Fly.io-आधारित secure container और space-name.datasette.cloud subdomain मिलता है
  • CSV, URL, Socrata-आधारित सरकारी open data, SQLite files, और Datasette Write JSON API से डेटा import किया जा सकता है और web UI में सीधे edit किया जा सकता है
  • आगे AI-assisted queries, चुनी हुई tables/queries को public करना, data annotations, और pricing जोड़ी जाएंगी; अभी Zoom demo बुक करके या preview access request करके शुरू किया जा सकता है

टीमों के लिए निजी डेटा collaboration space

  • Datasette Cloud Datasette open source project के लिए एक SaaS hosting platform है
  • टीमें डेटा के साथ काम करने के लिए निजी space बना सकती हैं, उसे members के बीच सुरक्षित रूप से शेयर कर सकती हैं, और फिर कुछ डेटा बाहरी रूप से public कर सकती हैं
  • शुरुआती users को newsroom के लिए target किया गया है
    • Datasette की शुरुआत data journalism से हुई थी
    • लक्ष्य यह है कि journalists को अपने hosting provider पर Datasette को खुद सेटअप और operate किए बिना डेटा शेयर करने दिया जाए
  • journalists के अलावा कंपनियां और organizations भी Datasette Cloud का इस्तेमाल कर सकती हैं
  • Datasette से पहली बार परिचित हो रहे users open source project website पर video demos और tutorials देख सकते हैं

डेटा import और access का तरीका

  • हर space user के पास के region में hosted होता है और Fly.io पर आधारित अलग secure container में चलता है
    • हर space का space-name.datasette.cloud subdomain होता है
    • space admin अतिरिक्त members को invite कर सकता है
  • टीम members कई तरीकों से डेटा import कर सकते हैं
    • CSV file upload करके table बनाना
    • URL से CSV file load करना
    • Socrata आधारित सरकारी open data portals से import करना
    • SQLite database file upload करके नया database बनाना
    • Datasette Write JSON API का इस्तेमाल करके डेटा import करना
  • Import किया गया डेटा Datasette Cloud web interface में inline edit किया जा सकता है
    • rows को edit, insert और delete करने की सुविधाएं datasette-write-ui introduction में संक्षेप में दी गई हैं
  • डेटा explore करने और API access के लिए Datasette के मौजूदा tools का इस्तेमाल होता है
    • Datasette web interface, जो filtering, facets, SQL queries चलाने और results bookmark करने को support करता है
    • Exploring a database with Datasette में tutorial और live demo देखे जा सकते हैं
    • Learn SQL with Datasette SQL से डेटा query करने का तरीका बताता है
    • granular API tokens से सुरक्षित JSON API के जरिए tables access और SQL queries run की जा सकती हैं
    • datasette-graphql plugin-आधारित GraphQL API से tabular data access किया जा सकता है
  • सारा डेटा Fly volumes में सुरक्षित रूप से store होता है और Litestream का इस्तेमाल करके S3 पर भी backup किया जाता है

आगामी features और शुरू करने का तरीका

  • जल्द जोड़े जाने वाले features ये हैं
    • AI-assisted queries: OpenAI ChatGPT, Anthropic Claude, और Google Bard की आधारभूत technology रहे large language models को journalists के data exploration में जिम्मेदारी से लागू करने के तरीकों पर research चल रही है; इसे llm.datasette.io पर देखा जा सकता है
    • चुनी हुई tables और queries को बाहरी रूप से public करने की सुविधा
    • data annotations, जिनसे टीमें columns और rows पर comments जोड़कर data analysis collaboration और डेटा में छिपी story खोजने में मदद पा सकें
    • product की cost pay करने लायक pricing
  • users Zoom demo session book करके शुरुआती users में से एक बन सकते हैं, या demo के बिना preview access request कर सकते हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-08-22
Hacker News की टिप्पणियां

  • हमने Datasette को आंतरिक रूप से deploy करके ऐसे बड़े research data (100MB~20GB) को बड़ी मात्रा में host करने में सफलता पाई है, जिसे आम users के साथ share कराना या उनसे consume कराना मुश्किल था
    पहले हमें बहुत high-level summaries और कुछ data points ही share करने पड़ते थे, या एक minimal Django app बनानी पड़ती थी, या Metabase जैसे कहीं अधिक heavy solutions इस्तेमाल करने पड़ते थे
    medium-size data आते ही email से results भेजना संभव नहीं रहता, network share या SharePoint जैसे ग्राहक-परिचित तरीकों की भी सीमाएं हैं, और आम users आमतौर पर सिर्फ Excel इस्तेमाल कर पाते हैं, इसलिए data बड़ा होते ही वे तुरंत अटक जाते हैं
    अब हम किसी हद तक processed लगभग हर data उपलब्ध करा देते हैं, और बस कुछ views और 5 मिनट से कम का tutorial (“यह Super Excel है, और ऐसे filter करना है”) दे दें तो users खुद explore करते हैं
    पहली deployment के बाद logs देखकर पता चला कि साधारण research होने के बावजूद users system पर खूब activity कर रहे थे, और यह सोचने पर मजबूर होना पड़ा कि पहले हमें परेशान न करना पड़े इसलिए वे कितने detailed questions पूछ ही नहीं पाते होंगे। Datasette के बाद questions कहीं ज्यादा refined हो गए हैं, क्योंकि basic चीजें वे खुद हल कर लेते हैं

    • यह सच में बेहतरीन success story है, और लगता है ऐसी case studies इकट्ठा करनी चाहिए
      “यह Super Excel है, और ऐसे filter करना है” वाला expression खास तौर पर पसंद आया

  • Datasette नाम कुछ बार सुना था, लेकिन यह किस काम आता है, ठीक से कभी नहीं देखा था
    landing page video इसे बहुत अच्छी तरह समझाता है, और ऐसा अक्सर नहीं होता
    Simon और पूरे project को बधाई मिलनी चाहिए, और आशा है cloud service भी सफल हो

    • video कहां है, समझ नहीं आ रहा। blog post या home page पर क्लिक करके देखा, लेकिन दिखा नहीं

  • Datasette HN पर काफी जाने-माने Simon Willison का open project है, और यह वाला काम monetization project जैसा दिखता है। उम्मीद है अच्छा चले और Softbank जल्द ही acquire कर ले :-)
    यह SQLite file को wrap करके आसानी से publish कराने वाला tool जैसा है, और शायद SQLite के लिए Tableau जैसा महसूस हो सकता है

    • Softbank लक्ष्य नहीं है
      Datasette मेरे पूरे career में पहला ऐसा project है, जिस पर मुझे लगता है कि 15 साल बाद भी काम कर रहा होऊं तो ऊबूंगा नहीं। इसके core idea से बनाए जा सकने वाले interesting applications का दायरा सच में बहुत बड़ा है
      इसलिए मैं इस पर दशकों तक काम करना चाहता हूं, लेकिन अकेले करना lonely है, और community का बढ़ना मजेदार जरूर है, पर full-time team जैसा नहीं होता
      अभी जो समस्या मैं हल करना चाहता हूं, वह है project को long-term में financially sustainable बनाने का तरीका। सिर्फ मेरे लिए नहीं, बल्कि साथ काम करने वाली team को salary दे सकने के लिए भी
      WordPress या GitLab जैसे open source projects के SaaS hosting के जरिए sustainable business model बनाने के उदाहरण पहले से बहुत हैं, और यह अपेक्षाकृत अच्छी तरह बना हुआ रास्ता लगता है
      साथ ही मैं चाहता हूं कि लोग मेरे software को सच में इस्तेमाल कर सकें। अभी किसी व्यक्ति को Datasette इस्तेमाल करना हो तो pip या brew से install करना पड़ता है, या macOS Electron app https://datasette.io/desktop इस्तेमाल करनी पड़ती है, लेकिन मैं चाहता हूं कि newsrooms data पर collaboration के लिए इसका इस्तेमाल कर सकें। ज्यादातर newsrooms Linux server setup से परिचित नहीं होते
      hosted SaaS version उन users को वास्तविक value पाने में मदद करता है जिन्हें मैं महत्वपूर्ण मानता हूं, और पूरे project की financial sustainability की तरफ एक practical path भी देता है
      बेशक, मैं इससे काफी पैसा कमाना भी चाहता हूं
    • अच्छा होगा अगर Datasette को आम लोगों के लिए ज्यादा accessible और usable बनाने में investment हो
      अभी UX और setup data hackers के लिए ज्यादा tuned लगते हैं जिनकी journalism में रुचि है, और यह standard data reporting या data journalism tool जैसा ज्यादा नहीं दिखता
      अगर intended users ऐसे journalists हैं जिनके पास data hacking skills न भी हों, तो शुरुआत की बाधा और कम करनी होगी
      Datasette न तो BI tool है, न OSINT tool, और फिलहाल यह data enthusiasts और investigative reporters के बीच के बहुत narrow niche में स्थित है, जिससे इसकी potential काफी सीमित हो जाती है
      Simon को monetization, खासकर Datasette Cloud को और accessible बनाने के लिए किसी को hire करने पर विचार करना चाहिए। GUI app बनाना सही दिशा में एक कदम लगता है
    • क्या यह थोड़ा cynical expression नहीं है?

  • माहौल खराब करने का इरादा नहीं है, लेकिन Datasette का पूरा परिचय वीडियो देखने के बाद भी लगता है कि शायद मैं कुछ मिस कर रहा हूँ
    क्या यह असल में SQL GUI ही नहीं है? यह दूसरे SQL management panels जैसा ही लगता है, बस write functionality नहीं है
    फर्क क्या है, और क्या यह extensibility है, यह जानना चाहूँगा

    • यह MS Access के ज़्यादा करीब है, लेकिन backend SQLite और Python है, इसलिए मुझे यह ज़्यादा तार्किक रूप लगता है
      Excel और Access को जबरन जोड़कर बनाए गए बेहद अहम business processes अनगिनत हैं, और Datasette ऐसे use cases के लिए कहीं बेहतर विकल्प हो सकता है। यह ऐसा tool है जिसे developers और business users दोनों इस्तेमाल कर सकते हैं
    • यह बिल्कुल वाजिब सवाल है, और मैं 5 साल से इस पर सोच रहा हूँ, लेकिन अब भी मेरे पास एक वाक्य में बिल्कुल सटीक जवाब नहीं है
      Datasette जिस समस्या को सबसे अच्छी तरह हल करता है, वह है structured data को online publish करना
      उदाहरण के लिए अगर दुनिया भर के power plants की सूची या अमेरिकी कांग्रेस का पूरा इतिहास online share करना हो, तो आप CSV को website/GitHub/S3 पर डाल सकते हैं, Django/Rails जैसा custom app बना सकते हैं, या Google Sheet इस्तेमाल कर सकते हैं। Guardian ने पहले Google Sheet से यह कैसे किया था, वह यहाँ है: https://simonwillison.net/2018/Aug/19/instantly-publish-data...
      Datasette मूल रूप से इसी समस्या को हल करने के लिए बनाया गया था, और मुझे लगा कि SQLite इसके लिए perfect है। यह तेज़ और मजबूत है, और अगर आप read-only data publish कर रहे हैं, तो backups या replication जैसी चिंता किए बिना इसे किसी भी जगह deploy किया जा सकता है जहाँ dynamic web app host हो सकता हो
      दुनिया भर के power plants वाला उदाहरण https://global-power-plants.datasettes.com/global-power-plan... है, और अमेरिकी कांग्रेस सदस्यों का data https://congress-legislators.datasettes.com/legislators पर है। बाद वाला Datasette tutorial https://datasette.io/tutorials/explore में भी इस्तेमाल होता है
      अगर आप command line के आदी हैं, तो sqlite-utils से CSV को SQLite में डालकर साफ़ करने और फिर datasette publish vercel व datasette-cluster-map plugin से publish करने से तेज़ तरीका मिलना मुश्किल होगा
      यह datasette-publish-vercel plugin इस्तेमाल करने का उदाहरण है, लेकिन Datasette extra plugins के साथ Fly, Google Cloud Run, Heroku वगैरह पर भी publish कर सकता है: https://docs.datasette.io/en/stable/publish.html
      sqlite-utils से data clean करने वाला हिस्सा https://datasette.io/tutorials/clean-data में ज़्यादा विस्तार से है
      पिछले 5 साल में Datasette publishing से आगे बढ़कर ऐसा tool बन गया है, जिसे मैं data को देखना और explore करना चाहूँ तो हर बार इस्तेमाल करता हूँ। data journalism के नज़रिये से यह “data में कहानी ढूँढना” है
      commercial use में भी मेरा मजबूत intuition है कि अगर यह journalists को data में कहानियाँ ढूँढने में मदद कर सकता है, तो यह बाकी सभी को भी अपने data में कहानियाँ ढूँढने में मदद कर सकता है
      एक और key चीज़ plugins हैं। जैसे WordPress एक अच्छा CMS होने के साथ-साथ 10,000 से ज़्यादा plugins के जरिए लगभग हर content publishing समस्या को handle करता है और web का double-digit percentage हिस्सा बन गया, Datasette की सबसे ambitious कल्पना भी कुछ ऐसी ही है
      मैं open source exploratory data analysis (EDA) और publishing tool बनाना चाहता हूँ, और चाहता हूँ कि हज़ारों plugins के जरिए data exploration, analysis, visualization और publishing की समस्याएँ हल की जा सकें
      अभी plugins 127 हैं, इसलिए लंबा रास्ता बाकी है, लेकिन यह अच्छी शुरुआत है: https://datasette.io/plugins
      एक वाक्य में कहें तो “Datasette data को interactive और searchable database के रूप में online publish करने का सबसे तेज़ तरीका है”, या “data के लिए WordPress: exploration, analysis, visualization और publishing के लिए extensible open source platform” कहा जा सकता है

  • Simon, यह सच में बहुत अच्छा लग रहा है और उम्मीद है यह सफल होगा
    पिछले कुछ सालों में मैंने Datasette से कई शानदार चीज़ें की हैं और इसे strongly recommend करता हूँ। datasette.cloud भी ज़रूर try करने का इरादा है

  • Datasette शानदार है
    पिछली नौकरी में complex SQL query results जल्दी share करने के लिए मैंने Datasette को internal Azure cloud पर किसी तरह deploy करने का तरीका बनाया था, इसलिए Simon को खुद .cloud लाते देखकर अच्छा लगा

  • Latent Space podcast में Simon के बारे में जानने के बाद पिछले कुछ हफ्तों से उनका blog और कई YouTube videos देख रहा हूँ
    एक पूर्व पत्रकार के तौर पर मैं data journalism सीखना चाहता था, और यह public होने पर शायद इसे आज़माऊँ

    • आम तौर पर Simon से मेरा परिचय कराया जाता है, इसलिए किसी और को उनसे introduce कराने का मौका कम मिलता है; सुनने के लिए धन्यवाद
      हमारे podcast पर Simon तीन बार आ चुके हैं: https://latent.space/p/llama2, https://latent.space/p/code-interpreter, https://latent.space/p/no-moat
      अच्छा लगा कि studio schedule करने की ज़रूरत नहीं पड़ी; वे घर या park जैसी जगहों से बस connect हो गए
    • open source के फायदे की वजह से आप इसे अभी तुरंत try कर सकते हैं
      Simon ने हाल ही में 2 घंटे का tutorial डाला है: https://www.youtube.com/watch?v=5TdIxxBPUSI

  • यह देखना दिलचस्प है कि डेटा जर्नलिज़्म अब CSV को cloud पर अपलोड करने के रूप में विकसित हो गया है
    पुराने I.R.E. convention में सबसे गरम विषय 9-track tape से डेटा निकालना और उसे decode करना सीखना था
    FOIA के शुरुआती दिनों में सरकारें विशाल 9-track data reels पर ढेर सारी जानकारी dump करके कहती थीं कि उन्होंने “request का पालन किया” है, और इस तरह reporting में बाधा डालती थीं
    बहुत कम newsrooms के पास ऐसा उपकरण या तकनीकी क्षमता होती थी, इसलिए उन्हें खुद समाधान ढूंढना पड़ता था या ऐसी कंपनियों/संस्थाओं को खोजना पड़ता था जो मदद कर सकें
    I.R.E.: https://www.ire.org/

    • मैं अक्सर याद दिलाता हूं कि NICAR (National Institute for Computer-Assisted Reporting, IRE से जुड़ा) 1980s में बना था और mainframes से काम करता था
      डेटा जर्नलिज़्म कोई नई चीज़ नहीं है

  • Simon एक शानदार technologist हैं
    मैंने उनके videos और लेखों से काफी कुछ सीखा है, और उम्मीद है कि यह काम उनके लिए अच्छा चलेगा

  • मुझे लगा था कि यह C64 C2N Datasette tape drive की बात कर रहा है, लेकिन ऐसा नहीं था, इसलिए थोड़ी निराशा हुई
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • मैंने C64 और Datasette पर अपना पहला “database” program लिखा था
      शायद मैं करीब 7 साल का था और वह असल में कुछ खास नहीं करता था, लेकिन नाम निश्चित रूप से उसी को श्रद्धांजलि है
    • मैं “Floppy RAID” [1] जैसी spirit की उम्मीद कर रहा था; लगा था कि इससे भी पुरानी tech के साथ कुछ और ज्यादा बेतुका होगा
      1: https://youtu.be/1hc52_PWeU8
    • मुझे भी यही उम्मीद थी
      मेरे attic में अब भी 1531 रखा है, C16 के बगल में