Datadog द्वारा Quickwit का अधिग्रहण

 (quickwit.io)
1 पॉइंट द्वारा GN⁺ 2025-01-11 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Quickwit टीम Datadog में शामिल होकर नए प्रोडक्ट डेवलपमेंट पर फोकस करेगी, और समुदाय इसे आगे बढ़ा सके इसके लिए Quickwit का नया वर्ज़न Apache License 2.0 के तहत जारी करने की योजना है
  • शुरुआत Elasticsearch की स्केलिंग सीमाओं और ऊंची ऑपरेशनल लागत से हुई थी, और Quickwit का लक्ष्य ऐसा सर्च इंजन बनना था जो 10 गुना से अधिक cost-efficient हो और multi-petabyte तक स्केल हो सके
  • Binance ने Quickwit से 100PB लॉग सर्विस बनाई और रोज़ 1.6PB इंडेक्स किया, जबकि Mezmo भी production में हजारों ग्राहकों और petabyte-scale logs को हैंडल करता है
  • open source में बढ़ती रुचि, revenue growth और Series A पर विचार के बावजूद, Tokyo·Paris·New York में बिखरी टीम संरचना से scaling का बोझ बढ़ा, इसलिए acquisition opportunity पर विचार किया गया
  • Quickwit और tantivy में बड़े अपडेट नियोजित हैं; नए Quickwit वर्ज़न में distributed ingestion, cardinality aggregation, performance और memory improvements आदि शामिल होंगे

Datadog में शामिल होना और open source को जारी रखना

  • Quickwit टीम Datadog में शामिल होकर Datadog के साथ नए products बनाने पर फोकस करेगी
  • समुदाय Quickwit को आगे भी जारी रख सके, इसके लिए नया वर्ज़न जल्द ही Apache License 2.0 के तहत जारी करने की योजना है
  • Quickwit और tantivy, दोनों के लिए बड़े अपडेट नियोजित हैं
    • नए Quickwit वर्ज़न में समुदाय द्वारा मांगा गया distributed ingestion शामिल होगा
    • cardinality aggregation, performance और memory improvements, और अन्य अतिरिक्त features भी शामिल होंगे

Quickwit जिस समस्या को हल करना चाहता था

  • Quickwit की शुरुआत Paul, Adrien और François नामक तीन engineers के लंबे समय से चले आ रहे collaboration विचार से हुई
  • 2020 में Paul का personal project tantivy इसका trigger बना
    • tantivy पहले से ही Lucene के लोकप्रिय alternative के रूप में जाना जाता था
  • टीम ने जिस मुख्य समस्या को target किया, वह Elasticsearch की scalability और operational cost थी
    • Elasticsearch प्रभावी ढंग से scale नहीं हो रहा था
    • लागत बहुत ज्यादा हो रही थी
    • operational complexity बढ़ रही थी
  • लक्ष्य ऐसा search engine बनाना था जिसे operators भरोसे से manage कर सकें, जो multi-petabyte scale तक scale हो, और कम से कम 10 गुना अधिक cost-efficient हो

distributed team और शुरुआती open source development

  • development की शुरुआत distributed team structure में हुई: Adrien San Francisco में, Paul Tokyo में, और François Paris में थे
  • अलग-अलग time zones का फायदा उठाकर follow-the-sun development cycle बनाई गई
  • Rust के चुनाव ने शुरुआती development speed और stability पर बड़ा असर डाला
    • Common Crawl dataset से बना पहला demo HN front page पर पहुंचा
    • इसमें लगभग कोई bug नहीं था; केवल Python की "'NoneType' object has no attribute" error को अपवाद के रूप में बताया गया
  • पहला version 13 जुलाई 2021 को release हुआ
  • open source एक strategic choice थी, और engineers के लिए स्वाभाविक choice भी
  • HN exposure ने शुरुआती users से बातचीत शुरू कराई, लेकिन बातचीत बढ़ने के साथ missing features सामने आए और बहुत implementation की जरूरत पड़ी

बड़े पैमाने के use cases और Rust ecosystem में योगदान

  • Mezmo और Binance engineering teams से मुलाकात Quickwit के वास्तविक large-scale product में विकसित होने का turning point बनी
  • Binance ने Quickwit से 100PB लॉग सर्विस बनाई
    • रोज़ 1.6PB index किया गया
  • Mezmo ने Quickwit को production में लगाया और हजारों customers व petabyte-scale logs को process किया
    • वही user experience देते हुए infrastructure cost और complexity को काफी घटाया
  • इन partnerships ने Quickwit को cost-efficient multi-petabyte search engine के रूप में स्थापित होने में मदद की
  • टीम ने Quickwit development के दौरान Rust ecosystem की कई libraries में भी योगदान दिया
    • tantivy: Quickwit की foundation बनी full-text search engine library
    • chitchat: Cassandra और DynamoDB से प्रेरित, failure detection वाला cluster membership protocol
    • Bitpacking: bitpacking के जरिए integer compression के लिए SIMD algorithm
    • Whichlang: Rust के लिए तेज़ और lightweight language detection library
    • Mrecordlog: multi-tenancy के लिए design किया गया efficient write-ahead log

Datadog को चुनने की प्रक्रिया

  • 2024 की गर्मियों में Quickwit ने open source interest में बढ़ोतरी, revenue में तेज़ उछाल और VC की सक्रिय रुचि देखी
  • कंपनी ने माना कि अब नया chapter खोलने और Series A round आगे बढ़ाने का समय है
  • लेकिन Tokyo, Paris और New York में बिखरी टीम structure पहले से ही भारी पड़ रही थी, और scaling इस मुश्किल को और बढ़ा सकता था
  • अंततः Quickwit ने नया घर खोजने का फैसला किया और acquisition opportunities पर विचार किया
  • Datadog उम्मीदवारों में साफ तौर पर अलग दिखा
    • Datadog की user experience देने की क्षमता
    • Quickwit का petabyte-scale search engine
    • customer environments में deploy होने वाले powerful solutions बनाने का अवसर — ये सब एक साथ मेल खा रहे थे
  • बड़ी कंपनी में शामिल होने को लेकर शुरुआती संदेह Datadog team से बातचीत के बाद दूर हो गया
  • Datadog team के साथ बातचीत में उनकी intellectual capability, विनम्रता और genuine culture सामने आई

समुदाय और ग्राहक

  • Quickwit टीम ने employees, investors, contributors, friends और supporters का आभार जताया
  • customers के रूप में Mezmo, Formal, Radiant Security, MatterLabs, Fly.io आदि का उल्लेख किया गया
  • समुदाय को Quickwit journey का हिस्सा बनकर साथ चलने के लिए धन्यवाद दिया गया

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-01-11
Hacker News की रायें

  • Quickwit के co-founder के तौर पर Datadog द्वारा acquisition को HN के front page पर देखना सच में एक पूरा चक्र पूरा होने जैसा लगा
    Quickwit की यात्रा शुरू से ही HN से जुड़ी रही है, और इसकी प्रगति HN front page की posts में दर्ज है: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
    ये सभी front page appearances milestones थे, और community में value जोड़ने की इच्छा से हमने engineering posts में पूरी sincerity डाली. मुझे यकीन है कि HN ने visibility, positive feedback, critical comments और सीधे contact करने वाले leads तक देकर Quickwit की सफलता में अहम भूमिका निभाई

    • लगता है link छूट गया, लेकिन वैसे भी Tantivy शानदार है
      मुझे pg_search https://www.paradedb.com/blog/introducing_search पसंद है; यह किसी दूसरी company ने बनाया है, लेकिन लगता है Tantivy के ऊपर बना है, और यही open source का बड़ा फायदा है. हालांकि इस acquisition के बाद development रुक न जाए, इसकी चिंता है. Tantivy को publicly develop करते रहना Datadog के revenue में कैसे मदद करेगा, यह जानने की उत्सुकता है
    • बधाई. Team ने Tantivy बनाया, यह अपने आप में open source में बड़ा contribution है
      Apache Lucene-based products (Solr, Elastic) से कभी खास लगाव नहीं रहा, इसलिए Tantivy का open source के रूप में आना सच में अच्छा लगा. BM25 scoring, सही Asian language support, speed, memory usage वगैरह बेहतरीन हैं
      https://github.com/quickwit-oss/tantivy
      मुझे लगता है Datadog ने smart choice की है. अगर Tantivy खुद हमेशा Apache 2 license में बना रहे और open source community के साथ sustainable तरीके से coexist कर सके, तो यह काफी है. वे commercial success के हकदार हैं

  • Quickwit इस साल की शुरुआत में PR #5529 में enterprise license जोड़ने की कोशिश करता लग रहा था, लेकिन इस announcement में उल्टा कहा गया है कि community को आगे जारी रखने में मदद के लिए इसे Apache License 2.0 के तहत relicense किया जाएगा
    बात यह है: “हम Datadog के साथ नए product बनाने पर focus करेंगे, और open source community जारी रह सके, इसके लिए Quickwit और tantivy के बड़े updates जल्द निकालेंगे और उन्हें Apache License 2.0 के तहत relicense करेंगे”
    आखिरकार हमें ज्यादा liberal license वाला Quickwit मिलेगा, लेकिन between the lines पढ़ें तो development असल में कम होती दिखती है. इस्तेमाल के अनुभव से यह stable है, इसलिए बहुत शिकायत नहीं है, लेकिन आगे वे क्या और लेकर आएंगे, इसकी उम्मीद थी

    • शायद team का खुद हर दिन full-time development करना रुक जाएगा. वजह संभवतः यह है कि Datadog के अंदर इसे मिलती-जुलती लेकिन closed form की service के रूप में integrate करके develop किया जाएगा
      फिर भी वे मौजूदा product को OSI-compatible license में खोलकर community को इसे आगे संभालने देना चाहते हैं, और यह ठीक-ठाक compromise है. इससे बहुत खराब भी हो सकता था
      Datadog भी open source से पूरी तरह असंबंधित company नहीं है. observability pipeline tool को general-purpose रूप में public करने वाला Vector काफी solid product है: https://vector.dev/

  • हाल में कई modern databases के acquisition हो गए, यह थोड़ा अफसोसजनक है। उनमें बहुत innovation ला सकने की क्षमता थी
    https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/

    • Supabase कर्मचारी के तौर पर कहूं तो, OrioleDB आगे भी पूरी तरह open source और उदार license वाला बना रहेगा
      Supabase, OrioleDB टीम को hosting के बजाय storage engine पर ध्यान देने और बहुत सारे user feedback व bug reports पाने में मदद के लिए शुरुआती distribution channel दे रहा है। साझा लक्ष्य OrioleDB को सिर्फ Supabase में नहीं, बल्कि हर जगह इस्तेमाल होने वाला Postgres का default storage engine candidate बनाना है
    • Acquisition का मतलब जरूरी नहीं कि innovation का अंत हो। कभी-कभी यह कई सालों की मेहनत से बने innovation को कहीं बड़े user base तक scale करने देता है
      मैं इन तीनों कंपनियों के founders से मिल चुका हूं, और मुझे भरोसा है कि वे सभी अपना काम दुनिया तक पहुंचाने को लेकर ईमानदार हैं। वैसे ParadeDB स्वतंत्र है और फिलहाल बेचने की कोई योजना नहीं है

  • Datadog कब node, CPU, container, RAM(KB), indexed Unicode characters के हिसाब से charge करने का तरीका निकाल लेगा—इसकी countdown शुरू हो गई है

    • वे पहले से ऐसा कर रहे हैं। उदाहरण के लिए, Pro plan में प्रति host 5 containers शामिल हैं, जबकि मेरे hobby project में भी उससे ज्यादा हैं, और उसके बाद हर extra container का अतिरिक्त cost लगता है
      Pricing model काफी जटिल है, इसलिए समय के साथ आप सोचने लगते हैं कि क्या ये अच्छे features वाकई इतनी ऊंची कीमत के लायक हैं
    • क्या वे पहले से ऐसा नहीं करते? Logs ingestion GB के आधार पर हैं, और monitoring node के हिसाब से charge होती है

  • Mezmo कहता है कि उसने Quickwit को production में डालकर हजारों customers और petabyte-scale logs handle किए, और infrastructure cost व complexity काफी घटाई; उसके तुरंत बाद Quickwit का competitor को बिक जाना अच्छा महसूस करना मुश्किल होगा

    • Open source में वापस contribute करते समय यह जोखिम उठाना पड़ता है
      बाकी सभी के लिए अच्छी बात यह है कि अगर Datadog इसे खराब करता है, तो fork की demand काफी होगी—यह इसका संकेत है
    • अगर उन्होंने खुद किया है, तो वही open source का मूल है; और अगर Quickwit के साथ contract था, तो मुझे लगता है ऐसी situation handle करने वाली clauses जरूर रही होंगी

  • संबंधित लेख: Binance built a 100PB log service with Quickwit(6 महीने पहले, 228 points, 195 comments) https://news.ycombinator.com/item?id=40935701
    Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog(1 साल पहले, 145 points, 51 comments) https://news.ycombinator.com/item?id=38902042

    • लगता है लक्ष्य यह होना चाहिए कि ऐसे successful products बनाएं जो तेजी से move न कर पाने वाले बड़े legacy providers को threat करें, और फिर जल्दी acquihire हो जाएं

  • “इस summer से माहौल बदल गया। Open source traction मजबूत हुआ, revenue तेजी से बढ़ा, और VCs ज्यादा सक्रियता से संपर्क करने लगे। कंपनी का नया chapter खोलने और Series A raise करने का समय था” ऐसा कहा गया, लेकिन rhetorical तौर पर पूछें तो वही समय क्यों था?
    Practical जवाब वहीं है। VCs सिर्फ अच्छी technology वाली तेजी से बढ़ती company से संतुष्ट नहीं होते। या तो यह up round होता है जिससे portfolio value ऊपर दिखा सकें, या अगर market महंगी Series A के लिए पर्याप्त गर्म नहीं है तो exit push करते हैं

    • यह फैसला follow-on investment ढूंढते समय नहीं, बल्कि seed investment लेते समय ही हो जाता है
      अगर आप profitable growth business बनाना चाहते हैं, तो VC funding वह रास्ता नहीं है
    • अगर founders cooperate न करें तो असल में क्या होता है, यह जानने की उत्सुकता है। क्या VC ताकत लगाकर खराब terms वाली sale force कर सकता है? Polite request और coercion के बीच की line कहां है, और असली leverage किसके पास है, यह मुझे साफ नहीं है
    • हमारा seed round 100% SAFE था, इसलिए VCs के पास हम पर कुछ force करने का अधिकार नहीं था
      Blog की wording थोड़ी misleading हो सकती है। François ने जिन VCs की बात की, वे शायद पहले से Quickwit में invested VCs नहीं, बल्कि company की situation जानकर eventual Series A में participate करना चाहने के लिए contact कर रहे दूसरे VCs थे
      कुल मिलाकर हमें बस लगा कि हम “crossroads” पर हैं, किसी ने हमारी बांह मरोड़कर कुछ नहीं कराया
    • अगर founder ने seed लिया है और अब product-market fit मिल गया है, repeatable revenue आना शुरू हो गया है, तो scale करने के लिए Series A raise करना स्वाभाविक नहीं है क्या?

  • मुझे Datadog सच में बहुत नापसंद है। हमारी company में Datadog नाम को गाली की तरह इस्तेमाल किया जाता है, यह बताने के लिए कि किस तरह बेचना या marketing नहीं करनी चाहिए
    2015~2018 के आसपास उनकी sales tactics से मैं पूरी तरह ऊब गया था। अंतहीन calls और emails आते थे, और आखिरी चोट AWS re:Invent में Lambda announcement थी, जब Lambda पहली बार announced हुआ था। पूरी team जल्दी Lambda आजमाने के लिए session सुनने गई, लेकिन निकला कि वह Datadog employee की presentation थी जिसमें Barr के “lambda up and running” blog की basic नकल को stand-up comedy की तरह पैक किया गया था, और presenter बार-बार जोर दे रहा था कि वह Datadog employee है। यह कुछ ऐसा था जैसे शराब पिलाकर mood अच्छा करो ताकि लोगों को लगे Datadog cool है
    गंभीरता से पूछूं तो, उसके बाद क्या company इतनी बदल गई है कि उसे फिर से consider किया जा सके?

    • इसका actual product से क्या लेना-देना है?
    • Datadog में merge होने के बाद कई outcomes संभव हैं
      जैसा मेरे पुराने manager कहते थे, P&L में अच्छे इंसान नाम का कोई line item नहीं होता, और किसी न किसी को cost चुकानी पड़ती है। इसलिए dark path की कल्पना कर के बेचैन होना आसान है
      लेकिन संभावित outcomes में से एक यह भी है कि Grafana ecosystem के खिलाफ एक viable open source competitor बन जाए, और इतना ही बाकी ecosystem को relicensing से बचाए रख सकता है। यह founders के लिए पैसे और power struggle के बिना sustainable रास्ता खोजने वाला win-win भी हो सकता है। मैं positive रहना चाहता हूं, और समय ही बताएगा
    • मेरा उल्टा experience रहा। Sales team ने हमारे time की काफी respect की
    • सहमत। जैसे ही उन्होंने हमारा domain पकड़ा, हर engineer को “Re: meeting next week” जैसे emails की बौछार मिलने लगी
    • हमें तो ऐसी शराब पिलाने वाली sales pitch कभी नहीं मिली

  • अभी-अभी Elastic से Quickwit पर शिफ्ट किया है और अब आह निकल रही है। क्या open source और object storage आधारित किसी दूसरे log database की सिफारिश कर सकते हैं?

    • Grafana Labs का Loki ठीक है: https://grafana.com/oss/loki/
      करीब 3 साल पहले product काफी तेजी से बदल रहा था और docs का बड़ा हिस्सा git में था, इसलिए minor version upgrade के समय थोड़ी परेशानी होती थी, लेकिन लगता है अब यह काफी ज्यादा mature हो गया होगा
    • SigNoz एक बार आज़माने की सलाह दूंगा
      ClickHouse पर बना है, इसलिए तेज़ और scalable है
      https://github.com/SigNoz/signoz
      वैसे, मैं SigNoz maintainer हूं
    • VictoriaLogs देखना अच्छा रहेगा: https://docs.victoriametrics.com/victorialogs/
      यह एक छोटा single executable है, default settings के साथ तुरंत चल जाता है, और सारा data एक single directory में store करता है। object storage support जल्द ही जोड़ा जाने वाला है

  • उत्सुक हूं कि Datadog इस technology से क्या बनाएगा। कुछ महीने पहले तक तो लगता था कि यह कंपनी खुद को Datadog का open source competitor बता रही थी

    • press release देखने पर संकेत मिलता है कि वे regulatory कारणों से pure SaaS इस्तेमाल न कर सकने वाले customers को self-hosted model देना चाहते हैं
      finance, insurance, healthcare जैसी regulated industries को data residency, privacy और regulatory requirements पूरी करते हुए भी पूरे system की visibility बनाए रखनी पड़ती है। अगर logs customer environment या किसी खास region में ही रहने चाहिए, तो seamless observability और insights हासिल करना मुश्किल हो जाता है, और लगता है Datadog Quickwit के जरिए कई log tools जोड़े बिना ही इस जरूरत को पूरा करना चाहता है
    • मकसद enterprise customers को और बड़ा bill भेजना है
    • बल्कि हो सकता है इसे इसलिए acquire किया हो कि इस technology से आगे कुछ और न बन पाए। क्योंकि यह existing enterprise contract renewals के लिए threat है
    • अपने moat को बचाने का इरादा काफी साफ है। नहीं लगता Datadog इसमें लगातार invest करेगा। क्योंकि यह काफी direct competitor था
      पहले acquire किए गए open source Vector का क्या हुआ? क्या वे लोग अभी भी employed हैं?
    • मेरा मानना है कि हो सकता है वे existing infra को इससे replace करके costs घटाना चाहते हों