ClickStack – ClickHouse और HyperDX से बना ओपन सोर्स Datadog विकल्प

 (clickhouse.com)
4 पॉइंट द्वारा GN⁺ 2025-06-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ClickStack ClickHouse और HyperDX पर आधारित एक ओपन सोर्स Observability प्लेटफ़ॉर्म है, जो logs, metrics, traces और session replay को एक ही जगह एकीकृत रूप से संभालता है
  • यह logs और traces की खोज व visualization को ClickHouse cluster पर आसान और तेज़ बनाता है, और किसी भी schema पर बिना अतिरिक्त काम के लागू किया जा सकता है
  • सहज search, event-आधारित alerts और dashboard फीचर्स देकर यह engineers को समस्याएँ जल्दी पहचानने और उन पर प्रतिक्रिया देने में मदद करता है
  • OpenTelemetry standard का डिफ़ॉल्ट समर्थन करता है और विभिन्न languages और platforms के SDK integration उपलब्ध कराता है
  • मौजूदा commercial solutions की तुलना में यह सस्ता है और configuration सरल है, और कई observability tools के बीच बार-बार जाने की बजाय एक ही platform पर पूरा workflow संभालता है

मुख्य फ़ीचर

  • logs, metrics, session replay और traces की correlation analysis और search एक ही जगह की जा सकती है
  • ClickHouse के मौजूदा schema का वैसे ही उपयोग करता है और इसकी schema-agnostic architecture है
  • तेज़ search speed और visualization optimization की वजह से यह बड़े पैमाने के data के लिए भी उपयुक्त है
  • full-text और attribute search दोनों समर्थित हैं, और SQL का उपयोग वैकल्पिक है
  • event बदलाव के रुझान का विश्लेषण, आसान alert configuration, और dashboard बनाना संभव है
  • Native JSON string query समर्थन
  • real-time log और trace tail फीचर से नवीनतम events देखे जा सकते हैं
  • OpenTelemetry integration और APM (performance monitoring) वातावरण का समर्थन

डिप्लॉयमेंट और शुरुआत का तरीका

  • ClickStack package में ClickHouse, HyperDX, OpenTelemetry Collector और MongoDB शामिल हैं, इसलिए एकीकृत deployment संभव है
  • HyperDX UI को browser में एक्सेस किया जा सकता है
  • यह ClickHouse Cloud वातावरण के साथ भी जुड़ सकता है और विभिन्न environments में आसानी से deploy किया जा सकता है

एप्लिकेशन instrumentation और integration

HyperDX के साथ logs, metrics, traces और session replay data एकत्र करने के लिए application से telemetry data को HyperDX पर भेजना होता है

  • SDK और integration options उपलब्ध हैं: browser, Node.js, Python आदि विभिन्न languages/environments के लिए SDK हैं, इसलिए आसानी से जोड़ा जा सकता है
  • OpenTelemetry standard support: Kubernetes, JavaScript, Python, Java, Go, Ruby, PHP, .NET, Elixir, Rust आदि कई languages और runtimes के साथ compatibility
  • OpenTelemetry collector डिफ़ॉल्ट रूप से http://localhost:4318 पते पर उपलब्ध होता है

योगदान कैसे करें

  • PR submit करना, issue दर्ज करना, documentation सुधारना, open issues पर वोट करना, और नए use cases देना जैसे कई तरीकों से community contribution का स्वागत है

विकास की प्रेरणा और दर्शन

HyperDX टीम का लक्ष्य हर engineer को production environment की telemetry का उपयोग करके समस्याएँ जल्दी हल करने में सक्षम बनाना है

मौजूदा मुख्य समस्याएँ:

  • production observability tools महंगे हैं और data scale बढ़ने के साथ लागत भी बढ़ती है
  • configuration और उपयोग की कठिनाई ज़्यादा है, इसलिए SRE और विशेषज्ञों की ज़रूरत पड़ती है
  • logs, session replay, APM जैसे अलग-अलग फीचर अलग बँटे हुए हैं, इसलिए जानकारी को जोड़कर देखना मुश्किल होता है

इन्हीं सीमाओं को दूर करने के लिए ClickStack और HyperDX को ओपन सोर्स के रूप में उपलब्ध कराया गया है

  • HyperDX का अधिग्रहण ClickHouse ने किया है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-06-07
Hacker News राय

  • यह जिज्ञासा कि पहले से मौजूद Grafana की जगह कस्टम फ्रंटएंड क्यों बनाया गया

  • DataDog की कीमत महंगी होने के कारण HyperDX वाकई बहुत आकर्षक लग रहा है, यह अनुभव साझा किया गया। उपयोगकर्ता ने बताया कि उनका LogLayer(https://loglayer.dev) TypeScript के लिए एक structured logger है, जो कई तरह के loggers और cloud services (जैसे DataDog) पर logs भेज सकता है। उन्होंने राय दी कि HyperDX के लिए integration फीचर विकसित कर रहे हैं और जल्द ही रिलीज़ करेंगे। HyperDX और LogLayer को जोड़ने के तरीके पर दस्तावेज़ का लिंक अपनी साइट के "integrations" सेक्शन में जोड़ने की इच्छा भी जताई, और संबंधित PR लिंक(https://github.com/hyperdxio/hyperdx-js/pull/184) साझा किया

    • VictoriaLogs पर logs भेजने की क्षमता भी जोड़ने का अनुरोध, और विभिन्न data ingestion protocols के दस्तावेज़ लिंक(https://docs.victoriametrics.com/victorialogs/data-ingestion/) के साथ यह सुझाव दिया गया
    • LogLayer और HyperDX integration फीचर शानदार लग रहा है, इसलिए इसे खुद देखकर जांचने की सकारात्मक प्रतिक्रिया दी गई

  • HyperDX को वास्तविक production में इस्तेमाल करने और Clickhouse integration व cost efficiency से बहुत संतुष्ट होने की बात साझा की गई, साथ ही यह सवाल पूछा गया कि क्या HyperDX से ClickStack में migration की तैयारी करनी होगी

    • production user की प्रतिक्रिया हमेशा बहुत मूल्यवान लगती है, यह खुशी जताई गई। समझाया गया कि HyperDX बिल्कुल बंद नहीं होगा और marketing page पर भी अब भी stack के core के रूप में जोर दिया जा रहा है। आगे HyperDX v2 और ClickStack pattern पर अधिक ध्यान देने की योजना है, लेकिन HyperDX स्वयं end-user experience पर केंद्रित रहेगा। अतिरिक्त रूप से बताया गया कि ClickHouse-आधारित core की flexibility और performance का अधिक उपयोग करना ही ClickStack का लक्ष्य है। open source और cloud, दोनों में बदलाव को smooth बनाने के लिए engineering पर ध्यान दिया जा रहा है। साथ में यह भी कहा गया कि हाल में Wi-Fi अस्थिर होने से जवाब देर से दिया गया

  • यह राय साझा की गई कि Otel के traces और logging ठीक हैं, लेकिन Otel metrics फीचर बहुत जटिल तरीके से डिज़ाइन किया गया लगता है। पूछा गया कि क्या ClickStack statsd data (खासकर Datadog के tagging extensions सहित) ingest कर सकता है, traces/logs/metrics के unified service tagging और linking की सुविधा है या नहीं, UI में संबंधित data linking है या नहीं, Elixir SDK hyperdx library क्यों इस्तेमाल करता है, और क्या Notebooks फीचर roadmap में है

    • अच्छे सवाल कहकर सहमति जताई गई, साथ ही यह भी माना गया कि OTel metrics standard बहुत विविध हो गया है और यह कुछ हद तक निराशाजनक है। बताया गया कि OTel collector statsd सहित कई formats को collect करके सीधे ClickHouse में लिख सकता है, इसलिए statsd का उपयोग संभव है(statsdreceiver documentation link)। logs/traces को trace/span id और resource attributes के जरिए जोड़ा जा सकता है, और k8s workloads में metrics तक correlation भी उपलब्ध है। अभी metrics correlation के लिए exemplars फीचर समर्थित नहीं है, लेकिन यह भविष्य की योजना में है। Elixir SDK को user environments के हिसाब से support देने की दिशा में चुना गया; library स्वतंत्र रूप से विकसित होती रही है और आगे आधिकारिक OTel SDK पर जाने पर विचार हो रहा है। Deno के लिए OTel integration को सीधे तेज़ी से अपनाने का उदाहरण भी साझा किया गया। Notebooks जल्द experimental स्थिति में जारी होने वाला है और कई workflows को सक्षम करेगा। और अधिक user feedback में रुचि भी जताई गई
    • यह पूछा गया कि Otel metrics जटिल क्यों लगता है, और साथ ही बताया गया कि statsd या DD agent जैसी मौजूदा metrics pipelines को आसानी से बदले बिना भी काम चल जाना एक बड़ा लाभ है

  • यह राय दी गई कि Signoz की तरह यह भी ClickHouse-आधारित है और open source तथा cloud versions देता है, इसलिए HyperDX से समान लगता है; साथ ही अंतर क्या है, यह जानने की जिज्ञासा जताई गई। UI भी मिलता-जुलता दिखने की बात कही गई

    • Signoz के साथ सीधी तुलना पर और सुनने की अतिरिक्त जिज्ञासा व्यक्त की गई

  • Kibana की जगह लेने वाले नए logging solution की तलाश की जा रही है, और ClickHouse का अच्छा अनुभव होने के कारण HyperDX के UI में रुचि है। बताया गया कि वर्तमान log pipeline Kubernetes पर Vector है, और Vector OTel sink (beta) को support कर रहा है, इसलिए data JSON होने की स्थिति में logs भेजने का सबसे अच्छा तरीका क्या होगा, इस पर विचार साझा किया गया। साथ ही जोर दिया गया कि यह TB स्तर का बड़े पैमाने और high-performance traffic वाला वातावरण है

    • ClickHouse बड़े पैमाने की processing और high throughput के लिए विशेष रूप से उपयुक्त है। Vector से सीधे ClickHouse में लिखने के उपयोग के उदाहरण (जैसे Anthropic की प्रस्तुति) का उल्लेख किया गया, और कहा गया कि इसे आज़माकर राय दें तो मदद की जा सकती है
    • यह राय दी गई कि data transfer format को otel के रूप में standardize करना भविष्य के लिए रणनीतिक रूप से अच्छा विकल्प है, और इससे दो चिंताएँ कम होती लगती हैं

  • Signoz और HyperDX (या ClickHouse) के बीच अंतर क्या है, यह जिज्ञासा जताई गई; यह भी देखा गया कि दोनों YC से जुड़े हैं और ClickHouse का उपयोग करते हैं

    • नीचे कही गई बात की तरह, सबसे बड़ा अंतर यह है कि यह ClickHouse टीम द्वारा आधिकारिक रूप से विकसित 1st-party product है। यह लगभग सभी ClickHouse instances पर लचीले ढंग से काम करता है और custom schema भी support करता है। यह high-performance tuning या कुछ विशेष बड़े पैमाने के environments (जैसे Anthropic) में महत्वपूर्ण है। यदि पहले से ClickHouse data मौजूद हो, तो इसे अपनाना बहुत आसान है। यह otel को ज़बरदस्ती नहीं थोपता, बल्कि Vector, Cribl, S3, custom scripts आदि भी native रूप से support करता है। Telemetry wrangling (high-cardinality event deltas, ML-आधारित automatic log/span clustering आदि) फीचर्स भी हैं, जिससे data exploration आसान हो जाता है। session replay फीचर के जरिए clicks से लेकर infra metrics तक व्यापक integration मिलता है। आंतरिक ClickHouse Cloud monitoring में 100PB+ scale पर इसका संचालन हो रहा है और यह किसी खास user issue तक end-to-end समझने की लचीलापन देता है। दार्शनिक रूप से यह माना गया कि सामान्य "3 pillars"(logs/metrics/traces) को अलग रखने के बजाय, एकीकृत/केंद्रीकृत clue exploration tool बनाना वास्तविक debugging के लिए अधिक उपयुक्त है
    • यह स्पष्ट किया गया कि “You” से मतलब ClickHouse है

  • साइन अप के बाद UI में "Was this search result helpful?" widget खोज शुरू करने से पहले ही दिख रहा था, जिससे UX भ्रमित लगा। Hide बटन दबाने पर feedback button दिखने लगता है, और फिर feedback दबाने पर यह वापस पहले जैसा हो जाता है—ऐसा bug पाया गया। कुल मिलाकर font monospace है और अक्षर भी छोटे हैं; मोटा सफेद और चमकीला हरा रंग dark background के साथ अच्छा मेल नहीं खाते, ऐसा आकलन किया गया। system font में बदलने पर भी बहुत सुधार नहीं लगा, इसलिए अधिक पारंपरिक UI style की सिफारिश की गई। पढ़ने में कठिन design के कारण इसका उपयोग करने में हिचक पैदा होने की प्रतिक्रिया दी गई

  • यह पूछा गया कि क्या Clickhouse इस stack का एकमात्र stateful तत्व है। Rust-आधारित OTEL collector Rotel(https://github.com/streamfold/rotel) के साथ compatibility में रुचि दिखाई गई। साथ ही कहा गया कि Datadog के पास अपने स्वयं के विकसित, अधिक बेहतर performance वाले OTEL collector replacement भी हैं

    • Rotel को lambda जैसी lightweight environments में OTel integration के लिए उपयुक्त माना गया। यह भी कहा गया कि HyperDX का OTel ingest endpoint पहले से standard है, इसलिए संभवतः यह सीधे compatible होगा। Rotel developers के साथ संवाद होने की बात भी कही गई, और यह जोर दिया गया कि Clickhouse support हाल में जुड़ने से पूरी कहानी और मजबूत हो गई है