Hydro: Rust के लिए distributed programming framework

 (hydro.run)
1 पॉइंट द्वारा GN⁺ 2025-02-02 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • परिचय

    • Hydro, Rust के लिए एक high-level distributed programming framework है.
    • Hydro, scalable distributed services को तेज़ी से लिखने में मदद करता है, और जैसे Rust memory safety की गारंटी देता है, वैसे ही यह distributed safety की गारंटी देता है.
    • यह test mode या deployment mode में distributed programs को आसानी से चलाने के लिए support देता है.

  • Hydro की विशेषताएँ

    • Hydro एक distributed dataflow language है जो high-performance single-threaded DFIR runtime पर चलती है.
    • पारंपरिक architecture जैसे actor या RPC से अलग, यह एक choreographic API देता है, जिससे कई locations में फैले computation को describe किया जा सकता है.
    • Hydro Deploy के साथ integrated होने के कारण local या cloud में distributed Hydro programs को आसानी से deploy और run किया जा सकता है.

  • compilation और deployment

    • Hydro, two-stage compilation approach का उपयोग करता है.
    • Hydro programs standard Rust programs होते हैं, जो developer के laptop पर deployment plan generate करते हैं.
    • इस plan को DFIR में compile किया जाता है, जिससे distributed system की हर machine के लिए अलग binary बनती है.
    • generated plan और cloud resource specifications का उपयोग करके इसे cloud में deploy किया जाता है.

  • उपयोग के मामले

    • Hydro का उपयोग 2-phase commit और Paxos जैसे high-performance distributed systems के implementation में किया जाता है.
    • ऐसे protocols को reusable components के रूप में उपलब्ध कराने वाली distributed systems standard library विकसित की जा रही है.

  • ध्यान देने योग्य बातें

    • Hydro का documentation अभी भी काम के दौरान है, और यदि कोई सवाल या bug हो तो Hydro GitHub repository में issue दर्ज करने की सलाह दी जाती है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-02-02
Hacker News राय
  • YouTube पर Hydro प्रोजेक्ट के बारे में एक अच्छा व्याख्यान है
    • यह DFIR पर केंद्रित है
  • अगर वास्तविक उपयोग के उदाहरण हों तो समझने में मदद मिलेगी
  • अगर इसमें एक intermediate language और अपना runtime है, तो क्या इससे Rust के फायदे खो जाते हैं, यह सोचने वाली बात है
    • मैं ऐसी भाषा की उम्मीद कर रहा था जो Rust binaries को एकसमान और कार्यात्मक distributed system में orchestrate करे, लेकिन यह DFIR लिखने जैसा लगता है
  • यह प्रोजेक्ट सच में बहुत दिलचस्प है
    • जानना चाहूँगा कि क्या इस क्षेत्र से परिचित कोई व्यक्ति पहले के उदाहरण बता सकता है
    • यह भी जानना चाहूँगा कि क्या लोगों ने दूसरी भाषाओं में ऐसे समान frameworks बनाए हैं
    • कुछ लोग dataflow पर काम कर चुके हैं, और मुझे Materialize बहुत शानदार लगा था
    • मुझे Kafka Streams इस्तेमाल करने का अनुभव है, और लगा था कि इसे एकीकृत करने वाला framework चाहिए
  • प्रयास अच्छा है, लेकिन मैं चाहता हूँ कि Rust ecosystem में "akka.rs" आए
  • dataflow के नज़रिए से यह Timely की तुलना में कैसा है, यह जानना चाहूँगा
    • क्या IR में loop जैसे control flow को व्यक्त किया जा सकता है, यह जानना चाहूँगा
  • क्या हर "process" को अलग binary के रूप में deploy किया जाता है और अलग process के रूप में चलाया जाता है?
    • अगर ऐसा है, तो लगता है कि overhead बढ़ने की समस्या होगी
    • तेज़ communication कैसे होता है, यह जानना चाहूँगा
    • क्या कोई तेज़ shared memory IPC mechanism है, यह जानना चाहूँगा
    • async के साथ integration का कोई ज़िक्र नहीं दिखता
    • networking संभालने वाला ज़्यादातर code async में बदल चुका है
    • networking की ज़रूरत वाली कई चीज़ों के लिए अच्छा async library ढूँढना मुश्किल है
  • यह सच में बहुत शानदार दिखता है, खासकर deployment वाला हिस्सा अनोखा लगता है
    • और अधिक विस्तृत documentation की उम्मीद है
    • खासकर महत्वपूर्ण Streams, Singletons, Optionals वाले हिस्से के बारे में जानना चाहूँगा
  • programming model पसंद आया
    • क्या application को rewrite करते समय network optimization किया जाता है, यह जानना चाहूँगा
    • network bottleneck और congestion को कैसे संभालते हैं, यह जानना चाहूँगा
  • data pipeline में Ballista इस्तेमाल करने की तुलना में यह कैसा है, यह जानना चाहूँगा
    • बाद वाला Apache Arrow और Apache Datafusion पर बना है, इसलिए उसे कई फायदे मिलते हैं