अब तक GNU Parallel के बारे में क्यों नहीं पता था?

 (alexplescan.com)
9 पॉइंट द्वारा GN⁺ 2023-08-22 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • GNU Parallel, E2E टेस्ट को parallel में चलाने के लिए उपयोगी है
  • लेखक HTTP के ज़रिए चल रही live service पर लंबे समय तक चलने वाले test set के pass/fail अनुपात के आँकड़े इकट्ठा करना चाहता था
  • शुरुआत में लेखक ने bash में nested loop का इस्तेमाल करके टेस्ट चलाए, लेकिन हर टेस्ट का execution time लंबा होने की वजह से यह तरीका धीमा था
  • इसके बाद GNU Parallel का इस्तेमाल करके टेस्ट parallel में चलाए गए, और कम code में performance व functionality दोनों में बड़ा सुधार मिला
  • GNU Parallel में यह निर्दिष्ट किया जाता है कि command parallel में चलें, और placeholder ({1}, {2} आदि) को input value से बदला जाता है
  • command के लिए input, ::: operator के बाद दिया जाता है, और उसे सभी संभावित combinations के रूप में command को प्रदान किया जाता है
  • GNU Parallel, concurrency को नियंत्रित करने और resource contention से बचने के लिए options देता है, जैसे concurrent jobs की संख्या सीमित करना या हर job की शुरुआत में delay देना
  • यह tool job completion result के साथ CSV file output करने की सुविधा भी देता है: duration, exit code, और captured stdout/stderr सहित
  • लेखक GNU Parallel के लेखक Ole Tange की किताब की सिफारिश करता है, ताकि tool की और गहरी क्षमताओं को समझा जा सके: जैसे SSH का उपयोग करके दूसरे hosts पर jobs बाँटना, job completion time मॉनिटर करना, fail होने की संभावना वाली jobs को retry करना, बीच में रुके parallel execution को resume करना, या CPU usage के आधार पर job concurrency को सीमित करना

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-08-22
Hacker News राय
  • GNU Parallel की उपयोगिता और सीमाओं की ओर इशारा करते हुए, YSH, Nushell, Fish जैसे विकल्प भी सुझाए गए
  • एक उपयोगकर्ता की राय कि parallel फीचर्स के उपयोग के मामले में मौजूदा कंप्यूटरों की सीमाएँ हैं, और अधिक cores तथा local content-addressed memory की आवश्यकता का सुझाव
  • कई उपयोगकर्ताओं ने GNU Parallel के साथ अपने सकारात्मक अनुभव साझा किए, जैसे test data generation, data transfer, HPC में बड़े पैमाने के काम, और हल्की data dependency वाले pipelines
  • कुछ उपयोगकर्ताओं ने GNU Parallel की तुलना xargs, task spooler जैसे अन्य tools से की; उनका कहना था कि कुछ खास कामों में GNU Parallel उपयोगी है, लेकिन speed के मामले में यह धीमा हो सकता है
  • कुछ उपयोगकर्ताओं ने GNU Parallel से जुड़ी citation समस्या पर चिंता जताई, जिसमें लेखक द्वारा tool को cite करने या भुगतान करने के अनुरोध का उल्लेख था
  • उपयोगकर्ताओं ने ऐसे use cases साझा किए जहाँ GNU Parallel ने बहुत समय बचाया, जैसे बड़ी संख्या में jpeg images को छोटे webp files में batch compress करना
  • एक उपयोगकर्ता ने CI/CD pipeline tasks में उपयोग के लिए GNU Parallel के shell script version का उल्लेख किया
  • एक उपयोगकर्ता ने PowerShell के ForEach-Object cmdlets में मौजूद -parallel parameter के साथ अपना अनुभव साझा किया, और command-line tools के जरिए parallelization की उपयोगिता पर जोर दिया