पाइप का सपना: Yahoo Pipes का जीवन और उसका दौर

• Yahoo Pipes 2007 में Yahoo की एक छोटी टीम द्वारा बनाई गई ब्राउज़र-आधारित visual programming service थी, जो RSS, JSON, CSV और वेबपेज डेटा को खींचकर फ़िल्टर, संयोजित और प्रोसेस करके नए फ़ीड या डेटा आउटपुट के रूप में वितरित करने देती थी
• कोड लिखे बिना nodes और lines को जोड़ने का तरीका, और public, copyable, editable Pipe संरचना की वजह से non-developers भी data flow खुद बना सकते थे
• public beta के लिए लगभग 1,000 users की उम्मीद थी, लेकिन लाखों नहीं तो सैकड़ों हज़ार लोग उमड़ पड़े, और unoptimized Perl code तथा सीमित server resources की वजह से लॉन्च के तुरंत बाद भारी overload हुआ
• Pipes ने Automator, RSS, AJAX, mashup संस्कृति, Yahoo Maps और YQL जैसी धाराओं को जोड़ा, लेकिन guaranteed call volume बेचने वाला मॉडल या स्पष्ट product mission न होने के कारण Yahoo के संगठनात्मक बदलावों के बीच यह maintenance-केंद्रित सेवा बनकर रह गई
• 2015 में बंद होने के बाद भी इसने Workflow/Shortcuts, Huginn, Node-RED जैसे tools और visual programming पर चर्चा को प्रभावित किया, लेकिन आज paid API, scraping restrictions और copyright uncertainty जैसी वजहें इसी तरह की open data-composition services को बनाना कठिन बनाती हैं

---

Yahoo Pipes क्या संभव बनाता था

• Yahoo Pipes एक cloud-hosted service थी जो वेब के कई data sources को लाकर users को उन्हें फ़िल्टर, जोड़ने और बदलने की सुविधा देती थी
• users जिन कामों को बना सकते थे, उनकी रेंज रोज़मर्रा की जानकारी से लेकर news filtering तक थी
  • यह देखना कि नवीनतम भूकंप रिकॉर्ड user के पास हैं या नहीं
  • 100 news sites को जोड़कर केवल वे आइटम देखना जिनमें बिल्ली का ज़िक्र हो
  • उन sites से sports scores scrape करना जिनमें RSS feed नहीं था
  • Craigslist और अन्य rental listings से price condition और park के पास होने की शर्त पर apartment ढूँढना
  • जिन media sources को पहले से subscribe किया गया है, उनमें से गैर-रुचिकर topics की posts हटाना
• हर Pipe व्यक्तिगत होते हुए भी सार्वजनिक था, और दूसरे users उसे copy करके modify कर सकते थे
• आउटपुट RSS, JSON object, HTML, KML, XML आदि में बनाया जा सकता था, और उसे वेबपेज में embed किया जा सकता था या अन्य sites के data-processing flow से जोड़ा जा सकता था

छोटी टीम द्वारा बना cloud-based visual programming

• Pasha Sadri 2006 में Yahoo लौटने के बाद ब्राउज़र की नई interaction capabilities का उपयोग करके data को संभालने वाला tool बनाना चाहते थे
• Pipes Yahoo के भीतर स्वीकृत skunkworks प्रकृति का project था, और core team Sadri सहित 5 लोगों की थी
  • Jonathan Trevor और Ed Ho programming संभालते थे
  • Daniel Raffel product management की भूमिका में थे
  • Kevin Cheng कुछ महीनों बाद design में शामिल हुए
• users ब्राउज़र में elements को drag-and-drop करके lines से जोड़ते थे और information feeds बनाते थे
• data sources news, database output, blog posts, Atom, RDF, CSV और webpages तक फैल गए थे
• location-tagged results को Yahoo Maps filters से गुज़ारकर किसी खास क्षेत्र या park जैसे भू-तत्वों की निकटता के आधार पर सीमित किया जा सकता था

openness और copying डिज़ाइन सिद्धांत बने

• टीम ने सभी Pipes को public रखना और किसी को भी उन्हें copy व modify करने देना एक मुख्य design principle बनाया
• Sadri का मानना था कि यह openness non-developers की accessibility बढ़ाने में महत्वपूर्ण थी
• users दूसरे लोगों के Pipes देखकर सीख सकते थे, और knowledge sharing सेवा के उपयोग के तरीके में ही शामिल था
• Pipes नाम Unix की pipeline अवधारणा से आया था, जिसमें एक program का output अगले program को दिया जाता है

लॉन्च के तुरंत बाद मांग का विस्फोट और scaling समस्याएँ

• Pipes को 2006 के मध्य से 2007 की शुरुआत तक लगभग 6 महीने बनाया गया, और फरवरी 2007 में इसे quietly public beta के रूप में जारी करने की योजना थी
• टीम ने शुरुआती users की संख्या लगभग 1,000 सोची थी, लेकिन लॉन्च के तुरंत बाद सैकड़ों हज़ार लोग आ गए, और कई लोग access भी नहीं कर पाए
• सीमित servers और unoptimized code newsfeed workflows चलाने और pages serve करने का बोझ नहीं संभाल सके, जिससे system पूरी तरह overload हो गया
• उस समय एक single Pipe व्यक्तिगत या office computer पर चल सकता था, लेकिन पूरी service को cloud में बड़े पैमाने पर चलाने के लिए काफी datacenter resources चाहिए थे
• cache न होने पर हर execution में एक single Pipe दर्जनों MB से लेकर सैकड़ों MB तक डाउनलोड कर सकता था, और उस समय bandwidth अक्सर कम और महंगी थी
• Sadri ने बाद में याद किया कि अगले 6 महीनों तक उन्हें पहले से बने system को scale करके demand के बराबर लाने में समय लगाना पड़ा

Yahoo का आंतरिक माहौल और Brickhouse

• Sadri ने 2000 से 2007 तक ज्यादातर समय Yahoo में काम किया, 2005 में Google गए जहाँ उन्होंने Google Maps पर काम किया, फिर 2006 में Yahoo लौट आए
• Yahoo का Technology Development Group, यानी TechDev, Flickr की सह-संस्थापक Caterina Fake के लिए बनाया गया संगठन था और Yahoo Advanced Development Division के तहत था
• TechDev का काम search business से बँधी नहीं हुई नई दिशाओं का परीक्षण करना और entrepreneurial स्वभाव वाले कर्मचारियों को आकर्षित करना था
• Fake को Jerry Yang से Yahoo को “Flickr जैसा” बनाने का mandate मिला था, और उन्होंने छोटी, प्रभावी teams बनाकर organizational barriers घटाने की कोशिश की
• Pipes उसी धारा का शुरुआती project था, और बाद में San Francisco में बने Brickhouse के अंतर्गत आ गया
• Brickhouse को Yahoo छोड़ने की सोच रहे रचनात्मक और बेचैन talent के लिए एक “last stop” जैसा माना जाता था

Yahoo के पैमाने से बनी उम्मीद

• Yahoo की अधिकांश revenue search ads और search-licensed sites से आती थी
• Kent Brewster के अनुसार Pipes के लॉन्च के समय Yahoo homepage पर हर महीने 1.2 अरब visits आते थे, और Yahoo की पूरी site family पर प्रतिदिन 1 अरब से अधिक pageviews होते थे
• Brewster ने Yahoo homepage पर Al Gore की An Inconvenient Truth का link सुझाया था, और बाद में Al Gore ने Yahoo मुख्यालय के पास एक screening में व्यक्तिगत रूप से धन्यवाद दिया, जिससे homepage exposure के प्रभाव का पता चलता है
• Sadri के Yahoo लौटने के पीछे यह उम्मीद भी थी कि भले Yahoo उस समय Google जितनी तेजी से सफल projects न निकाल रहा हो, फिर भी Yahoo से “next big thing” आ सकती है

Automator से browser-based tool तक

• Pipes की graphic concept पर Apple के Automator का बड़ा प्रभाव था
• Automator एक macOS tool था जो users को apps या system से जुड़े actions को linear workflow में drag-and-drop करके automation बनाने देता था
• Apple ने 2004 में Automator पेश किया था, जिसका लक्ष्य ऐसे कामों को आम users के लिए सुलभ बनाना था जिनके लिए सामान्यतः coding skills चाहिए होती थीं
• Pipes ने Automator के विचार को आगे बढ़ाया, लेकिन यह native app नहीं बल्कि browser में चलता था
• Automator को Mac पर उपलब्ध कई languages और scripts से extend किया जा सकता था, लेकिन Pipes cloud-hosted service होने के कारण arbitrary code execution की अनुमति नहीं देता था और केवल सीमित feature set देता था
• उस समय cloud service में arbitrary code चलाने देने से CPU resources का अत्यधिक उपयोग हो सकता था और दूसरे resources पर दबाव पड़ सकता था

browser UI लागू करने की कठिनाई

• Pipes का केंद्र visual programming UI था, जिसमें code लिखे बिना browser के भीतर nodes और connection lines को manipulate किया जाता था
• 2005 में Google Maps द्वारा drag, zoom और real-time map updates दिखाए जाने के बाद CSS, JavaScript और AJAX के जरिए browser interaction अधिक व्यावहारिक आधार बन गया था
• टीम सदस्यों को याद है कि लॉन्च से पहले सबसे ज़्यादा समय और मेहनत node-and-line संरचना बनाने और उसे visual coding environment के रूप में व्यक्त करने में लगी
• उस समय Firefox, Opera, Safari और Internet Explorer के support level और behavior अलग-अलग थे, खासकर Internet Explorer की अपनी coding और HTML requirements थीं
• Sadri के अनुसार boxes और animated curves को कई browsers में चलाना प्रमुख technical achievements में से एक था

Mario Kart और Wii के रंग product design में दिखे

• टीम दोपहर के भोजन के बाद रोज़ Nintendo DS पर Mario Kart खेलती थी, और खेल के बाद ideas को whiteboard पर जमा करके feedback व discussions जारी रखती थी
• Raffel का मानना था कि खेलते हुए हल्के-फुल्के माहौल में feedback देना product development के लिए महत्वपूर्ण था
• बार-बार Mario Kart खेलने से Pipes design में bright और high-contrast color combinations के प्रति जागरूकता बनी रही
• नवंबर 2006 में Nintendo Wii आने के बाद टीम शुरुआती Wii के color scheme और softly glowing tones से भी प्रभावित हुई
• Apple का Aqua interface और multi-color iMac भी visual reference points थे

execution model जिसने data flow को दिखाई देने योग्य बनाया

• Pipes शुरू में linear flow था, लेकिन बाद में यह अधिक dynamic structure में विकसित हुआ जहाँ हर node program order में scripts और code चला सकता था
• इसने conditions, loops, branching, merging और output को external web services तक भेजने जैसी control structures दीं, जिससे सीमित सही, लेकिन general-purpose programming language के करीब काम संभव हुए
• link syntax color भी इस्तेमाल हुई: control structure lines grey और data flow blue में दिखते थे
• टीम ने spreadsheets को non-developers के लिए programming model का महत्वपूर्ण benchmark माना
  • spreadsheet में data दिखाई देता है और input बदलते ही result तुरंत update होता है
  • compile या log-based debugging के बिना गलत हिस्से को तुरंत देखा जा सकता है
• Pipes elements को जोड़ते ही run होकर results दिखाने वाली responsive data pipeline देता था
• screen के निचले हिस्से में optional text debugger current results को individual items के रूप में दिखाता था
• Sadri ने कहा कि Pipes में गलत program लिखना बहुत कठिन था; आप कुछ screen पर drag करते और वह तुरंत काम करने लगता तथा output देता

अंदरूनी implementation और technical debt

• Pipes को तेजी से iterate किया गया, और अनिश्चित launch timing के हिसाब से features, code और design लगातार बनते रहे
• टीम ने कभी-कभी shortcut implementations का उपयोग किया, यह सोचकर कि बाद में जब यह पूर्ण product बनेगा तो वे या कोई और इसे साफ़-सुथरा कर देगा
• Ed Ho के अनुसार underlying codebase का अधिकांश हिस्सा Perl में लिखा गया था
• Perl server-side systems और text processing में व्यापक रूप से उपयोग होता था, लेकिन Pipes जिस production scale तक पहुँचा, उसके लिए यह पर्याप्त नहीं था
• Trevor का आकलन था कि Perl code बेहद inefficient था, अच्छी तरह scale नहीं करता था, और तेज़ v1 proof of concept के लिए डिज़ाइन किया गया था

O’Reilly की सराहना और विस्फोटक beta

• 2007 की शुरुआत में, कई महीनों से बिना तय end point के development कर रही टीम को senior management ने कहा कि Pipes को 2 हफ्तों के भीतर पूरा किया जाए
• टीम को लगा कि वे 2 हफ्ते दूर नहीं थे, लेकिन अंततः उन्होंने launch कर दिया
• लॉन्च से कुछ दिन पहले Caterina Fake Sadri को Tim O’Reilly के पास demo दिखाने ले गईं
• O’Reilly ने Pipes को इंटरनेट इतिहास का milestone बताया और लिखा कि यह web programming का democratization करता है तथा users को अपने द्वारा उपभोग की जाने वाली internet information services पर बेहतर control देता है
• इस प्रशंसा से interest फट पड़ा, और Sadri को याद है कि इसने सारे servers को पिघला दिया
• launch day भर usage कम नहीं हुआ, और Yahoo datacenter team ने वे servers भी Pipes को दे दिए जो दूसरे groups को दिए जाने वाले थे
• टीम ने crash page तक तैयार नहीं किया था, और beta के बाद सबसे पहले “our pipes are clogged” जैसी पंक्ति वाला page बनाया गया

अंतहीन चलने वाले Pipe और operations का बोझ

• लॉन्च के बाद टीम को तेज़ development के दौरान अधूरे रह गए मुद्दे दिखने लगे
• users के Pipe बनाने के बाद वे बिना किसी अलग end point के लगातार चलते रहते थे
• login या manual refresh की ज़रूरत नहीं थी, और RSS readers अपने-आप updates के लिए poll करते थे
• Raffel के अनुसार “zombie” की तरह बने कई jobs ने ऐसा usage जल्दी पैदा किया जिसके बारे में यह स्पष्ट नहीं था कि वह वास्तव में सक्रिय users से आ रहा था या नहीं
• Yahoo ने और servers जोड़े, programmers ने सबसे inefficient code को optimize किया, और कुछ महीनों बाद stability में सुधार हुआ

data-composition tool के रूप में शक्ति

• Pipes 2000 के दशक के मध्य की mashup संस्कृति और RSS के स्वर्णकाल पर पनपा
• RSS blog updates, podcast episodes, search results और अन्य information units को सरल और machine-readable तरीके से वितरित करने का standard था
• Jon Udell के अनुसार RSS ने approach को standardize कर दिया था, इसलिए Pipes को बहुत सारे sources से अलग-अलग संवाद करने की समस्या कम झेलनी पड़ी
• Pipes केवल RSS ही नहीं, Atom, RDF और CSV भी संभालता था, और थोड़े प्रयास से webpages लाकर विशेष data को filter भी कर सकता था
• यह Yahoo की आंतरिक services, खासकर Flickr, से भी जुड़ता था, और बाद में Yahoo Query Language यानी YQL का समर्थन भी मिला
• YQL एक company-wide project था, जिसका लक्ष्य Yahoo के internal products और external developers को एक common endpoint से query करने देना था
• Pipes के output को pages में embed किया जा सकता था या HTML, JSON, KML, RSS, XML में बनाया जा सकता था
• external websites JavaScript के जरिए Pipe workflow query करके results भी प्राप्त कर सकती थीं

Craigslist block का मामला

• Pipes उपयोगी था, लेकिन यह अन्य sites पर बोझ भी डाल सकता था
• 2009 में Craigslist ने Pipes को block कर दिया, जब Yahoo से असंबद्ध एक developer ने Craigslist rental listings का map बनाने के लिए Pipes का उपयोग किया
• Craigslist के CEO ने दावा किया कि Pipes बहुत अधिक resources खपत कर रहा था
• इस block से इंटरनेट के कई mashups ने data खो दिया, और कुछ developers ने Craigslist को data source के रूप में हटाकर Pipe को जारी रखा
• block लगभग 2 हफ्तों बाद हटा लिया गया

business model और organizational support की कमी

• Pipes की गिरावट लॉन्च के समय से ही शुरू हो गई थी, और concept से एक पूर्ण product तक बढ़ने के लिए बड़े team और स्पष्ट mission की आवश्यकता थी
• Kent Brewster ने कहा कि conferences में लोग Pipes देखकर प्रभावित होते थे, लेकिन जब वे पूछते कि इस service के लिए कितना भुगतान किया जा सकता है, तो Yahoo को कहना पड़ता कि वह अभी उस stage पर नहीं है
• guaranteed monthly Pipe call volume खरीदने जैसा कोई product नहीं था, और ऐसी स्थिति में professionals या बड़े enterprises के लिए निवेश करना कठिन था
• Yahoo ने जनवरी 2008 में लगभग 1,000 कर्मचारियों की छंटनी की, और बाद में Microsoft के 44.6 अरब डॉलर के cash-and-stock acquisition offer को ठुकरा दिया
• उसी साल बाद में उसने workforce का 10%, लगभग 1,500 कर्मचारियों को और निकाला
• 2008 से 2017 में बिक्री और व्यावहारिक विघटन तक Yahoo के financial performance में सबसे उल्लेखनीय घटना 2012 में Marissa Mayer द्वारा Alibaba stake sale पर सहमति थी
• Yahoo ने 2005 में Alibaba की हिस्सेदारी 1 अरब डॉलर में खरीदी थी, और sale के समय उसकी value 7.6 अरब डॉलर तक पहुँच गई थी

Brickhouse और टीम का बिखरना

• Brickhouse ने 2007 में tech media की नज़र में आए कई projects बनाए
  • BravoNation: एक online system जहाँ लोग एक-दूसरे को praise दे सकते थे
  • FireEagle: location information देने और privacy को मध्यस्थता करने वाली service
  • KickStart: college students के लिए job-matching site
  • Yahoo Live: शुरुआती live webcam streaming service
• ये projects सफलता में नहीं बदल पाए
• Fake ने अप्रैल 2007 से maternity leave ली और जून 2008 में Yahoo छोड़ दिया
• Bradley Horowitz फरवरी 2008 में Google चले गए, और Salim Ismail मार्च 2008 में चले गए
• Chad Dickerson भी 2008 के मध्य में, लगभग Fake के समय, चले गए
• Brickhouse 2008 के अंत में बंद कर दिया गया
• Pipes team भी बिखर गई; कुछ Yahoo छोड़ गए और कुछ दूसरी teams में चले गए, और service support कंपनी के अंदर administrative staff को सौंप दिया गया

Pipes क्यों लंबे समय तक बचा रहा और उसका अंत

• Sadri ने Pipes के लॉन्च के कुछ महीनों बाद Polyvore की स्थापना की
• Polyvore एक ऐसा platform था जहाँ users image collages share कर सकते थे, और इसका उपयोग अक्सर fashion और interior design में होता था
• Polyvore को 2015 में Yahoo ने acquire किया, और बाद में Sadri Sutter Hill Ventures में रहे
• Ho भी लगभग Sadri के समय ही चले गए, और Cheng व Raffel Pipes लॉन्च के एक साल के भीतर चले गए
• Trevor 2010 तक Yahoo में रहे, कई teams बदलते हुए Pipes को साथ लेकर, और उनका कहना था कि इसी वजह से service अधिक समय तक जीवित रह सकी
• Trevor ने Pipes को Perl से Java में फिर से लिखा ताकि यह Yahoo की आंतरिक YQL language के साथ compatible हो सके
• उसके बाद, उनके अनुसार, बस यह सवाल बचा था कि इसे कब बंद किया जाएगा
• Yahoo ने 2015 में अंततः Pipes को बंद कर दिया
• Hacker News पर shutdown announcement thread में अब भी alternatives ढूँढने वाले users और अधूरी रह गई संभावनाओं पर अफसोस जताने वाली प्रतिक्रियाएँ थीं
• Sadri ने उस समय लिखा था, “काश Pipes containers के युग, जैसे Docker, में लॉन्च हुआ होता,” और कहा कि one-click deployment का विचार उस चीज़ से मिलता-जुलता था जिसे आज containers कहा जाता है

बाद के tools और visual programming पर प्रभाव

• Pipes ने programmers, UI designers और product लोगों की एक पीढ़ी को प्रेरित किया
• Apple द्वारा 2017 में acquired iPhone/iPad automation app Workflow बाद में बंद होकर integrate हुई और iOS, iPadOS, macOS के Shortcuts के रूप में फिर जारी हुई; इसे Pipes के सबसे निकट के tools में से एक कहा जाता है
• Huginn के निर्माता Andrew Cantino ने 2021 में Hacker News पर लिखा कि Yahoo Pipes ने Huginn बनाने को प्रेरित किया
• Node-RED 2013 में लॉन्च हुआ और इसे Pipes जैसी भावना वाला tool कहा गया
• Pipes alternatives के रूप में public और private tools की सूची बढ़ती रही
• Hacker News shutdown thread में एक user ने साझा किया कि Pipes data mashup class की नींव बन गया था और non-developer students कुछ ही घंटों में छोटे customized data apps बना सकते थे
• उस example में location entity extraction का उपयोग करके street art blog को geocode करना और enhanced feed को map view में output करना शामिल था

आज ऐसी service बनाना कठिन क्यों है

• Greg Wilson ने कहा कि visual programming tools पेशे और उद्योग-विशेष के specialized tools के रूप में व्यापक हैं, और Hollywood की उच्च-स्तरीय animation भी Yahoo Pipes जैसी data-flow blocks को जोड़ने वाली tools से बनाई जाती है
• MATLAB को भी एक mathematical modeling platform के रूप में बताया गया, जिसके दुनिया भर में लगभग 40 लाख users हैं, और उनमें से कई visual programming interface का उपयोग करते हैं
• general-purpose graphical tools के व्यापक न होने का एक कारण copyright uncertainty भी बताया जाता है
• Anil Dash ने 2007 में O’Reilly के Pipes लेख पर टिप्पणी करते हुए लिखा कि यह स्पष्ट नहीं है कि किसी feed का अस्तित्व subscription, frequent polling और republication को implicitly अनुमति देता है या नहीं
• 16 साल बाद भी वे सवाल साफ़ तौर पर हल नहीं हुए, और मुकदमेबाज़ी का जोखिम free या paid services बनाना चाहने वाली कंपनियों पर chilling effect डाल सकता है
• आज का इंटरनेट freely available information feeds को अधिक बंद कर चुका है, और सामान्य webpages लाकर data parse करने वाली scraping पर भी अधिक कड़े प्रतिबंध हैं
• Sadri ने कहा कि कई वैध API अब paid plans के पीछे रखे गए commercial API बन चुके हैं
• फिर भी Pipes के लिए लगाव बना हुआ है, और Sadri ने कहा कि वे सोचते हैं कि क्या आज के infrastructure के साथ “Pipes 2” जैसा अगली पीढ़ी का संस्करण बनाया जा सकता है

[GN⁺]

Hacker News टिप्पणियाँ

• Retool कर्मचारी के रूप में मैंने इस लेख पर काम किया, और यह लेख उस नियमित सीरीज़ का दूसरा भाग है जो डेवलपर्स पर बड़ा असर डालने वाले नए programming environment पर केंद्रित है
  ऐसे लेख हम बहुत लगन से बनाते हैं, और यह अच्छा लगता है कि हम उन मूल टीमों से सीधे बात कर पाते हैं जिन्होंने वे प्रोडक्ट बनाए जिन्होंने हम पर गहरा प्रभाव डाला
  Retool जैसे प्रोडक्ट बनाने का सबसे दिलचस्प हिस्सा यह है कि इसमें पुराने ideas का evolution दिखता है, और पुराने computing papers व products में ऐसे कई शानदार ideas मिलते हैं जो अपने समय से आगे थे या industry changes के बीच खो गए
  Retool Workflows बनाते समय Pipes हमारे लिए एक reference point था, और आगे भी कवर करने के लिए programming environment के बहुत से ideas हैं, लेकिन अगर आपका भी कोई पसंदीदा environment रहा हो तो उसके बारे में सुनना अच्छा लगेगा
  पहला deep dive लेख Visual Basic पर था: https://retool.com/visual-basic
  Retool Workflows: https://retool.com/workflows

  • कलात्मक approach अच्छी है, लेकिन Firefox 120 on Linux 6.6 में पेज लगभग काम ही नहीं करता
    कुल मिलाकर बहुत ज़्यादा अटकता है और scroll hijacking गंभीर है; Chromium कहीं ज़्यादा smooth है, लेकिन उसमें भी scroll hijacking खराब ही है
    आम तौर पर Linux को target platform के रूप में बहुत गंभीरता से नहीं लिया जाता, लेकिन programming-संबंधित content के लिए बात अलग हो सकती है
  • सोच रहा हूँ कि क्या अगले भाग का कोई hint है। क्या वह Smalltalk, HyperCard, या NeXTSTEP Interface Builder जैसा कुछ हो सकता है?
  • मूल लेख के लेखक के रूप में, इस बेहद शानदार काम के लिए धन्यवाद। मैं अभी भी और Easter eggs ढूँढ रहा हूँ
    दूसरे पाठकों से कहूँगा कि पहली स्क्रीन पर desktop में हर चीज़ पर क्लिक करके देखें
  • क्या इस सीरीज़ के लिए अलग से RSS या JSON feed है? अगर नहीं, तो कम से कम सभी भागों को एक जगह इकट्ठा करने वाला वेबपेज अच्छा रहेगा

• काम में मेरी सबसे पसंदीदा project awareness तकनीक Pipes थी, और तब जैसी तेज़ विधि मुझे अब तक नहीं मिली
  मैंने Yahoo Pipe से 10~15 Jira projects और 30~50 GitHub commit streams को जोड़कर, deduplicate करके, एक RSS feed बनाई थी, और उसे Google Reader में पढ़ता था
  इससे जल्दी पता चल जाता था कि कौन, क्या, कब और कहाँ बदल रहा है, और RSS होने की वजह से ईमेल खंगालने या अलग-अलग notification pages देखने की ज़रूरत नहीं पड़ती थी, जो बहुत शानदार था

• Yahoo Pipes और YQL की बहुत याद आती है
  2009 में मैंने jQuery के ऊपर लगभग cross-domain XHR(AJAX) plugin जैसा कुछ बनाया था, जिससे client side पर arbitrary webpages fetch किए जा सकते थे और CSS selectors से बदले गए XPath के जरिए query की जा सकती थी
  YQL JSONP लौटाता था, इसलिए उस समय सब कुछ जादू जैसा लगता था

  • आपको Node-RED आज़माना चाहिए। यह Ypipes की सारी functionality देता है और उससे भी ज़्यादा कर सकता है
    ऊपर से UI में jQuery का इस्तेमाल होना भी एक plus point है
    इसे IoT के लिए पेश किया जाता है, लेकिन यह इतना flexible है कि लगभग कुछ भी किया जा सकता है
    https://nodered.org
  • Pipes को CORS proxy की तरह भी इस्तेमाल किया जा सकता था
    उस समय मैंने सिर्फ jQuery से Spotify जैसी client app बनाई थी, जो radioblogclub और VK.com से MP3 खोजती व stream करती थी, और last.fm से metadata व similar recommendations लाती थी

• यह अब तक देखी गई animations में सबसे ज़्यादा laggy animation है। Android के Chrome, Pixel 7 पर यह पूरी तरह unusable है; क्या इसका कोई text version है?

  • M1 Pro के Chrome पर भी यह पूरी तरह unusable है
    अगर इस पेज का tab दिखाई दे रहा हो, तो Chrome की सभी windows unusable हो जाती हैं
  • ऊपर यह पहले कहा जा चुका है, लेकिन जोड़ दूँ कि Linux workstation के Firefox में यह वास्तव में बहुत खराब है
    Chromium काफी बेहतर है, लेकिन scroll hijacking अब भी गंभीर है
  • M3 Pro 64GB, नवीनतम macOS के Safari में भी यह बिल्कुल उपयोगी नहीं है
  • मुझे लगा पेज freeze हो गया है, और मैं कुछ भी ठीक से चला नहीं पाया
  • iOS पर यह lag करता है, थोड़ा zoom होता है और फिर टूटकर एक विशाल scrollable सफेद पेज बन जाता है
    अगर यह सही से काम करे तो animation काफ़ी बढ़िया लग सकती है, लेकिन अफ़सोस है कि पाठकों को दूर भगाने के लिए इतनी मेहनत लगा दी गई

• नाम से मिलते-जुलते हाल के workflow automation tools में मेरा पसंदीदा Pipedream है: https://pipedream.com/
  अगर आप Yahoo Pipes-style automation ढूँढ रहे हैं, तो इसे ज़रूर आज़माना चाहिए
  मेरा इससे कोई संबंध नहीं है, बस एक संतुष्ट user हूँ

  • मैंने अभी sign up किया है, और लगता है कि यह fly.io free tier पर चल रहे तथा Supabase free tier में data डालने वाले कुछ Docker containers की जगह ले सकता है
  • इसके मालिक tod sacerdoti इसे karma arbitrage pump की तरह इस्तेमाल कर रहे हैं, जैसे lobste.rs की लोकप्रिय पोस्ट्स scrape करके HN पर submit करना
    इसका मतलब समझने के लिए https://gerikson.com/hnlo/ पर todsacerdoti खोजें
    इन्होंने जितना HN karma जमा किया है, उससे लगता है कि यह काफ़ी अच्छी तरह काम कर रहा है
  • https://windmill.dev pipedream का self-hostable open source विकल्प है
    संदर्भ के लिए, मैं इसका founder हूँ
  • क्या इसे self-host किया जा सकता है?

• इस हफ्ते रिलीज़ हुआ open source cloud scripting engine Flowpipe भी आपकी रुचि का हो सकता है
  HCL से pipelines बनाकर आप HTTP queries जोड़ सकते हैं, containers चला सकते हैं, Lambda-compatible functions चला सकते हैं, database queries कर सकते हैं, वह भी अपनी मशीन और CLI से
  इसे cloud resources को SQL से query करने वाले open source project Steampipe के साथ भी जोड़ा जा सकता है, और इसके 139 से ज़्यादा plugins हैं
  हमारा फोकस DevOps की ओर थोड़ा ज़्यादा है, लेकिन इन चीज़ों को “pipes” कहने की प्रेरणा Yahoo Pipes से भी मिली थी
  https://github.com/turbot/flowpipe
  https://github.com/turbot/steampipe

  • मुझे Steampipe पसंद है। यह कई cloud resources पर feedback को सरल और स्पष्ट तरीके से पाने में मदद करता है
    select * from cloud इसका अच्छा सार है, और मैं Flowpipe भी देखूँगा

• कॉलेज के दिनों में dorm room selection order को randomize करने के लिए मैंने Pipes का इस्तेमाल किया था
  NY Times वेबसाइट की top headlines लेकर उन्हें hash किया, और उससे 1~6 के बीच का number deterministically निकाला
  गर्मियों में दूर रहते हुए यह बिना खुद code चलाए सभी को fair लगने वाला सबसे अच्छा तरीका था, और यह उपयोगी भी था और मज़ेदार भी

• Pipes वाकई शानदार था
  यह Web 2.0 के golden age के लिए बहुत उपयुक्त था, जब व्यापक रूप से इस्तेमाल होने वाली RSS जैसी तकनीकों की वजह से ढीली-ढाली और खुली interoperability अब भी मौजूद थी
  यह साधारण चीज़ों को जोड़कर साधारण लेकिन उपयोगी चीज़ें बनाने में प्रभावी था
  लेकिन इस deep dive लेख का यह जबरदस्त design और काम की मात्रा आखिर है क्या। Retool ने सच में बहुत मेहनत डाली है, और सोचता हूँ कि उन्होंने यह पहले क्यों नहीं किया

• यह जानने में दिलचस्पी है कि ऐसे लेख कैसे बनाए जाते हैं
  इसमें बहुत care डाली गई है, और साफ़ है कि final result तक polish करने में काफ़ी समय लगा होगा। High-quality content और polish का मतलब आम तौर पर high cost होता है
  फिर भी इसका उद्देश्य मुझे अब तक पूरी तरह समझ नहीं आया। यह marketing article जैसा नहीं लगता, लेकिन पंक्तियों के बीच का संदेश साफ़ तौर पर अगर आपको Pipes पसंद था, तो आपको Retool भी पसंद आएगा जैसा पढ़ा जा सकता है

  • मैं अभी इसे पढ़ रहा हूँ और मेरे मन में भी बिल्कुल यही सवाल है
    production quality बहुत ऊँची है, और URL भी बस retool.com/pipes है, इसलिए यह साधारण blog post जैसा नहीं लगता

• मुझे यह समझने में कुछ समय लगा कि AWS Step Functions Yahoo Pipes जैसा है
  यह उतना simple नहीं है और इसमें क्लिक करके जोड़ने वाले components भी कम हैं, लेकिन मुझे हैरानी हुई कि यह बात मुझे इतनी देर से समझ आई
  शायद कोई ज़्यादा insightful व्यक्ति बता सके कि मेरी तुलना कहाँ गलत है