घरेलू BGP: घर पर DIA लाइन लगाना

 (aaka.sh)
1 पॉइंट द्वारा GN⁺ 2024-12-09 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AP Foundation के AS54316 इंफ्रास्ट्रक्चर में resilience जोड़ने के लिए, NYC डेटा सेंटर के बाहर Connecticut स्थित घर में हमेशा चालू रहने वाला उपकरण रखना था, और सबसे बड़ी चुनौती BGP-सक्षम कनेक्शन को घर तक लाना था
  • Verizon FiOS और Optimum जैसे सामान्य FTTH कनेक्शन BGP peering नहीं देते थे, और VPN workaround संभव था, लेकिन SLA की कमी और स्थानीय utility pole इंफ्रास्ट्रक्चर का साझा failure point बना रहता था
  • विकल्प था DIA लाइन, जिसमें central office/POP router तक dedicated fiber pair जोड़ी जाती है, और Verizon Enterprise ने बताया कि घर पहले से “on net” है, इसलिए बिना construction fee के 3 साल के contract और monthly billing पर सेवा मिल सकती है
  • इंस्टॉलेशन में लगभग 2 महीने, 5 on-site visits, Verizon engineers/technicians 10 से अधिक, police attendance, और लगभग 2.5 mile fiber काम लगा; अंतिम संरचना Verizon CO ↔ VzT NID ↔ VzB NID ↔ router बनी
  • संचालन शुरू होने के बाद port cost पर लगभग 30% Federal Universal Service Fund टैक्स लगा, और 100% SLA के बावजूद कुछ क्षणिक flaps और लगभग 30 मिनट का outage हुआ

घर पर BGP के लिए आवश्यकताएँ

  • AS54316 AP Foundation सेवाओं का आधार नेटवर्क है, और मौजूदा इंफ्रास्ट्रक्चर NYC Telehouse Chelsea के NetActuate डेटा सेंटर में था
  • लक्ष्य यह था कि किसी दूसरे डेटा सेंटर में अतिरिक्त colocation लेने के बजाय, Connecticut स्थित घर की खाली जगह का उपयोग करके हमेशा चालू रहने वाला physical infrastructure बनाया जाए
  • हमेशा चालू रहने वाले उपकरणों के लिए cooling, power, security, और network connectivity चाहिए थी, जिनमें network connectivity वह मुख्य काम बना जिसमें 2 महीने से अधिक लगे
  • अपना IPv4/IPv6 address space ARIN से आवंटित था, और IP transit provider के साथ BGP peering के जरिए उसे AS54316 से announce किया जाता था
  • डेटा सेंटर में colocation provider या cross-connect के माध्यम से GTT, Cogent, HE जैसे global providers से जुड़ना आसान होता है, लेकिन residential environment में परिस्थितियाँ काफी अलग थीं

FTTH और VPN workaround की सीमाएँ

  • घर वाले क्षेत्र में Verizon FiOS और Optimum, ये दो FTTH providers थे, और व्यक्तिगत उपयोग के लिए पहले से FiOS इस्तेमाल किया जा रहा था
  • दोनों providers BGP peering को आम तौर पर बड़े enterprise ग्राहकों की सुविधा मानते थे, और residential service में यह उपलब्ध नहीं थी
  • Neptune या Vultr जैसे IP transit देने वाले VPS provider के साथ VPN के जरिए BGP peering करना संभव था
  • लेकिन अधिकांश FTTH providers SLA नहीं देते थे, इसलिए बुनियादी कनेक्शन गुणवत्ता की गारंटी पाना कठिन था
  • Verizon FiOS और Optimum दोनों लेकर VPN-आधारित multihome setup बनाया जा सकता था, लेकिन दोनों providers मुख्यतः स्थानीय utility poles पर टंगे aerial infrastructure का उपयोग करते थे, इसलिए पेड़ गिरने जैसी लाइन बाधाओं के प्रति दोनों एक साथ संवेदनशील हो सकते थे

DIA क्या अलग देता है

  • विकल्प था DIA (dedicated internet access) या dedicated ethernet
  • सामान्य non-business FTTH/FTTB में PON जैसी तकनीक के माध्यम से पड़ोस के कई उपयोगकर्ता ISP central office तक backhaul link साझा करते हैं
    • ISP एक fiber strand और passive optical splitter की मदद से कई घरों/इमारतों को सेवा दे सकता है
    • उपयोगकर्ता 1Gbps symmetric plan लें तब भी यह संरचना ऐसी नहीं होती कि सभी ग्राहक एक साथ पूरा 1Gbps उपयोग कर सकें
  • DIA में ISP central office router से इमारत तक dedicated fiber pair देता है और bandwidth, uptime, latency, jitter, तथा repair time की गारंटी देता है
  • यह कनेक्शन ग्राहक router और ISP POP router के बीच लंबी optical link जैसा होता है, इसलिए लागत के कारण इसका उपयोग मुख्यतः बड़े enterprises करते हैं
  • इस मामले में महत्वपूर्ण अंतर यह था कि DIA provider ग्राहक के साथ BGP peering की अनुमति देता था

provider चयन और लागत संरचना

  • स्थानीय इंफ्रास्ट्रक्चर वाले Verizon Enterprise और Lightpath स्वाभाविक विकल्प थे, और AT&T, Cogent, Zayo, Crown Castle, Lumen जैसे बड़े connectivity providers से भी संपर्क किया गया
  • provider जाँच के दौरान कई सीमाएँ सामने आईं
    • कुछ providers ने residential zone में building connection देने से ही मना कर दिया
    • कुछ ने ऊँचा monthly minimum, construction fee, और लगभग 1 साल का build timeline माँगा
    • एक provider ने निकटतम “live” bundle तक 1,148 फुट fiber बिछाने के लिए 128,000 डॉलर का quote दिया
    • कुछ providers ने last-mile physical infrastructure तीसरे पक्ष के local exchange carrier को सौंप रखा था, जिससे repair के समय coordination और responsibility dispute हो सकता था
    • लगभग सभी providers ने 3 साल का contract माँगा
  • अंतिम चयन Verizon Enterprise था
    • शर्त यह थी कि घर पहले से “on net” है, इसलिए अलग construction fee नहीं लगेगी
    • यह एकमात्र provider था जिसने अपनी pricing वेबसाइट पर पारदर्शी तरीके से प्रकाशित की थी
  • Verizon की उदाहरण pricing line speed के अनुसार इस प्रकार थी
    • 50Mbps committed: $455/माह
    • 100Mbps: $661/माह
    • 1Gbps: $999/माह
    • 5Gbps: $2,099/माह
    • 10Gbps: $3,099/माह
  • 50Mbps पर $455/माह के हिसाब से वास्तविक इंटरनेट “access” लागत लगभग $90 थी, और बाकी लगभग $365 physical layer port लागत थी
  • लाइन में SLA, BGP session, dual-stack connectivity शामिल थी, और 95th percentile billing भी संभव थी, लेकिन 100Mbps committed और 1Gbps burstable कॉन्फ़िगरेशन 1Gbps committed से भी महँगा पड़ता था, इसलिए उपयोग-परिदृश्य के अनुरूप नहीं था
  • service configuration के दौरान 100base-FX, 1000base-LX, 1000base-T, single-mode, multi-mode जैसी network handoff प्रकारों में से चुनना संभव था

इंस्टॉलेशन प्रक्रिया: साइट सर्वे से fiber splice तक

  • इंस्टॉलेशन लगभग 2 महीने चला, इसमें Verizon के 10 से अधिक engineers/technicians, 5 visits, और police attendance शामिल रहे
  • Verizon के अंदर का काम physical layer संभालने वाले Verizon Telecom और routing layer संभालने वाले Verizon Business में बँटा हुआ था, और अधिकांश on-site काम Verizon Telecom ने किया
  • activation प्रक्रिया में विदेश स्थित एक dedicated order manager ने internal coordination और इंस्टॉलेशन अवधि के मुख्य संपर्क बिंदु की भूमिका निभाई

  • पहली visit: साइट सर्वे

    • Verizon Telecom के High Capacity Outside Plant Engineer ने साइट सर्वे किया
    • सड़क के utility poles, घर का service entrance point, और server rack की जगह देखी गई, साथ ही fiber conduit requirements और power/rack space आवश्यकताओं की जानकारी दी गई
    • बताया गया कि Verizon के उपकरणों के लिए 4U rack space चाहिए होगा
    • मुख्य सड़कों के नीचे बड़े fiber bundles बिछे थे, कुछ सड़कों में 800 से अधिक strands थीं, और भविष्य की परियोजनाओं के लिए dark fiber बची हुई थी
    • क्योंकि घर मुख्य सड़क के ठीक पास था, योजना यह बनी कि कुछ सौ फुट नई fiber बिछाकर बड़े bundle से जोड़ा जाए; एक सिरा Verizon के local central office के switch port से और दूसरा server rack से जोड़ा जाए
    • सर्वे के बाद लगभग 1.5 महीने आगे की firm order commitment date तय हुई, और उपयोगकर्ता ने power, service entrance, server rack, और network equipment तैयार करने के बाद “site ready” certification जमा किया

  • दूसरी visit: fiber drop

    • कुछ हफ्तों बाद 4 technicians और bucket truck आए और utility pole से नए server rack तक fiber cable डाली गई
    • स्थानीय कानून की एक विशेषता के कारण police attendance भी जरूरी थी
    • टीम ने rack में 2U fiber patch panel लगाया
    • fiber cable के दोनों सिरों को उसी समय terminate नहीं किया गया; अलग fusion splice टीम बाद में pole और patch panel पर splice करने वाली थी
    • लगाई गई cable Corning की 12-strand single-mode cable थी, और मौजूदा FiOS की 1-strand cable के विपरीत यह सीधे pole से rack तक आई

  • तीसरी visit: पहला NID इंस्टॉल

    • उसी हफ्ते बाद में एक दूसरे technician ने NID (Network Interface Device) इंस्टॉल किया, और इस उपकरण ने 1U rack space लिया
    • NID Verizon service का demarcation point है, जहाँ Verizon की जिम्मेदारी और ग्राहक की जिम्मेदारी अलग होती है
    • Verizon NOC engineer इस उपकरण पर remote diagnostics चला सकता था
    • इंस्टॉल किया गया hardware Canoga Perkins 9145E था
    • telecom/NNI side पर 40km 1310nm 1.25Gbps single-mode SFP transceiver लगाया गया
    • user/UNI side पर इसी तरह का 10km transceiver लगाया गया
    • इंस्टॉल किया गया मॉडल single internal PSU वाला था; निर्माता के पास dual PSU model था, लेकिन बताया गया कि वह Verizon certified नहीं है
    • technician ने कहा कि अपने करियर में वह पहली बार किसी घर में NID इंस्टॉल करने आया है

  • चौथी visit: fiber fusion splice टीम

    • कुछ हफ्तों बाद Verizon ने बताया कि दो splice workers manhole में local central office से घर तक fiber pair जोड़ रहे हैं
    • क्योंकि साइट पर मौजूद dark fiber दोनों सिरों से जुड़ी नहीं थी, इसलिए शहर के कई bundles के बीच fiber pairs को fusion splice करके अंतिम path बनाना पड़ा
    • इसके बाद सड़क के अंत में कई पुलिसकर्मी और Verizon के दो ट्रक दिखाई दिए, और अगले दिन घर के अंदर patch panel को पहले डाली गई fiber cable से splice किया गया
    • टीम ने घर के अंदर fusion splice किया, जबकि एक अन्य technician ने pole side splice का काम किया
    • अंतिम splice के बाद OTDR test के अनुसार local central office से patch panel तक कुल दूरी लगभग 2.5 mile से अधिक थी
    • यह काम पूरा होने के बाद भी लाइन अभी online नहीं हुई थी, और एक अंतिम visit की जरूरत थी

Verizon Telecom और Verizon Business का dual NID

  • physical layer infrastructure इंस्टॉल और test हो चुका था, लेकिन IP layer के लिए Verizon Business का एक अलग NID और चाहिए था
  • अंतिम technician ने Ciena 3903 और 1310nm single-mode optics इंस्टॉल किए
  • Verizon Business के दृष्टिकोण से यह NID पहले NID जैसी ही भूमिका निभाता था
  • Verizon Telecom, Verizon Business को EVC प्रदान कर रहा था, और अंतिम ग्राहक संबंध Verizon Business के अधिक निकट था
  • अंतिम कनेक्शन संरचना इस प्रकार थी
    • Verizon CO ↔ लगभग 2.5 mile fiber ↔ VzT NID ↔ VzB NID ↔ ग्राहक router

activation और वास्तविक संचालन के बाद सामने आए बिंदु

  • अंतिम NID इंस्टॉल और testing के बाद, कनेक्शन चालू करने के लिए IP जानकारी और BGP session peering विवरण प्रदान किए गए
  • activation चरण में Verizon के कुछ internal infrastructure भी सामने आए
    • DWDM/ROADM के लिए Fujitsu 9500 उपयोग में था
    • gateway/peering router के लिए Juniper MX960 उपयोग में था
    • peering router local central office में नहीं, बल्कि NYC में लगभग 30–40 mile दूर स्थित था
  • कुछ महीनों के संचालन के बाद लागत और संचालन संबंधी सावधानियाँ भी स्पष्ट हुईं
    • port cost पर लगभग 30% Federal Universal Service Fund टैक्स अतिरिक्त जुड़ता था
    • यह टैक्स हर quarter बदलता है, और जिन लाइनों पर interstate traffic महत्वपूर्ण हो, उनकी लागत विश्लेषण में इसे शामिल करना चाहिए
  • Verizon helpdesk का बड़ा हिस्सा overseas operations में होने से intermittent समस्याओं का diagnosis कभी-कभी कठिन था
  • बड़े मुद्दों में escalation अपेक्षाकृत आसान थी, और trouble ticket खुलते ही automated system NID/router की ping reachability तथा BGP session status जाँचता था
  • SLA भले 100% कहा गया हो, लेकिन पूर्णता की उम्मीद करना कठिन था; कुछ महीनों में कई बार क्षणिक flaps और लगभग 30 मिनट का outage हुआ

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-12-09
Hacker News की टिप्पणियाँ

  • SLA 100% लिखा हो तब भी परफेक्शन की उम्मीद नहीं करनी चाहिए। SLA किसी खास outage के लिए proportional refund या service credit मांग सकने वाला वित्तीय समझौता है, यह गारंटी नहीं कि वास्तविक uptime उस आंकड़े से ऊपर रहेगा
    इस लेख की लाइन की तरह अगर fiber infrastructure को physical damage हो जाए, तो access team location ढूंढकर repair करती है और तब तक कुछ घंटे disconnect रहना unavoidable है। Verizon 100% SLA दे भी दे, तो भी असल में उसे five nines स्तर पर design नहीं किया गया होता; उसके लिए customer premises में redundant equipment, dual entry और end-to-end path diversity चाहिए

    • फिर भी SLA service को चालू बनाए रखने के लिए मजबूत incentive बनता है। यह guarantee नहीं है, लेकिन ऐसे contracts की on-call duty कर चुके व्यक्ति के तौर पर दबाव काफी होता है
      साथ ही जिम्मेदारी दूसरे पर डालने में भी काफी माहिर होना पड़ता है
    • business reality में contract की value उतनी ही होती है जितनी उसे enforce किया जा सके। SLA आमतौर पर ज्यादा मायने नहीं रखता, क्योंकि अगर आप बड़े customer नहीं हैं तो vendor पर financial leverage कमजोर होता है, और involved amount भी lawsuit करने लायक बड़ा नहीं होता
      मान लें 10,000 डॉलर/महीना वाली 100% SLA dedicated line पूरे महीने dead रही और provider compensation नहीं देता, तब भी 10,000 डॉलर पाने के लिए lawyer hire करना और समय लगाना शायद rational नहीं होगा। 3 घंटे की outage हो तो और भी खराब: 10,000 डॉलर/महीना के हिसाब से यह 13.89 डॉलर प्रति घंटा है, और 3x compensation भी लगभग 125 डॉलर होगा, इसलिए claim form भरना भी questionable है
      provider असल में जिस cost की परवाह करता है वह reputation है। technicians line uptime के प्रति उदासीन हों, फिर भी account manager से संपर्क करने पर response पूरी तरह बदल सकता है, और यह SLA itself से अलग बात है
      आखिर में line और service की physical reality समझकर ही खरीदना चाहिए; चमकदार SLA जोड़ देने से outcome नहीं बदलता

  • मेरा ISP भी चाहें तो dedicated line देता है। extra access work की वजह से installation fee ज्यादा लेते हैं, और PON के बजाय dedicated port और core इस्तेमाल करते हैं, इसलिए monthly fee भी थोड़ी ज्यादा होती है
    लेकिन ऐसे service cost का ज्यादातर हिस्सा actual uptime guarantee के बजाय SLA risk अपने ऊपर लेने की cost के ज्यादा करीब है। outage probability खुद PON से बहुत अलग नहीं होती, इसलिए practically यह financial और service guarantee जैसा है
    compromise के तौर पर हम normal service पर भी BGP देते हैं, और BGP देने वाले कुछ दोस्ताना दूसरे ISPs के साथ referral system भी रखते हैं। resilience के लिहाज से मैं “dedicated” से ज्यादा multihoming पसंद करता हूं, क्योंकि यह transport network और peering तक पूरे network stack को अलग कर देता है

    • मुझे हैरानी है कि ISPs service availability map क्यों नहीं देते। लगभग हमेशा सिर्फ “check availability” API होता है, और move करते समय कई ISPs के coverage areas देखने के लिए हर address अलग-अलग डालना पड़ता है, साथ में rate limiting, abuse prevention वगैरह संभालना पड़ता है
      एक बार मैंने business rep को कई addresses भेजकर check कराया था; वह useful था, लेकिन back-and-forth इतना धीमा था कि खुद query करना बेहतर लगा
    • potential non-business customer के तौर पर help docs देखे, लेकिन static IP address या IPv6 से जुड़ी जानकारी नहीं मिली
      बाद में terms में यह wording मिली: “अगर आपने static IP address नहीं खरीदा है, तो हम बिना notice दिए Internet Protocol (IP) address बदल सकते हैं”
    • ISP का नाम क्या है, जानना चाहूंगा

  • मैंने बहुत कम लोगों को घर तक “real” fiber खिंचवाते देखा है। ईर्ष्या तो होती है, बस monthly ISP bill car loan payment जैसा लगता है

    • मैंने farm पर “real fiber” लगवाया। 18 miles cable बिछाई गई, एक साल तक आना-जाना चलता रहा, और मूल रूप से business expense के तौर पर 4500 डॉलर/महीना था
      installation के बाद performance issues बने रहे, तो issue prove करके termination की धमकी दी; उन्होंने line upgrade करके सही speed दिलाई और monthly bill 2100 डॉलर कर दिया। अभी भी car payment जैसा है, लेकिन पहले से बहुत सस्ता है
      नतीजतन SLA, cloud providers से direct connection, कुछ IP blocks की hosting संभव हो गई, और internet-exposed कुछ machines भी चला सकता हूं
      हाल ही में बेचा गया मेरा घर भी बुरा नहीं था; वहां AT&T की तीन 5Gbps lines कुल 450 डॉलर/महीना में थीं। redundancy नहीं थी, लेकिन काफी शानदार था
    • अगर 300 डॉलर/महीना देकर Comcast इस्तेमाल न करना पड़े, तो 72.99 डॉलर plus taxes से बेहतर deal लगती है
    • मेरे अनुभव में बस यह जानना होता है कि किसे call करना है और क्या request करना है। Spectrum service area में HFC service zone की किसी भी building में fiber लगवा देते हैं
      मेरे पुराने apartment building में कई साल तक fiber आया था, और जब दूसरी coax cable building में shift हुआ, तब भी installation fee 2000 डॉलर का quote मिला। समस्या यह थी कि fiber service symmetric थी, इसलिए Netflix के लिए जरूरी download speed पाने के लिए 200Mbps से ज्यादा upload plan भी साथ खरीदना पड़ता था, जिससे वह बहुत महंगा हो गया। वे 95th percentile billing भी offer नहीं करते
    • अच्छा लगता है, लेकिन real use case जानना चाहूंगा। local EC2 instance लेकर वहीं से काम करने की तुलना में क्या फायदा है, समझ नहीं आता
      privacy-related काम या Tor node चलाने जैसी चीजें समझ आती हैं

  • मेरी setup भी मिलती-जुलती है। एक DIA लाइन है और बेहद खराब Comcast Business लाइन पर backup VPN चलाकर उसे पास के data center में terminate कर रहा हूँ
    ISP को बात करने लायक राजी कराने में भी काफी follow-up करना पड़ा। जबकि शुरुआत से ही कहा था कि fiber बिछाने का पूरा खर्च देने को तैयार हूँ
    हमारे इलाके के ISP शायद शहर को service zones में बाँटकर बैठे हैं; समझ नहीं आता यह legal कैसे है
    मेरे ISP ने premises में एक बड़ा ADVA optical circuit termination उपकरण लगाया है। इसे ISP side पर शिफ्ट करवाकर सिर्फ SFP connection लेने की कोशिश अभी चल रही है
    support India को outsource है, और फोन पर अपनी बात समझवाना दर्दनाक है। गनीमत है कि web ticket system कामचलाऊ है

    • मुझे लगता है ISP का line को customer premises तक लाकर customer power पर demarcation equipment रखना बहुत आम है। आम तौर पर लगातार चालू रहने वाली कोई अलग “उनकी side” नहीं होती; customer premises के बाद बस कई किलोमीटर wiring और central office होता है
      customer-side wiring को terminate करने वाला उपकरण स्वाभाविक रूप से customer side पर ही होना चाहिए। उपकरण कोई बड़ा box न होकर सिर्फ SFP भी हो सकता है, लेकिन ISP अपनी responsibility वाली boundary, यानी termination equipment तक connection status monitor करना चाहता है। सिर्फ generic SFP हो तो यह नहीं हो पाएगा, इसलिए SLA बनाए रखते हुए उसे स्वीकार करना मुश्किल होगा
      अगर box बहुत बड़ा या noisy होने जैसी physical problem है, तो दूसरे equipment पर negotiation हो सकती है; लेकिन अगर सिर्फ network control चाहिए, तो चीजें ऐसे काम नहीं करतीं। customer network boundary point से शुरू होता है, उसके पहले ISP internal network होता है, और Ethernet जैसे standard handoff interface के बाद customer network आता है
    • अगर यह अमेरिका है, तो शहर के service zones में बँटे होने की वजह यह हो सकती है कि कई cities ने cable operators को franchise rights दिए थे। structure ऐसा था कि operator wiring और infrastructure installation का खर्च उठाता था और बदले में exclusive service rights पाता था
      ऐसे ज्यादातर contracts 1970s या शुरुआती 1980s में हुए थे, और वे असल में AT&T या regional Bell operating companies के contracts की नकल जैसे थे
    • सीमित अनुभव के आधार पर, real enterprise customers के साथ भी यह आम है। commercial ISP service से BGP service पर जाना कोई simple upsell नहीं, बल्कि carrier interconnect नाम की बिल्कुल अलग product line है
      आम तौर पर ISP के लिए bandwidth billing काफी घट जाती है और revenue कम होता है, इसलिए sales staff अच्छी तरह trained नहीं होता और normal channels से पहुँचना मुश्किल होता है। लेकिन एक बार setup हो जाए तो शानदार है। कल्पना कीजिए, router reboot करते ही ISP पहले आपको फोन करे

  • network stack ने मुझे बहुत आकर्षित किया है, लेकिन मैं Illustrated TCP/IP पढ़कर tcpdump समझने का नाटक करने भर के level तक ही पहुँच पाया हूँ। BGP जैसी चीजों को खुद हाथ लगाकर देखना चाहता हूँ; कहाँ से शुरू करूँ, यह जानना चाहूँगा
    लगता है कि ज्यादातर लोग इसे job में apprenticeship की तरह सीखते हैं, और पता नहीं related systems बहुत महंगे हैं या companies के अंदर बंद हैं, इसलिए self-study के लिए ठीक नहीं हैं

    • शुरुआती सलाह हैरानी की बात है कि technical नहीं है: अगर आप अमेरिका में हैं और अभी तक नहीं किया है, तो LLC बनाना recommend करूँगा। इसे बड़ा बनाने की जरूरत नहीं; state government का online form काफी हो सकता है, और Colorado में basic form सालाना 25 डॉलर का है
      ARIN से बात करके ASN पाने के लिए किसी तरह की business entity होना बहुत आसान बना देता है
      ASN मिल जाने पर आपके पास ऐसी entity होती है जो किसी दूसरे network पर निर्भर हुए बिना IP block “own” कर सकती है। उसके बाद Neptune Networks के products देखें; reasonable monthly cost पर transit allow करने वाले instances rent पर मिल जाते हैं। हालांकि सबसे छोटे instance में पूरे global Internet की full BGP table रखने लायक RAM नहीं होती, और जब तक इसका मतलब समझ आएगा, तब तक यह important हो जाएगा
      local colocation देखने से पहले भी कम खर्च में बहुत कुछ सीखा जा सकता है
    • शुरू में भूल गया था, https://dn42.dev इन related technologies को काफी practice करने के लिए शानदार playground है
    • सही है, ये चीजें अक्सर job पर सीखी जाती हैं, लेकिन सही tools और materials, और थोड़ा खर्च हो तो आप सच में बहुत आगे जा सकते हैं। आजकल open source implementations भी बहुत हैं, इसलिए शुरुआत करना आसान है
      इस field की अच्छी बात यह है कि लगभग सब कुछ open standards पर आधारित है। RFC 791(IP), 793(TCP), 4271(BGP4), 9499(DNS overview) जैसे original RFCs से भी ज्यादा दूर नहीं हैं। वे dry हैं, लेकिन आम तौर पर core material हैं
      Stevens की किताब भी low-level understanding के लिए बहुत अच्छी है, इसलिए अच्छी शुरुआत है। उसके बाद आपको खुद बनाकर देखना होगा
      virtualization tools से दो VMs बनाइए, उन्हें communicate कराइए, link तोड़िए और tcpdump जैसे tools से fix कीजिए। ARP या IPv6 का NDP low level पर कैसे काम करता है, यह देखिए, और subnetting भी सीखिए। VLAN interfaces बनाइए, 802.1q tags लगाइए, कई VLANs के बीच routing कराइए, फिर दोबारा तोड़कर देखिए
      basic OSPF area बनाना, दो private ASNs के बीच BGP adjacency configure करना, और अलग-अलग protocols के बीच routes redistribute करना अच्छा रहेगा। DNS जैसी higher-level services, local anycast experiment network, load balancer और web servers भी छूकर देखें। बनाना, तोड़ना, ठीक करना, और दोहराना—experts रोज जो करते हैं, उससे बहुत अलग नहीं है। BIRD, quagga, nginx, haproxy, ip/nftables, dnsmasq/powerdns जैसे software इस्तेमाल कर सकते हैं
      software side काफी कर लेने के बाद अगर real hardware छूने का मन हो, तो Quanta/QCT, Edge-core जैसे used whitebox switches eBay पर कुछ सौ डॉलर से कम में ढूँढ सकते हैं। ONIE network OS डालें, open source चाहिए तो Sonic, और paid ठीक हो तो Cumulus इस्तेमाल करके real equipment पर practice करें
      SFP transceivers, fiber modes, direct attach cables, port channels भी सीख सकते हैं। fs.com या eBay से सस्ते transceivers और optical patch cables लें, firmware query करके transmit power, error rate, system information देखें
      LLC बनाकर ARIN से पहले ASN लेने वाली सलाह, अगर basics नहीं हैं, तो time और money waste कर सकती है और ध्यान भटका सकती है; इसे ignore करना बेहतर है। पहले rich resources के साथ सीखें, और जब next step की जरूरत पर पक्का भरोसा हो, तब करें
      इस industry की कई चीजों की तरह, जितना अंदर झाँकेंगे complexity fractal की तरह बढ़ती जा सकती है। overwhelm न हों, एक-एक कदम आगे बढ़ें, और चीजें तोड़ने से न डरें। fix करने की process में ही सबसे अच्छा सीखते हैं

  • FTTH में oversubscription कैसे काम करता है, यह जानने की जिज्ञासा है। optical network के बारे में ज्यादा नहीं जानता, लेकिन मुझे लगा था कि हर subscriber के पास अपनी wavelength या bandwidth रखने वाली wavelength range होती है और वे आपस में overlap नहीं करते
    अगर ऐसा नहीं है, तो passive optical network कैसे काम करता है, इसका अंदाजा नहीं लग रहा

    • सामान्य passive optical network में एक PON port PLC splitter के जरिए 128 clients से जुड़ा होता है। किसी खास wavelength को जोड़ने या हटाने वाले WDM splitter के उलट, PLC splitter पूरे signal को बस split कर देता है
      जहाँ मैं काम करता हूँ, वहाँ 3-stage splitter वाला 4-4-8 configuration है
      OLT हर ONU/ONT को बताता है कि वह transmission के लिए कितना time allocation इस्तेमाल कर सकता है। हर ONT बारी-बारी से transmit करता है ताकि वे एक-दूसरे में interference न करें। इस calculation में OLT और ONT के बीच की दूरी भी शामिल होती है, क्योंकि geographic location अलग होती है इसलिए हर ONT की latency भी अलग होती है
      ONU के पास भेजने के लिए ज्यादा data हो तो वह extra transmission time मांग सकता है। OLT जो time allocate करता है, वह ISP द्वारा guarantee की गई minimum value यानी CIR और subscriber service के हिसाब से maximum value यानी PIR पर निर्भर करता है
    • Search करने के लिए key term GPON है। यह multiplexed होता है, और हर subscriber को shared wavelength के अंदर कुछ time slots मिलते हैं
      subscribers के transmissions collide नहीं करते क्योंकि time slots overlap नहीं करते

  • लगता है Verizon एक बार line चालू हो जाने पर जबरदस्त margin कमाता होगा। तभी तो manhole से optical fiber connection के खर्च में एक हफ्ते तक 4 employees और police deployment तक का खर्च उठाने को तैयार है

    • 2015 में Time Warner Cable ने testify किया था कि residential high-speed internet service पर उसका 97% profit margin था। Verizon भी शायद काफी अच्छी कमाई कर रहा होगा

  • यकीन करना मुश्किल है कि company ने यह पूरा खर्च देने पर सहमति दी, लेकिन शानदार है। ईर्ष्या हो रही है

  • Commercial building में DIA लगवाते समय जिस process से गुजरा था, उससे यह बहुत मिलता-जुलता है। ISP ने कहा था कि business park के अंदर आधा mile optical fiber खींचने में उसने 60,000 डॉलर खर्च किए, और हमने वह cost नहीं दी
    हमारे rack में ISP का सिर्फ एक equipment है। Verizon सच में जैसे org chart को ही ship कर देता है
    DEMARC से server room तक optical fiber बिछाने के लिए हमने अपने contractor को payment किया था, लेकिन बाद में पता चला कि ISP शायद यह free में कर देता
    और तीन business line providers से मिली customer support quality वाकई बेहतरीन थी। ऐसे engineer को call कर पाना अद्भुत है जिसे सच में पता हो कि क्या चल रहा है। जितना पैसा देते हैं, उतना मिलता है—यह बात सही है

    • लगभग 15 साल पहले जब मैं $MEGACORP में काम करता था, lab में OC-48 line लगी हुई थी और उसमें problem आ गई। करीब 20 साल की लगातार layoffs के कारण हमारी तरफ से उस line की जिम्मेदारी किसकी थी, इसकी जानकारी पूरी तरह गायब हो चुकी थी
      basement में जाकर देखा तो demarcation equipment पर धुंधला UUNET sticker था, लेकिन line ID नहीं थी। search करने पर पता चला कि कई corporate acquisitions के बाद अब यह Verizon के ownership में था
      Verizon Business को call करके situation समझाई, तो representative ने एक घंटे तक call पर रहकर line ढूंढने में मदद की। registered address building के सामने road वाला manhole था
      technician आया और लगभग एक घंटे बाद service restore हो गई। दोबारा यही न हो, इसलिए उसने demarcation equipment पर नया line ID label भी लगा दिया

  • यह मजेदार है कि author इसे बड़ी बात मान रहा है। हम doctors के घरों में ऐसे काम काफी अक्सर करते हैं

    • जिज्ञासा है कि आखिर doctors को खास तौर पर BGP वाला commercial internet service क्यों चाहिए