AI टोकन डेटा सेंटर में कैसे सफर करता है

 (datagravity.dev)
4 पॉइंट द्वारा GN⁺ 4 시간 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • 2026 में AI inference पूरे AI computing का लगभग दो-तिहाई तक फैल गया, और deployed models की lifecycle computing cost का 80~90% हिस्सा लेने लगा, जिससे token processing cost और latency इंफ्रास्ट्रक्चर की अर्थव्यवस्था तय करते हैं
  • एक request tokenization, API gateway, authentication, routing, scheduling, KV cache, GPU·HBM, CUDA kernel, NVLink·switch·NIC·Ethernet से गुजरते हुए response बनकर लौटने वाली 15-स्टेप path से गुजरती है
  • input को parallel process करने वाला prefill computation और first-token latency से बंधा होता है, जबकि token एक-एक करके बनाने वाला decode memory bandwidth और generation speed·cost से बंधा होता है, इसलिए batching·quantization·speculative decoding अलग-अलग bottleneck को निशाना बनाते हैं
  • continuous batching और PagedAttention GPU utilization और concurrency throughput बढ़ाते हैं, prompt caching दोहराए गए input की लागत को अधिकतम 90% और लंबे prompt की latency को लगभग 85% तक घटाती है, जबकि prefill·decode separation चरणवार GPU pool संचालन को संभव बनाता है
  • तय quality देने की लागत सालाना median आधार पर लगभग 200 गुना घटी है, लेकिन throughput 7 गुना बढ़ा है; दीर्घकालिक value अब HBM bandwidth·NVLink interconnect·optical components·power जैसे physical bottleneck और efficiency को customer lock-in में बदलने वाले inference platforms पर केंद्रित है

inference AI अर्थव्यवस्था का केंद्र क्यों बना

  • chatbot, coding agent, search summary और image caption — ये सभी trained model में forward pass चलाकर अगला token बार-बार predict करने वाले token generation tasks हैं, और यही प्रक्रिया inference है
  • Google ने बताया कि मई 2026 में उसकी सेवाओं में हर महीने 3.2 quadrillion tokens process किए जा रहे थे
    • सालाना हिसाब से यह लगभग 38 quadrillion के बराबर है
    • यह एक साल पहले के प्रति माह 480 trillion tokens से 7 गुना ज्यादा है, और 2024 की शुरुआत में यह प्रति माह 9.7 trillion था
    • यह संख्या training नहीं, बल्कि user requests का जवाब देने की लागत से जुड़ी है
  • AI computing में inference की हिस्सेदारी 2023 में लगभग एक-तिहाई से बढ़कर 2025 में आधी और 2026 में लगभग दो-तिहाई हो गई
  • deployed models में inference हर request पर दोहराई जाने वाली cost of goods sold है, और industry rule of thumb के अनुसार यह lifecycle computing cost का 80~90% ले लेती है
  • 4 hyperscalers द्वारा बताए गए 2026 capex का कुल आकार लगभग 725 अरब डॉलर है, जो पिछले साल से 77% ज्यादा है
    • इसमें 60% से अधिक खर्च chips पर नहीं, बल्कि power, cooling और buildings पर जाता है
    • सिर्फ inference-specific silicon market के 2026 में 50 अरब डॉलर से ऊपर जाने का अनुमान है
  • inference demand बढ़ाने वाले दो बदलाव हैं
    • test-time scaling और agent systems हर query पर 10~100 गुना ज्यादा tokens खर्च करते हैं
    • agent workflows retries, tool calls और context reloads की वजह से एक single request की तुलना में प्रति task 5~25 गुना महंगे पड़ते हैं
  • तय quality level देने की लागत 2024 की शुरुआत से सालाना median आधार पर लगभग 200 गुना घटी है, लेकिन सस्ते हुए tokens ने ज्यादा workloads खोल दिए, जिससे Jevons paradox के अनुसार कुल usage बढ़ गया
  • batching, paging, quantization, speculative decoding, disaggregated serving और network fabric — ये सभी target latency पर प्रति token लागत घटाने की तकनीकें हैं

चरण 1~4: टेक्स्ट को batch किए जा सकने वाले काम में बदलना

  • चरण 1: user और tokenization

    • client HTTPS के जरिए text भेजता है, लेकिन model text नहीं बल्कि integer IDs को input के रूप में लेता है
    • byte-level BPE-आधारित tokenizer string को subword tokens में तोड़ता है और लगभग 100,000~200,000 entries वाली vocabulary में हर token को एक ID से map करता है
    • उदाहरण का 12,000-token RFP और सवाल मिलकर 12,022 integer IDs की flat sequence बन जाते हैं
    • tokenization CPU पर deterministic तरीके से होता है और इसकी लागत भी लगभग नहीं के बराबर है, लेकिन input·output token count ही billing amount तय करते हैं
    • 2026 के frontier models की 200,000~1,000,000 token context window एक बार में डाले जा सकने वाले document size की ऊपरी सीमा है

  • चरण 2: API gateway

    • API gateway TLS terminate करता है, request parse करता है, फिर schema validation, API versioning, rough rate limiting, trace ID assignment और initial usage logging करता है
    • Envoy या NGINX-स्तर के proxy और web application firewall के साथ यह प्रति सेकंड लाखों requests संभालता है, लेकिन model logic execute नहीं करता
    • latency budget 1 millisecond से कम होता है, और format errors, quota overrun या malicious requests वाले लगभग 5% traffic को महंगे resources तक पहुँचने से पहले ही reject कर देता है

  • चरण 3: authentication और billing tier

    • API key या OAuth token को organization से जोड़कर rate-limit tier और spending cap की जाँच की जाती है, और लागू होने वाली प्रति token कीमत तय होती है
    • cached input discount, priority path और सस्ती batch pricing की eligibility भी इसी चरण में तय होती है
    • यह चरण organization-स्तरीय data isolation और abuse-prevention boundary सेट करते हुए anonymous bytes को measured, billed और isolated work unit में बदल देता है

  • चरण 4: load balancing

    • सामान्य load balancer health checks और real-time load signals का इस्तेमाल कर requests को उसी model के replicas में बाँटते हैं
    • लेकिन LLM में simple round-robin एक जैसे system prompt या document prefix वाली requests को अलग-अलग replicas पर भेज देता है, जिससे cache reuse का मौका खो जाता है
    • आधुनिक AI load balancing cache-aware तरीके तक विकसित हो रहा है, जो उसी prefix का KV cache रखने वाले replica को चुनता है, और इस तरह अगले चरण के inference router से इसका काम आंशिक रूप से overlap करता है
    • पूरा fleet saturation पर हो तो request को queue करना है या 429 लौटाना है, यह भी इसी चरण में तय होता है

चरण 5~6: execution location और batching तय करना

  • चरण 5: inference router

    • inference router कुछ milliseconds के भीतर model·silicon·replica चुनता है
    • frontier 70B, distilled 8B, reasoning model, और draft·target model pair में से वह configuration चुना जाता है जो service-level objective पूरा करते हुए सबसे किफायती हो
    • जो request 8B model से पूरी हो सकती है उसे 70B पर चलाना margin को बेवजह खर्च करता है
    • compute-heavy prefill के लिए FLOPS महत्वपूर्ण हैं, जबकि memory-heavy decode के लिए HBM bandwidth अहम है; इसलिए एक ही request के भीतर भी उपयुक्त GPU बदल सकता है
    • अगर request को उसी instance पर भेजा जाए जहाँ समान prefix का KV cache मौजूद है, तो 12,000-token prefill को लगभग मुफ्त cache hit में बदला जा सकता है
    • compiler और auto-tuner model·input shape·chip के अनुरूप GPU kernels को पहले से compile और tune करते हैं, फिर runtime में सबसे सस्ता execution plan चुनते हैं
    • Together AI, Fireworks, Baseten और Modular इस layer पर kernel·chip·precision selection को product बनाकर अपनी inference infrastructure से कमाई कर रहे हैं

  • चरण 6: scheduler और continuous batching

    • batch size 1 पर H100 compute की तुलना में memory से ज्यादा बंधा रहता है, इसलिए streaming multiprocessor utilization लगभग 30~40% पर अटका रहता है
    • scheduler continuous batching के जरिए हर forward pass पर नए requests जोड़ता है और पूरी हो चुकी sequences को हटाता है
    • इससे fixed request group के खत्म होने का इंतज़ार किए बिना GPU को लगातार भरा जा सकता है
    • vLLM इस तरीके से पुराने serving systems की तुलना में 2~4 गुना ज्यादा throughput देता है, और उसी H100 पर simple PyTorch loop की तुलना में 3~5 गुना ज्यादा traffic संभालता है

चरण 7~8: KV cache और GPU memory management

  • चरण 7: KV cache

    • हर attention layer में हर token के लिए Key और Value vector बनाए जाते हैं, और अगला token पिछले सभी tokens के K/V को संदर्भित करता है
    • इसे हर बार फिर से गणना करने पर लंबे context में O(n²) लागत आती है, इसलिए prefill 12,022 positions के K/V को एक बार गणना करके KV cache में संग्रहीत करता है
    • इसके बाद decode चरण नए token का एक K/V जोड़ता है और मौजूदा cache को पढ़ता है
    • KV cache concurrent sequences की संख्या और लंबाई के अनुसार बढ़ता है, और serving के दौरान GPU memory का सबसे बड़ा और dynamic उपभोक्ता होता है

  • PagedAttention और fragmentation की रोकथाम

    • sequence length का अनुमान लगाना कठिन होने के कारण contiguous memory allocation से 60~80% memory उपयोग से बाहर हो सकती है
    • PagedAttention / vLLM operating system की virtual memory की तरह KV cache को fixed-size pages में बाँटता है
    • ज़रूरत के अनुसार physical blocks allocate करके उन्हें page table से जोड़ा जाता है, इसलिए contiguous space की आवश्यकता नहीं होती
    • पूरी हो चुकी sequence के pages तुरंत वापस कर दिए जाते हैं
    • कई users की sequences एक GPU को सुरक्षित और कुशल तरीके से साझा कर सकती हैं
    • यह memory management तरीका vLLM की 2~4x throughput वृद्धि को समर्थन देता है

  • Prompt·prefix caching

    • वही system prompt, few-shot preamble, या document prefix दोहराने वाले requests एक बार गणना किए गए KV cache को पुन: उपयोग कर सकते हैं
    • Anthropic cache read को सामान्य input price के 0.1x यानी प्रति 10 लाख tokens $0.30 पर देता है, जबकि सामान्य input $3 है
    • OpenAI GPT-5.x में भी cached input $0.50 और सामान्य input $5 है, यानी दोनों पर 90% discount लागू होता है
    • लंबे prompts में latency भी लगभग 85% घट जाती है, और उदाहरण RFP के follow-up सवालों में 12,022-token prefill दोहराने की ज़रूरत नहीं होती

  • चरण 8: GPU memory के तीन घटक

    • GPU package memory में fixed model weights, concurrent requests और length के अनुसार बढ़ने वाला KV cache, और अस्थायी activations·workspace साथ में रहते हैं
    • weights लोड करने के बाद बची हुई जगह KV cache budget बन जाती है, इसलिए कई बार compute की तुलना में memory ही concurrent users की संख्या को सीमित करती है
    • 70B model FP16 में लगभग 140GB का होता है, इसलिए 80GB H100 के दो GPUs चाहिए, लेकिन FP8 में यह लगभग 70GB तक घट जाता है, जिससे एक GPU पर KV cache के लिए भी जगह बच सकती है
    • quantization से weights में बचाई गई memory सीधे अधिक concurrent users में बदल जाती है

चरण 9~10: HBM bottleneck और GPU kernel optimization

  • चरण 9: prefill और decode के अलग-अलग bottlenecks

    • Prefill 12,022 input tokens को parallel process करने वाला large-scale matrix multiplication है, जो tensor cores को saturation तक ले जाता है, और compute volume तथा time to first token (TTFT) से बँधा होता है
    • Decode में हर अगला token बनाने के लिए पूरे model weights और बढ़ते हुए KV cache को HBM से पढ़ना पड़ता है
    • batch size 1 पर decode की arithmetic intensity लगभग 1 FLOP per byte होती है, जो roofline सीमा लगभग 410~590 FLOP/byte से बहुत कम है
    • tensor cores गणना से अधिक समय memory का इंतज़ार करने में बिताते हैं, और HBM bandwidth generation speed और cost की ऊपरी सीमा तय करती है

  • Precision reduction

    • FP16 से FP8, FP4 तक precision घटाने पर प्रति token पढ़े जाने वाले weight bytes कम हो जाते हैं, जिससे memory-centric decode throughput बढ़ता है
    • NVIDIA NVFP4 Blackwell 5th-generation tensor cores के लिए 4-bit floating-point format है
    • यह FP8 की तुलना में लगभग 2~3x अधिक arithmetic throughput और लगभग 1.8x memory बचत देता है
    • baseline accuracy के साथ अंतर को लगभग 1% के भीतर बनाए रखता है
    • Hopper की तुलना में end-to-end inference को अधिकतम 5x तेज करने में योगदान देता है

  • चरण 10: CUDA kernels और fusion

    • GPU के गणितीय operations kernels नामक छोटे programs द्वारा किए जाते हैं, जो हज़ारों cores पर चलते हैं
    • transformer operations को सैकड़ों अलग-अलग kernels में चलाने पर हर kernel HBM से data पढ़ता है और परिणाम फिर से लिखता है, जिससे bandwidth-centric कामों पर बड़ा बोझ पड़ता है
    • kernel fusion कई operations को एक में जोड़कर intermediate data को on-chip SRAM में बनाए रखता है और HBM access कम करता है
    • FlashAttention tile-based attention और online softmax का उपयोग करके sequence length के अनुसार HBM reads·writes को quadratic scale से linear scale तक घटाता है और 2~4x acceleration देता है
    • FlashAttention-3 Hopper के asynchronous engine और FP8 का उपयोग करके H100 पर 840TFLOPS, यानी peak performance के लगभग 85% तक पहुँचता है

  • Speculative decoding

    • decode में एक token बनाते समय भी पूरे weights पढ़ने पड़ते हैं, इसलिए कई candidate tokens को parallel verify करने की अतिरिक्त लागत तुलनात्मक रूप से कम होती है
    • एक छोटा draft model अगले K tokens का प्रस्ताव देता है और बड़ा target model एक parallel run में उन्हें verify करके सबसे लंबा सही prefix अपनाता है
    • output सामान्य decoding के साथ गणितीय रूप से समान रहता है, जबकि speed 2~4x तेज हो जाती है
    • EAGLE-3 जैसे तरीके 75% से अधिक draft tokens को स्वीकार करते हैं

चरण 11~14: मॉडल के भीतर प्रवेश कर चुका नेटवर्क

  • चरण 11: NVLink scale-up इंटरकनेक्ट

    • ट्रिलियन-पैरामीटर मॉडल और MoE मॉडल, जो एक अकेले GPU में फिट नहीं होते, कई GPU में विभाजित किए जाते हैं, इसलिए हर लेयर और हर टोकन पर GPU-के-बीच संचार होता है
    • नेटवर्क, decode loop के बाहर मौजूद कोई सहायक डिवाइस नहीं, बल्कि decode loop के भीतर काम करता है
    • NVLink 5 प्रति GPU 1.8TB/s देता है, जो PCIe Gen5 लिंक से लगभग 14 गुना है
    • GB200 NVL72, 72 Blackwell GPU और 36 Grace CPU को एक NVLink domain में जोड़ता है
    • कुल bandwidth 130TB/s है, और unified memory 13.4TB है
    • बिजली खपत लगभग 120kW है, और ट्रिलियन-पैरामीटर मॉडल में यह H100 क्लस्टर की तुलना में inference throughput को अधिकतम 30 गुना तक बढ़ाता है

  • parallelization से बनने वाला communication volume

    • tensor parallelism हर लेयर की matrix multiplication को कई GPU में बाँटता है, फिर हर टोकन पर कई बार all-reduce करके partial results को जोड़ना पड़ता है
    • MoE टोकन को कई GPU में बिखरे experts तक भेजता है, इसलिए all-to-all communication अक्सर मुख्य bottleneck बन जाता है
    • DeepSeek का production environment प्रति node 400Gbps NIC के 8 कार्ड इस्तेमाल करता है, और DeepEP के जरिए expert-के-बीच communication और computation को overlap करके GPU रुकावट को कम करता है

  • चरण 12: switch और congestion control

    • scale-up domain का NVSwitch 144 NVLink ports और 14.4TB/s non-blocking switching देता है, जिससे 72 GPU एक साथ अधिकतम गति पर संचार कर पाते हैं
    • rack से आगे फैलने वाले scale-out नेटवर्क में NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet, और 102.4Tbps वाला Broadcom Tomahawk 6 जैसे switch इस्तेमाल होते हैं
    • AI नेटवर्क, एक ही नंबर वाले GPU को एक ही rail switch से जोड़ने वाली rail-optimized topology के जरिए collective communication में hops की संख्या घटाते हैं
    • SHARP जैसे fabric-internal operations switch पर reduction करते हैं
    • जब हजारों GPU एक चरण को एक साथ पूरा करते हैं, तो synchronized incast होता है, और एक ही लिंक की congestion पूरे collective communication को रोक सकती है, इसलिए adaptive routing अनिवार्य है

  • चरण 13: NIC और DPU

    • racks के बीच जाने वाले packets, NVIDIA BlueField जैसे SmartNIC या DPU से होकर गुजरते हैं
    • RoCE या InfiniBand verbs, CPU से गुज़रे बिना remote GPU को दूसरे GPU memory को सीधे पढ़ने देते हैं
    • link speed अभी 400Gb/s है, और 800Gb/s को standardize किया जा रहा है
    • DPU congestion control, encryption, storage virtualization, और multi-tenant isolation जैसे काम host CPU की जगह संभालता है
    • rail-optimized क्लस्टर में कभी-कभी हर GPU के लिए dedicated NIC रखा जाता है, और DeepSeek 8 GPU को 8 400Gb/s NIC के साथ pair करता है

  • चरण 14: Ethernet और optical components

    • InfiniBand लगभग 1~2µs latency और lossless fabric देता है, इसलिए यह AI क्लस्टर का पारंपरिक विकल्प रहा है, जबकि RoCEv2 Ethernet लगभग 5~10µs के साथ दूसरे विकल्प की तरह देखा गया
    • Ultra Ethernet Consortium ने जून 2025 में AI के लिए Ethernet stack को फिर से डिज़ाइन करने वाला UEC 1.0 घोषित किया
    • Dell’Oro का अनुमान है कि AI backend नेटवर्क में 2027 तक Ethernet, InfiniBand को पीछे छोड़ देगा
    • inference लागत के प्रति संवेदनशील है और multi-tenant व enterprise environments के करीब है, इसलिए Ethernet की price structure और open ecosystem महत्वपूर्ण हैं

  • optical components की लागत और बिजली

    • optical transceivers नेटवर्क लागत का लगभग 60% और नेटवर्क power का लगभग 45% हिस्सा लेते हैं
    • चूँकि नेटवर्क पूरे क्लस्टर लागत का लगभग 15~18% है, इसलिए केवल optical components ही कुल लागत का लगभग 10% बनाते हैं
    • एक switch के 800G pluggable modules मिलकर 500W से अधिक खपत करते हैं, इसलिए वे switching ASIC से भी अधिक बिजली ले सकते हैं
    • AI optical transceiver बाजार 2025 में लगभग 16.5 अरब डॉलर से बढ़कर 2026 में लगभग 26 अरब डॉलर तक पहुँचने का अनुमान है, यानी 57% वृद्धि
    • co-packaged optics (CPO) optical devices को switch package में ले जाकर 1.6T link power को लगभग 30W से घटाकर 9W कर देता है
    • NVIDIA ने 2026 की दूसरी छमाही में आने वाले photonics switch के लिए 5 गुना power efficiency और 10 गुना resilience का दावा किया है
    • एक अकेले GPU से बड़े मॉडल में NVLink scale-up और Ethernet scale-out के बीच लगभग 20~40 गुना bandwidth gap को संभालना पड़ता है

चरण 15: response streaming और billing

  • अंतिम टोकन बनते ही detokenization integer ID को फिर से text में बदल देता है
  • response, NIC, switch, load balancer और gateway के रास्ते वापस जाता है, और आम तौर पर server-sent events (SSE) के रूप में टोकन-दर-टोकन stream किया जाता है
  • उपयोगकर्ता पूरा उत्तर समाप्त होने से पहले, लगभग 0.3 सेकंड से पढ़ना शुरू कर सकता है, इसलिए TTFT महसूस होने वाली गति पर बहुत बड़ा असर डालता है
  • अंत में सामान्य या cached input tokens और अधिक महंगे output tokens को authentication चरण में तय किए गए tier के अनुसार गिनकर billing पूरी की जाती है

disaggregated serving नाम का inference operating system

  • batching, KV paging, prefill·decode separation, hardware selection, और collective communication — ये सब memory और network hierarchy में विषम workloads को schedule करके महंगे silicon के utilization को बढ़ाने की समस्या हैं
  • 2026 का disaggregated serving computation-केंद्रित prefill और bandwidth-केंद्रित decode को अलग-अलग GPU pools में बाँटता है
  • हर pool को स्वतंत्र रूप से scale और tune किया जाता है, और दोनों pools के बीच KV cache stream किया जाता है
  • NVIDIA Dynamo, vLLM, SGLang, llm-d, और Mooncake इस संरचना को अपनाते हैं

compiler कंपनियाँ inference cloud क्यों बन गईं

  • compiler·kernel·auto-tuner कंपनियाँ अपनी तकनीक का license देने के बजाय उसे अपने ही infrastructure पर चलाकर tokens बेचती हैं, और efficiency gap को gross margin में बदल देती हैं
  • kernel, batching, quantization, और speculative decoding में 2 गुना सुधार होने पर प्रति GPU बेचे जा सकने वाले tokens भी 2 गुना बढ़ जाते हैं
  • auto-tuner, जो model·input shape·chip combination के हिसाब से सबसे कम लागत वाला kernel चुनता है, बड़े GPU fleet पर सीधे revenue पैदा करता है
  • Baseten का annualized revenue दिसंबर 2025 के लगभग 20 करोड़ डॉलर से मार्च 2026 में बढ़कर लगभग 60 करोड़ डॉलर हो गया, यानी साल-दर-साल लगभग 1,900% वृद्धि
    • कंपनी ने 11 अरब~13 अरब डॉलर valuation पर 1.5 अरब डॉलर जुटाए
    • valuation, 5 महीने पहले के 5 अरब डॉलर से बढ़ी है
  • Qualcomm द्वारा Modular का लगभग 3.9 अरब डॉलर में अधिग्रहण इस बात का उदाहरण है कि chip कंपनियाँ hardware-independent compiler के जरिए NVIDIA का मुकाबला करना चाहती हैं

inference provider चुनने के मानदंड

  • latency, लागत, विश्वसनीयता

    • latency का मूल्यांकन TTFT और token के बीच की latency को अलग-अलग करके करना चाहिए; TTFT यह तय करती है कि जवाब कब शुरू होगा और token-से-token latency यह तय करती है कि जवाब कितनी तेज़ी से पूरा होगा
    • median से अधिक महत्वपूर्ण p99 tail latency है, क्योंकि यह उस रुकावट को दिखाती है जिसे उपयोगकर्ता वास्तव में महसूस करते हैं
    • सामान्य GPU inference में पहला token आने में लगभग 400~600ms लगते हैं
    • Groq और Cerebras, Llama-70B स्तर के मॉडल में 100~150ms से कम TTFT और प्रति सेकंड 1,600~2,100 से अधिक output speed का दावा करते हैं, जो सामान्य GPU stack की तुलना में लगभग 4~6 गुना है
    • लागत की गणना प्रकाशित single price से नहीं, बल्कि input·output ratio, cache hit rate, और batch processing की संभावना को दर्शाने वाली blended cost के आधार पर करनी चाहिए
    • output, input की तुलना में लगभग 4~5 गुना महंगा होता है और कुल लागत का मुख्य हिस्सा बनता है
    • prompt caching input लागत को 50~90% तक कम कर सकती है, और batch tier आम तौर पर लगभग 50% अतिरिक्त कमी देता है
    • 2026 के मध्य में कीमतों में बड़ा अंतर दिखता है: DeepInfra या Groq जैसे cost-optimized public model endpoint पर 10 लाख token के लिए लगभग $0.04~0.20 से लेकर frontier model के लिए कई डॉलर तक, यानी दो अंकों के गुणक का फर्क
    • Groq का उदाहरण मूल्य input के लिए $0.15 और output के लिए $0.60 है
    • विश्वसनीयता को सिर्फ uptime SLA से नहीं, बल्कि functional availability तक मापना चाहिए
    • Azure OpenAI token generation के लिए 99.9% SLA देता है
    • enterprise ग्राहक 99.99% calls में TTFT 200ms से कम जैसी latency SLA भी मांगते हैं
    • rejection rate में अचानक बढ़ोतरी, eval नतीजों को बिगाड़ने वाले automatic model version change, और load के समय quota limit, आधिकारिक uptime बनाए रखते हुए भी product को खराब कर सकते हैं
    • model version को pin करना, capacity पर negotiation करना, और functional availability की सीधे निगरानी करना ज़रूरी है

  • production suitability तय करने वाले सात मानदंड

    • throughput और request limits: token-per-minute limits और burst capacity, agent के parallel work और scaling के आकार को सीमित करते हैं
    • security और compliance: SOC 2 Type II, HIPAA, ISO 27001, GDPR जैसे मानक regulated industries के लिए बुनियादी शर्त हैं और इन्हें बाद में जोड़ना कठिन होता है
    • data locality और private deployment: zero-retention guarantee, VPC·BYOC, और on-premises support, enterprise purchase approval को प्रभावित करते हैं
    • determinism और version control: fixed seed और fixed checkpoint, automatic change से eval परिणामों में drift को रोकते हैं
    • model range और freshness: अलग-अलग मॉडल, नए public weights के launch-day support, और fine-tuning·LoRA hosting, नए मॉडल अपनाने की गति तय करते हैं
    • deployment flexibility: serverless, dedicated infrastructure, और self-hosting के विकल्प लागत और नियंत्रण के स्तर के बीच संतुलन तय करते हैं
    • portability: OpenAI-compatible API और साफ multi-provider routing, outage, कीमत में बदलाव, और model change के खिलाफ प्रतिक्रिया का साधन बनते हैं

value जमा होने वाले physical bottleneck

  • HBM bandwidth decode की upper bound तय करती है, NVLink scale-up domains स्वामित्व-आधारित और बंद रहते हैं, और optical components व power दुर्लभ input बन जाते हैं
  • $725 billion capital expenditure में 60% से अधिक power और buildings पर खर्च होता है, इसलिए लंबे समय का अंतिम metric tokens per watt है
  • network market दो दिशाओं में बंट रहा है
    • scale-up interconnects बंद और defensible क्षेत्र बने रहते हैं
    • rack के बाहर के scale-out networks, Ethernet और UEC के केंद्र में खुलते और commoditize होते हैं
    • differentiation का क्षेत्र सामान्य switching से अधिक NVLink domains, optics·CPO, और congestion-control intellectual property में है
  • inference software का margin efficiency differences, utilization, और operational scale के गुणनफल से तय होता है; केवल वही कंपनियाँ गिरती कीमतों के बीच बचाव कर पाएँगी जो performance को distribution power और switching cost में बदल सकें
  • सिर्फ raw speed को competitive advantage बताने वाले व्यवसायों में compiler layer और NVIDIA के free tools उसी performance को commoditize कर सकते हैं
  • token economy का scale बढ़ना अपने-आप high margin की गारंटी नहीं देता; memory·interconnect·optics·power bottleneck और efficiency को customer lock-in में बदलने वाले platform ही असली फर्क तय करेंगे

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.