• production model की जटिलता का समाधान: Netflix की मौजूदा recommendation system हज़ारों manually crafted features और complex architecture पर निर्भर थी, जिससे नए use case जोड़ने की लागत बहुत अधिक थी; इसे बदलने के लिए large language model (LLM) आधारित GenRec विकसित किया गया।
• GenRec की मुख्य pipeline: GenRec user history, item metadata और context को natural language prompt में बदलता है (Verbalization), और Netflix-विशिष्ट data पर fine-tune किए गए foundation LLM को catalog-aware scoring head के साथ जोड़कर recommendation ranking तैयार करता है।
• 2-चरण learning framework: Phase 1 में open source LLM को Netflix corpus के अनुरूप ढाला जाता है ताकि वह content और behavior pattern सीख सके, और Phase 2 में ranking data तथा reward objective के आधार पर post-training किया जाता है।
• context engineering का परिचय: token budget की सीमाओं को हल करने के लिए context engineering लागू की गई, जिसमें high-signal interactions को रखा गया और low-signal events को हटाया गया या दोहराए गए behavior को compress किया गया, जिससे quality घटाए बिना token और cost में बड़ी बचत हुई।
• reward-weighted ranking objective function: long-term member satisfaction proxy और business goals (content type तथा release stage के अनुसार recalibration) को दर्शाने वाले reward-weighted loss function का उपयोग करके simple click से आगे बढ़कर optimization हासिल किया गया।
• vLLM-आधारित prefill-only inference: vLLM का उपयोग करने वाले internal LLM serving stack में autoregressive decoding के बजाय prefill-only mode में चलाकर candidate set के पूरे score को एक single forward pass में निकाला गया, जिससे serving cost optimize हुई।
• online A/B test के नतीजे: लगभग 10% traffic पर किए गए 4 हफ्तों के large-scale A/B test में, GenRec ने मौजूदा production ranking model की तुलना में Phase-2 labeled data और input signals का कहीं कम उपयोग करने के बावजूद short-term और long-term online metrics में statistically significant सुधार दर्ज किया।
अभी कोई टिप्पणी नहीं है.