आप जो पहली स्क्रीन देखते हैं, वह कैसे तय होती है? Musinsa के होम बैनर personalization recommendation की कहानी

• होम बैनर ग्राहक की पहली स्क्रीन पर सबसे पहले दिखने वाला एक प्रमुख क्षेत्र है, और हाइपर-पर्सनलाइज़्ड recommendation system के जरिए click-through rate (CTR) और user experience को अधिकतम किया जाता है
• मौजूदा MAB(Multi-Armed Bandit) आधारित सरल CTR optimization तरीके से आगे बढ़ते हुए, DeepFM·Two-Tower·HGNN जैसे आधुनिक algorithms और graph-based embedding के माध्यम से बैनर और उपयोगकर्ता की विशेषताओं को अधिक सटीक रूप से प्रतिबिंबित किया गया
• बैनर lifecycle का छोटा होना, noise वाले click feedback, data imbalance जैसी domain-विशिष्ट समस्याओं को Continual Learning, individual model और unified model के मिश्रित संचालन आदि से हल किया गया
• अंततः CTR में 16% से अधिक सुधार, नए बैनर और cold user प्रबंधन, real-time और business policy integration सहित एक व्यवस्थित recommendation pipeline बनाई गई
• आगे real-time serving, Multi-Task Learning, embedding quality enhancement, बहुआयामी performance metrics की शुरुआत जैसी दिशा में लगातार विकास की योजना है

---

ग्राहकों के लिए कस्टमाइज़्ड big banner से बेहतर अनुभव बनाना

• ग्राहक की पसंद और दिखाए जाने वाले content की विविधता बढ़ने के साथ, एक समान बैनर एक्सपोज़र से संतोषजनक अनुभव देने में सीमाएँ थीं
• CTR को अधिकतम करने के लक्ष्य से, प्रत्येक स्टोर होम के ऊपरी big banner में personalized exposure logic लागू करने की परियोजना चलाई गई

होम बैनर का महत्व और विशेषताएँ

• होम बैनर Musinsa सेवा में ग्राहक के सामने सबसे पहले आने वाला स्क्रीन के सबसे ऊपर का slide-type banner है (कुल 35), जिसमें app पर एक और web पर तीन दिखाए जाते हैं
• Musinsa के कुल traffic का लगभग 97% मुख्य स्क्रीन में प्रवेश करते समय होम बैनर तक पहुँचता है
• होम बैनर click पूरे clicks का 35% और click होने वाले sessions का 37% तक हिस्सा लेते हैं, इसलिए इनका महत्व बहुत बड़ा है
• उच्च exposure frequency के कारण यह business conversion प्रभाव के लिहाज़ से बेहद महत्वपूर्ण क्षेत्र है

मौजूदा recommendation तरीके की सीमाएँ

• पहले MAB(Multi-Armed Bandit) algorithm का उपयोग कर CTR-केंद्रित recommendation किया जाता था
  • Exploration और Exploitation के बीच संतुलन
• तीन सीमाएँ:
  • एकल CTR metric पर निर्भरता के कारण विभिन्न ग्राहक पसंद और बैनर विशेषताओं को पर्याप्त रूप से नहीं दर्शा पाना
  • बैनर relevance को शामिल करना कठिन (स्वतंत्र रूप से प्रोसेस होने के कारण)
  • Cold start (नए बैनर के click data की कमी होने पर performance गिरना)
• इन सीमाओं को दूर करने के लिए नया recommendation system डिज़ाइन किया गया

recommendation system pipeline

• सिस्टम को multi-stage pipeline के रूप में बनाया गया है
  1. बैनर representation को मजबूत करना: बैनर से जुड़े text, image और संबंधित products पर आधारित embedding (HGNN, GraphSAGE का उपयोग) निकालना
  2. click prediction model training: DeepFM (feature interaction) और Two-Tower (user/banner separated embedding) मॉडल को साथ में लागू करना
  3. बैनर scoring और application: प्रति user CTR prediction score को batch/real-time में निकालना
     • जिन users के लिए data पर्याप्त है, उनके लिए सटीक personalization
     • नए और cold users के लिए segment-based recommendation
  4. business policy का प्रतिबिंब: सिस्टम स्कोरिंग के अलावा company policy और strategy, campaign banner, emergency change आदि भी real-time में लागू किए जाते हैं
  5. अंतिम बैनर exposure: उच्च score वाले Top-N बैनरों की अंतिम recommendation और exposure

recommendation के मुख्य मॉडलों का परिचय

• DeepFM: FM(2nd-order interaction)+DNN(high-order interaction) की parallel structure के साथ sparse data और complex interaction दोनों को प्रभावी ढंग से सीखता है, और CTR prediction में उत्कृष्ट है
• Two-Tower: user और banner के लिए अलग-अलग neural network से embedding निकालता है, large-scale data और real-time serving में मजबूत है, तथा similarity-based recommendation देता है

DeepFM

• FM layer (2nd-order feature interaction) + DNN layer (high-dimensional nonlinear feature integration) का संयोजन
• sparse data पर मजबूत, और End-to-End learning structure के कारण consistent performance optimization
• user information, banner metadata, embedding (64-dimensional) information को features के रूप में उपयोग
• embedding vectors को एक single block के रूप में प्रोसेस कर learning efficiency और stability सुनिश्चित की गई
• CTR prediction result से बैनर ranking तैयार की जाती है

Two-Tower

• user और banner को अलग neural networks (towers) में embed करके similarity निकाली जाती है
• large-scale data के लिए उपयुक्त scalability और पहले से vectorized तेज response (low latency) संभव
• प्रत्येक tower में demographics, behavioral logs, text/image जैसी विविध input information का उपयोग
• training separation और parallel processing structure के कारण बड़े recommendation problems को तेज़ी और लचीलापन के साथ संभालना संभव

वास्तविक सेवा में लागू करते समय सामने आने वाली मुख्य कठिनाइयाँ

• होम बैनर का lifecycle बहुत छोटा होता है (2~3 दिन, कभी-कभी कुछ घंटों का), इसलिए real-time reflection आवश्यक है
• feedback signal मुख्यतः click पर निर्भर होने से उपयोगकर्ता की वास्तविक पसंद पहचानना कठिन है
• products और brands के विपरीत, बैनरों में structured metadata कम होती है, इसलिए image और text के संदर्भ को समझना कठिन है
• स्टोर-वार data imbalance (विशेष स्टोर्स के traffic और activity में अंतर) से overall performance घट सकती है
• इन समस्याओं को दूर करने के लिए system को तीन तकनीकी स्तंभों—representation power enhancement, freshness maintenance, imbalance mitigation—के आधार पर फिर से डिज़ाइन किया गया

व्यावहारिक सुधार उपाय

बैनर विशेषताओं को मजबूत करना

• PinSAGE embedding average के उपयोग की सीमाएँ (complex banner representation की सीमा, नए बैनर की recommendation असंभव) दूर करने के लिए HGNN अपनाया गया
• उपयोगकर्ता के behavioral pattern के आधार पर, graph structure में banner-product संबंधों को GraphSAGE से embed किया गया
• text और image information के लिए LLM embedding combination का उपयोग
• real-time user embedding updates और Continual Learning लागू कर latest user interest को दर्शाया गया
• CTR में 8.3% वृद्धि

Continual Learning

• पूरे data पर एकमुश्त training से हटकर, continuous update शुरू किया गया (1 घंटे के अंतराल पर, पिछले 3 घंटे के logs)
• activity level के अनुसार learning rate को dynamically समायोजित किया गया (साप्ताहिक अधिकतम 5x, रात में 2x)
• तेज़ adaptation और model aging prevention के साथ, performance गिराए बिना recommendation को जल्दी reflect करना संभव हुआ
• CTR में 24% वृद्धि

रणनीतिक model selection

• स्टोर-वार optimal modeling strategy तय की गई
• main store के लिए DeepFM+Continual, specialty stores के लिए individual Two-Tower models, CTR में 19% सुधार

अंतिम परिणाम

• मौजूदा MAB की तुलना में Two-Tower 11.2%, DeepFM 16.1% CTR सुधार
• Musinsa home पर DeepFM+Continual Learning और specialty stores पर Two-Tower model को production में लागू किया गया

आगे की दिशा

• real-time serving architecture में परिवर्तन, Multi-Task Learning की शुरुआत (CTR+GGMV), embedding quality और graph structure में सुधार, performance metrics का विविधीकरण आदि पर उन्नयन जारी रहेगा
• केवल CTR पर निर्भरता से आगे बढ़कर, विभिन्न business goals की प्राप्ति और qualitative experience तक का मूल्यांकन करने वाले मॉडल की ओर विकसित करने की योजना है

[codemasterkimc]

अच्छा लेख है ~