ज़्यादा स्मार्ट search algorithm बनाने के लिए evaluation के तरीके

• Shopify ने product search में इस्तेमाल होने वाले algorithm को बदलते समय यह कैसे evaluate किया कि search results वास्तव में बेहतर हुए या नहीं

→ पुराना Vanilla PageRank : search-आधारित PV के आधार पर ranking की गणना

→ नया Query-specific PageRank : search query के click history के आधार पर weight की गणना

• 3 चरणों में evaluation

1. data collection : Kafka events और annotated dataset

2. offline metrics evaluation : मौजूदा search queries के साथ नए algorithm का evaluation

→ Mean Average Precision(MAP) : यदि query द्वारा लौटाए गए top N results में असंबंधित documents शामिल हों, तो penalty दी जाती है

→ Normalized Discounted Cumulative Gain(NDCG) : MAP calculation के लिए cutoff score की गणना, और यदि अच्छे score वाले (Great/Good) items का क्रम नीचे हो तो penalty दी जाती है

3. online metrics evaluation : search logs का उपयोग करके evaluate करना कि वास्तविक search कैसे काम कर रही है

→ सफलता तय करने वाले metrics : user कितनी बार search करता है, मनचाहा result पाने के लिए कितना scroll करता है, और समस्या हल करने के लिए support team से संपर्क करता है या नहीं आदि

→ Click-through rate (CTR): search result click rate. ज्यादा होना बेहतर है

→ Average rank: click किए गए result की औसत ranking. कम होना बेहतर है

→ Abandonment: मनचाहा result न मिलने पर छोड़ देने की दर; बॉट/स्पैम आदि का असर हो सकता है, लेकिन यह उचित रूप से कम होना बेहतर है

→ Kafka का उपयोग करके डेटा collect किया गया

→ पुराने तरीके के साथ A/B test चलाया गया

• नतीजे में नया search algorithm पुराने तरीके से बेहतर निकला, इसलिए उसे replace किया गया

• key points

→ high-quality, भरोसेमंद labeled dataset evaluation की core है

→ online metrics user behavior पर बेहतरीन insights देते हैं

→ offline metrics नए algorithm को तेजी से iterate करके test करने और risk कम करने में मदद करते हैं