उच्च-आयामी एम्बेडिंग में vector similarity को समझना

उच्च-आयामी space में “inner product किसी निश्चित मान से अधिक होने की probability” निकालने का तरीका एक सरल सिद्धांत पर आधारित है। unit sphere का surface area निकाला जाता है, फिर उस inner product से व्यक्त angle के आधार पर cap area की गणना की जाती है, और अंत में इसे कुल surface area से तुलना कर दी जाती है.

लेकिन इस सरल गणना का असली महत्व यह है कि इससे ठोस रूप से समझा जा सकता है कि high-dimensional embedding space में inner product जैसा मान वास्तव में कितना ‘दुर्लभ या सामान्य’ घटना है। खासकर यह तथ्य कि 0.9 या उससे अधिक का inner product बेहद दुर्लभ होता है, embedding-based search में यह अच्छी तरह दिखाता है कि उच्च similarity score कितना महत्वपूर्ण signal हो सकता है.