ऐसे प्रोजेक्ट देखना अच्छा लगता है। अगर arXiv से आगे विस्तार किया जाए, तो literature review में दायरा महत्वपूर्ण होता है, यह ध्यान रखना चाहिए
दुर्भाग्य से Elsevier और Springer जैसे बड़े publishers OpenAlex जैसे दूसरे indexes से abstracts हटवाने का दबाव डाल रहे हैं, जिससे access और कठिन हो रहा है
जिज्ञासा है कि क्या आपने undermind.ai, scite.ai, elicit.org जैसे tools भी देखे हैं
search के अलावा literature review के लिए खास product flow में क्या शामिल होगा, इस पर भी सोचना उपयोगी होगा। पहले scite.ai में काम किया था
bioRxiv के लिए PaperMatchBio(https://papermatchbio.mitanshu.tech/) और medRxiv के लिए PaperMatchMed(https://papermatchmed.mitanshu.tech/) हैं, लेकिन मैं सहमत हूं कि अलग-अलग क्षेत्रों के लिए कई sites होना आदर्श नहीं है
अभी तक इन दोनों के लिए sync pipeline नहीं बना पाया हूं, इसलिए results थोड़े पुराने हो सकते हैं
बड़े publishers द्वारा abstracts हटवाया जाना scope बढ़ाने में सचमुच समस्या बन सकता है
undermind.ai, scite.ai, elicit.org देखे हैं, लेकिन शायद पर्याप्त गहराई से नहीं देख पाया; फिर से जांचकर complementary features जोड़ने की कोशिश करूंगा
search से अलग literature review flow से आपका मतलब Mendeley/Zotero जैसे reference management systems से है या नहीं, यह जानना चाहूंगा
शुरुआत में दिखने वाली Cloudflare challenge screen घातक है
जिज्ञासा है कि arXiv में इतने सारे papers क्यों गायब हैं। क्या authors को खुद submit करना पड़ता है? math, physics, computer science papers अक्सर मिलते हैं, लेकिन biology, chemistry, medicine papers आम तौर पर नहीं होते
सभी मौजूद paper IDs और वे कहां uploaded हैं और कहां missing हैं, इसका database भी इतना ही उपयोगी हो सकता है। जिन papers में public funding का थोड़ा भी हिस्सा लगा हो, वे missing नहीं होने चाहिए
जिज्ञासा है कि mixbread model क्यों इस्तेमाल किया
embeddings को binarize करके Hamming distance इस्तेमाल करने से efficiency कितनी बेहतर हुई
दूसरे vector stores के बजाय Milvus क्यों चुना
weekly metadata fetch को automate किया है या यह सिर्फ cron job है, या कुछ और coordination चाहिए
“transformers on byte level not token level” से search करने पर ठीक था, लेकिन ज्यादा हालिया paper https://arxiv.org/abs/2412.09871 नहीं आया, और कई लोग इसे ढूंढना चाह सकते हैं
results की density बढ़ाना भी अच्छा होगा। जैसे abstracts को collapse करके first screen पर ज्यादा items दिखाने का UI option हो तो अच्छा लगेगा
resources सीमित हैं, इसलिए model size इतना छोटा था कि corpus को ठीक-ठाक तेजी से process कर सके। साथ ही यह MRL और binary embeddings support करता है, जो VM size घटाने की जरूरत पड़ने पर मदद कर सकता है
https://benchmark.vectorview.ai/vectordbs.html की वजह से Milvus चुना। माना कि ज्यादा stars का मतलब बड़ा community होगा, bugs जल्दी मिलेंगे और fix होंगे, और feature support भी बेहतर होगा
weekly fetch https://huggingface.co/spaces/bluuebunny/update_arxiv_embeddings पर automate किया है। उपलब्ध resources सीमित होने के कारण HuggingFace Spaces से ही automation करवाया
हालांकि Space बार-बार sleep हो जाता है, इसलिए इसे टालने के लिए api/gradio_client से उसी Space को लगातार call करने की योजना है
freshness वाली बात सही है, इसलिए Recency sort option जोड़ने की कोशिश करूंगा। similarity और publication date के बीच balance बनाना होगा
abstract collapse और result density सुधार भी देखूंगा
शानदार। कुछ queries आजमाईं और semantic results काफी अच्छे थे
हालांकि अगर यह Google Scholar जैसे tools की जगह daily workflow का हिस्सा बनता है, तो अच्छा होगा कि दिखे paper की review कैसे हुई और उसे cite कैसे किया गया। OpenReview जैसी चीज है और example https://openreview.net/forum?id=jhKbnNhwhc है
साथ ही paper bundles के लिए “मुझे जल्दी से catch up करा दो” जैसा feature हो तो अच्छा होगा। generative model मदद कर सकता है, यानी अंत में ऐसा paragraph लिख दे जिसमें citations हों और जो paper के literature review/related work section में जा सके
OpenReview के बारे में नहीं जानता था। transparency पसंद आई, इसलिए integration पर जरूर विचार करूंगा
model से introduction section लिखवाना भी अच्छा feedback है। इस search engine को थोड़ा ज्यादा traditional बनाए रखना चाहता था, लेकिन अगर results अच्छे हों तो यह आगे की दिशा हो सकती है
पहले, यानी LLM boom आने से कुछ साल पहले, इसी size के vector database(gensim/doc2vec) के साथ काम किया था; तब SSE या AVX जैसे instructions से vector search को बस brute force करना भी संभव था
C में लिखकर Python API जोड़ दें। data अगर कुछ GB का है, तो real-time CPU brute force से भी संभव है और 200ms से कम आ सकता है
जब भी semantic search लागू होती है, मैं देखना चाहूंगा कि text search की तुलना में इसका क्या फायदा है
जानना चाहता हूं कि क्या यह पक्का करने के लिए कोई benchmark है कि search सच में बेहतर हुई है। Subjectively, क्या इसने नए papers को बेहतर तरीके से सामने लाया है, और क्या यह किसी खास field में ज्यादा उपयोगी है
फायदा पूरी तरह embedding model की क्षमता पर निर्भर करता है। Semantic embeddings nuances समझती हैं, इसलिए exact वही keywords न हों तब भी conceptually matching abstracts खोज सकती हैं
उदाहरण के लिए “neural networks” और “deep learning” मिलते-जुलते papers ला सकते हैं, और लाने भी चाहिए
Subjectively, मुझे लगता है हां। colleagues के साथ share किया तो उन्होंने कहा कि manuscript तैयार करते समय इससे field में नए authors और papers खोजने में मदद मिली
यह किसी खास field में ज्यादा उपयोगी है या नहीं, इस पर जवाब देने की मेरी क्षमता नहीं है
एक factor यह है कि user query को कैसे phrasing करता है। कुछ हद तक लोग full-text search के आदी हैं, लेकिन semantic search तब चमकती है जब literal questions पूछे जाते हैं, जिनके answers और terms match न भी करते हों
सोच रहा हूं कि और कौन-से अच्छे areas हैं जहां semantic search उपयोगी हो सकती है। काफी समय से ऐसी webapp बनाना चाहता था
अभी जो idea दिमाग में आया, वह marketers के लिए online ads search है। video और image ads को embed और index करके natural-language search से marketing inspiration ढूंढने देना
एक और shopping search है जो Sephora, Zara, H&M जैसे कई ecommerce platforms को cover करे
हालांकि नहीं जानता कि इनमें से कोई भी हल करने लायक business problem के रूप में पर्याप्त अच्छा है या नहीं
Internal documents की quick search. लगभग हर company को इसकी जरूरत होती है। file system जैसी hierarchy को navigate करना धीमा, सीमित और पुराने तरीके का है
code की quick search, जहां comments की wording अलग हो तब भी related हिस्से मिल सकें
कृपया ad tech को और बेहतर बनाना बंद करें। कोई और कर सकता है, लेकिन आपको करने की जरूरत नहीं है
triilman ने जिस पर comment किया है, उससे ज्यादा मिलता-जुलता है, लेकिन सभी components open source हैं। जल्द ही filters और keyword support जोड़ने की योजना है। असल में Milvus का इंतजार कर रहा हूं
शानदार idea है
feedback के तौर पर, मैंने “wave function collapse algorithm”, “gumin wave function collapse”, “wfc”, “model synthesis” search किया, लेकिन जिस research area में मेरी रुचि थी उसके relevant results नहीं आए। quantum computing और physics के दूसरे papers बहुत आए WFC algorithm में terms overlap होकर इस्तेमाल होते हैं और quantum mechanics से इसका कोई संबंध नहीं है, इसलिए यह ऐसी search के लिए खराब case हो सकता है। Model synthesis भी बहुत general है, इसलिए वह भी खराब case हो सकता है
arXiv पर ही “wave function collapse algorithm” search करने पर पहला page relevant results दिखाता है
arXiv keyword-based search engine है, इसलिए text में words को जैसे हैं वैसे खोजता है। PaperMatch meaning के हिसाब से ज्यादा करीब similar papers खोजने की कोशिश करता है
दूसरे approach के तौर पर, अपनी पसंद का एक paper चुनकर arXiv से abstract या arXiv ID copy करके PaperMatch में paste करें, तो similar papers खोजने में मदद मिलेगी
1 टिप्पणियां
Hacker News की राय
ऐसे प्रोजेक्ट देखना अच्छा लगता है। अगर arXiv से आगे विस्तार किया जाए, तो literature review में दायरा महत्वपूर्ण होता है, यह ध्यान रखना चाहिए
दुर्भाग्य से Elsevier और Springer जैसे बड़े publishers OpenAlex जैसे दूसरे indexes से abstracts हटवाने का दबाव डाल रहे हैं, जिससे access और कठिन हो रहा है
जिज्ञासा है कि क्या आपने undermind.ai, scite.ai, elicit.org जैसे tools भी देखे हैं
search के अलावा literature review के लिए खास product flow में क्या शामिल होगा, इस पर भी सोचना उपयोगी होगा। पहले scite.ai में काम किया था
अभी तक इन दोनों के लिए sync pipeline नहीं बना पाया हूं, इसलिए results थोड़े पुराने हो सकते हैं
बड़े publishers द्वारा abstracts हटवाया जाना scope बढ़ाने में सचमुच समस्या बन सकता है
undermind.ai, scite.ai, elicit.org देखे हैं, लेकिन शायद पर्याप्त गहराई से नहीं देख पाया; फिर से जांचकर complementary features जोड़ने की कोशिश करूंगा
search से अलग literature review flow से आपका मतलब Mendeley/Zotero जैसे reference management systems से है या नहीं, यह जानना चाहूंगा
जिज्ञासा है कि arXiv में इतने सारे papers क्यों गायब हैं। क्या authors को खुद submit करना पड़ता है? math, physics, computer science papers अक्सर मिलते हैं, लेकिन biology, chemistry, medicine papers आम तौर पर नहीं होते
सभी मौजूद paper IDs और वे कहां uploaded हैं और कहां missing हैं, इसका database भी इतना ही उपयोगी हो सकता है। जिन papers में public funding का थोड़ा भी हिस्सा लगा हो, वे missing नहीं होने चाहिए
“transformers on byte level not token level” से search करने पर ठीक था, लेकिन ज्यादा हालिया paper https://arxiv.org/abs/2412.09871 नहीं आया, और कई लोग इसे ढूंढना चाह सकते हैं
results की density बढ़ाना भी अच्छा होगा। जैसे abstracts को collapse करके first screen पर ज्यादा items दिखाने का UI option हो तो अच्छा लगेगा
हालांकि Space बार-बार sleep हो जाता है, इसलिए इसे टालने के लिए api/gradio_client से उसी Space को लगातार call करने की योजना है
freshness वाली बात सही है, इसलिए Recency sort option जोड़ने की कोशिश करूंगा। similarity और publication date के बीच balance बनाना होगा
abstract collapse और result density सुधार भी देखूंगा
शानदार। कुछ queries आजमाईं और semantic results काफी अच्छे थे
हालांकि अगर यह Google Scholar जैसे tools की जगह daily workflow का हिस्सा बनता है, तो अच्छा होगा कि दिखे paper की review कैसे हुई और उसे cite कैसे किया गया। OpenReview जैसी चीज है और example https://openreview.net/forum?id=jhKbnNhwhc है
साथ ही paper bundles के लिए “मुझे जल्दी से catch up करा दो” जैसा feature हो तो अच्छा होगा। generative model मदद कर सकता है, यानी अंत में ऐसा paragraph लिख दे जिसमें citations हों और जो paper के literature review/related work section में जा सके
model से introduction section लिखवाना भी अच्छा feedback है। इस search engine को थोड़ा ज्यादा traditional बनाए रखना चाहता था, लेकिन अगर results अच्छे हों तो यह आगे की दिशा हो सकती है
पहले, यानी LLM boom आने से कुछ साल पहले, इसी size के vector database(gensim/doc2vec) के साथ काम किया था; तब SSE या AVX जैसे instructions से vector search को बस brute force करना भी संभव था
C में लिखकर Python API जोड़ दें। data अगर कुछ GB का है, तो real-time CPU brute force से भी संभव है और 200ms से कम आ सकता है
बेहतरीन प्रोजेक्ट है
हाल ही में arXiv dataset से embedding database बनाया: https://huggingface.co/NeuML/txtai-arxiv
अगर literature search के क्षेत्र में रुचि है, तो कुछ संबंधित प्रोजेक्ट भी हैं
annotateai(https://github.com/neuml/annotateai) LLM से papers पर annotations जोड़ता है, और ऊपर दिए गए arXiv database search को support करता है
paperai(https://github.com/neuml/paperai) medical और scientific papers के लिए semantic search और workflows देता है, और txtai(https://github.com/neuml/txtai) पर आधारित है
paperetl(https://github.com/neuml/paperetl) medical और scientific papers के लिए ETL process है और पूरे PDF documents को support करता है
संदर्भ के लिए, txtai ने 8 दिन पहले arXiv embeddings जारी किए थे
https://huggingface.co/NeuML/txtai-arxiv
जब भी semantic search लागू होती है, मैं देखना चाहूंगा कि text search की तुलना में इसका क्या फायदा है
जानना चाहता हूं कि क्या यह पक्का करने के लिए कोई benchmark है कि search सच में बेहतर हुई है। Subjectively, क्या इसने नए papers को बेहतर तरीके से सामने लाया है, और क्या यह किसी खास field में ज्यादा उपयोगी है
उदाहरण के लिए “neural networks” और “deep learning” मिलते-जुलते papers ला सकते हैं, और लाने भी चाहिए
Subjectively, मुझे लगता है हां। colleagues के साथ share किया तो उन्होंने कहा कि manuscript तैयार करते समय इससे field में नए authors और papers खोजने में मदद मिली
यह किसी खास field में ज्यादा उपयोगी है या नहीं, इस पर जवाब देने की मेरी क्षमता नहीं है
सोच रहा हूं कि और कौन-से अच्छे areas हैं जहां semantic search उपयोगी हो सकती है। काफी समय से ऐसी webapp बनाना चाहता था
अभी जो idea दिमाग में आया, वह marketers के लिए online ads search है। video और image ads को embed और index करके natural-language search से marketing inspiration ढूंढने देना
एक और shopping search है जो Sephora, Zara, H&M जैसे कई ecommerce platforms को cover करे
हालांकि नहीं जानता कि इनमें से कोई भी हल करने लायक business problem के रूप में पर्याप्त अच्छा है या नहीं
सोच रहा हूं कि क्या यह Allen Institute for AI के https://www.semanticscholar.org जैसा है
शानदार idea है
feedback के तौर पर, मैंने “wave function collapse algorithm”, “gumin wave function collapse”, “wfc”, “model synthesis” search किया, लेकिन जिस research area में मेरी रुचि थी उसके relevant results नहीं आए। quantum computing और physics के दूसरे papers बहुत आए
WFC algorithm में terms overlap होकर इस्तेमाल होते हैं और quantum mechanics से इसका कोई संबंध नहीं है, इसलिए यह ऐसी search के लिए खराब case हो सकता है। Model synthesis भी बहुत general है, इसलिए वह भी खराब case हो सकता है
arXiv पर ही “wave function collapse algorithm” search करने पर पहला page relevant results दिखाता है
दूसरे approach के तौर पर, अपनी पसंद का एक paper चुनकर arXiv से abstract या arXiv ID copy करके PaperMatch में paste करें, तो similar papers खोजने में मदद मिलेगी