- LlamaCloud: नई पीढ़ी की managed parsing, ingestion और search सेवा. इसे LLM और RAG applications को production-grade Context-Augmentation देने के लिए डिज़ाइन किया गया है
- LlamaParse: table/chart जैसी objects वाले जटिल documents को parse करने की टेक्नोलॉजी. LlamaIndex के साथ integrate होकर complex और semi-structured documents के लिए search build करने में मदद करता है
- प्रबंधित ingestion और search API: डेटा को आसानी से load, process और store करके किसी भी भाषा से इस्तेमाल की जा सके, ऐसी API देता है. यह LlamaHub, LlamaParse और integrated data store पर काम करता है
RAG की सफलता डेटा की गुणवत्ता पर निर्भर करती है
- LLM का core फोकस unstructured data sources से knowledge retrieval, synthesis, extraction और planning को automate करना है
- इसी लिए एक नया data stack आया है: Retrieval-Augmented Generation (RAG), जो डेटा को load, process, embed करके vector database में डालता है
- RAG stack पारंपरिक ETL stack से अलग है और LLM सिस्टम की accuracy पर सीधा असर डालता है
- शुरुआत आसान हो सकती है, लेकिन production-grade RAG build करना कठिन होता है
- संतोषजनक परिणाम नहीं मिलते
- tune करने के लिए बहुत सारे parameters होते हैं
- PDF की formatting अक्सर messy होती है, इसलिए अक्सर समस्या यहीं से शुरू होती है
- बार-बार update होने वाले डेटा को sync करना बेहद कठिन होता है
- LlamaCloud और LlamaParse को इस तरह बनाया गया है कि RAG applications जल्दी production में deploy हो सकें, यानी डेटा pipeline के रूप में
LlamaParse
- LlamaParse एक आधुनिक/advanced parser है जो जटिल PDF documents में embedded tables और charts को RAG के लिए interpret कर सकता है
- यह उन complex documents पर सवालों का जवाब दे सकता है जो पहले पुराने approaches से संभव नहीं थे
प्रबंधित ingestion और खोज API
- LlamaCloud का एक और प्रमुख product, जिससे high-performing data pipeline को आसानी से declare/setup करके LLM applications को clean data दिया जा सकता है
- यह engineering time बचाने, performance बढ़ाने और सिस्टम complexity घटाने जैसे फायदे देता है
लॉन्च पार्टनर्स और सहयोगी
- LlamaParse ने कई पार्टनर्स के साथ काम करके LLM और AI ecosystem में DataStack, MongoDB, Qdrant, NVIDIA जैसे storage और computing partners के साथ partnerships बनाई हैं।
FAQ
- LlamaCloud vector databases से compete नहीं करता; इसका फोकस डेटा parsing और ingestion पर है. यह 40 से अधिक popular vector DBs के साथ integrate हो सकता है
- Search layer सिर्फ existing storage systems के ऊपर की orchestration है
अगले कदम
- LlamaParse आज से public preview में उपलब्ध है, जबकि LlamaCloud limited enterprise design partners के लिए private preview के रूप में दिया जा रहा है
1 टिप्पणियां
Hacker News टिप्पणी
LlamaParse टीम का हिस्सा रहने के नाते, मैं पहले कई PDF से स्ट्रक्चर्ड टेक्स्ट एक्सट्रैक्टर बना चुका हूँ। LlamaParse मुझे अन्य एक्सट्रैक्टरों की तुलना में बेहतर लगा। यह टेक्स्ट निकालने के लिए OCR और PDF टेक्स्ट एक्सट्रैक्शन को combine करता है, और डॉक्यूमेंट री-कंस्ट्रक्शन के लिए heuristics के साथ machine learning models भी इस्तेमाल करता है। Recursive search strategy के साथ मिलकर यह complex टेक्स्ट पर question-answering में बेहतर परिणाम दे सकता है।
LlamaParse ने जटिल tables वाले PDF को स्ट्रक्चर्ड markdown फॉर्मेट में parse करने के लिए एक बहुत अच्छा proprietary parsing service बनाया है। क्या कोई ओपन-सोर्स प्रोजेक्ट जो community contributions और attention से लोकप्रिय हो गया हो, उसके project leads का VC फंड लेकर इसे proprietary बनाना ठीक है?
Medium पर पोस्ट करने का कारण समझ में नहीं आता। Medium अब लगभग नहीं पढ़ा जा सकता, इसलिए कोई accessible ब्लॉग पोस्ट होना चाहिए।
मैं यह जानना चाहता हूँ कि LlamaParse की तुलना सीधे तौर पर unstructured.io से कैसे की जा सकती है।
LlamaParse के साथ मेरी शुरुआती अनुभव अच्छी नहीं रही। ईमेल से साइन अप करते समय infinite redirection issue दिखा, और Google से लॉगिन करने के बाद PDF parser से निराशा हुई। जब पहले से ही कई विकल्प मौजूद हैं, तो इस service की जरूरत क्यों महसूस हो रही है, समझ नहीं आता।
मुझे लगता है कि LlamaParse कठिन समस्याएँ हल करने की कोशिश कर रहा है। कई enterprise customers को PDF files parse करके डेटा सही-सही extract करने की जरूरत होती है। इसका interface थोड़ा confusing है। LlamaParse tables से numbers निकाल सकता है, लेकिन आउटपुट शायद tabular format में नहीं देता; लगता है कि numbers तक केवल question-answering के ज़रिए ही access किया जा सकता है।
क्या यह AWS Textract जैसा नहीं है? इसमें tables और forms से information parse और query करने की क्षमता है। LI के लिए यह शायद workflow और RAG के लिए search को user के लिए आसान बनाता है, लेकिन फिर भी wheel को क्यों दोबारा invent कर रहे हैं?
यदि LLMs शुरू से ही डेटा को सबसे सही फॉर्मेट में extract कर सकते हैं, तो फिर इसे क्यों build किया जा रहा है? शायद खर्च की वजह से अल्पकाल में sense बनता है, लेकिन दीर्घकाल में यह समस्या सामान्यतः LLMs से solve हो जानी चाहिए।
RAG में बार-बार आने वाली समस्या को LlamaParse ठीक-ठाक हल करता है। unstructured data से structured information निकालना कठिन होता है।
मूल्य कितना होगा, कोई बता सकता है?