AI डेटा इन्फ्रास्ट्रक्चर का उदय

 (felicis.com)
16 पॉइंट द्वारा xguru 2024-11-25 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

> "हम इस समय एक नई औद्योगिक क्रांति की शुरुआत में हैं। बिजली पैदा करने के बजाय कृत्रिम बुद्धिमत्ता पैदा कर रहे हैं.. [ओपन सोर्स] हर कंपनी को AI कंपनी बनने में सक्षम बनाता है" - Jensen Huang

  • दस्तावेज़ों से जानकारी निकालना कोई नई अवधारणा नहीं है। लेकिन जनरेटिव AI (GenAI) को बड़ी मात्रा में उच्च-गुणवत्ता वाले डेटा की आवश्यकता होती है
  • ट्रेनिंग और inference दोनों के लिए डेटा महत्वपूर्ण है, और यह केवल डेटा के पैमाने तक सीमित नहीं बल्कि टेक्स्ट, टेबल डेटा से आगे बढ़कर वीडियो, इमेज और ऑडियो तक फैलता है
  • सैटेलाइट इमेज, रोबोट सेंसर डेटा जैसे spatial डेटा की वृद्धि भी देखी जा रही है
  • डेटा लेयर में AI के कारण तुरंत पुनर्निर्मित होने वाले नए क्षेत्र कौन से हो सकते हैं?
    • unstructured डेटा extraction और pipelines, Retrieval-Augmented Generation (RAG), data curation, data storage, AI memory
  • इस लेख का उद्देश्य AI डेटा इन्फ्रास्ट्रक्चर परिदृश्य का विश्लेषण करना, नवीनतम ट्रेंड साझा करना और सबसे आशाजनक innovation क्षेत्रों पर चर्चा करना है

AI डेटा इन्फ्रास्ट्रक्चर की वर्तमान स्थिति

  • AI डेटा value chain में डेटा प्रवाह को सरल रूप से visualize करते हुए, डेटा learning और inference प्रक्रिया के प्रवाह को समझाने का प्रयास किया गया है
  • डेटा इन्फ्रास्ट्रक्चर की value chain को छह प्रमुख क्षेत्रों में वर्गीकृत किया गया है
    • डेटा स्रोत (Sources)
    • डेटा ingestion और transformation (Ingestion & Transformation)
    • storage
    • training
    • inference
    • data services

डेटा स्रोत

  • ऐप डेटा: Salesforce, ServiceNow आदि से निकाला गया
  • रियल-टाइम डेटा: सेंसर, मैन्युफैक्चरिंग, हेल्थकेयर डेटा
  • OLTP डेटाबेस: Oracle, MongoDB जैसे transaction डेटा
  • synthetic डेटा: वास्तविक दुनिया से एकत्र नहीं किया गया, कृत्रिम रूप से जनरेट किया गया डेटा (e.g., Mostly AI, Datagen, Tonic)
    • लागत-प्रभावी और data compliance के दृष्टिकोण से लाभकारी
    • लेकिन, statistical outlier डेटा के प्रतिनिधित्व की कमी के कारण मॉडल प्रदर्शन अनुकूलन में सीमाएँ हैं
  • वेब डेटा: web scraping के माध्यम से सार्वजनिक डेटा संग्रह (e.g., Browse AI, Apify)
    • बड़े पैमाने के डेटा मॉडल training के लिए आवश्यक, लेकिन सार्वजनिक डेटा के समाप्त होने की संभावना है (2026~2032 अनुमानित)

डेटा ingestion और transformation

  • data pipeline वह प्रक्रिया है जिसमें डेटा को उसके स्रोत से गंतव्य तक भेजा जाता है और विश्लेषण योग्य स्थिति में बदला जाता है
    • ETL/ELT: पारंपरिक तरीका (batch processing, streaming processing)
    • feature engineering/pipeline: ML में मुख्यतः table data प्रोसेसिंग
    • unstructured डेटा pipeline: डेटा extraction, transformation, storage प्रक्रियाओं को एकीकृत करके unstructured डेटा को व्यवस्थित और संग्रहीत करना
  • pipeline के प्रकार
    • batch processing: निश्चित समय अंतराल पर डेटा extraction और loading
    • streaming processing: डेटा को रियल-टाइम में लोड करना (Kafka, Flink आदि)
  • tools और frameworks
    • streaming (Kafka, Confluent), processing engine (Databricks, Flink), orchestration tools (Astronomer, Dagster, Airflow, Prefect आदि)
    • labeling tools: LabelBox, Scale AI आदि (test data labeling महत्वपूर्ण)
      • batch: ETL (Airbyte, Fivetran), transform (dbt, coalesce)
      • unstructured डेटा processing: Datavolo, Unstructured, LlamaIndex आदि

डेटा storage

  • पारंपरिक दृष्टिकोण: data warehouse में storage
  • AI उपयोग के लिए डेटा:
    • data lake और lakehouse संरचना का उपयोग
    • vector database के माध्यम से data embedding का storage
  • मुख्य tools:
    • data lake: Databricks, Onehouse, Tabular, Amazon S3, GCS आदि
      • vector DB: Pinecone, Chroma, Milvus, Weaviete आदि

मॉडल training

  • learning के तरीके:
    • supervised learning, unsupervised learning, reinforcement learning
  • Large Language Model (LLM) training प्रक्रिया:
    • pre-training: unsupervised learning के माध्यम से डेटा पैटर्न की पहचान
    • supervised learning: प्रदर्शन अनुकूलन
    • reinforcement learning (RLHF): मानव feedback के माध्यम से प्रदर्शन सुधार
  • validation और evaluation:
    • accuracy, precision, loss minimization आदि के आधार पर मॉडल की उपयुक्तता का मूल्यांकन
  • अंतिम चरण:
    • security testing, governance, compliance की पुष्टि
  • मुख्य tools:
    • training: TensorFlow, Modular
      • Evaluation: neptune.ai, Weights & Biases
      • MLOps: Databricks, H2O.ai, DataRobot, Dataiku, DOMINO
      • Model: OpenAI, Cohere, Mistral AI, Runway

मॉडल inference

  • प्रक्रिया:
    • prompt input → tokenization/vectorization → data processing → output generation
  • customization:
    • vector database और LLM का एकीकरण
    • उपयोगकर्ता के context को दर्शाने वाले विशिष्ट परिणामों का निर्माण
  • आवश्यक विचार:
    • data security, model quality, compliance
  • मुख्य tools:
    • Tooling: ANON, E2B
    • Memory: MemGPT, cognee.ai
    • RAG Framework: LangCHain, LlamaIndex, contextual.ai, databricks
    • Agent/App: ChatGPT, Claude, character.ai, Decagon, NormAi

data services

  • श्रेणियाँ:
    • data security: access control, data leak prevention (Rubrik, eureka, imperva, sentra, Dig, Cyera, Varonis, BigID)
    • data visibility: data pipeline की quality और performance की monitoring (Anomalo, datologyai, OBSERVE, MonteCarlo, Cleanlab, Scale AI, onum, metaplane)
    • data catalog: metadata का केंद्रीकरण, data assets का संगठन (atlan, Alation, Collibra, Informatica, Acryl Data, CastorDoc, select star, data.world)
  • निष्कर्ष:
    • डेटा जितना बेहतर संगठित होगा, security, visibility और management उतने ही अधिक कुशल होंगे

[AI के कारण डेटा का पुनर्गठन]

AI के कारण डेटा इन्फ्रास्ट्रक्चर के निम्न क्षेत्रों में innovation देखा जा रहा है:

1. AI एजेंट और applications के लिए unstructured डेटा pipelines

  • unstructured डेटा pipelines का उदय:
    • conversational AI और agent applications में आंतरिक unstructured डेटा का उपयोग करने की मांग बढ़ रही है
    • unstructured डेटा pipeline में पारंपरिक data pipeline जैसी प्रक्रियाएँ शामिल हैं: डेटा extraction, transformation, indexing, storage
  • मुख्य डेटा स्रोत:
    • PDF text, knowledge base, images आदि
    • मुख्यतः conversational AI use cases को समर्थन देने वाला डेटा
  • अंतर पैदा करने वाले तत्व:
    • transformation चरण में मौजूदा pipelines से अंतर उत्पन्न होता है:
      • data chunking: डेटा को छोटे-छोटे हिस्सों में बाँटना
      • metadata extraction: indexing के लिए आवश्यक डेटा बनाना
      • embedding: प्रत्येक data chunk को vector रूप में बदलकर संग्रहीत करना
  • सफलता के कारक:
    • chunking strategy और embedding model का चयन डेटा retrieval accuracy पर महत्वपूर्ण प्रभाव डालता है
    • domain-specific embedding models का उदय: उदाहरण के लिए code, legal content के लिए विशेष मॉडल
  • vector-compatible database का उपयोग:
    • unstructured डेटा को store करना और query योग्य रूप में बदलना
    • RAG (Retrieval-Augmented Generation) और agents के माध्यम से LLM personalization संभव
  • मुख्य अवलोकन
    • टीमें विभिन्न chunking strategies आजमा रही हैं
    • domain-specific embedding models धीरे-धीरे बढ़ रहे हैं और accuracy तथा performance सुधार में योगदान दे रहे हैं
    • कंपनियाँ ऐसे tools खोज रही हैं जो डेटा को आसानी से query किए जा सकने वाले format में बदल सकें

2. Retrieval-Augmented Generation (RAG)

  • RAG overview:
    • RAG एक architectural workflow है जो LLM applications की दक्षता सुधारने के लिए custom डेटा का उपयोग करता है
    • यह कैसे काम करता है:
      • डेटा को load करके query processing के लिए "indexing" किया जाता है
      • query, index के आधार पर सबसे अधिक प्रासंगिक डेटा को filter करती है
      • filtered context और query को LLM तथा prompt के साथ भेजा जाता है, जिससे response बनता है
    • डेटा को product experience के हिस्से के रूप में सक्रिय किया जा सकता है
  • RAG के मुख्य लाभ:
    • updated जानकारी प्रदान करना:
      • LLM pre-training डेटा तक सीमित होते हैं, इसलिए पुराने या गलत responses की संभावना रहती है
      • RAG बाहरी information sources तक पहुँचकर नवीनतम responses प्रदान करता है
    • factuality को मजबूत करना:
      • जहाँ LLM सटीक जानकारी देने में विफल हो सकते हैं, वहाँ RAG इस कमी को पूरा करता है
      • curated knowledge base का उपयोग करके अधिक विश्वसनीय जानकारी प्रदान की जाती है
    • source प्रदान करना:
      • LLM के response में citations और annotations जोड़े जा सकते हैं
      • इससे उपयोगकर्ता का भरोसा बढ़ता है

3. training और inference प्रदर्शन सुधार के लिए data curation

  • data curation: सर्वोत्तम training और inference performance के लिए datasets को filter और संरचित करने की प्रक्रिया
    • मुख्य कार्य:
      • text classification
      • NSFW filter लागू करना
      • data deduplication
      • batch size optimization
      • performance-आधारित source optimization
      • synthetic डेटा के माध्यम से data augmentation
  • Meta Llama-3 घोषणा से insights:
    • training डेटा curation:
      • "सबसे अच्छे language model को train करने के लिए उच्च-गुणवत्ता वाले बड़े datasets का curation महत्वपूर्ण है"
      • Meta ने निम्न प्रकार की data filtering pipeline विकसित की:
        • heuristic filter
        • NSFW filter
        • semantic deduplication
        • data quality prediction text classifier
    • fine-tuning डेटा curation:
      • "मॉडल quality में सबसे बड़ा सुधार डेटा को सावधानीपूर्वक curate करने और human annotators की annotations को कई quality assurance चरणों के माध्यम से review करने से हासिल हुआ"
  • data curation का प्रभाव:
    • Meta AI research team के अनुसार:
      • curation training समय को अधिकतम 20% तक कम कर सकती है
      • downstream accuracy में सुधार
      • इंटरनेट डेटा की कमी की स्थिति में भी मॉडल performance सुधारने का मार्ग प्रदान करना
  • आगे की दिशा:
    • model training और fine-tuning के लिए automated high-quality data filters, deduplication, classifiers महत्वपूर्ण होंगे
    • Datology AI जैसी कंपनियाँ इसे साकार करने के लिए काम कर रही हैं

4. AI के लिए data storage

  • AI डेटा को store करने के तरीकों में तीन प्रमुख trends हैं:
    • vector database
    • data lake का उदय
    • lakehouse में बढ़ता निवेश
  • vector database का महत्व:
    • vector database को AI boom की मुख्य तकनीकों में से एक माना जा रहा है
    • data embedding (संख्यात्मक representation) के storage के लिए उपयुक्त:
      • unstructured डेटा (image, audio, video आदि) को संख्याओं में बदलकर store करना
      • semantic search का समर्थन (उदा.: "dog" खोजने पर "wolf" या "puppy" लौटाना)
    • vector database के रूप:
      • native vector database: vector storage के लिए विशेष रूप से डिज़ाइन किया गया
      • मौजूदा डेटाबेस का expanded रूप: मौजूदा database में vector support जोड़ा गया
    • use case: LLM personalization
      • कंपनियों के custom डेटा को vector embeddings के रूप में store और retrieve किया जा सकता है
      • AI agents इस संरचना का उपयोग करके customized experience प्रदान कर सकते हैं
  • data lake और lakehouse
    • data lake का उदय:
      • अधिकांश कंपनियाँ बड़े पैमाने का डेटा data lake में store करती हैं
      • custom AI development के लिए data lake का उपयोग आवश्यक है
    • lakehouse architecture:
      • data lake को प्रभावी ढंग से manage और query करने के लिए architecture प्रदान करता है
      • open table format के रूप में डेटा का संगठन:
        • Iceberg, Delta Lake, Hudi आदि का उपयोग
      • data organization और query performance में सुधार
    • Databricks की भूमिका:
      • Databricks ने Tabular का अधिग्रहण करके Delta Lake और Iceberg की development teams को एकीकृत किया
      • इससे competitors के लिए प्रवेश कठिन होता है और lakehouse technology के विकास का नेतृत्व मिलता है

5. AI memory

  • AI memory का उदय:
    • ChatGPT की memory feature घोषणा के बाद AI memory चर्चा का प्रमुख विषय बन गई
    • मानक AI systems में मजबूत episodic memory और interactions के बीच continuity की कमी है:
      • वर्तमान systems एक प्रकार की short-term amnesia की स्थिति में हैं
      • complex sequential reasoning और multi-agent systems में knowledge sharing पर सीमाएँ हैं
  • multi-agent systems में memory
    • जैसे-जैसे multi-agent systems विकसित हो रहे हैं, agents के बीच memory management system की आवश्यकता है
    • functional requirements:
      • प्रत्येक agent के लिए memory store करना और sessions के बीच access का समर्थन
      • access और privacy controls शामिल होना
      • agents के बीच memory pooling:
        • एक agent दूसरे agent के अनुभव का उपयोग कर सके
        • decision-making क्षमता में सुधार
    • hierarchical memory की आवश्यकता:
      • access frequency, importance, cost के आधार पर memory को स्तरबद्ध ढंग से store करना
  • MemGPT: AI memory management का अग्रणी framework
    • MemGPT का vision: LLM अगली पीढ़ी के operating system (OS) के विकास का नेतृत्व करेंगे
    • architecture overview:
      • memory के प्रकार:
        • मुख्य context memory: main memory (RAM) के समान
        • external context memory: disk memory/disk storage के समान
  • AI memory का महत्व
    • personalization, learning, reflection का समर्थन करती है और AI applications के विकास के लिए आवश्यक है
    • agents के बीच सहयोग और shared memory के माध्यम से complex tasks हल करने की क्षमता बढ़ती है

AI workloads के अवसर

  • AI workloads और data infrastructure:
    • GenAI के उदय से data infrastructure का हर पहलू नहीं बदला है, लेकिन निम्न तकनीकों का उभरना अत्यंत रोचक विकास है:
      • unstructured डेटा extraction और pipelining
      • Retrieval-Augmented Generation (RAG)
      • data curation
      • data storage
      • AI memory
  • Felicis की investment strategy
    • AI और data infrastructure के भविष्य पर focus:
      • data और infrastructure layer से संबंधित startups में निवेश
      • प्रमुख निवेश उदाहरण:
        • Datology: data curation
        • Metaplane: data observability
        • MotherDuck: serverless data warehouse
        • Weights & Biases: experiment tracking tool
  • AI बाज़ार की growth potential
    • scalability:
      • AI बाज़ार chatbots से multi-agent workflows तक व्यापक रूप से विस्तार कर रहा है
      • यह अभी केवल शुरुआती चरण है और आगे और अधिक विकास की संभावना है
    • data solutions का महत्व:
      • सफल AI applications के लिए data solutions केंद्रीय हैं
      • AI workloads को support करने वाले बड़े डेटा व्यवसायों के निर्माण की संभावना है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.