Meta FAIR का नया शोध, मॉडल और datasets साझा

 (ai.meta.com)
1 पॉइंट द्वारा GN⁺ 2024-12-14 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • सारांश

    • Meta FAIR ने अपनी नवीनतम शोध उपलब्धियाँ सार्वजनिक की हैं और Meta Motivo जैसे कई मॉडल पेश किए हैं, जो virtual agents के व्यवहार नियंत्रण के लिए है, तथा Meta Video Seal, जो video watermarking के लिए है.
    • इन शोधों का लक्ष्य machine intelligence को आगे बढ़ाना है, और इनका उद्देश्य ऐसी तकनीकों तक पहुंच का लोकतंत्रीकरण करना है जो भौतिक दुनिया के साथ interactivity को क्रांतिकारी रूप से बदल सकती हैं.
    • जारी किए गए शोध agent capabilities में सुधार, robustness और safety, तथा ऐसे architectural innovations पर केंद्रित हैं जिनसे मॉडल नई जानकारी को प्रभावी ढंग से सीख सकें.

  • Meta Motivo

    • Meta Motivo virtual humanoid agents की movement को नियंत्रित करने वाला पहला behavior-based model है, जिसे जटिल कार्य करने के लिए डिज़ाइन किया गया है.
    • यह मॉडल मानव-सदृश व्यवहार सीखने के लिए unsupervised reinforcement learning का उपयोग करता है, और अतिरिक्त training के बिना विभिन्न full-body control tasks हल कर सकता है.
    • यह environment changes के प्रति उच्च robustness दिखाता है, और metaverse में fully embodied agents के विकास में योगदान देने की क्षमता रखता है.

  • Meta Video Seal

    • Meta Video Seal video watermarking के लिए एक व्यापक framework है, जो वीडियो में ऐसा watermark जोड़ता है जिससे उसके स्रोत का पता लगाया जा सके.
    • यह मॉडल video editing या compression algorithms के प्रति प्रतिरोधक क्षमता रखता है, और research community को watermarking functionality integrate करने में सहायता देता है.
    • Meta Omni Seal Bench नामक leaderboard के माध्यम से researchers अपने work को test और add कर सकते हैं.

  • Flow Matching

    • Flow Matching image, video और audio जैसी विभिन्न modalities के लिए एक generative paradigm है, जो performance और efficiency में सुधार करता है.
    • यह तरीका complex data को आसानी से generalize करने में मदद करता है, और research community इसे अपने generative projects में लागू कर सकती है.

  • Meta Explore Theory-of-Mind

    • Meta Explore Theory-of-Mind विभिन्न ToM inference data तैयार करता है, जिससे large language models के performance का मूल्यांकन और सुधार करने में मदद मिलती है.
    • इस framework का उपयोग LLM performance का मूल्यांकन करने, goal-oriented scenarios को सुदृढ़ करने, और interaction datasets एकत्र करने के लिए किया जा सकता है.

  • Meta Large Concept Models

    • Meta Large Concept Models language modeling के लिए एक नया training paradigm है, जो concept prediction के माध्यम से language representations को अलग करता है.
    • यह मॉडल summarization tasks में हाल के LLMs की तुलना में बेहतर performance दिखाता है, और अज्ञात भाषाओं के लिए मजबूत zero-shot generalization प्रदान करता है.

  • Meta Dynamic Byte Latent Transformer

    • Dynamic Byte Latent Transformer एक tokenizer-free model है, जो rare text sequences पर performance बेहतर बनाता है.
    • यह मॉडल विभिन्न domains में reasoning को बेहतर बनाने में योगदान देता है, और rare sequence processing में विशेष ताकत दिखाता है.

  • Meta Memory Layers

    • Meta Memory Layers memory layers को विस्तारित करके factuality बढ़ाने की एक विधि प्रस्तुत करता है.
    • यह तरीका sparse memory architecture के कुशल scaling को संभव बनाता है, और सामान्य factuality benchmarks पर performance में सुधार करता है.

  • Meta Image Diversity Modeling

    • image generation models के सुरक्षित विकास के लिए शोध किया जा रहा है, और text-to-image generation models के लिए evaluation tools जारी किए गए हैं.
    • external experts के साथ मिलकर image diversity modeling की जिम्मेदारी को बेहतर बनाने के लिए शोध चल रहा है.

  • Meta CLIP 1.2

    • Meta CLIP 1.2 vision-language encoder development में एक महत्वपूर्ण milestone है, जो image और language के अर्थों को सटीक रूप से map करने में मदद करता है.
    • researchers और developers को vision-language understanding आगे बढ़ाने में मदद देने के लिए data algorithms और training methods जारी किए गए हैं.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-12-14
Hacker News राय

  • Meta में कई तरह की innovative technologies विकसित हो रही हैं। खासकर LLM से जुड़ी technologies दिलचस्प हैं

    • इनमें Large Concept Models, Dynamic Byte Latent Transformers, Sparse Memory Layers शामिल हैं
    • कहा गया है कि इनमें से हर तकनीक quality और efficiency को बेहतर बनाती है
    • जब इन सभी technologies को एक साथ जोड़ा जाएगा, तब quality/efficiency में कितना सुधार होगा, यह जानने की जिज्ञासा है
    • संभव है कि इन्हें Llama 4 में लागू किया जाए

  • AI Engineer London meetup में पूर्व Meta कर्मचारी Ross Taylor का talk सुनने का मौका मिला था

    • Meta के reasoning और theory of mind से जुड़े काफी research पर पहले ध्यान नहीं गया था

  • पहला demo आज़माना बहुत मज़ेदार है

    • लक्ष्य मॉडल से moonwalk करवाना है
    • आज़माए गए code का example दिया गया है

  • "Meta Explore Theory of Mind" और भी ज़्यादा दिलचस्प है

    • एक महीने पहले इससे जुड़े concept पर चर्चा करने वाला एक thread था

  • Meta की वित्तीय स्थिति को देखते हुए, AI विशेषज्ञों पर करोड़ों डॉलर खर्च करना उसके लिए कोई बड़ा बोझ नहीं है

  • Dynamic Byte Latent Transformers की सफलता की उम्मीद है

    • tokenizer के अंत की आशा है
    • hierarchy सिर्फ दो स्तरों की है
    • और अधिक स्तर जोड़ना research की दिशा हो सकती है

  • हर बार text साफ करते समय इस बात का अफसोस होता है कि byte-level denoising autoencoder को train नहीं किया

  • Meta का "Video Seal" विश्वसनीयता पर ज़ोर देने वाला एक digital tool है

    • इसे ऐसे मजबूत tool के रूप में बताया गया है जो इंटरनेट वातावरण में भी content को track कर सकता है

  • यह जिज्ञासा है कि AI video में watermark को स्वेच्छा से जोड़ना AI safety में कैसे मदद करता है

  • Meta, AI को proprietary न रहने देने में योगदान दे रहा है