[अनुवाद] Meta AI के Megabyte की व्याख्या

 (discuss.pytorch.kr)
12 पॉइंट द्वारा ninebow 2023-05-27 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

AI इन्फ्रास्ट्रक्चर / टूल डेवलपमेंट startup ENCORD द्वारा लिखे गए Megabyte व्याख्या लेख का अनुवाद

  • MegaByte की मुख्य आर्किटेक्चर का परिचय
    • Patch Embedder: इनपुट को embed करके patch में विभाजित करता है
    • Global Module: self-attention करने वाला autoregressive transformer
    • Local Module: global model से मिले इनपुट के आधार पर अगला patch predict करता है
  • Multiscale Transformer का परिचय
  • Autoregressive Transformer का परिचय
  • मौजूदा मॉडल की समस्याएँ: Tokenization, Scalability, Generation Speed
  • प्रस्तावित समाधान
    • self-attention जो computation cost को O(N^(4/3)) तक कम करता है
    • patch इकाई पर feedforward layer लागू करना
    • decoding के समय parallel processing
  • (अतिरिक्त) Meta AI की ताज़ा गतिविधियाँ

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.