Llama2.c: शुद्ध C में लिखा गया Llama 2 inference कोड

 (github.com/karpathy)
13 पॉइंट द्वारा ninebow 2023-07-24 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह लेख GPT-4 का उपयोग करके अपने-आप तैयार किया गया विवरण है, इसलिए इसमें गलत जानकारी हो सकती है. :smile:
  • अगर आपको कोई गलत जानकारी मिले, तो कृपया कमेंट में बताएं! :bowing_man:

परिचय

Llama2.c, Andrej Karpathy द्वारा विकसित शुद्ध C में लिखा गया Llama 2 inference है। यह प्रोजेक्ट machine learning models के inference के लिए एक lightweight library है, और C भाषा में लिखे जाने के कारण इसे विभिन्न platforms पर इस्तेमाल किया जा सकता है। यह लाइब्रेरी खास तौर पर छोटे models के लिए CPU पर तेज़ी से काम करने के लिए डिज़ाइन की गई है।

सारांश

यह लाइब्रेरी machine learning models के inference के लिए एक lightweight library है, और C भाषा में लिखे जाने के कारण इसे विभिन्न platforms पर इस्तेमाल किया जा सकता है। यह लाइब्रेरी खास तौर पर छोटे models के लिए CPU पर तेज़ी से काम करने के लिए डिज़ाइन की गई है। यह लाइब्रेरी खास तौर पर छोटे models के लिए CPU पर तेज़ी से काम करने के लिए डिज़ाइन की गई है।

यह प्रोजेक्ट कई optimization options प्रदान करता है, जिनकी मदद से उपयोगकर्ता अपने सिस्टम के अनुसार कोड को और तेज़ चला सकते हैं। उदाहरण के लिए, -O3, -Ofast, -ffast-math, -funsafe-math-optimizations, -march=native जैसे compile options का उपयोग किया जा सकता है। इन options में vectorization, loop unrolling, branch prediction जैसी optimizations शामिल हैं, और कुछ options C/IEEE specifications का उल्लंघन भी कर सकते हैं।

यह प्रोजेक्ट अभी development में है, और इसमें कई ऐसे मुद्दे हैं जिन्हें अभी हल किया जाना बाकी है। उदाहरण के लिए, C sampling code में ./run चलाते समय उसके आगे space होने का कारण, छोटे models के लिए multi-query support, और maximum sequence length से आगे inference करने का support आदि।

संदर्भ

  1. GCC optimization options: GCC के विभिन्न optimization options के बारे में विस्तार से जाना जा सकता है।
  2. GCC floating point math: -ffast-math और -funsafe-math-optimizations options के बारे में विस्तृत जानकारी मिल सकती है।
  3. Andrej Karpathy का GitHub: Andrej Karpathy के अन्य projects देखे जा सकते हैं।
  4. Llama2.c का license: इस प्रोजेक्ट का MIT license देखा जा सकता है।
  5. Llama2.c contributors सूची: इस प्रोजेक्ट में योगदान देने वाले लोगों को देखा जा सकता है।

स्रोत

https://github.com/karpathy/llama2.c

संबंधित पढ़ाई