Llama.ttf - LLM क्षमताओं वाला फ़ॉन्ट

 (fuglede.github.io)
11 पॉइंट द्वारा GN⁺ 2024-06-24 | 2 टिप्पणियां | WhatsApp पर शेयर करें
  • Llama.ttf एक फ़ॉन्ट फ़ाइल है, और साथ ही एक large language model (LLM) तथा उसका inference engine भी है
  • Firefox/Chrome में इस्तेमाल होने वाला font shaping engine Harfbuzz, Wasm shaper के ज़रिए टेक्स्ट को मनचाहे कोड से "shape" करने की सुविधा देता है
    • यह "मनचाहा" कोड, प्रशिक्षित parameters सहित पूरा LLM inference engine हो सकता है, जो LLM को initialize करके text generation जैसे काम करता है
    • यहाँ Llama नामक LLM का उपयोग किया गया है, इसलिए इसका नाम llama.ttf रखा गया है
  • यानी, Wasm-enabled Harfbuzz-आधारित application में इस फ़ॉन्ट का उपयोग करके LLM चलाया जा सकता है और text generation जैसे काम किए जा सकते हैं
    • vendor के "Copilot" जैसी सुविधा लागू करने का इंतज़ार किए बिना, सब कुछ लोकल में चलता है
    • इस फ़ॉन्ट का उपयोग करके फ़ॉन्ट के साथ chat भी की जा सकती है
  • उपयोग का तरीका:
    • llama.ttf फ़ाइल डाउनलोड करें और इसे किसी दूसरे फ़ॉन्ट की तरह इस्तेमाल करें
    • Harfbuzz को Dwasm=enabled के साथ build करें, wasm-micro-runtime को build करें, फिर बनी हुई shared library को LD_PRELOAD environment variable में जोड़ें, और उसके बाद gedit या GIMP जैसे Harfbuzz-आधारित application चलाएँ
  • फ़ॉन्ट और LLM का उपयोग करने वाले कुछ और दिलचस्प प्रयोग भी पेश किए गए हैं

GN⁺ की राय

  • llama.ttf फ़ॉन्ट फ़ाइल के माध्यम से LLM चलाने का एक अभिनव तरीका है.
  • लोकल में चलने के कारण यह privacy और performance के लिहाज़ से फायदेमंद है.
  • Harfbuzz और Wasm की समझ ज़रूरी होने के कारण, शुरुआती engineers के लिए यह थोड़ा कठिन हो सकता है.

संबंधित पढ़ाई

2 टिप्पणियां

 
qyurila 2024-06-25

मुख्य लेख में Why? उपशीर्षक के नीचे कुछ भी नहीं लिखा है 🤣
 
GN⁺ 2024-06-24
Hacker News टिप्पणियाँ
  • यह राय कि साप्ताहिक TV प्रोग्राम के रूप में ऐसा अजीब और मज़ेदार कंटेंट मिलना अच्छा होगा।
  • उस प्रोजेक्ट का परिचय जो Tetris को फ़ॉन्ट के रूप में बनाने की तरह, फ़ॉन्ट में LLM और inference engine डालकर बातचीत या लेखन संभव बनाता है।
  • यह इशारा कि प्रोजेक्ट शानदार है, लेकिन TTF फ़ाइल का 280GB आकार और दूसरे फ़ॉन्ट्स के साथ compatibility समस्या है।
  • फ़ॉन्ट में गेम एम्बेड किए गए एक वेबसाइट का लिंक साझा किया गया।
  • यह व्याख्या कि Harfbuzz engine, Wasm shaper का उपयोग करके टेक्स्ट को "shape" करने की क्षमता देता है।
  • यह सूचना कि काम archive में सहेजा गया है, और धन्यवाद।
  • यह राय कि Harfbuzz और wasm-micro-runtime को build करके LD_PRELOAD environment variable में जोड़कर demo को आसान बनाया जा सके तो अच्छा होगा।
  • यह प्रशंसा कि कभी कल्पना नहीं की थी कि PDF बातचीत कर सकेगा।
  • यह राय कि यह इस हफ़्ते देखी गई सबसे शानदार चीज़ है।
  • यह सवाल कि फ़ॉन्ट हमेशा एक ही string क्यों बनाता है, और क्या LLM को नई "reasoning" नहीं बनानी चाहिए।
  • यह राय कि क्या फ़ॉन्ट के लिए टेक्स्ट style अपने-आप जनरेट करने वाला फ़ीचर संभव हो सकता है।