ggml.ai ने Hugging Face के साथ साझेदारी कर local AI के दीर्घकालिक विकास को सुनिश्चित किया

 (github.com/ggml-org)
1 पॉइंट द्वारा GN⁺ 2026-02-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • local AI ecosystem के सतत विकास के लिए llama.cpp की संस्थापक टीम ggml.ai ने Hugging Face में शामिल होने का फैसला किया
  • ggml और llama.cpp आगे भी open source·community-centered तरीके से संचालित होंगे, और टीम इन्हें full-time बनाए रखेगी व support करेगी
  • Hugging Face परियोजना की long-term sustainability सुनिश्चित करेगा और user experience तथा transformers integration को बेहतर बनाने पर ध्यान देगा
  • इस सहयोग के ज़रिए local inference की accessibility और deployment की आसानी बढ़ाई जाएगी, साथ ही विभिन्न model architectures के समर्थन को मजबूत किया जाएगा
  • open source superintelligence को दुनिया भर के लोगों के लिए सुलभ रूप में बनाने की दीर्घकालिक दृष्टि दोनों पक्ष साझा करते हैं

ggml.ai के Hugging Face में शामिल होने की घोषणा

  • ggml.ai, llama.cpp की संस्थापक टीम के रूप में, भविष्य के AI को सचमुच खुला बनाए रखने के लिए Hugging Face में शामिल हो रही है
    • लक्ष्य ggml और llama.cpp समुदाय का विस्तार और समर्थन करना है, तथा local AI की सतत वृद्धि को बढ़ावा देना है
  • ggml-org प्रोजेक्ट पहले की तरह open source और community-led बना रहेगा
  • ggml टीम ggml, llama.cpp और संबंधित open source projects का full-time रखरखाव और प्रबंधन करेगी
  • यह नई साझेदारी परियोजना की long-term sustainability सुनिश्चित करती है और users व contributors के लिए नए अवसर उपलब्ध कराती है
  • Hugging Face की transformers लाइब्रेरी के साथ बेहतर integration के ज़रिए model support की गुणवत्ता बढ़ाई जाएगी

पृष्ठभूमि और सहयोग की प्रगति

  • ggml.ai ने 2023 में स्थापना के बाद से ggml machine learning लाइब्रेरी के विकास और adoption को समर्थन दिया है
  • पिछले 3 वर्षों में एक छोटी टीम ने open source community को बढ़ाया और ggml को कुशल local AI inference के मानक के रूप में स्थापित किया
  • इस प्रक्रिया में Hugging Face सबसे मज़बूत सहयोगी भागीदार के रूप में सामने आया
    • HF engineers ने ggml और llama.cpp में मुख्य features का योगदान, multimodal support जोड़ना, Inference Endpoints integration, GGUF format compatibility में सुधार जैसे काम किए
  • दोनों पक्षों का सहयोग प्रभावी रहा, और पूरे community ने इसका लाभ उठाया; यही प्रक्रिया अब सहयोग के औपचारिक रूप में बदल गई है

open source projects और community में बदलाव

  • ggml और llama.cpp के संचालन के तरीके में कोई बदलाव नहीं होगा
    • टीम project maintenance के लिए समर्पित रहेगी, और community तकनीकी व संरचनात्मक निर्णयों की स्वायत्तता बनाए रखेगी
  • Hugging Face sustainable resources उपलब्ध कराकर परियोजना की growth potential को बढ़ाएगा
  • परियोजनाएँ आगे भी 100% open source रहेंगी, और model release के बाद quantization support की गति भी तेज़ होने की उम्मीद है

तकनीकी फोकस

  • आगे के साझा लक्ष्य दो मुख्य दिशाओं में तय किए गए हैं
    • Hugging Face transformers के साथ one-click integration
      • transformers AI model definitions के मानक के रूप में स्थापित हो चुका है, और दोनों ecosystems के बीच बेहतर compatibility model support के विस्तार और quality control के लिए ज़रूरी है
    • ggml-आधारित software की packaging और user experience में सुधार
      • जैसे-जैसे local inference, cloud inference के विकल्प के रूप में उभर रहा है, सामान्य users के लिए model deployment और accessibility को सरल बनाना ज़रूरी है
      • लक्ष्य llama.cpp को सार्वभौमिक और हर जगह इस्तेमाल योग्य रूप में बनाना है

दीर्घकालिक दृष्टि

  • ggml.ai और Hugging Face का साझा लक्ष्य open source superintelligence को इस तरह बनाना है कि दुनिया भर के लोग उस तक पहुँच सकें
  • local AI community के साथ मिलकर वे efficient inference stack विकसित करते रहेंगे, ताकि व्यक्तिगत devices पर भी अधिकतम प्रदर्शन मिल सके

community की प्रतिक्रिया

  • Hugging Face और ggml community के सदस्यों ने बधाई और उम्मीद के कई संदेश साझा किए
    • “local AI ecosystem में बड़ी प्रगति”, “खुले AI ecosystem के लिए महत्वपूर्ण खबर” जैसी सकारात्मक प्रतिक्रियाएँ सामने आईं
  • कुछ users ने परियोजना की स्वतंत्रता और code ownership पर और स्पष्ट जानकारी मांगी
  • अन्य प्रतिक्रियाओं में corporate acquisition से jurisdiction में बदलाव और open source transparency को लेकर चिंता भी जताई गई
  • कुल मिलाकर community इस सहयोग को local AI की सतत वृद्धि की नींव के रूप में देख रही है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2026-02-21
Hacker News टिप्पणियाँ

  • मुझे लगता है कि HuggingFace ही असल मायने में “Open AI” है
    मेरे हिसाब से यह उन गिने-चुने नायकों में से एक है जिन्होंने चुपचाप on-premise AI को आम लोगों तक पहुँचाया
    मुझे वह दौर याद है जब ट्रैफ़िक लागत बहुत महंगी हुआ करती थी, इसलिए इतने सारे मॉडल मुफ़्त में होस्ट होते देखना हैरान करता है
    उम्मीद है कि इनके पास एक टिकाऊ बिज़नेस मॉडल हो. इनके बिना यह ecosystem बहुत अधिक कमजोर होता
    Kimi या GLM को अंदरूनी तौर पर चलाने के लिए अब भी किफायती हार्डवेयर चाहिए, लेकिन कम से कम weights और distribution की समस्या तो हल हो चुकी है

    • Unsloth को भी ऐसे छिपे हुए नायकों में शामिल करना चाहिए
      इसकी documentation शानदार है, और यह मुख्य formats में उच्च-गुणवत्ता वाले quant तेज़ी से देता है. मुझे यह एक भरोसेमंद brand लगता है
    • HF कितना ट्रैफ़िक संभालता होगा, इसकी कल्पना भी नहीं कर सकता
      मैं अक्सर सैकड़ों GB के मॉडल डाउनलोड करता हूँ, और यह sovereign AI community के लिए बहुत बड़ी सेवा है
    • अगर SSD से weights stream किए जाएँ और KV cache को swap से बढ़ाया जाए, तो यह धीमा ज़रूर होगा लेकिन लगभग किसी भी डिवाइस पर चल सकता है
      रातभर चलने वाली computation के लिए यह काफ़ी उपयोगी है, और जितने ज़्यादा compute resources बढ़ते हैं, उतना बेहतर होता जाता है
    • समझ नहीं आता कि यह BitTorrent को support क्यों नहीं करता
      hf-torrent या hf_transfer हैं, लेकिन वेब UI में सीधे इस्तेमाल हो सकने वाले लिंक जितने सुलभ नहीं हैं
    • टोरेंट तो सचमुच इसका परफ़ेक्ट use case है, फिर भी इसका इस्तेमाल क्यों नहीं होता, यह अब भी सवाल है

  • Georgi Gerganov और llama.cpp का local model ecosystem पर असर कम करके नहीं आँका जा सकता
    मार्च 2023 में, consumer laptop पर LLaMA चलाकर इन्होंने एक क्रांति शुरू की
    उस समय README में लिखा था, “लक्ष्य MacBook पर 4-bit quantization के साथ मॉडल चलाना है”
    जैसे Hugging Face ने Transformers को अच्छी तरह संभाला है, वैसे ही उम्मीद है कि GGML भी उसी राह पर चलेगा
    संबंधित लेख यहाँ में संक्षेपित है

    • सोचता हूँ तुम्हारी टिप्पणी हमेशा सबसे ऊपर क्यों पिन हो जाती है

  • यह हैरान करने वाली बात है कि HuggingFace दुनिया पर इतना अच्छा प्रभाव डालते हुए भी मुनाफ़ा कमाता है
    जानना चाहता हूँ कि इसका बिज़नेस मॉडल कितना मज़बूत है, लंबी अवधि में कितना टिकाऊ है, और क्या कभी “बेच दिए जाने” की संभावना है

    • हाल की FT रिपोर्ट “Why AI start-up Hugging Face turned down a $500mn Nvidia deal” संदर्भ के लिए उपयोगी है
      लेख लिंक
    • इसका बिज़नेस मॉडल मूलतः GitHub जैसा है
      समुदाय को मुफ़्त में बढ़ाओ, और enterprise ग्राहकों को private version बेचो. यह पहले से ही मुनाफ़े में है
    • इनके पास paid hosting(enterprise) और consulting services भी हैं
      मुझे लगता है कि इनकी नींव काफ़ी मज़बूत है
    • “यह कभी नहीं बिकेगा” जैसी बात पर भरोसा करना मुश्किल है
      AMD, Nvidia, Intel, IBM, Qualcomm जैसे निवेशकों का user autonomy के लिए लड़ना थोड़ा विडंबनापूर्ण लगता है
    • मैंने पहले एक tutorial की वजह से HuggingFace इस्तेमाल किया था, और signup के समय इसने कार्ड जानकारी माँगी, फिर एक महीने बाद बिल आ गया
      समझ नहीं आया कि किस सेवा के लिए शुल्क लिया गया, इसलिए मैंने खाता रद्द कर दिया. अस्पष्ट billing process परेशान करने वाली थी

  • HuggingFace AI क्षेत्र का शांत GOAT है
    इसकी community और platform शानदार हैं

    • यह हैरान करता है कि open platform बनाकर भी यह बिना किसी अपारदर्शी चालबाज़ी के कमाई कर रहा है

  • उम्मीद है कि “community अपने-आप चलेगी और 100% open source रहेगी” वाली बात सच हो
    लेकिन आख़िरकार business interests के जीतने की संभावना ज़्यादा लगती है
    Llama.cpp local inference का de facto standard बन चुका है, और बहुत से प्रोजेक्ट इस पर निर्भर हैं
    अगर कोई एक कंपनी इसे नियंत्रित करती है, तो वह पूरे local LLM ecosystem को नियंत्रित कर सकती है
    Hugging Face अभी अच्छा दिखता है, लेकिन पहले Google भी ऐसा ही था
    lock-in effect से बचने के लिए या तो कोई स्वतंत्र non-profit इसे संभाले, या प्रतिस्पर्धी प्रोजेक्ट होने चाहिए

    • Llama.cpp open source है, इसलिए कोई भी इसे fork कर सकता है
      “नियंत्रण” ज़्यादा से ज़्यादा कुछ खास features के development में मदद करने तक सीमित है

  • ggml team ने quantization तकनीक सबके लिए उपलब्ध कराई, इसके लिए सच में आभारी हूँ
    उनकी मेहनत ने बड़ा बदलाव पैदा किया है

  • मैं 2023 से GitHub के ज़रिए ggml/llama.cpp/Georgi को sponsor करता आ रहा था, और अब खुशी है कि उन्हें एक अच्छा ठिकाना मिल गया है
    इसलिए अब मैं sponsorship बंद करने वाला हूँ

  • HuggingFace और GGML का साथ एकदम परफ़ेक्ट मेल लगता है
    बल्कि मुझे तो लगता है कि यह और पहले हो जाना चाहिए था
    अभी local AI का valley period चल रहा है, लेकिन 2~3 साल में इसके विस्फोटक रूप से बढ़ने की उम्मीद है

    • असल में HuggingFace पहले से ही बहुत से प्रोजेक्ट्स को support करता आया है
      @ngxson जैसे HF members llama.cpp के प्रमुख contributors हैं

  • मैं MacBook M1 8GB जैसे लो-स्पेक सिस्टम पर Docker के साथ मॉडल को कुशलता से चलाने का तरीका ढूँढ रहा हूँ
    Cybersecurity-BaronLLM जैसे मॉडल अच्छे लगते हैं, लेकिन आखिर में मेरा लैपटॉप हीटर बन जाता है
    क्या मुझे ज़्यादा ताकतवर हार्डवेयर खरीदना पड़ेगा?

    • 8GB में जटिल inference मुश्किल है, लेकिन छोटे मॉडल चल सकते हैं
      Whisper, SmolVLM, Phi-3-mini, Gemma3 जैसे मॉडल सुझाए जाते हैं
      home-llm उदाहरण देखें
      Mac पर Ollama या MLX अच्छा रहेगा, और Docker Desktop या Colima से VM सेट किया जा सकता है
      8GB पर लगभग 5~10 tokens प्रति सेकंड, और 32GB पर करीब 50 tokens मिल सकते हैं. इसलिए असली समस्या RAM की कमी है
    • आखिरकार पर्याप्त रूप से शक्तिशाली सिस्टम चाहिए
      छोटे मॉडल या quantized model इस्तेमाल करें, या बेहतर हार्डवेयर खरीदें/किराए पर लें
      Docker के बिना LM Studio से शुरू करना भी अच्छा हो सकता है
    • 8GB में भी 2bit स्तर की कड़ी quantization के साथ 32B मॉडल तक चलाया जा सकता है
      यह परफ़ेक्ट नहीं होगा, लेकिन मेरे हिसाब से बड़े parameter count के फायदे अब भी मिलते हैं
    • ऐसे सवालों के बेहतर जवाब r/LocalLLM में मिल सकते हैं
    • 8GB में भी बहुत छोटे gguf models को CPU पर llamafile से चलाया जा सकता है
      धीमा होगा और गुणवत्ता कम होगी, लेकिन संभव है

  • मैं सोच रहा हूँ कि AI development में व्यावहारिक रूप से कैसे शामिल हुआ जाए
    कंपनी में तो बस Copilot इस्तेमाल करता हूँ, इसलिए AI development ecosystem से कटा हुआ महसूस करता हूँ
    मेरा background Java/React full-stack है, और Python भी थोड़ा जानता हूँ
    सोच रहा हूँ कि LLM from scratch करूँ, या Google ML Crash Course या Nvidia certification लूँ
    सलाह चाहिए

    • अगर लक्ष्य साफ़ नहीं है, तो अपनी रुचि का कोई छोटा प्रोजेक्ट खुद बनाना बेहतर है
      शुरुआत से ही LLM पर मत कूदो, बल्कि graphics जैसी अपनी दिलचस्पी वाले क्षेत्र में छोटा शुरू करो
    • model fine-tuning या knowledge distillation पढ़ने की सलाह दूँगा
      Unsloth पर मुफ़्त Colab guides अच्छी तरह व्यवस्थित हैं