apfel - Mac में पहले से बिल्ट-इन मुफ्त AI का उपयोग संभव बनाने वाला टूल

 (apfel.franzai.com)
33 पॉइंट द्वारा GN⁺ 2026-04-04 | 5 टिप्पणियां | WhatsApp पर शेयर करें
  • macOS 26 या उससे ऊपर के Apple Silicon Mac में शामिल Apple on-device LLM का सीधे उपयोग संभव बनाने वाला ओपन सोर्स टूल
  • FoundationModels.framework आधारित मॉडल को CLI, HTTP server, interactive chat के रूप में खोलता है और OpenAI API के साथ compatible है
  • सभी computation लोकल पर प्रोसेस होती है, इसलिए लागत 0, डेटा लीक का जोखिम नहीं, साथ ही 4096 token context और multi-language support मिलता है
  • cmd, oneliner, explain, gitsum जैसे कई सहायक टूल के जरिए code·command summary और automation फीचर सपोर्ट करता है
  • macOS में पहले से मौजूद Apple Intelligence model को पूरी तरह खोलकर, डेवलपर को अपने हार्डवेयर पर स्वतंत्र रूप से AI चलाने की सुविधा देता है

apfel परिचय

  • apfel एक ऐसा टूल है जो macOS 26(Tahoe) या उससे ऊपर के Apple Silicon Mac में बिल्ट-इन Apple on-device LLM को सीधे इस्तेमाल करने देता है
  • Apple जिन FoundationModels.framework आधारित language model को अब तक सिर्फ Siri और system features तक सीमित रखता था, उन्हें CLI, HTTP server, interactive chat के रूप में खोलता है
  • 100% on-device execution, लागत 0, और OpenAI API compatibility प्रदान करता है
  • Homebrew से install किया जा सकता है, और MIT license के साथ ओपन सोर्स के रूप में वितरित है

मुख्य विशेषताएँ

  • On-device AI उपयोग: macOS में शामिल LLM को उसी रूप में उपयोग करता है, network call या API key की जरूरत नहीं
  • सुरक्षा: सभी token लोकल पर प्रोसेस होते हैं, इसलिए डेटा बाहर ट्रांसमिट नहीं होता

  • प्रदर्शन विनिर्देश

    • लगभग 3 billion parameters
    • 4096 token context window

    • 2/4-bit mixed-precision quantization

      • Neural Engine आधारित execution
      • English, German, Spanish, French, Italian, Japanese, Korean, Portuguese, Chinese सपोर्ट

उपयोग के तरीके

  • CLI टूल

    • UNIX-स्टाइल command-line टूल, जो stdin/stdout, JSON output, file attachment, सही exit code सपोर्ट करता है
    • jq, xargs, shell script के साथ जोड़ा जा सकता है
    • उदाहरण: 
      $ apfel "What is the capital of Austria?"  
The capital of Austria is Vienna.

  • OpenAI-compatible server

    • localhost:11434 पर OpenAI API replacement server की तरह काम करता है
    • Streaming(SSE), Tool Calling, CORS, response_format: json_object आदि सपोर्ट
    • OpenAI SDK में सिर्फ base_url बदलकर वही code इस्तेमाल किया जा सकता है
    • उदाहरण: 
      client = OpenAI(base_url="http://localhost:11434/v1";, api_key="unused")

  • Interactive chat

    • multi-turn conversation, automatic context management, system prompt, 5 trimming strategies सपोर्ट
    • उदाहरण: 
      $ apfel --chat -s "You are a coding assistant"  
> How do I reverse a list in Python?

आंतरिक संरचना

  • Apple के बिल्ट-इन LLM तक FoundationModels.framework के जरिए सीधे पहुँचता है
  • Apple जिन मॉडल को अब तक सिर्फ Siri, Writing Tools आदि में उपयोग करता था, apfel उन्हें Swift 6.3 binary में LanguageModelSession के जरिए wrap करके direct access interface देता है
  • Hummingbird आधारित HTTP server बिल्ट-इन है
  • 4096 token limit की भरपाई के लिए 5 context trimming strategies और सटीक token counting फीचर शामिल हैं
  • OpenAI Tool Schema को Apple के Transcript.ToolDefinition फॉर्मेट में बदलता है

शामिल सहायक टूल

  • cmd

    • natural language को shell command में बदलता है
    • उदाहरण: "find all .log files modified today" → वास्तविक command output

  • oneliner

    • natural language से awk, sed, sort, uniq जैसी pipeline बनाता है

  • mac-narrator

    • Mac की system activity को narration के रूप में समझाता है

  • explain

    • command या code snippet को साधारण भाषा में समझाता है

  • wtd

    • मौजूदा directory के codebase का summary description देता है

  • gitsum

    • हाल के git commit summary बनाता है

OpenAI API की पूर्ण compatibility

  • /v1/chat/completions, /v1/models जैसे प्रमुख endpoint सपोर्ट
  • temperature, max_tokens, seed जैसे parameters उपयोग किए जा सकते हैं
  • browser client के लिए CORS सपोर्ट
  • OpenAI SDK, LangChain, LlamaIndex आदि के साथ उसी तरीके से integration संभव

GitHub लोकप्रियता और वितरण

  • 1,030 stars, 27 forks दर्ज
  • 3 अप्रैल 2026 के एक ही दिन में 818 stars बढ़े
  • Apple, Google, VMware, NVIDIA, Grafana के इंजीनियरों ने इसे star किया
  • install command: 
    $ brew install Arthur-Ficial/tap/apfel  
$ apfel "Hello, Mac!"
  • source build के लिए macOS 26.4 SDK आवश्यक

विस्तार प्रोजेक्ट

  • apfel-gui

    • SwiftUI आधारित macOS GUI

      • Apple Intelligence के साथ chat, request/response log, voice input/output फीचर प्रदान करेगा
      • जल्द जारी होगा

  • apfel-clip

    • clipboard आधारित AI action टूल

      • grammar correction, translation, code explanation, summary जैसी सुविधाएँ menu bar से one-click में चलेंगी
      • development जारी है

तकनीकी सारांश

  • हार्डवेयर: Apple Silicon (Neural Engine + GPU)
  • मॉडल: macOS में बिल्ट-इन Apple LLM
  • SDK: FoundationModels.framework
  • भाषा: Swift 6.3, Xcode आवश्यक नहीं
  • लाइसेंस: MIT
  • token window: 4096 (input+output कुल)
  • मॉडल की संख्या: फिक्स्ड 1

मुख्य मूल्य

  • macOS में पहले से मौजूद Apple Intelligence model को पूरी तरह खोलता है
  • बिना लागत वाला लोकल AI environment देकर डेवलपर और उपयोगकर्ता को अपने हार्डवेयर पर सीधे AI चलाने की सुविधा देता है
  • सुरक्षा, गति और स्वतंत्रता तीनों देने वाला Mac-विशेष ओपन सोर्स AI interface

संबंधित पढ़ाई

5 टिप्पणियां

 
xguru 2026-04-04

मज़ेदार लग रहा है, लेकिन अजीब बात है कि Korean ठीक से काम नहीं कर रही है.
सोर्स कोड लेकर Codex के साथ मिलाकर देख रहा हूँ, और Foundation Model का response ही Korean में कुछ अजीब है.
मैं थोड़ा और try करूँगा, अगर किसी ने इसे सफलतापूर्वक चलाया है तो कृपया कमेंट में बताइए haha
 
xguru 2026-04-04

apfel "Currywurst की रेसिपी बताओ"
error: [guardrail] The request was blocked by Apple's safety guardrails. Try rephrasing.

अरे, यह नहीं चल रहा क्या? ऐसा लगा, लेकिन यह चलता है

apfel "kimchi jjigae रेसिपी बताओ"
kimchi jjigae कोरिया के पारंपरिक stew व्यंजनों में से एक है, और यह एक ऐसा व्यंजन है जिसे सरलता के साथ गहरे स्वाद में आनंद लिया जा सकता है। नीचे kimchi jjigae की रेसिपी है:...

apfel "नमस्ते। क्या तुम मुझे kimchi jjigae के बारे में बता सकते हो?"
नमस्ते! kimchi jjigae कोरिया के प्रतिनिधि शोरबे वाले व्यंजनों में से एक है, और इसे kimchi और मांस का उपयोग करके बनाया जाता है। kimchi jjigae में आम तौर पर pork, beef या chicken डाला जाता है, जिससे अलग-अलग स्वाद मिलकर एक गहरा शोरबा बनाते हैं। इसमें तरह-तरह की सब्जियां और मसाले जोड़कर स्वाद को और गहरा किया जाता है।

apfel "नमस्ते? क्या तुम कोरियाई बोल सकते हो?" या apfel "क्या तुम मुझे ऑस्ट्रिया की राजधानी के बारे में बता सकते हो?"
ऐसे सवालों के लिए यह नीचे जैसा तोते-रटा जवाब देता है
Apple वेबसाइट पर intelligent features के बारे में जान सकते हैं.

लगता है guardrail कुछ अजीब तरह से सेट किया गया है।
 
xguru 2026-04-04

मैंने इसे हमारी बातचीत की सामग्री के आधार पर Codex से संशोधित करवाया, तो उसने हल्का-सा बदलाव करके इसे ठीक से चला दिया।

"सवाल की मांग का ठीक उसी तरह पालन करें, लेकिन अगर अलग से कुछ निर्दिष्ट न हो तो सीधे Korean में जवाब दें।"

एक adapter रखकर, जब इस तरह के intelligent feature वाले जवाब आते हैं, तब ऊपर वाला prompt अतिरिक्त रूप से दे दें तो जवाब अच्छी तरह आता है। लगता है अभी कुछ अधूरा-सा है।

apfel "नमस्ते? क्या तुम Korean बोल सकते हो?"
नमस्ते! हाँ, मैं Korean भी बोल सकता हूँ। मैं आपकी कैसे मदद कर सकता हूँ?

apfel "क्या आप मुझे Austria की राजधानी के बारे में बता सकते हैं?"
Austria की राजधानी Vienna है। Vienna को Austria के राजनीतिक, सांस्कृतिक और आर्थिक केंद्र के रूप में जाना जाता है।
 
ilotoki0804 2026-04-05

शुरुआत में, इसे इस्तेमाल करने से पहले मुझे थोड़ा संदेह था कि ollama जैसे दूसरे local LLM चलाने वाले tools की तुलना में इसका क्या फ़ायदा होगा, लेकिन वास्तव में खुद इस्तेमाल करके देखा तो hallucination भी काफ़ी ज़्यादा है और यह थोड़ा बेवकूफ़-सा लगता है.
हालाँकि दूसरे local LLM tools GPU का उपयोग करके ज़्यादा ताकतवर होते हैं, लेकिन वे बहुत ज़्यादा resources भी खा जाते हैं. इसके मुकाबले, यह मॉडल अपेक्षाकृत कम resources लेता है, Neural Engine का अच्छा इस्तेमाल करता है, और बिजली भी कम खर्च करता है — इस नज़रिए से इसमें फ़ायदा लगता है.
मेरी समझ में Apple Intelligence का पूरा concept यही है कि mobile devices सहित अलग-अलग devices पर हल्का AI चलाया जाए, और उस concept के हिसाब से देखें तो यह काफ़ी फिट बैठता है.
लेकिन फिर भी, चाहे यह lightweight model हो, इसकी performance इससे बेहतर होनी चाहिए तभी इसे थोड़ा और उपयोगी ढंग से इस्तेमाल किया जा सकेगा. अभी यह बहुत ज़्यादा बेवकूफ़ है.
 
GN⁺ 2026-04-04
Hacker News की राय

  • मुझे हर चीज़ को लोकल में चलाने वाला यह तरीका पसंद है
    मुझे लगता है कि प्राइवेसी के लिहाज़ से लोकल मॉडल्स की अहमियत लगातार बढ़ेगी
    जैसे-जैसे ऐसे मामले बढ़ेंगे जहाँ लोग क्लाउड मॉडल्स को बहुत ज़्यादा context information दे देते हैं और उससे समस्याएँ पैदा होती हैं, लोकल execution की ज़रूरत और मज़बूत होगी

    • यह सिर्फ आधा समाधान है
      अगर मॉडल को बंद तरीके से ट्रेन किया गया है, तो उसमें ऐसे मूल्य समाहित हो सकते हैं जो उपयोगकर्ता नहीं चाहते
      उदाहरण के लिए, अगर किसी चीनी open model से Tiananmen Square की घटना के बारे में पूछो, तो वह censored जवाब दे सकता है
      इसलिए असली समाधान verifiable open training और local execution का संयोजन है
    • एक और नज़रिए से, जब अविश्वसनीय कंटेंट को AI service को दिया जाता है, तब भी समस्या हो सकती है
      web crawling या spam detection जैसे कामों में बाहरी डेटा से निपटते समय ToS violation या यहाँ तक कि law enforcement को गलत रिपोर्ट भेजे जाने का जोखिम होता है
    • मुझे यह जानने की जिज्ञासा है कि क्या कोई encrypted inferencing service मौजूद है
      मॉडल के साथ रोज़मर्रा की बातचीत करते समय मैं उसकी सामग्री plain text में server को नहीं भेजना चाहता
      इसलिए मैं लोकल execution को पसंद करता हूँ
    • HN कम्युनिटी में ऐसी चर्चा काफ़ी सक्रिय है, लेकिन आम उपयोगकर्ता प्राइवेसी में ज़्यादा दिलचस्पी नहीं रखते
    • प्राइवेसी के लिए लोकल सबसे अच्छा है, लेकिन सिर्फ लोकल ही एकमात्र जवाब नहीं है
      Anthropic, Google, OpenAI आदि ने consumer AI plans में प्राइवेसी से समझौता किया है
      इसकी वजह data collection और moderation है
      लेकिन AWS Nitro Enclaves जैसी cryptographic attestation तकनीक का उपयोग किया जाए तो क्लाउड में भी निजी जानकारी को काफ़ी हद तक सुरक्षित रखा जा सकता है

  • मुख्य सवाल यह है कि क्या Apple लगातार नए मॉडल deploy कर पाएगा
    मौजूदा मॉडल Qwen-3-4B के स्तर का है, यानी एक साल पुराना मॉडल
    Apple Foundation Models research page को देखें तो नवीनतम Qwen-3.5-4B या Gemma 4 की तुलना में काफ़ी अंतर है
    बिना डाउनलोड के तुरंत इस्तेमाल कर पाना अच्छा है, लेकिन मैं नवीनतम मॉडल इस्तेमाल करना चाहूँगा

    • असल में यह सिर्फ फ़ाइल डाउनलोड का मामला है, इसलिए Apple के न कर पाने की कोई खास वजह नहीं है
      लेकिन Apple तेज़ी से आगे बढ़ने वाली कंपनी नहीं है, और संभव है कि वह AI features को सीमित क्षेत्रों (फ़ोटो सुधार, Siri सवाल आदि) तक ही सीमित रखे
      व्यक्तिगत रूप से, Apple Intelligence चालू किए बिना भी मुझे बहुत-सी उपयोगी सुविधाएँ मिलती हैं

  • मैंने ऐसे प्रोजेक्ट्स देखे हैं जो Apple मॉडल को network server के रूप में expose करते हैं
    समस्या यह है कि ऐसे server को लोकल पोर्ट के ज़रिए browser जैसी दूसरी apps भी access कर सकती हैं
    किसी malicious web page का JavaScript उस पोर्ट पर commands भेज सकता है
    कुछ प्रोजेक्ट्स तो CORS भी allow करते हैं, जिससे जोखिम और बढ़ जाता है
    मैं Apfel के code को भी experiment से पहले review कर रहा हूँ

    • अच्छी बात है कि default setting false है
      फिर भी यह एक footgun option है, लेकिन अब तक जो देखा है उनमें यह सबसे सुरक्षित तरफ़ लगता है
    • ज़्यादातर browsers किसी मनमानी website से 127.0.0.1 पर POST requests को block करेंगे
      इसलिए मैं जानना चाहता हूँ कि असली threat model क्या है
    • AI या MCP projects में ऐसी security mistakes अक्सर दिखती हैं
      अनुभवी engineers भी इस attack vector को नज़रअंदाज़ कर देते हैं
    • यह भी देखा कि Bearer token authentication का option मौजूद है

  • हाल की Claude bug की वजह से tokens बहुत तेज़ी से खर्च हो रहे थे, इसलिए मैंने दूसरे models आज़माए
    ज़्यादातर एक-दूसरे के बदले इस्तेमाल किए जा सकने लायक लगे
    मुझे जिज्ञासा है कि ऐसा बाज़ार, जहाँ brand loyalty और switching cost कम है, आगे कैसे बदलेगा
    उम्मीद है कि local LLM जल्द ही एक व्यावहारिक विकल्प बनेंगे

    • वास्तव में models के बीच लगभग कोई differentiation नहीं है
      इसलिए लगता है कि OpenAI या Meta emotional connection (दोस्त/प्रेमी जैसे chatbots) की रणनीति से अलग पहचान बनाने की कोशिश कर रहे हैं

  • मैंने इसे दूसरे thread में देखा और तुरंत install कर लिया
    LLM testing prompt के रूप में मैंने “ताइवान में सुबह 9:30 बजे, US Pacific time में कितने बजे होंगे” इस्तेमाल किया,
    लेकिन नतीजे सब अलग थे और सब गलत थे
    Apfel CLI से चलाने पर, हर मॉडल ने 11~13 घंटे के अंतर को अलग-अलग तरीके से गिना

  • मैं इसे इस हफ़्ते की शुरुआत से इस्तेमाल कर रहा हूँ
    मैंने क्लाउड पर चल रहे price prediction backtesting tool की तुलना लोकल मॉडल्स से की,
    और Apple model 10 में से 6 बार सबसे सटीक निकला
    इसकी speed भी काफ़ी तेज़ है, इसलिए लगता है कि यह पूरे workflow को replace कर सकता है
    Sonnet इस्तेमाल करने पर हर महीने हज़ारों डॉलर लगते हैं, DeepSeek पर सैकड़ों डॉलर, जबकि लोकल लगभग मुफ़्त है
    हालाँकि दूसरे local models में speed या accuracy की कमी थी

  • “Apfel, Apple ने जो Siri के पीछे बंद कर रखा था उसे खोल देता है” जैसी बात कुछ बढ़ा-चढ़ाकर की गई marketing लगती है
    असल में यह Apple Intelligence के FoundationModels framework को CLI और REST API के ज़रिए expose करता है
    और “यह Neural Engine पर चलता है” वाला दावा भी पक्का नहीं है
    टेस्ट करने पर यह GPU (Metal) पर चलता दिखा

  • मैं Linux user हूँ, और यही चीज़ चाहने के कारण मैंने खुद TalkType नाम का प्रोजेक्ट बनाया
    यह Whisper को लोकल में चलाकर offline speech recognition करता है
    मैं अपनी आवाज़ server पर भेजना नहीं चाहता था, इसलिए शुरू से ही लोकल तरीका चुना
    Mac पर भी इस तरह के विचार फैलते देखना अच्छा लगता है

  • इसे open source में जारी करने के लिए धन्यवाद
    macOS 15 पर install तो हो जाता है लेकिन run करते समय रुक जाता है,
    इसलिए मैंने PR submit किया ताकि यह सिर्फ macOS 26 (Tahoe) या उससे ऊपर पर ही install हो

  • मैं ऐसा Grammarly alternative engine बनाना चाहता हूँ जो हर app और browser में grammar errors को underline करे
    यह पूरी तरह प्राइवेसी-केंद्रित टूल होगा, जिसमें LLM की भी ज़रूरत नहीं होगी

    • यह सच में बहुत अच्छा विचार है
      अगर कोई इसे बनाए, तो मैं ज़रूर इस्तेमाल करना चाहूँगा