apfel - Mac में पहले से बिल्ट-इन मुफ्त AI का उपयोग संभव बनाने वाला टूल

 (apfel.franzai.com)
33 पॉइंट द्वारा GN⁺ 26 일 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • macOS 26 या उससे ऊपर के Apple Silicon Mac में शामिल Apple on-device LLM का सीधे उपयोग संभव बनाने वाला ओपन सोर्स टूल
  • FoundationModels.framework आधारित मॉडल को CLI, HTTP server, interactive chat के रूप में खोलता है और OpenAI API के साथ compatible है
  • सभी computation लोकल पर प्रोसेस होती है, इसलिए लागत 0, डेटा लीक का जोखिम नहीं, साथ ही 4096 token context और multi-language support मिलता है
  • cmd, oneliner, explain, gitsum जैसे कई सहायक टूल के जरिए code·command summary और automation फीचर सपोर्ट करता है
  • macOS में पहले से मौजूद Apple Intelligence model को पूरी तरह खोलकर, डेवलपर को अपने हार्डवेयर पर स्वतंत्र रूप से AI चलाने की सुविधा देता है

apfel परिचय

  • apfel एक ऐसा टूल है जो macOS 26(Tahoe) या उससे ऊपर के Apple Silicon Mac में बिल्ट-इन Apple on-device LLM को सीधे इस्तेमाल करने देता है
  • Apple जिन FoundationModels.framework आधारित language model को अब तक सिर्फ Siri और system features तक सीमित रखता था, उन्हें CLI, HTTP server, interactive chat के रूप में खोलता है
  • 100% on-device execution, लागत 0, और OpenAI API compatibility प्रदान करता है
  • Homebrew से install किया जा सकता है, और MIT license के साथ ओपन सोर्स के रूप में वितरित है

मुख्य विशेषताएँ

  • On-device AI उपयोग: macOS में शामिल LLM को उसी रूप में उपयोग करता है, network call या API key की जरूरत नहीं
  • सुरक्षा: सभी token लोकल पर प्रोसेस होते हैं, इसलिए डेटा बाहर ट्रांसमिट नहीं होता

  • प्रदर्शन विनिर्देश

    • लगभग 3 billion parameters
    • 4096 token context window

    • 2/4-bit mixed-precision quantization

      • Neural Engine आधारित execution
      • English, German, Spanish, French, Italian, Japanese, Korean, Portuguese, Chinese सपोर्ट

उपयोग के तरीके

  • CLI टूल

    • UNIX-स्टाइल command-line टूल, जो stdin/stdout, JSON output, file attachment, सही exit code सपोर्ट करता है
    • jq, xargs, shell script के साथ जोड़ा जा सकता है
    • उदाहरण: 
      $ apfel "What is the capital of Austria?"  
The capital of Austria is Vienna.

  • OpenAI-compatible server

    • localhost:11434 पर OpenAI API replacement server की तरह काम करता है
    • Streaming(SSE), Tool Calling, CORS, response_format: json_object आदि सपोर्ट
    • OpenAI SDK में सिर्फ base_url बदलकर वही code इस्तेमाल किया जा सकता है
    • उदाहरण: 
      client = OpenAI(base_url="http://localhost:11434/v1";, api_key="unused")

  • Interactive chat

    • multi-turn conversation, automatic context management, system prompt, 5 trimming strategies सपोर्ट
    • उदाहरण: 
      $ apfel --chat -s "You are a coding assistant"  
> How do I reverse a list in Python?

आंतरिक संरचना

  • Apple के बिल्ट-इन LLM तक FoundationModels.framework के जरिए सीधे पहुँचता है
  • Apple जिन मॉडल को अब तक सिर्फ Siri, Writing Tools आदि में उपयोग करता था, apfel उन्हें Swift 6.3 binary में LanguageModelSession के जरिए wrap करके direct access interface देता है
  • Hummingbird आधारित HTTP server बिल्ट-इन है
  • 4096 token limit की भरपाई के लिए 5 context trimming strategies और सटीक token counting फीचर शामिल हैं
  • OpenAI Tool Schema को Apple के Transcript.ToolDefinition फॉर्मेट में बदलता है

शामिल सहायक टूल

  • cmd

    • natural language को shell command में बदलता है
    • उदाहरण: "find all .log files modified today" → वास्तविक command output

  • oneliner

    • natural language से awk, sed, sort, uniq जैसी pipeline बनाता है

  • mac-narrator

    • Mac की system activity को narration के रूप में समझाता है

  • explain

    • command या code snippet को साधारण भाषा में समझाता है

  • wtd

    • मौजूदा directory के codebase का summary description देता है

  • gitsum

    • हाल के git commit summary बनाता है

OpenAI API की पूर्ण compatibility

  • /v1/chat/completions, /v1/models जैसे प्रमुख endpoint सपोर्ट
  • temperature, max_tokens, seed जैसे parameters उपयोग किए जा सकते हैं
  • browser client के लिए CORS सपोर्ट
  • OpenAI SDK, LangChain, LlamaIndex आदि के साथ उसी तरीके से integration संभव

GitHub लोकप्रियता और वितरण

  • 1,030 stars, 27 forks दर्ज
  • 3 अप्रैल 2026 के एक ही दिन में 818 stars बढ़े
  • Apple, Google, VMware, NVIDIA, Grafana के इंजीनियरों ने इसे star किया
  • install command: 
    $ brew install Arthur-Ficial/tap/apfel  
$ apfel "Hello, Mac!"
  • source build के लिए macOS 26.4 SDK आवश्यक

विस्तार प्रोजेक्ट

  • apfel-gui

    • SwiftUI आधारित macOS GUI

      • Apple Intelligence के साथ chat, request/response log, voice input/output फीचर प्रदान करेगा
      • जल्द जारी होगा

  • apfel-clip

    • clipboard आधारित AI action टूल

      • grammar correction, translation, code explanation, summary जैसी सुविधाएँ menu bar से one-click में चलेंगी
      • development जारी है

तकनीकी सारांश

  • हार्डवेयर: Apple Silicon (Neural Engine + GPU)
  • मॉडल: macOS में बिल्ट-इन Apple LLM
  • SDK: FoundationModels.framework
  • भाषा: Swift 6.3, Xcode आवश्यक नहीं
  • लाइसेंस: MIT
  • token window: 4096 (input+output कुल)
  • मॉडल की संख्या: फिक्स्ड 1

मुख्य मूल्य

  • macOS में पहले से मौजूद Apple Intelligence model को पूरी तरह खोलता है
  • बिना लागत वाला लोकल AI environment देकर डेवलपर और उपयोगकर्ता को अपने हार्डवेयर पर सीधे AI चलाने की सुविधा देता है
  • सुरक्षा, गति और स्वतंत्रता तीनों देने वाला Mac-विशेष ओपन सोर्स AI interface

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.