Sidekick - Mac के लिए लोकल-फर्स्ट LLM चैटबॉट एप्लिकेशन ओपन सोर्स

• उपयोगकर्ता की फ़ाइलों, फ़ोल्डरों और वेबसाइटों के आधार पर जानकारी देता है और पूरी तरह ऑफलाइन भी काम करता है
• इंस्टॉल किया हुआ model inference engine बिल्ट-इन है, और जरूरत पड़ने पर OpenAI-compatible API key जोड़कर बाहरी मॉडल भी इस्तेमाल किए जा सकते हैं
• इसे इस तरह डिज़ाइन किया गया है कि LLM संदर्भ जानकारी के आधार पर अधिक सटीक उत्तर दे सके
• llama.cpp आधारित

मुख्य विशेषताएँ

• लोकल-फर्स्ट चैटबॉट

  • सारी बातचीत ऑफलाइन होती है, इसलिए डेटा लीक होने की चिंता नहीं
  • अलग इंस्टॉलेशन के बिना फ़ाइलों, फ़ोल्डरों और वेबसाइटों से सीधे जानकारी खोज
  • GPT prompt या configuration knowledge बिल्कुल न होने पर भी उपयोग संभव
  • बिल्ट-इन inference engine के साथ Apple Silicon पर तेज़ी से चलता है

• विशेषज्ञ-आधारित संदर्भ प्रबंधन (Expert System)

  • विषय के अनुसार expert बनाए जा सकते हैं (Computer Science, History आदि)
  • हर expert में असीमित सामग्री जोड़ी जा सकती है (RAG आधारित)
  • drag-and-drop से आसानी से दस्तावेज़ जोड़ें
  • जरूरत होने पर web search भी शामिल कर नवीनतम जानकारी दर्शाई जा सकती है

• विभिन्न मॉडलों का समर्थन

  • Alibaba का QwQ-32B, DeepSeek-R1 जैसे कई लोकल inference मॉडल इस्तेमाल किए जा सकते हैं
  • OpenAI-compatible API key देने पर बाहरी मॉडल कॉल किए जा सकते हैं

• बिल्ट-इन code interpreter

  • मॉडल द्वारा लिखे गए code को सीधे चलाकर परिणाम शामिल करता है
  • गणित और तर्क-आधारित सवालों में सटीकता बेहतर होती है

• Canvas

  • वेबसाइट, code और text को दृश्य रूप से बनाना और संपादित करना संभव
  • text चुनने के बाद LLM से चयनित हिस्से का संपादन माँगा जा सकता है

• इमेज जनरेशन

  • text prompt के माध्यम से स्वचालित image generation
  • अलग mode बदलने की जरूरत नहीं, सिर्फ prompt से अपने आप पहचान
  • macOS 15.2 या उससे ऊपर में CoreML आधारित काम करता है

• inline writing assistant

  • Command + Control + I से किसी भी app में inline सहायता
  • Microsoft Word में assignment question डालकर स्वतः उत्तर पाया जा सकता है

• उन्नत Markdown rendering

  • LaTeX समीकरण rendering का समर्थन
  • data visualization: तालिका-आधारित ऑटो graph generation (bar chart, line chart, pie chart आदि)
  • code highlighting, code copy/export का समर्थन

• Toolbox टूलबार

  • Detector: AI-जनित सामग्री की पहचान और rewrite guide प्रदान करता है
  • Diagrammer: prompt से जटिल relationship diagram बनाता है
  • Slide Studio: एक लाइन के prompt से slide बनाना, PDF/PowerPoint में export संभव

• प्रदर्शन और inference अनुकूलन

  • llama.cpp-आधारित inference के कारण Apple Silicon पर बहुत तेज़ गति
  • Speculative decoding से गति और बढ़ाई जा सकती है
  • MacBook पर battery life बढ़ाने और compute distribution की सुविधा

इंस्टॉलेशन और आवश्यकताएँ

• Mac + Apple Silicon (M1 या उससे ऊपर)
• RAM 8GB या अधिक
• Releases पेज से .dmg डाउनलोड करके चलाएँ

विकास लक्ष्य

• ऐसा व्यक्तिगत लोकल AI सहायक जिसे कोई भी आसानी से उपयोग कर सके
• इंटरनेट कनेक्शन के बिना चलने वाली पूरी तरह ऑफलाइन प्रणाली
• बिना configuration के फ़ोल्डर, फ़ाइल और वेबसाइट को तुरंत पहचानना
• प्राइवेसी सुरक्षा, बातचीत की ट्रैकिंग नहीं
• ओपन सोर्स प्रोजेक्ट के रूप में पारदर्शिता और विस्तारशीलता सुनिश्चित

[galadbran]

इसे install करके इस्तेमाल करके देखना पड़ेगा