macOSPilot - macOS के लिए voice+vision CoPilot

 (github.com/elfvingralf)
9 पॉइंट द्वारा GN⁺ 2023-12-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • macOS के सभी applications में इस्तेमाल किया जा सकने वाला, voice और vision का उपयोग करने वाला AI assistant
  • shortcut key दबाकर आवाज़ में सवाल पूछने पर, मौजूदा context के आधार पर voice response देता है
    • मौजूदा window का screenshot बनाकर OpenAI GPT Vision को भेजता है
    • सवाल को OpenAI Whisper API का उपयोग करके transcription करने के बाद टेक्स्ट के रूप में साथ भेजा जाता है
    • प्राप्त टेक्स्ट उत्तर को OpenAI TTS का उपयोग करके आवाज़ में बदलकर आउटपुट किया जाता है
  • NodeJS/Electron में विकसित किया गया है
  • डिफ़ॉल्ट shortcut है Cmd + Shift + '

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-13
Hacker News टिप्पणियाँ

  • यह सवाल कि प्रॉम्प्ट में "OSX" की जगह "macOS" शब्द इस्तेमाल करना बेहतर है या नहीं, या फिर शुरुआती चुनाव को लेकर ज़्यादा नहीं सोचा गया था।

    • पोस्ट करने वाले ने वीडियो देखते हुए अपनी जिज्ञासा जताई।
    • संबंधित code लिंक दिया।

  • जवाब में TTS की जगह streaming text option जोड़ने का सुझाव।

    • voice command की बजाय text इस्तेमाल करने पर भी विचार करने को कहा।
    • लंबे समय तक इसी तरह के assistant आज़माने का अनुभव साझा करते हुए, Discord पर संपर्क करने का सुझाव।

  • Linux setup के लिए इसी तरह की script लिखने का उल्लेख।

    • XFCE keyboard shortcut से जोड़ा।
    • script का इस्तेमाल कम होने की बात कही।

  • OpenAI API इस्तेमाल करते समय spending limit सेट करने की सलाह।

    • चेतावनी कि text model और vision model के cost difference का जल्दी पता चल सकता है।
    • कीमतें काफ़ी मिलती-जुलती होने की पुष्टि और सकारात्मक प्रतिक्रिया।

  • project पर सकारात्मक प्रतिक्रिया।

    • कहा कि screenshot भ्रमित करने वाले हिस्सों को साफ़ करने में मदद कर सकते हैं।
    • इस्तेमाल न होने पर window छिपाने के तरीके के बारे में सवाल।

  • सवाल कि क्या project को "open"AI नहीं बल्कि local LLMs के साथ काम करने लायक बनाने की योजना है।

  • terminal में ही integrated कुछ बनाने की इच्छा जताई।

    • कहा कि screenshot से बचकर terminal में सीधे काम करना ज़्यादा सरल है।
    • terminal में AI को command देने के format का example code देने का उल्लेख।
    • व्यस्त दिनचर्या में समय निकालना मुश्किल होने की बात कही।

  • "macOSpilot NodeJS/Electron इस्तेमाल करता है" इस जानकारी पर नकारात्मक प्रतिक्रिया।

  • digital audio workstation Ableton Live के साथ इस्तेमाल करने का अनुभव साझा।

    • बहुत उपयोगी और समय बचाने वाला लगने की सकारात्मक राय।
    • interactive video लिंक दिया।
    • नकारात्मक टिप्पणियों पर हैरानी जताई।

  • ls command के result का इंतज़ार करते समय productivity को लेकर एक कल्पना साझा की।