rem(Remember Everything) - Apple Silicon पर सब कुछ रिकॉर्ड और खोजने में मदद करने वाला open source

 (github.com/jasonjmcghee)
8 पॉइंट द्वारा GN⁺ 2023-12-29 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • कंप्यूटर स्क्रीन पर होने वाली हर गतिविधि रिकॉर्ड करता है (हर 2 सेकंड में एक बार screenshot लेता है)
  • timeline view में बाएं/दाएं scroll करके समय में आगे-पीछे जा सकते हैं
    • यदि Live Text टेक्स्ट पहचान ले, तो टेक्स्ट चुना जा सकता है
  • किसी खास शब्द को खोजकर संबंधित स्क्रीन ढूंढ सकते हैं, और उस स्क्रीन की OCR की गई पूरी सामग्री देख सकते हैं या उस टेक्स्ट को ChatGPT आदि में भेजकर आगे का काम कर सकते हैं
  • केवल Apple Silicon पर टेस्ट किया गया है, और release भी सिर्फ Apple Silicon के लिए है
  • यह बहुत शुरुआती version है: छुट्टियों के दौरान कुछ ही दिनों में बनाया गया, Swift में अभी शुरुआती स्तर है

शुरू करना

  • खुद build करें, या release डाउनलोड करने के बाद xattr -c rem.app चलाकर macOS में ऐप को अनुमति दें
  • ऐप चलाने के बाद "Start Remembering" पर क्लिक करें और "Screen Recording" access permission दें
  • "Open timeline" या "Cmd + Scroll Up" से timeline view खोलें
  • timeline में बाएं या दाएं scroll करके समय में आगे-पीछे जाएं
  • "Search" पर क्लिक करके search view खोलें, और timeline में thumbnail पर क्लिक करके उस समय पर जाएं
  • timeline में Live Text सक्रिय करने के बाद टेक्स्ट चुन सकते हैं
  • "Copy Recent Context" पर क्लिक करके हाल में देखी गई सामग्री को LLM के साथ इंटरैक्ट करने वाले prompt के रूप में कॉपी करें
  • "Purge All Data" पर क्लिक करके सभी डेटा हटाया जा सकता है

वर्तमान में समर्थित सुविधाएँ:

  • अतीत में वापस जाना (देखी गई हर चीज़ के लिए full-screen scrubber)
  • अतीत के टेक्स्ट को कॉपी करना
  • देखी गई हर चीज़ को खोजना
  • LLM के साथ इंटरैक्शन के लिए हाल का context आसानी से प्राप्त करना

जो सुविधाएँ जोड़ना चाहते हैं:

  • local vector embedding updates के ज़रिए natural language search/agent interaction
  • vector database के लिए नए approach की खोज
  • multi-monitor support

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-29
Hacker News राय

  • पहले कमेंट का सार:

    • यह टूल शानदार लगता है। इससे मुझे हाल की वह घटना याद आ गई जब मैं डिस्क स्पेस खाली करने की कोशिश कर रहा था और मुझे लगभग एक साल पुरानी 9 घंटे लंबी स्क्रीन रिकॉर्डिंग फ़ाइल मिल गई। लगता है मैंने गलती से रिकॉर्डिंग चालू छोड़ दी थी। उसे तेज़ी से स्क्रब करते हुए कुछ ही मिनटों में पूरा देखना उस समय की अपनी सोच की प्रक्रिया की झलक पाने का एक बेहद आकर्षक अनुभव था। मैं देख सकता था कि मैं ऑनलाइन किसी चीज़ पर कैसे रिसर्च कर रहा था, और यह किसी खेल मैच को दोबारा देखने जैसा शैक्षिक और उपयोगी था। साथ ही, उस समय के विवरणों को फिर से देखना बदलाव लाने वाला था। मैंने 'DownloadNet' नाम का एक टूल बनाया है, जो देखे गए सभी पेजों को ऑफ़लाइन सहेजता है और पूरी तरह इंडेक्स करता है। इसे केवल बुकमार्क किए गए पेज सहेजने के लिए भी सेट किया जा सकता है। यह टूल open source है, इसलिए इसे देखना चाहिए: DownloadNet GitHub link
    • सहेजे गए वीडियो से टेक्स्ट कॉपी कर पाना कमाल की बात है।

  • दूसरे कमेंट का सार:

    • पहले मैं TimeSnapper Classic नाम की एक utility इस्तेमाल करता था, जो तय अंतराल पर screenshot लेती थी। लेकिन screenshots डिस्क भरने लगे, और उनमें से ज़्यादातर लगभग एक जैसे दिखते थे। मैंने सोचा कि image sequence के लिए optimized codec बनाना चाहिए, और फिर महसूस हुआ कि मैं GIF/video codec को फिर से invent कर रहा था। इसलिए मैंने ImageMagick से images पर timestamp डालने और ffmpeg से उन्हें video में बदलने के लिए एक script लिखी। इससे फ़ाइल का आकार 99.9% कम हो गया।

  • तीसरे कमेंट का सार:

    • बहुत पहले मैंने एक प्रोजेक्ट किया था जो हर कुछ सेकंड में screenshot लेकर अपने-आप जानकारी निकालता था। मैंने एक PNG DB बनाया, जो PNG images को कई blocks में बाँटकर हर block को database में स्टोर करता था। एक जैसे blocks केवल एक बार सहेजे जाते थे, और hash table के ज़रिए तेज़ खोज संभव थी। इस PNG DB से मैंने लगभग 400-500% compression हासिल किया। PNG DB GitHub link लेकिन screenshots का विश्लेषण करने वाली script अंततः बहुत सफल नहीं रही। screenshooting GitHub link इस अनुभव से दूसरे प्रोजेक्ट बने, जहाँ इस्तेमाल हो रहे app या खुले files की जानकारी को ज़्यादा सीधे तौर पर सहेजा गया। timecapture GitHub link

  • चौथे कमेंट का सार:

    • आप ऐसे व्यक्ति लगते हैं जो privacy और security को महत्व देता है, इसलिए आपका closed-source web browser (Arc Browser) इस्तेमाल करना दिलचस्प है।

  • पाँचवें कमेंट का सार:

    • मुझे ऐसा टूल चाहिए जो सचमुच multi-platform हो और local पर काम करे। Linux और Windows ज़रूरी हैं, और यह इंटरनेट के बिना चलने वाला 100% offline होना चाहिए। मैं हर साल प्रति major version $60 देने को तैयार हूँ। अगर इसमें permissive open source license भी हो, तो मैं जीवनभर का ग्राहक बन जाऊँगा। अगर और लोग भी रुचि रखते हों, तो शायद मुझे इसे खुद ही बनाना पड़े।

  • छठे कमेंट का सार:

    • 'Remember Everything' के बारे में: मैं 'singleFile' browser extension इस्तेमाल करता हूँ, जो Chrome और FireFox में देखे गए सभी webpages की copy सहेजता है। इसके अलावा, मैं 'AutomaticScreenshotter' प्रोग्राम इस्तेमाल करता हूँ, जो browser activity के अलावा दूसरी screen activity को रिकॉर्ड करता है। इससे मैं जान सकता हूँ कि किसी पिछली तारीख़ को मैंने PC पर क्या किया था। सभी files year/month/day directory structure में सहेजी जाती हैं। अभी मैं files खोजने के लिए Windows search का इस्तेमाल करता हूँ। मैं 'ditto' का उपयोग करके हर copy और paste को mysqldb में सहेजता हूँ। मैं यह directory structure 2010 से पहले से इस्तेमाल कर रहा हूँ, और extension व screenshots लगभग 3-4 साल पहले से शुरू किए थे। सोचता हूँ कि forensic PC investigation tools का उपयोग करके या उन्हें modify करके PC activity की timeline बनाने में मदद मिल सकती है या नहीं।

  • सातवें कमेंट का सार:

    • यह देखना दिलचस्प होगा कि आने वाले 5 या 10 साल में इन तकनीकों का उपयोग कैसे होगा। हमारे पास अब तक का सबसे शक्तिशाली memory device है, लेकिन अजीब बात है कि हम लगातार उसका उपयोग न करने की कोशिश करते हैं। अधिक गंभीर पक्ष यह है कि मुझे लगता है कि ऐसे tools creativity में बाधा डाल सकते हैं। हम स्वयं याद रखने के बजाय इन tools पर निर्भर रहने की आदत बना सकते हैं, जबकि creativity अतीत की यादों को भविष्य की चीज़ों के साथ फिर से जोड़ने की क्षमता है।

  • आठवें कमेंट का सार:

    • OP का demo बहुत शानदार है। मैं सोच रहा हूँ कि यह केवल Apple Silicon के लिए ही क्यों है। क्या यह Windows की तुलना में बेहतर ML support की वजह से है? यह अफ़सोस की बात है कि Olama Windows पर उपलब्ध नहीं है। मेरे पास Apple Silicon laptop नहीं है; मेरे पास सिर्फ़ Apple Intel और एक शक्तिशाली Windows मशीन है, इसलिए मैं इसे test नहीं कर सकता। मुझे यह भी ठीक से अंदाज़ा नहीं है कि अगर आप मूल रूप से programmer नहीं हैं या Swift programming language नहीं जानते, तो ऐसी चीज़ शुरुआत से कैसे बनाते हैं। अगर मैं OP होता, तो बहुत सारे Swift tutorials से शुरू करता। Linux या Windows पर चलने वाला इसका clone Java या C# में बनाना अभी सिर्फ़ इच्छा जैसा लगता है, क्योंकि मुझे ML, DirectX API, या Linux desktop API का बिल्कुल अनुभव नहीं है। प्रोजेक्ट शुरू करने से पहले familiar होने के लिए APIs और tools बहुत हैं। मैं जानना चाहता हूँ कि OP ने Swift अनुभव के बिना यह कैसे बनाया, और क्या Apple Silicon पर प्रोजेक्ट बनाना सच में आसान है। मेरे पास 4 साल का अनुभव है और मैं Java व C# में web API और WinForm/DevExpress पर काम करता हूँ।

  • नौवें कमेंट का सार:

    • मुझे लगता है कि इसका उपयोग खुद को accountable रखने के तरीके के रूप में भी किया जा सकता है। सोचता हूँ कि क्या screenshots को आसानी से "समय की बर्बादी" और "उत्पादक" गतिविधियों में वर्गीकृत किया जा सकता है (शायद ML model के ज़रिए)। stats को gamify करना भी एक विकल्प हो सकता है। उदाहरण के लिए, आप देख सकते हैं कि पिछले एक घंटे में आप 78% productive, 12% Hacker News, और 10% inactive थे। आप अपना खुद का high score भी हासिल करने की कोशिश कर सकते हैं (जैसे, दिन में 3 बार 100% productive घंटे होना शायद एक शानदार दिन होगा!)। मुझे video demo पसंद आया। मैं 30 सेकंड से कम समय में समझ गया कि यह टूल क्या करता है। धन्यवाद! PPS: (बहुत ही मामूली बात) video speed controller (browser addon) अब loom videos के साथ काम करता है — कुछ महीने पहले ऐसा नहीं था।

  • दसवें कमेंट का सार:

    • इस तकनीक के संभावित nightmare scenarios भी हैं। employers कर्मचारियों की पूरी निगरानी के लिए ऐसे tools का इस्तेमाल करना पसंद करेंगे। अगर इसे AI से जोड़ दिया जाए, तो हर व्यक्ति जो कर रहा है उसकी real-time monitoring की जा सकती है और alerts मिल सकते हैं।