सुरक्षा कैमरों की स्थानीय AI से मॉनिटरिंग

 (frigate.video)
1 पॉइंट द्वारा GN⁺ 2025-08-06 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Frigate NVR घर या दफ़्तर में लगे सुरक्षा कैमरों के लिए स्थानीय AI आधारित ऑब्जेक्ट डिटेक्शन सोल्यूशन प्रदान करता है
  • Home Assistant, OpenHab, NodeRed जैसे लोकप्रिय ऑटोमेशन प्लेटफ़ॉर्म के साथ इंटीग्रेशन का समर्थन करता है
  • Frigate सीधे ही Home Assistant मीडिया ब्राउज़र में इंटीग्रेट होता है, जिससे तुरंत कैमरा फ़ीड और ऑटोमेशन में उपयोग संभव होता है
  • रीयल-टाइम सेंसर·स्विच डेटा एक्सपोज़ करके, विभिन्न अलर्ट और ऑटोमेशन सीनारियो बना सकते हैं
  • MQTT का उपयोग करके स्केलेबल इंटीग्रेशन के आधार पर कुशल स्मार्ट होम निर्माण किया जा सकता है

Frigate NVR और मुख्य सुविधाएँ

  • Frigate NVR स्थानीय स्तर पर ऑब्जेक्ट डिटेक्शन AI चलाकर, बाहरी क्लाउड सेवाओं पर निर्भर हुए बिना सुरक्षा कैमरा वीडियो का विश्लेषण कर सकता है
  • Home Assistant, OpenHab, NodeRed आदि के साथ इंटीग्रेट होकर, विभिन्न स्मार्ट होम ऑटोमेशन प्लेटफ़ॉर्म में आसानी से शामिल किया जा सकता है
  • Frigate Home Assistant के मीडिया ब्राउज़र में सीधे कैमरा वीडियो दिखाता है और लो-लेटेंसी कैमरा एंटिटी उपलब्ध कराता है
  • ऑब्जेक्ट डिटेक्शन परिणामों को रीयल-टाइम सेंसर और स्विच डेटा के रूप में एक्सपोज़ करके, वीडियो-आधारित इवेंट डिटेक्शन, ऑटोमेशन नियम और अलर्ट सेटिंग जैसी कई संभावनाएँ खुलती हैं
  • MQTT प्रोटोकॉल समर्थन के साथ, अन्य IoT और ऑटोमेशन सिस्टम के साथ स्केलेबल रूप से इंटीग्रेट करने की मजबूत क्षमता प्रदान करता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-08-06
Hacker News टिप्पणी

  • मैं Frigate को दो साल से ज़्यादा समय से चला रहा हूँ, और डिटेक्शन की गति तथा विश्वसनीयता के हिसाब से, मैंने जितने सिस्टम आज़माए, उनमें से कोई भी इससे बेहतर नहीं था। पहले मैं Ring, Tapo और Eufy Security कैमरे भी चला चुका था, लेकिन अभी मैं केवल Tapo कैमरा ही RTSP स्ट्रीम के जरिए Frigate से जोड़े हुए इस्तेमाल कर रहा हूँ। इन कैमरों का इंटरनेट ब्लॉक करके privacy पूरी तरह सुनिश्चित कर दी है। Eufy Security पर भरोसा नहीं रहा क्योंकि हर बार motion alert क्लिक करने पर नया उत्पाद-आधारित विज्ञापन दिख जाता है—यानी ये अपनी सुरक्षा सेवा से पहले ads को प्राथमिकता देता है। Paid membership होने के बाद भी क्लाउड वीडियो नहीं खुलने की समस्या थी, और पासवर्ड जैसी सुरक्षा credentials बिना encryption के सेव होने का भी मुद्दा था। यही वजहें थीं जिन्होंने मुझे self-hosting solution पर ले जाकर सेटअप करने के लिए प्रेरित किया। Frigate के साथ मैं used हार्डवेयर और RX 550 GPU से hardware acceleration चालू रखता हूँ; detection latency हमेशा 1 सेकंड से कम रहती है। मैंने Frigate API से screenshot alerts को Telegram और Pushover पर भेजने के लिए खुद ऐप बनाया और दो साल तक पूरी तरह self-sufficient environment चलाया। इस दौरान सेवा (service) केवल दो बार ही रीस्टार्ट हुई। VPS से घर के local server तक tunnel करके बाहर से भी मैं इसे seamless तरीके से इस्तेमाल कर रहा हूँ। इस शानदार project के लिए मैं बहुत आभारी हूँ।

    • Home Assistant के साथ integrate करके चलाते हैं क्या? मेरे ISP ने hacs साइट का access ब्लॉक कर रखा है, इसलिए HACS integration ठीक से काम नहीं कर रहा। wget से get.hacs.xyz डाउनलोड करके install करने की कोशिश करता हूँ तो SSL error आती है और connection कट जाता है।

    • मैं कैमरों को इंटरनेट से अलग करके केवल local network पर रखता हूँ; यदि कोई backchannel transmission भी हो तो उसे रोकने का कोई तरीका हो तो कृपया share करें।

    • पूछना चाहता हूँ कि क्या Eufy camera को Frigate के साथ उपयोग किया जा सकता है?

    • Tapo camera को RTSP mode में Frigate के साथ बेहतर तरीके से compatible कैसे बनाऊँ? मैं जब सिर्फ एक camera ही Wi-Fi पर जोड़ता हूँ तब भी नेटवर्क बहुत unstable हो जाता है। प्रति AP bandwidth/सेगमेंट अलग करने पर भी समस्या रही थी।

    • इस तरह के sensitive वीडियो डेटा को शुरुआत में उन्हें दे देने पर अभी भी अचंभा होता है। पहले GNU ऐक्टिविस्ट अजीब लगते थे, और अब भी उन साथियों को समझना कठिन है जो ad blocker तक नहीं चलाते।

  • मेरी सामान्य शिकायत यही है: शुरुआत के पहले वाक्य में बिना बताए NVR का abbreviation इस्तेमाल कर दिया गया। NVR का मतलब Networked Video Recorder है। हर किसी को उस क्षेत्र का अनुभव नहीं होता, इसलिए मुझे यह ठीक नहीं लगता।

    • यह मान लेना कि visitor को NVR का अर्थ पता है, शायद ठीक ही लगता है। शायद Frigate को लेकर संदर्भ से भी समझ आ जाता है।

    • सहमत नहीं। मेरा अनुमान है कि Frigate खोजने वालों में 90% से ज़्यादा लोगों को NVR का पता होगा। ज़रूर हर शब्द की formal definition देनी चाहिए, लेकिन NVR कम-से-कम उस स्तर की बेसिक जानकारी है जिसे कोई भी इस product का उपयोग करने वाला व्यक्ति जानता होना चाहिए।

    • मैं सामान्यतः सहमत हूँ, लेकिन NVR सिर्फ उद्योग क्षेत्र तक सीमित नहीं है। CCTV समाधान देखने वाले लगभग सभी लोगों के बीच यह शब्द आम है। अगर किसी को यह भी नहीं पता हो, तो Network Video Recorder शब्द भी शायद निरर्थक लगता है। Frigate का उद्देश्य ही ऐसे बंद और कठोर NVR box को replace करना है, इसलिए नाम में भी यही शब्द आता है।

    • वास्तविक दुकानों में ज्यादातर NVR या NVR Recorder नाम से ही उत्पाद बिकते हैं (मेरे अनुभव में)। खोजने पर तुरंत जवाब मिल जाता है।

  • GPU या TPU ज़रूरी नहीं हैं। अगर कैमरों की संख्या कम रखी जाए और detection zones ठीक सेट हों, तो CPU पर्याप्त है। मैं low-resolution/low-fps MJPEG substream का उपयोग detection के लिए करता हूँ, और h264 सिर्फ recording/viewing के लिए। CPU inference में OpenVINO, default Tensorflow से कहीं ज्यादा तेज़ है। 6-core VM (Ivy Bridge Xeon) पर दो कैमरे चलाने के बाद भी CPU लगभग 20% ही उपयोग होता है।

  • वीडियो acceleration (object recognition नहीं, सिर्फ वीडियो डिकोडिंग) थोड़ा unstable है, पर उसके बाद real-time object recognition के हिसाब से सबसे अच्छा अनुभव मिला। अब छोटे जानवर रात में मुझे जगाते नहीं हैं। FYI, मैं annual subscription में AI model को मेरे दिए हुए false-positive डेटा से train कराने का विकल्प लेता हूँ। इससे accuracy बहुत बेहतर हुई।

    • जानवरों की वजह से रात में न जागना तो बढ़िया है, लेकिन विभिन्न जानवरों की फोटो इकट्ठा करने का यह पहलू भी दिलचस्प है—मानो एक छुपी हुई दुनिया दिखाई दे रही हो।

    • Coral AI board के driver और software लगभग Google Abandonware(tm) जैसे हैं, इसलिए दिक्कत आती है। यह पुराने Python version को force करते हैं जिससे नए OS/GPU के साथ compatibility कम हो जाती है। 2025 में भी Windows 7-स्तर का software मांगने वाला hardware खरीदने जैसा लगता है।

    • मेरे केस में स्थिति उलटी होती जा रही है। 2-3 साल लगातार चलाने के बाद अब बच्चों के खिलौने, बगीचे का scooter, pirate flags जैसे objects लगातार false positive दे रहे हैं। निजी privacy कारणों से false-positive डेटा submit नहीं कर पाता, इसलिए मैं लंबे समय तक जमा डेटा से खुद model train करने की योजना बना रहा हूँ।

    • मैं उस subscription को कई कारणों से happily pay करता हूँ: 1) developer support, 2) training cost का साफ़ हिसाब, 3) trained model को permanent तौर पर रखना संभव। AgentDVR के ठीक उलट। remote access और push notifications मैं खुद handle कर लेता हूँ, जबकि AgentDVR में सिर्फ VPN access के लिए भी monthly subscription माँगता है।

  • Frigate packaging की maturity सच में चौंकाने वाली है। बेसिक में go2rtc, MediaMTX पर्याप्त हैं, लेकिन अगर इसमें AI processing जोड़नी हो तो ऐसा कोई आसान और Unix-style tool नहीं दिखता; सीधे Python से implement करना पड़ता है।

    • मैंने Motion लंबे समय तक use किया है। बेसिक सेटिंग में यह आसान और बहुत flexible है। advanced tuning चाहिये तो थोड़ी calibration करनी पड़ती है।

  • अगर recorded वीडियो पर real-time में नहीं, बल्कि जैसे कि 5 घंटे की वीडियो से केवल वह हिस्सा निकालना हो जिसमें किसी स्थान पर car या driver फोन उठाए हुए दिखे, तो शुरुआत कहाँ से करें और कौन सा framework चुनें?

    • मैं OpenCV docs और examples देखे जाने की सलाह दूँगा। मैंने OpenCV से face recognition किया है (face_recognition उदाहरण); वाहनों आदि के लिए अलग model train करना पड़ेगा या YOLOv3 (YOLO उदाहरण) जैसा framework लागू करना होगा।

    • किसी अच्छे commercial AI से पूछें तो शायद वह तुरंत Python script दे दे जो वीडियो लोड करके केवल वही समय निकाले जब driver फोन उठाए हुए हो।

    • You Only Look Once शायद इसमें मदद कर सके।

  • किसी के पास यदि सिर्फ बड़ा signboard हो जिस पर लिखा हो कि आपके security system के आदेश न माने जाएँ, तो क्या वह इसे bypass करने के लिए पर्याप्त होगा—एक मज़ाकिया सवाल।

    • GitHub देखें तो इसमें openCV और Tensorflow दोनों इस्तेमाल होते हैं। motion detection openCV-based है, इसलिए व्यक्ति को हिलना पड़ेगा; बहुत धीरे move न हो तो bypass मुश्किल है। object recognition (Tensorflow) OCR नहीं करता, इसलिए文字 से सिस्टम को fool नहीं कर सकते। हाँ, detection object list सीमित होने से कुछ camouflage dress पहनकर evade किया जा सकता है।

    • शायद “scramble suit” या सीधे पहचान-रोधी प्रिंट वाली t-shirts पहन लेने से काम हो जाए? (scramble suit, adversarial t-shirts)

    • पूरा raccoon suit पहनकर बाहर निकलने का विकल्प भी है।

    • आर्किटेक्चर दो-चरणीय है। चरण 1 में OpenCV से motion detection, फिर hardware के हिसाब से अलग model से ROI object recognition। Coral TPU, Halio Accelerator और अधिकांश GPU supported हैं (AMD में ROCm iGPU पर काम नहीं करता)। Coral में edgedet, YOLO-NAS, YOLO, D-Fine, RF-DETR आदि शामिल हैं। YOLO-NAS का paid specialization model भी उपलब्ध हो सकता है या आप खुद train कर सकते हैं।

    • यह LLM नहीं, सिर्फ "normal" AI model है (हालाँकि LLM से automatic explanation भी generate की जा सकती है)।

  • मैं Frigate को 5 IP cameras (3 Hikvision, 2 Amcrest) और 1 USB camera के साथ चलाता हूँ। USB Coral TPU के साथ पुराने i7-6700 पर CPU usage लगभग 30% के आसपास आराम से चलता है। Best नहीं है, लेकिन उपयोगी है। Amcrest वीडियो ठीक चल जाते हैं, जबकि Hikvision में codec compatibility issue होने पर transcoding की ज़रूरत पड़ती है। रिकॉर्डिंग भेजने की built-in सुविधा नहीं है, इसलिए मैं storage directory mirror करने पर भी important events को अलग backup के लिए आसान तरीके से अलग नहीं कर पाया।

    • क्या सिर्फ व्यक्ति detection से आगे बढ़कर पहले से register फोटो से किसी विशिष्ट व्यक्ति की पहचान करने (identified recognition) की सुविधा संभव है?

  • दोहराकर कहूँ तो GPU/TPU बिना भी कैमरों की संख्या और detection zones सही सेट करने पर सिर्फ CPU पर्याप्त होता है। अलग-अलग मॉडल (OpenVINO, Tensorflow आदि) का मैंने इस्तेमाल करके अनुभव साझा किया है।

  • थोड़ा अलग perspective: अगर व्यक्ति खुद security camera क्यों install करे? मनोविज्ञान शोध कहता है कि ऐसे कैमरे अक्सर stress और anxiety बढ़ाते हैं। वास्तविक crime prevention में बड़ी मदद नहीं मिलती, और police जांच या बीमा-एविडेंस के लिए शायद offsite backup चाहिए। सार्वजनिक जगहों पर CCTV की संख्या चाहे जितनी हो, वास्तविक crime solve करने (जैसे नंबर प्लेट पहचान) में वास्तविक योगदान अभी भी बहुत कम है।

    • कैमरा लगाने का बड़ा फायदा civic order बढ़ाने में है। front door पर camera लगने के बाद courier staff भारी हरकत नहीं करता, और fence नुकसान भी कम दिखता है। साथ ही यह cat tracking, बाहर निकलने पर remote monitoring और insurance claim आदि में भी काम आता है। हालांकि मेरी राय में अधिकांश budget CCTV में resolution से ज्यादा रात के समय IR sensitivity ज्यादा मायने रखती है। पहचान के लिए मैं actual low-resolution professional-grade camera use करता हूँ। Open source में मैं पहले से ZoneMinder और local AI के साथ लंबा काम कर रहा हूँ।

    • “stress बढ़ता है और anxiety बढ़ती है” वाली लाइन पढ़कर लगा कि मेरे emotional state पर सीधे टिप्पणी हो रही है, इसलिए थोड़ा खटकता है। हर किसी के कारण अलग होते हैं—यह मेरी राय है।

    • हर व्यक्ति की परिस्थिति, risk profile और पुलिस support अलग होती है, इसलिए लोगों के उद्देश्य और psychology भी अलग होते हैं। मैं शांत इलाके में रहता हूँ और अक्सर घर कई दिनों के लिए खाली छोड़ता हूँ; ऐसे में बिना camera की तुलना में मुझे सिर्फ यह भरोसा कि मैं monitor कर सकता हूँ, ज्यादा सुकून देता है।

    • मेरा doorbell local recording देता है; जब कोई doorbell दबाता है तो कुछ सेकंड पहले की image मोबाइल/desktop notification पर आ जाती है। मैं देख सकता हूँ कौन आया है और आगे क्या करना है। यह मज़ेदार भी है, और आसपास cameras लगाकर LLM से नए bird count करने या “dog backyard में है?” जैसी query पूछ सकता हूँ।

    • Frigate आदि का मुख्य उद्देश्य यह है कि user को हमेशा live नहीं देखना पड़े। छोटे animal false positives, acquaintances के vehicles आदि छोड़कर केवल वास्तविक critical events पर ध्यान देना पर्याप्त होता है।

  • मैं Frigate का existing user हूँ और 4 साल से इसे use कर रहा हूँ। पहले Home Assistant के बिना सिर्फ Frigate ही चला रहा था; हाल ही में मैंने Home Assistant वापस जोड़ा और Nest cam का WebRTC stream Frigate में integrate किया। अब Nest Aware subscription के बिना भी समान workflow चल रहा है, इसलिए खर्च में अच्छी बचत का महसूस हो रहा है।