यह एक पाइपलाइन है जो सिर्फ फोन से शूट किए गए फुटेज से पिल्ले का परिचय कराने वाला short-form वीडियो बनाती है। कई raw फोन वीडियो और प्राकृतिक भाषा में अनुरोध का एक पैराग्राफ डालने पर लगभग 4 मिनट बाद subtitles और narration वाला vertical 9:16 वीडियो मिलता है। इसे इस तरह डिजाइन किया गया है कि detection से लेकर TTS तक पूरी प्रक्रिया एक MacBook पर local रूप से चले।
LLM को वीडियो देकर दिखने में अच्छा demo निकालना मुश्किल नहीं है। इसके बजाय लक्ष्य दो सवालों के जवाब देना था। क्या कल वही चीज फिर से वैसी ही निकाली जा सकती है, और क्या AI द्वारा गढ़ी गई चीजें और इंसान द्वारा सेट की गई चीजें आपस में नहीं मिलतीं।
संरचना
- LLM सिर्फ interpretation करता है, execution deterministic है। Gemma (local) केवल action names, edit requests को तोड़ना, scene observation जैसे semantic judgments करता है, और pixels, frames तथा timing पूरी तरह Python/OpenCV/ffmpeg संभालते हैं। वही input हो तो वही output मिलता है।
- Detection और tracking YOLO11 + ByteTrack संभालते हैं, कई कुत्तों की re-identification DINOv2 embeddings + caretaker photo anchor से होती है, और dynamic/static judgment camera motion को compensate करने के बाद ROI residual measurement द्वारा किया जाता है। जिन axes को LLM structurally नहीं देख सकता, जैसे एक still image में motion, उन्हें LLM पर नहीं छोड़ा जाता।
- TTS को Qwen3-TTS (mlx-audio) से local synthesis किया जाता है और Whisper round-trip CER gate से verify किया जाता है।
- LLM द्वारा गढ़े गए subtitles में factual claims को तोड़कर video observation records से मिलाया जाता है, और आधार न होने पर उन्हें फिर से लिखा जाता है। User द्वारा सीधे लिखे गए subtitles को verify नहीं किया जाता।
निर्णय लेने का तरीका
- Model और parameter changes का निर्णय पूरी तरह hand-labeled golden set scoring से किया गया।
- जिन improvements के बारे में लगा था कि वे जाहिर तौर पर बेहतर होंगी, वे golden set scoring में दो बार reject हुईं।
आंकड़े
- 148 unit tests, M4 action group classification accuracy 1.00
- Full lifecycle generation time 8 मिनट से घटाकर 4 मिनट।
सीमाएं
Golden set में 5–9 वीडियो, एक domain, और single developer है। यह methodology की rigor है, scale का validation नहीं।
Development process को blog पर series के रूप में लिखा है।
MIT license है। इस methodology को दूसरे domains में ले जाने की बातों या हर decision पर सवालों का स्वागत है।
अभी कोई टिप्पणी नहीं है.