AV1@Scale: Film Grain Synthesis का जागरण

• Netflix ने दुनिया भर के सदस्यों के लिए AV1 Film Grain Synthesis(फिल्म ग्रेन सिंथेसिस) तकनीक को बड़े पैमाने पर लागू करना शुरू कर दिया है
• यह फीचर noise और cinematic texture को अधिक वास्तविक ढंग से संरक्षित रखते हुए वीडियो compression efficiency बढ़ाता है
• AV1 FGS मूल grain विशेषताओं को सटीक रूप से पुनर्निर्मित करने के लिए 2 मुख्य तकनीकों (pattern restoration, intensity control) का उपयोग करता है
• इसके जरिए bitrate में कमी के साथ-साथ वीडियो quality में सुधार और viewer experience को बेहतर बनाना संभव है
• Netflix इस तकनीक के माध्यम से artistic integrity बनाए रखते हुए अधिक कंटेंट में data efficiency बढ़ाता है

---

AV1@Scale: फिल्म ग्रेन सिंथेसिस का जागरण

Netflix में फिल्म ग्रेन सिंथेसिस की शुरुआत और लाखों लोगों के लिए बेहतर वीडियो गुणवत्ता

• Netflix ने AV1 Film Grain Synthesis(FGS) स्ट्रीम्स को बड़े पैमाने पर अपनाकर, फिल्म ग्रेन की कलात्मक संवेदना और वास्तविकता को संरक्षित रखते हुए data efficiency को अधिकतम करने वाला नवाचार साकार किया है
• फिल्म ग्रेन storytelling की गहराई बढ़ाता है और क्लासिक फिल्मों के माहौल तथा यथार्थवाद को जीवंत रखने वाला एक महत्वपूर्ण visual element है
• लेकिन पारंपरिक compression algorithms के लिए अत्यधिक random grain को प्रभावी ढंग से प्रोसेस और compress करना कठिन रहा है

# AV1 में फिल्म ग्रेन सिंथेसिस को समझना

• AV1 Film Grain Synthesis(FGS) टूल दो प्रमुख मॉडलों का उपयोग करता है

  • फिल्म ग्रेन pattern: autoregressive(AR) model के जरिए grain pattern का मॉडल बनाता है, और AR coefficients को source video तथा denoised video के अंतर (noise) से अनुमानित किया जाता है
    • इन coefficients से 64x64 noise template बनाया जाता है, और playback के समय रैंडम 32x32 patches निकालकर reconstructed video में मिलाए जाते हैं
    • यह तरीका मूल वीडियो की noise characteristics और spatial correlation को विश्वसनीय रूप से पुन: प्रस्तुत करता है
  • फिल्म ग्रेन intensity: scaling function के जरिए brightness की स्थिति के अनुसार grain intensity को बारीकी से नियंत्रित करता है
    • encoding के दौरान pixel values और noise intensity के संबंध को piecewise linear function के रूप में मॉडल किया जाता है, और वीडियो की brightness तथा color के अनुसार grain intensity समायोजित की जाती है
    • इस तरीके से मूल वीडियो का texture और अधिक सटीकता से पुनर्स्थापित होता है

• AV1 standard denoising techniques के लिए किसी खास तरीके को अनिवार्य नहीं करता, इसलिए उपयोगकर्ता अपनी पसंद का denoiser चुन सकते हैं

• denoising के बाद वीडियो (grain रहित वीडियो) compress किया जाता है, और grain pattern·intensity parameters के साथ data के रूप में ट्रांसमिट किया जाता है

• उपयोगकर्ता के player में grain को block-based method से पुनर्निर्मित किया जाता है, जो consumer devices के लिए optimized implementation है

# compression efficiency, वीडियो quality, और दर्शक लाभ

• Netflix में AV1 FGS सक्षम होने के बाद bitrate reduction के साथ फिल्म की कलात्मक भावना बनाए रखने वाली high-quality video streaming उपलब्ध कराई जा सकती है
• वास्तविक उदाहरणों में, पारंपरिक तरीकों की तुलना में quality improvement और data usage reduction एक साथ हासिल होते हैं
• FGS खासकर ऐसे कंटेंट में भी data efficiency और मूल texture preservation दोनों को संतुष्ट करता है, जहाँ filter processing या added grain अधिक हो

# सारांश

• AV1 Film Grain Synthesis(फिल्म ग्रेन सिंथेसिस) artistic integrity, viewing experience enhancement, और streaming efficiency improvement को संभव बनाने वाली तकनीक है
• Netflix ने इस तकनीक को बड़े पैमाने पर अपनाकर अधिक रचनाओं में quality और data reduction के संतुलन के साथ डिलीवरी संभव बनाई है
• इसके साथ क्लासिक फिल्मों से लेकर आधुनिक वीडियो तक, भावनात्मक texture और तकनीकी efficiency दोनों को साकार किया जा सका है

[GN⁺]

Hacker News टिप्पणियाँ

• मुझे लगता है कि इस चर्चा में यह बात नज़रअंदाज़ की गई है कि सिंथेसाइज़ किया गया noise, मूल noise में मौजूद जानकारी और डिटेल को पूरी तरह पुनर्निर्मित नहीं कर सकता। हाई-क्वालिटी encoding में जब असली noise शामिल होता है, तो स्थिर फ़्रेम से वीडियो में जाते समय रेज़ोल्यूशन अचानक बढ़ता हुआ महसूस होता है। 24fps पर noise ऐसा दिखता है जैसे वह signal के ऊपर चल रहा हो, लेकिन signal खुद फिर भी साफ़ बना रहता है। दूसरी ओर, lossy compression या synthetic noise को अगर हर फ़्रेम पर synthesize किया जाए, तो मूल डिटेल वापस नहीं लाई जा सकती। असली 24fps वीडियो में यह ज़्यादा धुंधला महसूस होता है, और खासकर पुरानी film footage में डिटेल का फ़र्क 2 गुना से भी ज़्यादा हो जाता है। अगर h.265 या AV1 हमेशा कई फ़्रेम देखकर motion के हिसाब से सिर्फ noise हटाकर encode करें, तो डिटेल का नुकसान नहीं होगा, लेकिन मुझे नहीं पता कि वे वास्तव में ऐसा करते हैं या नहीं। denoise बनाम synthesis की तुलना स्थिर इमेज से नहीं करनी चाहिए; सही समझने के लिए असली वीडियो को साथ-साथ देखना चाहिए। ज़ोर यह है कि noise भी अपने आप में डिटेल है.

  • grain (noise pattern) हर फ़्रेम में स्वतंत्र होता है और सीन के ऑब्जेक्ट्स की movement के साथ नहीं चलता, इसलिए अगर synthetic noise में कोई स्पष्ट temporal pattern न हो तो स्थिर फ़्रेम तुलना भी काफ़ी है, ऐसा मेरा मानना है। सौंदर्य की दृष्टि से AV1 synthetic grain स्रोत के grain size को ठीक से नहीं दर्शाता, इसलिए पुरानी film के बड़े crystals अच्छी तरह नहीं उभरते, और color channels को भी अलग से model नहीं किया जाता, हालाँकि Netflix source वीडियो पहले से chroma subsampling वाला होने के कारण शायद इसका फ़र्क कम पड़ता हो। संबंधित paper का लिंक यहाँ है। मैंने इस विषय को बस हल्के तौर पर पढ़ा है, इसलिए संभव है कि मैं कुछ गलत समझ रहा हूँ

  • temporal पहलू को समझाने के लिए पुराने film projector की कल्पना करना अच्छा होगा। हर फ़्रेम के बीच एक अँधेरा पल होता है, लेकिन आँख इस flicker को लगभग महसूस नहीं करती और औसत बना देती है (flicker fusion threshold)। noise और grain भी कुछ ऐसे ही perceive होते हैं, इसलिए वे स्थिर signal की तुलना में कम उभरकर आते हैं। astrophotography में भी कई इमेज जोड़कर बेहतर SNR बनाया जाता है, और मानव मस्तिष्क भी कुछ हद तक ऐसा ही करता है। समय के साथ noise औसत की ओर सिमटता है और signal ज़्यादा स्पष्ट हो जाता है। single-frame denoise algorithms के पास यह context नहीं होता, इसलिए डिटेल खो सकती है या फिर अनुमान से भरपाई करनी पड़ती है। AV1 किसी खास denoise algorithm को निर्धारित नहीं करता, इसलिए अगर algorithm समझदार हो तो वह temporal context को अच्छी तरह बचा सकता है

  • noise में अपने आप कोई signal नहीं होता; वह signal के ऊपर random तरीके से जुड़ा हुआ disturbance है, यानी सूचना नहीं है। स्थिर इमेज की कई प्रतियों का average लेने पर signal बना रहता है और noise cancel हो जाता है, जिससे SNR बढ़ता है; इस नज़रिए से देखें तो noise को जानबूझकर बनाए रखने का कोई खास मतलब नहीं है। अगर कोई असर दिखता भी है तो या तो वह मूल film grain से जुड़ी सौंदर्यात्मक संतुष्टि है, या फिर low bitrate (ज़्यादा compression) वीडियो के artifacts और high bitrate (मूल के क़रीब) वीडियो की तुलना से पैदा हुआ फ़र्क हो सकता है

  • यह हिस्सा वाकई दिलचस्प है। machine learning भी कभी-कभी रात में शूट किए गए वीडियो का विश्लेषण इंसान से बेहतर कर लेती है, और sensor का noise भी feature की तरह इस्तेमाल हो सकता है। इससे यह बात उभरती है कि noise सिर्फ noise भर नहीं है

  • हाल की 4K Blu-ray रिलीज़ में DRR तकनीक इस्तेमाल होती है, लेकिन denoise प्रक्रिया में कभी-कभी चेहरे के pores तक मिट जाते हैं, जिससे अभिनेता के हाव-भाव मोम जैसे लगते हैं

• noise जोड़ने के दार्शनिक अर्थ को अलग रख दें, तो इस उदाहरण में denoise प्रक्रिया ने ज़रूरत से ज़्यादा blur दे दिया है, जिससे यह मूल से कम sharp लगती है, और synthetic grain भी असली film grain की बजाय बस साधारण noise जैसा महसूस होता है

  • मुझे यह बात सही लगती है। high bitrate तक पहुँचने से पहले compression प्रक्रिया में मूल grain पर बहुत ज़्यादा bits खर्च करने पड़ते हैं, जिससे वीडियो और धुंधला या muddy लग सकता है। film grain synthesis (FGS) bandwidth-सीमित streaming के लिए काफ़ी तर्कसंगत है, लेकिन उदाहरण वीडियो में synthetic grain असली grain जैसा नहीं लगता—इस पर मैं सहमत हूँ। denoising की मात्रा और तरीके के अनुसार scene detail सचमुच धुंधली हो सकती है

  • फ़िल्म post-production में हमेशा कई तरह के tricks इस्तेमाल किए जाते रहे हैं। अच्छा होता अगर दर्शक चाहें तो मनचाहा effect (जैसे film simulation) ऑन या ऑफ कर सकें। The Holdovers जैसी फ़िल्मों में, जो किसी खास दौर को पुनर्सृजित करना चाहती हैं, film simulation बहुत शानदार लगी। मुझे लगता है कि Netflix आगे चलकर post effects को client-side पर प्रोसेस करवा सकता है, जैसे colorblind mode देना या artificial grain को बंद करने का विकल्प

  • AV1 का FGS level-adjustable है, लेकिन मेरी नज़र में इसे थोड़ा ज़्यादा सेट किया गया है (हालाँकि bitrate environment के हिसाब से यह दूसरे artifacts की तुलना में ज़्यादा देखने लायक भी हो सकता है)। संदर्भ के लिए, स्थिर दृश्य वीडियो quality आकलन में सीमित होते हैं, और सैद्धांतिक रूप से perfect noise-removal filter (जो non-noise detail को 100% बचा ले) भी मूल की तुलना में कम detailed महसूस हो सकता है। दिमाग और आँख noise वाली इमेज देखते समय उल्टा कुछ अतिरिक्त डिटेल ‘रच’ भी देते हैं

  • इस विषय की पड़ताल करने वाली फ़िल्मों में Antonioni की Blowup एक प्रतिनिधि उदाहरण है। Blowup Wikipedia

  • motion picture film को नज़दीक से देखने के अनुभव के आधार पर मुझे लगता है कि इस उदाहरण वीडियो का film grain वास्तविकता से काफ़ी दूर है। अंततः यह dithering जैसे प्रभाव भर जैसा है

• इस चर्चा में सबसे महत्वपूर्ण बात ‘at scale’ वाला हिस्सा है। AV1 encoders में film grain synthesis पहले से मौजूद था, लेकिन समस्या न आए इसके लिए हर बार हाथ से settings बदलनी पड़ती थीं, इसलिए इसका वास्तविक उपयोग सीमित content में ही होता था। यहाँ बताई गई पद्धति ने उस कठिनाई को कैसे पार किया, इसकी विस्तार से जानकारी नहीं है, लेकिन बड़े पैमाने पर संचालन संभव हुआ—यह स्वागतयोग्य है

  • आजकल adaptive variant आ गया है, जिससे automation काफ़ी आसान हो गई है

• film grain को लेकर नकारात्मक नज़रिए के जवाब में, हर इमेज में किसी न किसी स्तर का noise या grain होता है। सबसे अच्छे digital sensors में भी, और यहाँ तक कि हमारी आँखों में भी। यह सिर्फ aesthetic उपयोग नहीं है; इससे sharpness की perceived वृद्धि होती है, और banding या compression artifacts छिपाने में भी व्यावहारिक मदद मिलती है। बेशक हर grain अच्छा नहीं होता, और कई बार यह तकनीकी सीमा या खराब creative choice का नतीजा होता है। फिर भी, मेरा मानना है कि हर वीडियो को denoise करके चिकना बना देने का परिणाम इससे कहीं ज़्यादा अवास्तविक और खटकने वाला होता है

  • आधुनिक digital sensors का grain आजकल फ़िल्मों में जोड़ा जाने वाले grain की तुलना में बहुत मामूली स्तर का होता है

  • मेरी चिंता यह है कि grain लगाया जाए या नहीं, यह रचनाकार का कलात्मक निर्णय होना चाहिए, न कि data compression करने वाले समूह का मनमाना चुनाव

  • HBO intro animation पुरानी analog broadcast signal noise का उपयोग करती है, और 4K में उसकी quality बुरी तरह बिगड़ जाती है। random noise को compress करना लगभग असंभव है, इसलिए यहाँ जैसे तरीक़े (noise हटाकर फिर restore करना) ज़रूरी हो जाते हैं

• मैं इस दावे से सहमत नहीं कि “grains यथार्थ का एहसास देते हैं और कहानी में गहराई जोड़ते हैं।” मेरी नज़र में grain जैसा कुछ होता ही नहीं, इसलिए ‘reality = grain’ वाली दलील समझ नहीं आती। फिर भी, एक aesthetic tool के रूप में grain मुझे अच्छा लगता है, और यह तकनीक भी दिलचस्प लगी

  • लेख में grain के masking effect (artifacts को छिपाना) और familiarity/nostalgia की बात है, लेकिन एक और व्याख्या जोड़ी जा सकती है। वास्तविक दुनिया की हर सतह में सूक्ष्म texture होता है, लेकिन वीडियो में रिकॉर्ड करते समय camera, resolution, compression limits आदि के कारण यह डिटेल खो जाती है। film grain ऐसा high-frequency visual stimulus फिर से उपलब्ध कराता है। आँख और दिमाग को यह stimulus अपने आप में पसंद आता है, और उन्हें noise की सही स्थिति या pattern की उतनी परवाह नहीं होती। उदाहरण के लिए, x265 encoder के psy-rd और psy-rdoq parameters को इस तरह ट्यून किया जा सकता है कि “वीडियो में energy बची हुई लगे (थोड़ा rough दिखे)”, और इससे ज़्यादा data खर्च किए बिना perceived quality बढ़ाई जा सकती है

  • अँधेरी रात में हमारी आँखों को भी एक तरह की ‘sparkling’ या ‘static’ दिखाई दे सकती है, और तकनीकी रूप से देखें तो इंसानी आँख में भी थोड़ा noise होता है। realness का एहसास किसी दौर की तकनीक के निशानों से परिभाषित होता है। जैसे Vincent van Gogh की brushstrokes उसकी पेंटिंग का हिस्सा हैं, वैसे ही film grain भी माध्यम की वास्तविकता का हिस्सा है; इसलिए संभव हो तो लोग उस निशान को जितना हो सके बचाए रखना चाहते हैं

  • लोग अपनी aesthetic पसंद को तर्क से सही साबित करना चाहते हैं। media के अनुभव और समझ का स्तर जितना ऊँचा होगा, उतने ही सूक्ष्म बदलाव ज़्यादा तीव्रता से महसूस होंगे, और वही पसंद को प्रभावित करेंगे। बच्चे पुरानी silent comedy में सामग्री पर प्रतिक्रिया देंगे, film की विशेषताओं पर नहीं। इसके उलट, विशेषज्ञ ऐसे सूक्ष्म फ़र्कों के प्रति अधिक संवेदनशील हो जाते हैं। film grain का अपने आप में वास्तविक (real) लगना भी हर युग के सामाजिक अनुभव और self-awareness का परिणाम है। संभव है कि 40 साल बाद लोग movie grain को hyperreal या सिर्फ ‘noise’ की तरह देखें

  • मेरी राय में grain वीडियो को वास्तविकता से ज़्यादा detailed दिखाता है, और compression artifacts या blur को भी छिपा देता है। मनोवैज्ञानिक कारण मुझे ठीक से नहीं पता, लेकिन स्पष्ट है कि इसमें कुछ अतिरिक्त high-frequency तत्व या dithering effect शामिल होता है। इंसानी आँख में भी quantum effects की वजह से grain होता है, लेकिन दिमाग उसे इतनी मज़बूती से filter कर देता है कि हम उसे महसूस नहीं करते

  • जब digital cameras मुख्यधारा में आना शुरू हुए थे, तब digital वीडियो अवास्तविक लगते थे और film movies को ज़्यादा सुंदर माना जाता था। संभव है कि classic cinema पसंद करने वाले cinephiles के लिए film = अच्छा की धारणा वहीं से आती हो। कुल मिलाकर, जब sharpness कम करनी हो तो यह एक उपयोगी aesthetic tool है

• फ़ोन कॉल में इस्तेमाल होने वाला AMR-WB audio codec भी आधिकारिक रूप से 50 Hz-7,000 Hz तक समर्थन देता है, लेकिन सबसे व्यापक 12.65 Kbps मोड में वास्तव में सिर्फ 6,400 Hz तक ही स्टोर किया जाता है, और उसके ऊपर का हिस्सा low frequencies + synthesized noise से भरा जाता है। यह बिना noise के बस काट देने की तुलना में काफ़ी ज़्यादा प्राकृतिक सुनाई देता है

• एक mirrorless camera photographer के रूप में मैं post-processing से हमेशा कोई खास एहसास बनाने की कोशिश करता हूँ। उदाहरण के लिए, aperture को जितना हो सके बंद करता हूँ, और denoise-sharpening-color grading का सक्रिय उपयोग करता हूँ। अगर मेरी तस्वीरें पुरानी किताब से निकली हुई लगें, तो मैं उसे सकारात्मक बात मानूँगा। मैंने कई film-look filters आज़माए हैं, लेकिन जिस अनियमित crystalline style वाले film grain की मैं कल्पना करता हूँ—यानी शूट से पहले ही film में मौजूद अनियमित pixels—उसे सचमुच पुनःनिर्मित करने वाला फ़िल्टर अभी तक नहीं देखा। ज़्यादातर तो बस pixel-जैसे चौकोर grain होते हैं, जो विश्वसनीय नहीं लगते

• मैं इस दावे से सहमत नहीं कि “film grain असली एहसास और nostalgia बढ़ाता है।” मेरे लिए यह उल्टा visual noise है जो डिटेल छिपा देता है। nostalgia अभिनेता या उस दौर के मेरे अनुभव से आती है, grain से नहीं। “यथार्थ बढ़ाने” वाला दावा भी मुझे अवास्तविक लगता है। AV1 अगर इस तरह के visual कचरे पर bits बर्बाद किए बिना, इसे आसानी और लचीलेपन से synthesize/remove करने देता है, तो यह सकारात्मक बात है

  • documentaries का लक्ष्य ‘यथार्थ का पुनर्निर्माण’ हो सकता है, लेकिन सिनेमा में निर्देशक की दृष्टि प्राथमिक होती है। grain को संगीत की तरह भावनाएँ और माहौल बनाने वाला कलात्मक तत्व भी माना जा सकता है

  • भौतिक रूप से lighting और shooting में shot noise होता ही है, इसलिए वास्तव में ‘पूरी तरह noise-free’ reality जैसी कोई चीज़ नहीं है। Shot noise wiki देखें

  • मुझे नहीं लगता कि grain के फायदे बहुत अच्छी तरह समझाए गए थे, लेकिन व्यवहार में grain इमेज की sharpness और detail का एहसास बढ़ा देता है (चाहे वह भ्रम ही क्यों न हो), और cinematographer Steve Yedlin ने भी कहा है कि यह “दर्शक की आँख को पकड़ने के लिए कुछ देता है”

  • फ़िल्म में क्या ‘noise’ है और क्या ‘detail’, इसका फ़ैसला काफ़ी हद तक व्यक्तिपरक व्याख्या पर निर्भर करता है। आजकल वीडियो compression तकनीक से पैदा होने वाले दूसरे visual noise भी स्पष्ट रूप से मौजूद हैं

• बहुत से लोग इस मुख्य बिंदु को नज़रअंदाज़ कर रहे हैं कि noise हटाकर compress करने से compression efficiency बहुत बढ़ जाती है। समान bitrate पर, अगर noise हटाए बिना सीधे compress करें तो डिटेल और edges को भारी नुकसान पहुँचता है। यह desktop media players में भी बहुत पहले से इस्तेमाल होने वाली अवधारणा है

  • बिल्कुल सही। सब लोग grain quality पर अटके हैं, लेकिन Netflix के लिए असली मुद्दा bandwidth/quality ratio है। समान bitrate पर, noise हटाकर उसे software से restore करना कहीं बेहतर quality देता है। noise को compress करना सचमुच बहुत खराब सौदा है

• मुझे लगता है कि film grain को अब विदा कर देना चाहिए। sepia photos और 16fps silent film का दौर ख़त्म हो चुका है, और film grain का भी अब अंत होना चाहिए। Eastman Business Park भी ध्वस्त हो चुका है। YouTube वीडियो में धूल और scratches वाले नकली प्रभाव भी अब नहीं देखने चाहिए

  • fake film grain को छोड़ भी दें, लेकिन असली film grain को पूरी तरह खत्म करने की बात करना वैसा ही है जैसे oil painting से brushstrokes ही हटा देने की मांग करना

  • मुझे जानना है कि film grain को ज़रूर खत्म कर देने की वजह आख़िर क्या है