4 पॉइंट द्वारा GN⁺ 9 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Ghost Font एक visual communication experiment है जो बैकग्राउंड जैसे दिखने वाले dots की movement से अक्षर बनाता है, ताकि इंसान वीडियो में संदेश पहचान सके लेकिन individual frames का विश्लेषण करने वाला AI उसे आसानी से decode न कर सके
  • पारंपरिक TTF फ़ॉन्ट की बजाय यह movement·video·noise·decoy messages को जोड़ता है, और वीडियो रोकने या स्क्रीन capture करने पर dots बैकग्राउंड में घुलमिल जाते हैं, इसलिए संदेश दिखाई नहीं देता
  • Claude Fable और GPT Sol 5.6 Ultra को सही decoding technique prompt में बताने से पहले कठिनाई हुई, और ChatGPT 5.5 Pro ने 19 मिनट तक विश्लेषण करने के बाद ऐसा संदेश बना दिया जो वास्तव में मौजूद ही नहीं था
  • लोकल में code चलाने वाले dedicated agents dots की movement का विश्लेषण कर सकते हैं, इसलिए हर वीडियो में decoy messages जोड़े जाते हैं, लेकिन वास्तविक गोपनीय जानकारी के लिए encryption या password का इस्तेमाल करना चाहिए
  • इसका इस्तेमाल CAPTCHA और AI visual recognition benchmark में होने की संभावना है, लेकिन यह इंसानों के लिए भी पढ़ना मुश्किल है, और video-native models आने पर इसे decode किया जा सकता है। वीडियो generation code को open source के रूप में जारी करने की योजना है

मूवमेंट से बनते अक्षर

  • Ghost Font संदेश को स्थिर अक्षर-आकार में नहीं, बल्कि dots की movement के रूप में रिकॉर्ड करता है
    • movement, video, noise और decoy को मिलाकर ऐसा संदेश साझा करता है जिसे इंसान पढ़ सके
    • यह सामान्य TTF फ़ॉन्ट फ़ाइल नहीं है, बल्कि यह देखने का एक experiment है कि क्या AI के लिए आसानी से समझ में न आने वाले format में टेक्स्ट को visually convey किया जा सकता है
  • यह सामान्य text जितना स्पष्ट नहीं है, लेकिन इंसान चलती हुई अक्षर-आकृतियों को तुरंत पहचान सकते हैं, जबकि प्रमुख AI models इसे आसानी से decode नहीं कर पाते
  • दिया गया playground इस concept को परखने के लिए एक prototype है
    • कुछ शब्द input करने पर dots की movement से अक्षर दिखाई देते हैं
    • input किए गए संदेश को real time में preview किया जा सकता है या वीडियो के रूप में download करके share और test किया जा सकता है
    • सारा processing लोकल में होता है, और data server पर भेजा या share नहीं किया जाता

ऐसा ढाँचा जिसे स्थिर स्क्रीन से पढ़ा नहीं जा सकता

  • हर अक्षर ऐसे dots से बना है जो बैकग्राउंड जैसे ही दिखते हैं, और संदेश केवल dots की समय के साथ movement में ही उभरता है
  • वीडियो रोक देने पर स्थिर dots आपस में मिल जाते हैं, इसलिए सिर्फ एक frame से यह पता लगाना मुश्किल होता है कि उसमें कौन-सा संदेश छिपा है
  • पेज का screen capture लेने या वीडियो से individual images निकालने पर भी पढ़े जा सकने योग्य संदेश की जानकारी सामने नहीं आती

ZXX से Ghost Font तक

  • designer Sang Mun ने 2013 में ZXX नाम का ऐसा फ़ॉन्ट जारी किया था जिसे इंसान पढ़ सकता था लेकिन optical character recognition (OCR) software के लिए पढ़ना कठिन था
    • यह चार फ़ॉन्ट्स से बना था, जिनमें अक्षरों को noise में छिपाया गया था, lines से मिटाया गया था, या नकली markings के नीचे छुपाया गया था
    • उस समय इसे surveillance से बचने वाला फ़ॉन्ट माना गया था, लेकिन आधुनिक AI agents ZXX में render किए गए अक्षरों को आसानी से पढ़ सकते हैं
  • ZXX image को ChatGPT 5.5 के Instant mode में देने पर उसने सिर्फ एक prompt में शब्दों और कुछ छोटे details तक पहचान लिए
  • दूसरी ओर, Ghost Font की एकल स्क्रीन पर सिर्फ अपठनीय static dots दिखाई देते हैं, इसलिए उसी तरह के image analysis से संदेश पाना मुश्किल है
    • ChatGPT 5.5 Pro ने 19 मिनट तक विश्लेषण करने के बाद ऐसा संदेश बना दिया जो असल में था ही नहीं

कोड-आधारित विश्लेषण और decoy messages

  • सिर्फ वीडियो का इस्तेमाल करना पूर्ण सुरक्षा नहीं देता
    • online model environments individual frames में संदेश नहीं ढूँढ पाते हो सकते हैं
    • लोकल code execution environment वाले dedicated agents dots की movement का विश्लेषण करके वास्तविक संदेश decode कर सकते हैं
  • Ghost Font विश्लेषण को कठिन बनाने के लिए हर generated वीडियो में decoy messages जोड़ता है
    • छिपे संदेश की तलाश करने वाला agent अगर पहले decoy खोज ले, तो वह उसे वास्तविक संदेश समझ सकता है
    • इसी परत के कारण Fable और GPT Sol 5.6 Ultra जैसे शक्तिशाली reasoning models को भी decoding में कठिनाई हुई
  • Claude Fable और GPT Sol 5.6 Ultra code का उपयोग कर सकते थे, लेकिन किस technique को ढूँढना है यह prompt में ठीक-ठीक बताए जाने से पहले वे चल रहे संदेश को decode नहीं कर पाए

सुरक्षा साधन के रूप में सीमाएँ

  • अगर संदेश को वास्तव में छिपाना है, तो Ghost Font नहीं बल्कि encryption या किसी विशेष key का उपयोग करना चाहिए
    • ऐसा संदेश जो केवल इंसान-ज्ञात password से खुल सकता है, उसे AI भी बिना password नहीं पढ़ सकता
  • Ghost Font का लक्ष्य पूर्ण सुरक्षा नहीं, बल्कि यह परखना है कि क्या share की जा सकने वाली files में ऐसा visual message रखा जा सकता है जिसे इंसान देख सके लेकिन AI आसानी से न पढ़ सके
  • यह AI perception की सीमाओं को खोजने के साथ-साथ इंसानी विशिष्टता को बचाए रखने की कोशिश भी है
    • ऐसे समय में जब AI का उपयोग फ़ॉन्ट generation में भी हो रहा है, उम्मीद है कि इंसान अपनी अलग creative voice बनाए रखेंगे

CAPTCHA और AI benchmark की संभावना

  • चलने वाले अक्षरों को CAPTCHA में लागू करने की संभावना है
    • ऐसे समय में जब कई CAPTCHA को AI आसानी से हल कर लेता है, वीडियो में movement automated bots के लिए decoding को कठिन बना सकती है, जबकि इंसानों के लिए यह अपेक्षाकृत पढ़ने योग्य task रह सकता है
  • इसे AI की visual perception प्रगति मापने वाले benchmark के रूप में भी उपयोग किया जा सकता है
    • मौजूदा multimodal models मुख्यतः image-based हैं, और वीडियो मिलने पर भी आमतौर पर उसे frames में बाँटकर हर image का विश्लेषण करते हैं
    • भविष्य में video-native models आने पर वे movement को सीधे process करके Ghost Font के text को पढ़ सकेंगे, ऐसी उम्मीद है

इंसान और AI के बीच घटता अंतर

  • Ghost Font को AI के लिए पढ़ना कठिन है, लेकिन इंसानों के लिए भी यह काफ़ी कठिन है
  • AI की visual perception क्षमता तेज़ी से बेहतर हो रही है, इसलिए इंसान और AI की recognition gap लगातार घट रही है
  • अगला कदम वीडियो generation code को open source project के रूप में जारी करना है
    • इसे बड़े screen sizes को support करने और लंबी strings को process करने योग्य बनाने के लिए विस्तारित करने की योजना है

1 टिप्पणियां

 
GN⁺ 9 시간 전
Hacker News की राय
  • इस तरह के CAPTCHA पहले से मौजूद हैं और इन्हें आसानी से bypass किया जा सकता है। time-axis averaging की नकल करके लगातार लगभग 4 frames का औसत निकालें तो अक्षर उभर आते हैं, और बुनियादी large language models भी उन्हें पढ़ सकते हैं
    यह तरीका कई दूसरी AI defense techniques पर भी काम करता है, इसलिए यह scrapers को शायद ही ज्यादा धीमा कर पाएगा

  • Ghost Font पर आम video compression techniques लागू करने के बाद compressed signal से अक्षरों की outline restore करके optical character recognition (OCR) से analyze किया जा सकता है। यह नई CAPTCHA technique हो सकती है, लेकिन मुकाबला शुरू होने पर यह मौजूदा तरीकों से मूल रूप से ज्यादा कठिन नहीं होगी

    • आखिरकार इसे process करने वाली कोई ffmpeg command कहीं न कहीं होगी
    • सिर्फ दो screenshots पर filter लगाने से भी यह result मिला
      https://fingswotidun.com/images/GhostFont_2_samples.jpg
      https://fingswotidun.com/images/GhostFont_b_2_samples.jpg
      AI, screenshot button को अनाड़ी तरीके से दबाने के बजाय continuous frames इस्तेमाल करके, इंसान को पढ़ने में लगने वाले समय से कम अवधि के video में भी पर्याप्त samples जुटा सकती है और text को साफ़ तरीके से restore कर सकती है
    • यह मौजूदा CAPTCHA की जगह ले सकता है, लेकिन users द्वारा submit किए गए data से unidentified images को train करने या existing image fragments के labels को मजबूत करने वाला side effect नहीं देगा
  • शुरू में मुझे लगा कि “Written In Ghost Text” ही पढ़ने वाला वाक्य है, और काफी देर बाद समझ आया कि वह bait phrase है। असली वाक्य Magic Eye 3D तस्वीर जितना पढ़ना मुश्किल था, और mobile screen पर देखने पर तो सिरदर्द होने जैसा था
    research idea दिलचस्प है, लेकिन जिज्ञासा है कि AI model कब इसका decoding method समझ निकालेगा; prompt को थोड़ा improve करने से भी शायद हो जाए

    • मेरे लिए तो बिल्कुल उलटा था। actual text बहुत आसानी से पढ़ा गया, लेकिन “Written in Ghost Text” इतना धुंधला था कि इस comment के बिना मैं उसे पूरी तरह miss कर देता
    • मैं Magic Eye pictures नहीं देख पाता, इसलिए मुझे helper text भी नहीं दिखता। AI कई samples से इसे पढ़ सकती है, इसलिए लंबे समय में AI के इसे इंसानों से बेहतर पढ़ने की संभावना ज्यादा है
    • सच में? मुझे तो दिखने वाला वाक्य सिर्फ वही है
    • मैं bait phrase बिल्कुल नहीं पढ़ सकता
  • GPT-5.6 को recording video दिया तो उसने बिना दिक्कत text पढ़ लिया। optical flow और vertical displacement map से video की movement estimate की और उसे high-contrast motion map में combine किया; कोई अलग method बताए बिना सिर्फ पूछा था कि क्या लिखा है

    • Fable में भी “What does the message say?” prompt के साथ डाला तो उसने बिना दिक्कत पहचान लिया। reasoning process भी दिलचस्प है: https://imgur.com/a/GToXs6W
    • उसने bait phrase detect नहीं किया, बल्कि मेरे द्वारा सीधे input किया गया text पढ़ा। उसने क्रम से video metadata और frame analysis, stereogram period detection, blur/resize processing, frame shift और cross-correlation calculation, OpenCV verification, optical flow optimization, vertical displacement estimation और text extraction improvement किया
    • उत्सुकता है कि क्या उस conversation का link है
  • चतुर है, लेकिन algorithm से तोड़ना असंभव नहीं। लगातार दो frames में से एक के index को shift करते हुए वह position ढूंढें जहां difference minimum हो, फिर aligned frames को subtract करें और optical character recognition apply करें
    movement linear या एक direction में हो तो यह खासकर अच्छा काम करता है; सिर्फ vertical movement check करने वाले 20 lines के code से frame 1 में से frame 7 subtract करने का result यह है: https://imgur.com/a/only-human-can-read-this-vfDe6ZA

    • यह तरीका false positives के लिए कमजोर है और कुल मिलाकर computational cost भी ज्यादा है। Ghost Font खुद काफी मजबूत technique लगती है
    • उत्सुकता है कि क्या आप code share कर सकते हैं
  • basic text “GHOST FONT” का screenshot ChatGPT 5.6 Sol में paste करके पढ़ने को कहा, तो कुछ देर process करने के बाद उसने “WHAT HAPPENS IN VEGAS / STAYS IN VEGAS” जवाब दिया

    • text static image नहीं, बल्कि video है, और हर frame random dots से बना है; single frame में intended sentence नहीं होता
      यह इस बात का फायदा उठाता है कि current-generation top models videos को frame-by-frame process करते हैं, और हर frame में एक hidden bait phrase भी होता है जो model को यह मानकर रुकवा देता है कि उसे answer मिल गया है। frames के बीच correlation analyze करने पर technique समझी जा सकती है, लेकिन single frame में सिर्फ noise और bait होता है
    • text पढ़वाने वाली चीज movement है, इसलिए सिर्फ noise वाले screenshot से desired answer की उम्मीद करना मुश्किल है। हालांकि फिर देखा तो static screen पर भी “WRITTEN IN GHOST FONT” लिखा है
  • इंसानों को भी पढ़ने में कठिनाई होती है; अगर यह महत्वपूर्ण हो गया तो AI को भी पढ़ने के लिए train किया जा सकता है। ऐसे में practicality क्या है, यह सवाल है

    • research projects का practical होना जरूरी नहीं। इस क्षेत्र को explore करना और मिली चीजें share करना अपने आप में meaningful है
  • उलटे, मैं ऐसा font जो सिर्फ AI पढ़ सके भी देखना चाहूंगा

  • यह technique मजबूत है, लेकिन आखिरकार final solution शायद अफसोस की बात है कि attestation ही होगा

  • सख्ती से कहें तो यह कोई font नहीं है जिसे static होना चाहिए, बल्कि video effect है। यह वैसा ही है जैसे किताब बंद करके उसकी photo लेना और कहना कि camera वह font नहीं पढ़ पा रहा
    single frame और 1-second video को GPT 5.6 Sol(High) में डालकर देखा; frame को 9 मिनट 30 सेकंड में उसने “WRITTEN IN GHOST FONT” के रूप में decode किया। demo में सिर्फ “GHOST FONT” दिखता है, लेकिन extracted image में सच में “Ghost Font” जैसी shape उभरी
    video में उसने 3 मिनट बाद समझ लिया कि यह movement से defined effect है और QuickTime चलाने का अनुरोध किया; उसने कहा कि “कोई readable static OCR layer नहीं है और optical flow field से letter shapes extract कर रहा हूं।” 4 मिनट में letter-shaped movement image मिली और 9 मिनट और analyze करने के बाद कुल 13 मिनट 36 सेकंड में उसने “GHOST FONT” return किया
    इसलिए यह न font है, न सभी इंसान इसे पढ़ सकते हैं, और न ही AI इसे नहीं पढ़ सकती। processing के बीच की images https://imgur.com/a/SHlGu4O पर देखी जा सकती हैं

    • “WRITTEN IN GHOST FONT” input content से unrelated static bait phrase है। smartphone आदि से screen का long-exposure shot लें तो इसे verify किया जा सकता है