Bluesky के 1.3 करोड़ यूज़र्स का विज़ुअलाइज़ेशन

 (joelgustafson.com)
1 पॉइंट द्वारा GN⁺ 2024-11-14 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • सार्वजनिक event stream की वजह से Twitter पर बनाना मुश्किल पूरा social graph map Bluesky पर 1.3 करोड़ यूज़र्स के पैमाने पर बनाया जा सका
  • collection pipeline bsky.network के WebSocket firehose से सिर्फ follow·unfollow को फ़िल्टर करके SQLite में स्टोर करती है, और उस समय follows table में 50 करोड़ से ज़्यादा rows और लगभग 30GB डेटा था
  • 1.3 करोड़ nodes और 50 करोड़ edges को व्यवस्थित करने के लिए Zig-आधारित multithreaded force-directed layout engine Andromeda बनाया गया, लेकिन बड़े social graph में local structure दब जाने की सीमा सामने आई
  • GGVec embedding और UMAP को मिलाकर अधिक intermediate structure मिला, और UMAP में points के overlap को Andromeda में कुछ ticks और simulation चलाकर dense clusters को सुधारा गया
  • अंतिम map में 7 नवंबर 2024 के आधार पर filtering के बाद 77 लाख nodes दिखते हैं, जिनमें bot rings, देश-आधारित clusters, और high-follower media/policy accounts के समूह देखे जा सकते हैं

Bluesky का पूरा network map बन पाना क्यों संभव हुआ

  • Twitter पर पूरे data तक पहुँचना संभव नहीं है, और scraping भी मुश्किल तथा अवैध हो सकती है, इसलिए पूरा map बनाना कठिन है
  • BlueSky पर ज़रूरी data मिल सकता है, और 2024 के कुछ महीनों में इसमें तेज़ी से growth हुई
    • इस growth के पीछे Twitter और उसके user base के बीच लगातार टकराव, और अक्टूबर 2024 में Brazil में Twitter पर प्रतिबंध जैसे कारण थे
  • नतीजे को aurora.ndimensional.xyz पर interactive map के रूप में देखा जा सकता है
    • यह WebGPU का उपयोग करता है, इसलिए desktop Chrome/Chromium चाहिए

Follow graph इकट्ठा करने का तरीका

  • पूरे activity data की बजाय सिर्फ follow graph का उपयोग करके काम का दायरा घटाया गया
    • हर follow को एक undirected edge की तरह माना गया
    • अगर दो अकाउंट एक-दूसरे को follow करते हैं, तो दो edges बनती हैं, जिससे प्रभावी रूप से weight दोगुना हो जाता है
  • BlueSky AT Protocol पर आधारित है, और इसे इस तरह डिज़ाइन किया गया है कि यूज़र अपना PDS(personal data server) खुद host कर सकें
  • वास्तविक collection BlueSky टीम द्वारा चलाए जाने वाले bsky.network relay के WebSocket firehose से की गई
    • यह मुख्य *.bsky.social PDS और indexing का अनुरोध करने वाले स्वतंत्र PDSs के events को aggregate करता है
    • पूरे network के events real time में stream होते हैं, और अभी यह लगभग 500 events प्रति सेकंड के स्तर पर है
    • इनमें से सिर्फ follow और unfollow को फ़िल्टर करके local SQLite database में स्टोर किया गया
  • शुरुआत में indexer को fly.io पर deploy किया गया था और litestream के साथ database को AWS S3 में real time replicate किया गया, लेकिन 40 डॉलर प्रति माह की लागत के कारण इसे home server पर चला दिया गया
    • बाद में इसे घर के System76 desktop पर systemd service, logrotate, tmux monitor, और TailScale के साथ चलाया गया
  • लेखन के समय BlueSky 1.3 करोड़ यूज़र्स से आगे निकल चुका था, और follows table में 50 करोड़ से ज़्यादा rows थीं, जबकि disk usage लगभग 30GB था

1.3 करोड़ node graph की computation bottleneck

  • graph layout के कई तरीके हैं, लेकिन यहाँ शुरुआत force-directed layout से की गई, जो एक physics simulation की तरह काम करता है
    • सभी nodes एक-दूसरे को repel करते हैं
    • edges source और target के बीच आकर्षण बल बनाती हैं
    • हर simulation tick में हर node पर net force निकालकर temperature parameter से scale करके उसे move कराया जाता है
  • bottleneck graph के आकार से ज़्यादा n-body problem की computational complexity में है
    • साधारण algorithm को एक tick में O(n^2) + O(e) चाहिए
    • लाखों nodes के पैमाने पर यह GPU के साथ भी व्यावहारिक नहीं है
  • आम force-directed engines की तरह Barnes-Hut optimization इस्तेमाल करने पर इसे O(n log(n)) + O(e) तक घटाया जा सकता है
    • इसकी कीमत दूर के nodes के प्रभाव का approximation है
    • quadtree का निर्माण और query hierarchical होते हैं, इसलिए GPU पर node forces को आसानी से calculate करना मुश्किल होता है
  • parallelization के लिए quadtree को 4 या 16 हिस्सों में बाँटा गया, हर tick की शुरुआत में इन्हें parallel rebuild किया गया, और thread के हिसाब से node ranges बाँटकर force calculate की गई
    • हर node की net force, हर quadtree से आने वाले force और आने-जाने वाली edges से आने वाले force का योग है
    • इस तरह उपलब्ध CPU लगभग बिना overhead के इस्तेमाल हो पाते हैं

Andromeda और force-directed तरीके की सीमाएँ

  • Zig में multithreaded force-directed graph layout engine Andromeda बनाया गया, और GUI को GTK4 तथा OpenGL से तैयार किया गया
  • Andromeda पर Gephi और ForceAtlas2 paper का काफ़ी प्रभाव है
    • बड़े graph visualization में simulation के बदलते रूप को देखते हुए parameters को dynamically adjust करने वाली interactivity महत्वपूर्ण होती है
    • opaque और लंबे iteration time वाले tools के साथ अच्छे नतीजे पाना मुश्किल है
  • Andromeda में “natural slider” नाम का UI widget भी है
    • यह नए graph, नए engine version, और नए parameters के साथ काम करते समय सही value range पहले से न जान पाने की समस्या को कम करने के लिए है
    • यह value range को e की powers के आधार पर dynamically adjust करता है
    • आकलन यह था कि 2 की powers बहुत छोटी और 10 की powers बहुत बड़ी पड़ती हैं
  • सितंबर 2024 के 50 लाख BlueSky users के snapshot पर ForceAtlas2 layout लागू करने पर बड़े clusters का mass और density तो दिखाई दिए, लेकिन कुल मिलाकर रूप गुच्छेदार था
    • ज़्यादातर nodes supercluster के आसपास फैले चौड़े और मुश्किल से अलग पहचाने जाने वाले क्षेत्रों में बिखरे थे
    • सिर्फ कुछ दर्जन छोटे communities, मुख्यतः देश-आधारित communities, साफ़ तौर पर अलग दिखीं
  • फरवरी 2024 में 20 लाख accounts वाले version को जारी करते समय भी global view दिलचस्प था, लेकिन local view निराशाजनक रहा
    • यूज़र अपना account ढूँढ लेने के बाद भी आसपास के accounts को पहचान नहीं पाते थे
    • सिर्फ 2D plane layout से पूरे network की connection structure को पूरी तरह पकड़ना कठिन है

UMAP, रंग, और अंतिम map

  • graph layout को dimensionality reduction के रूप में भी देखा जा सकता है, यानी 1.3 करोड़ × 1.3 करोड़ adjacency matrix को 2D plane पर project करने की समस्या
  • t-SNE और UMAP 2D visualization के लिए मज़बूत nonlinear dimensionality reduction techniques हैं
    • home server के पैमाने पर BlueSky matrix को सीधे UMAP में डालना बहुत बड़ा काम था
    • इसकी बजाय हर यूज़र के लिए लगभग 32-dimensional embedding बनाई गई, और फिर उस परिणाम को UMAP में दिया गया
  • open source node embedding tool के रूप में nodevectors चुना गया, और अप्रकाशित GGVec algorithm बड़े graph पर parallel performance के लिहाज़ से सबसे बेहतर लगा
    • सितंबर 2024 के 50 लाख node snapshot की embedding सिर्फ 5 मिनट में बन गई
    • पहली UMAP image अतिरिक्त 10 मिनट में मिल गई
    • इसमें Andromeda के गुच्छेदार परिणाम की तुलना में कहीं अधिक intermediate structure दिखा
  • UMAP में कुछ clusters बहुत dense हो गए, जिससे points overlap होने लगे
    • मूल dimensions में समान points को target dimension में भी एक ही स्थान पर रखना, शुद्ध dimensionality reduction के उद्देश्य से स्वाभाविक व्यवहार है
    • लेकिन हर account की profile photo को नज़दीकी zoom पर दिखाने वाले map के लिए यह उपयुक्त नहीं था
  • UMAP अंदरूनी तौर पर अंतिम चरण में weighted k-nearest-neighbor graph पर force-directed layout का उपयोग भी करता है
    • computation constraints की वजह से UMAP sampling का उपयोग करता है, इसलिए सभी nodes Barnes-Hut की तरह approximate तरीके से भी एक-दूसरे को repel नहीं करते
    • यह निष्कर्ष निकाला गया कि बड़े graphs में min_dist parameter points के separation को लगातार नियंत्रित नहीं कर पाता
  • overlap की समस्या को कम करने के लिए UMAP output को Andromeda में डालकर repulsion equation बदली गई और कुछ ticks और चलाए गए
    • इससे dense clusters में भी nodes परतों की तरह overlap होने की बजाय भराव के साथ फैल गए
    • अगले version में UMAP द्वारा बनाए गए graph के raw weights तक पहुँचकर Andromeda की parallel quadtree और UMAP paper की force equations को सीधे जोड़ने की कोशिश करने की योजना है
  • रंग देने के लिए UMAP output पर HDBScan लगाने की बजाय embedding space में k-means clustering की गई
    • हर cluster को एक hue दिया गया
    • हर point का hue उसके सबसे पास के तीन cluster centers के आधार पर interpolate किया गया
    • इससे PCA-आधारित colors की तुलना में local structure बेहतर उभरती है, और पास से देखने पर धब्बेदार stained glass जैसी texture मिलती है
  • hue 0 से 1 के बीच एक single float है, जिसे hsluv color space के ज़रिए RGB में map किया गया
    • सभी nodes की saturation एक जैसी रखी गई
    • brightness को user follower count के log10 से scale किया गया, ताकि बड़े accounts चमकीले सितारों जैसे दिखें और कम followers वाले accounts धुंधले लगें
    • बड़े accounts को वास्तव में बड़ा render करने का तरीका बड़े graph में बहुत जटिल हो जाता, इसलिए उसे शामिल नहीं किया गया
  • 7 नवंबर 2024 तक के पूरे network map में 50,000 से ज़्यादा follows वाले accounts, और 5 से कम follows तथा 5 से कम followers वाले accounts हटाकर 77 लाख nodes रखे गए
    • high-follower media, policy, और commentary accounts की साफ़ धारियाँ पृष्ठभूमि के कम संबंधित समूहों से अलग नज़र आती हैं
    • Iceland cluster को दूर से, पास से, और profile photo स्तर पर भी देखा जा सकता है
    • bot rings भी स्पष्ट रूप से दिखाई देते हैं
  • अगला feature एक sidebar जोड़ना है, जिसमें अभी स्क्रीन पर दिख रहे accounts की post timeline को fold किया जा सके
    • लक्ष्य इसे social और meme exploration के एक नए तरह के tool में बदलना है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-11-14
Hacker News की राय

  • BSKY फ़ीड पूरी तरह मृत जगह जैसा महसूस होता है। मैंने पोस्ट करके, जवाब देकर, लाइक करके सक्रिय रूप से जुड़ने की कोशिश की, लेकिन लगता है कुछ भी जम नहीं रहा
    “अपने लिए” पोस्ट करने की भी एक सीमा होती है, इसलिए जल्दी ही रुचि कम हो जाती है। शुरुआती Twitter में हर कोई नए लोगों को फॉलो करने के लिए उत्साहित रहता था; नए social network में तो वैसे भी नए रिश्तों का नेटवर्क बनाने की चाह रखने वाले लोगों से भरा होना चाहिए, ऐसा लगता है

    • उस हैंडल के अकाउंट को बहुत कम लोग फॉलो करते हैं, और वह बातचीत में शामिल होने के बजाय broadcast की तरह content भेजने के तरीके के करीब दिखता है। उल्टा करके देखना बेहतर होगा
    • अभी BSKY में Starter Pack की वजह से अमीर और अमीर, गरीब और गरीब वाली समस्या बड़ी है। अगर आप किसी प्रभावशाली व्यक्ति के बनाए Starter Pack में शामिल हो गए, तो मुफ्त में followers अनंत बढ़ते जाते हैं, लेकिन अगर शुरुआत से खुद अपनी मौजूदगी बनानी हो तो लगभग खोजे ही नहीं जाते
    • जानना चाहूंगा कि क्या Mastodon भी आज़माया है। वहाँ कई लोगों का अनुभव बेहतर है

  • Bluesky और atproto ऐसे लगते हैं जैसे उन्हें hackable बनाने को ध्यान में रखकर बनाया गया हो
    community ने हाल ही में Bluesky “Starter Packs” खोजने के लिए एक directory बनाई है। Starter Packs ऐसी सुविधा है जिसमें users फॉलो करने लायक लोगों और feeds के bundles सार्वजनिक करते हैं, ताकि नए users अपना शुरुआती अनुभव जल्दी सेट कर सकें
    https://blueskydirectory.com/starter-packs/all
    Dan Abramov ने भी आज इसे अच्छा माना और कहा, “यह बढ़िया है कि ecosystem के अंदर ऐसी चीज़ संभव है। ecosystem को पकने दो” [1]
    और ज्यादा तीखे ढंग से उन्होंने यह भी कहा, “atproto ecosystem में मनमाने projects उभरते देखते हुए फिर से महसूस होता है कि social companies के API बंद कर देने से public web की commons कितनी दब गई थी। tools का पूरा landscape छोड़ दिया गया और उजड़ गया” [2]
    [1] https://bsky.app/profile/danabra.mov/post/3lar3sdna222d
    [2] https://bsky.app/profile/danabra.mov/post/3lar3xpuu4c2d

    • मैं शिफ्ट होने पर विचार कर रहा था, और यह comment सबसे ज्यादा भरोसा दिलाने वाला लगा
      मेरे हिसाब से tech companies की घातक गलतियों में से एक सब कुछ बंद करके रखना था। computers और smartphones को बेहतरीन बनाने वाली चीज़ उनकी hackability थी, और environments व ecosystems बनाना था। lock-down सिर्फ गति धीमी करता है। अगर apps न होते, तो smartphones में flashlight या stopwatch आने में कितना समय लगता, सोचता हूं। operating system में built-in होने से पहले ये features apps थे
    • Twitter में भी मूल रूप से कुछ हद तक ऐसी खासियत थी, ऐसा लगता है। मेरी याद में retweet जैसे आज के popular features भी शुरुआत में users द्वारा अस्थायी रूप से बनाई गई conventions थे
    • सही है, इसे जानबूझकर hackable बनाया गया था। हमारा विश्वास है कि जब लोगों को उसके ऊपर बनाने, बदलने, fork करने और remix करने की आज़ादी होती है, तो social media बेहतर होता है। Bluesky और atproto ecosystem users और developers की चाही हुई गति जितनी तेज़ी से evolve कर सकता है
    • Starter Packs शानदार हैं। अभी सबसे ज्यादा interaction वाले accounts देखना कैसा रहेगा: https://www.graphtracks.com
    • उल्टा, यह Twitter से 10 गुना ज्यादा खराब bot problem भी बन सकता है

  • लगता है Bluesky पिछले हफ्ते कुछ खास क्षेत्रों में बहुत तेजी से फटा है। शनिवार के बाद followers 5~6 गुना बढ़ गए
    मैं पिछले 1 साल से कुछ हद तक सक्रिय था, क्योंकि मेरे काम के energy sector में Twitter conversations इतनी खराब हो गई थीं कि लगभग बेकार हो गई थीं। कई मायनों में आक्रामक थीं और spam भी बेहिसाब था। इसके उलट Bluesky शांत था, लेकिन response बहुत बड़ा नहीं था; अब माहौल गरम हो रहा है। उम्मीद है यह influx असली हो, और इसी वजह से मैं इसे कहीं ज्यादा सक्रिय रूप से इस्तेमाल करने लगा हूं

    • मेरा X बहुत ज्यादा खराब नहीं हुआ। मैं Japanese X काफी इस्तेमाल करता हूं, और हो सकता है वह अलग ecosystem हो। फिर भी पिछले 1 साल से Bluesky भी इस्तेमाल कर रहा था, और कुछ समय तक यह मजेदार लेकिन काफी शांत network था। कभी-कभी लगभग एक घंटे तक नई posts नहीं होती थीं
      पिछले 3 हफ्तों में Bluesky कहीं ज्यादा सक्रिय हो गया है, और अब feed को पूरा पकड़ पाना मुश्किल है, इस लिहाज से यह X जैसा लगने लगा है। मेरा विश्वास है कि बड़ा community ज्यादा विविध perspectives बनाता है, इसलिए बहुत उत्साहित हूं। मैं खुद Bluesky labeler और Firehose collector भी चला रहा हूं, और पिछले 3~4 महीनों में events throughput को लगभग दोगुना होते देखा है
    • spammers और trolls भी जल्द आएंगे। लोकप्रिय जगह लंबे समय तक खाली नहीं छोड़ी जाती
    • मेरे लिए तो सब कुछ अपनी जगह बैठ रहा है
      Threads creation, travel, social content में मजबूत आधा Twitter·आधा Instagram hybrid है, और Bluesky news, politics, science में मजबूत शुरुआती Twitter जैसा है। आजकल पक्का नहीं कि सब कुछ एक ही app में करना संभव होगा या नहीं। तब X नया 4chan बनकर रह जाएगा
    • मेरा अनुभव भी हर पहलू में ऐसा ही था। अचानक influx, फॉलो करने लायक दिलचस्प और meaningful लोगों की भरमार, और पूरा experience तेजी से अधिक immersive बन गया
    • अभी Bluesky पर utility accounts नहीं मिले हैं। Twitter पर मैं games, game studios और publishers, news sites, bands, NASA जैसी खबरों के लिए फॉलो करता हूं। Bluesky पर अभी ऐसी चीज़ नहीं है, और अनजान individuals में मेरी रुचि नहीं। Twitter पर भी यही है
      कभी-कभी check करता हूं, लेकिन असल में 0/50 के करीब है

  • पिछले हफ्ते Bluesky पर शिफ्ट हुए यूज़र्स की लहर का हिस्सा हूं। अभी तक तो मुझे यह सच में बहुत पसंद आ रहा है, और चूंकि पहले Mastodon से निराश हुआ था, इसलिए थोड़ा हैरान भी हूं। मैं पहले ही Twitter से ज़्यादा समय Bluesky पर बिता रहा हूं
    जिन्हें नहीं पता कि Bluesky क्या है, उनके लिए समझाएं तो यह लगभग 2015 के आसपास वाले Twitter की कॉपी है और UI भी लगभग वैसा ही है। फर्क इतना है कि monetization, ads और growth hacking नहीं हैं, इसलिए मुख्य features यूज़र्स के लिए मौजूद लगते हैं। एक पसंदीदा उदाहरण यह है कि इसका सरल Expo/React Native आधारित mobile app बेकार in-app browser के बजाय Safari में links खोलने देता है

    • Bluesky ने VC funding ली है, इसलिए monetization, ads और growth hacking शुरू होना बस समय की बात लगता है। तब तक इसका आनंद ले सकते हैं
    • इस्तेमाल करके देखा; technology अच्छी लगती है, लेकिन काश content ज़्यादा विविध होता। अब जब Twitter ज़्यादातर crypto scams और अमेरिकी far-right political nonsense बन गया है, तो मैं अमेरिकी far-left political nonsense से थोड़ा ज़्यादा दिलचस्प कुछ चाहता हूं
      दुनिया अमेरिका या पश्चिमी internet drama से कहीं बड़ी है। एक यूरोपीय के तौर पर BlueSky समेत mainstream social media पढ़ते हुए आंखें घुमा देने का मन करता है। politics, gender identity, keyboard activism में मेरी रुचि नहीं है। सोचता हूं menu में कुछ और नहीं रखा जा सकता क्या। सच में कुछ भी चलेगा। अमेरिकी politics या निजी ज़िंदगी में कौन किस gender की ओर आकर्षित है, इसके अलावा कुछ नया देखने के लिए क्या मुझे Russian या Chinese सीखनी पड़ेगी, ऐसा सोचने की नौबत आ गई है। किसे फर्क पड़ता है
      Nostr technically तो मज़ेदार था, लेकिन अफसोस कि वह आखिर तक crypto bro phase से बाहर नहीं निकल पाया
    • अगर “2015 के आसपास वाले Twitter की कॉपी है, और monetization, ads, growth hacking नहीं हैं इसलिए features यूज़र्स के लिए हैं”, तो वह Mastodon जैसा ही है
    • Threads से इसकी तुलना कैसी है, यह जानने की उत्सुकता है

  • काफी शानदार। BlueSky API अच्छी तरह बनाई गई है। एक colleague ने Firehose के आधार पर ऐसी visualization बनाई: https://bigmood.blue/
    स्रोत: https://bsky.app/profile/even.westvang.com/post/3laob7tefxk2...

  • यह मुझे कितना पसंद है, इसे बढ़ा-चढ़ाकर बताना मुश्किल है। अंतिम परिणाम न सिर्फ कई dimensions की जानकारी देता है, बल्कि visually भी बहुत आकर्षक है
    भारी संख्या में nodes render करने से जो particle-like texture बनता है, वह खास तौर पर अच्छा एहसास जोड़ता है। दूसरे graph visualizations में यह element अक्सर देखना मुश्किल होता है

  • Bluesky की सबसे अच्छी बात यह है कि domain को username के रूप में इस्तेमाल किया जा सकता है। मैं वहां @bradgessler.com इस्तेमाल करता हूं, और अगर लोग मुझे “verify” करना चाहें, तो वे मेरी website देखते हैं, जो blue checkmark से कहीं ज़्यादा मायने रखती है
    अगर मुझे block कर दिया जाए, ban कर दिया जाए, या platform से निकाल दिया जाए, तब भी लोग मेरा domain देखकर वहां जा सकते हैं और पता कर सकते हैं कि क्या हुआ। एक मायने में यह censorship को उजागर करने वाली संरचना है। Companies के लिए भी अच्छा लगता है। @example.com से किसी company को बुलाना और जवाब पाना कहीं कम ambiguous है। Rails आधारित SaaS में जो पहले से ऐसा कर रहे हैं, उन्हें इकट्ठा करके मैंने एक starter pack भी बनाया है: https://go.bsky.app/JQyXa2u
    BlueSky जो कर रहा है, वह मुझे सच में पसंद है, और उम्मीद है कि आगे चलकर इसकी quality गिर नहीं जाएगी। भले ही ऐसा हो, अभी यह माहौल के हिसाब से बहुत अच्छा Goldilocks moment लगता है। account बनाकर अपने domain से connect करने में 5 मिनट लगते हैं, इसलिए मैं strongly recommend करता हूं

    • Mastodon की identity verification भी सभी के लिए खुली है और open web standards पर आधारित है
      https://joinmastodon.org/verification
    • signup के समय मिलने वाला default handle, यानी .bsky.social address भी default रूप से bsky.app के profile पर redirect होता है। जिन्हें Bluesky के बारे में बिल्कुल नहीं पता, वे भी उस URL को खोलें तो @ लगा होने पर भी सीधे social profile देख सकते हैं

  • इसमें लिखा है, “अगर BlueSky matrix को UMAP में डालें तो क्या होगा? कम-से-कम सीधे तौर पर तो नहीं कर सकते। UMAP technically sparse matrix स्वीकार करता है, लेकिन इस scale पर यह मेरे home server के लिए बहुत बड़ा है। इसके बजाय किसी दूसरी technique से सभी users की embeddings को 32 जैसे intermediate-size dimensions में निकालें, और उसे UMAP में डाल दें। आसान!”—तो जानना चाहता हूं कि असल में embeddings निकाली कैसे गईं

  • “quadtree generation और query मूलतः hierarchical हैं” वाला वाक्य देखकर अच्छा लगा कि hierarchy में उलझने वाला मैं अकेला नहीं हूं
    कई levels पर यह दिलचस्प काम है। यह कोई pun नहीं है। Bluesky data availability से लेकर processing और visualization algorithms तक देखने लायक चीज़ें हैं। हालांकि ऐसी visualization को data science spectrum में कहां रखा जाए, यह थोड़ा unclear है। Traditional numeric graphics ने समय के साथ काफी sophisticated grammar विकसित की है, जिससे अपेक्षाकृत precise inference और interpretation संभव होता है। इसलिए scientific papers या finance जैसे क्षेत्रों में इन्हें वास्तविक information delivery के लिए खूब इस्तेमाल किया जाता है, और लोग graphs को reverse-engineer करके data भी recover कर लेते हैं
    Networks और graphs में topology, connectivity और clusters की overall sense के अलावा यह तय करना काफी मुश्किल है कि कौन-सी जानकारी convey हो रही है। ऐसी large-scale graphs को संभालने की useful grammar अभी तक invent नहीं हुई है, या उनकी प्रकृति ही ऐसी है, यह मुझे ठीक से नहीं पता

  • इस data को natural language processing के नजरिए से और देखना चाहूंगा। Google Trends की तरह यह देख सकें कि कौन-से discourse topics नियमित रूप से सामने आते हैं, और किसी खास period में क्या तेजी से बढ़ता है, तो अच्छा होगा
    क्या economists किस बारे में चर्चा कर रहे हैं, इसका summary बनाया जा सकता है? क्या ऐसे लोगों को खोजा जा सकता है जो एक-दूसरे के network में नहीं हैं, लेकिन उसी चीज़ के बारे में बात कर रहे हैं?