मशीन लर्निंग से मंगोलिया के सभी Yurt/Ger की गिनती

• मशीन लर्निंग एल्गोरिदम का उपयोग करके पूरे मंगोलिया में Yurt (Ger) की संख्या सीधे गिनने के लिए एक प्रोजेक्ट चलाया गया
• एकल सैटेलाइट इमेज के आधार पर yurt की पहचान करने के लिए YOLO मॉडल को प्रशिक्षित किया गया, और बड़े पैमाने पर data labeling को स्वचालित किया गया
• डिस्ट्रिब्यूटेड सर्वर, Docker Swarm, FastAPI आदि का उपयोग करके लगभग 120 workers ने समानांतर रूप से image tiles को प्रोसेस किया और परिणामों को एकत्रित किया
• अंततः 1,72,689 yurt पाए गए, और इस परिणाम ने मंगोलिया के शहरी विस्तार और आवासीय इन्फ्रास्ट्रक्चर समस्याओं को समझने में योगदान दिया
• मंगोलिया के Ger districts तथा उनकी सामाजिक पृष्ठभूमि और विकास संबंधी चुनौतियों पर भी अंतर्दृष्टि दी गई

---

मशीन लर्निंग से मंगोलियाई yurt की गिनती – प्रोजेक्ट का अवलोकन

आधुनिक मंगोलियाई समाज को लेकर जिज्ञासा

• मंगोल साम्राज्य के इतिहास और आधुनिक मंगोलिया की स्थिति को समझने के लिए डेटा का विश्लेषण करने के बजाय Google Maps के satellite view को सक्रिय रूप से खंगाला गया
• उलानबातर की सैटेलाइट तस्वीरों में कई किलोमीटर तक फैले विशाल yurt समूहों को देखकर, यह तय किया गया कि आखिर इन yurt की सही संख्या खुद गिनी जाए

डेटा और labeling की तैयारी

• Google Maps से मुख्यतः उलानबातर के आसपास के tile-form (256x256 px) सैटेलाइट इमेज अपने आप एकत्र किए गए
• tiles को Label Studio में लाकर yurt पर एक-एक कर bounding boxes के साथ मैनुअल labeling की गई, और इस प्रक्रिया से annotated data तैयार किया गया
• object detection एल्गोरिदम के रूप में YOLO11(ultralytics) अपनाया गया, और annotated dataset को मॉडल ट्रेनिंग में इस्तेमाल किया गया

मॉडल ट्रेनिंग और dataset विस्तार

• YOLO11 आधारित मॉडल को ट्रेन करने के अलावा, labeling-retraining-labeling के iterative feedback loop के जरिए automation स्तर बढ़ाया गया
• शुरुआत में डेटा कम होने से accuracy कम थी, लेकिन दोहराए गए अतिरिक्त labeling और sample size बढ़ाने से detection rate सुधारा गया
• मॉडल ट्रेनिंग लैपटॉप की बजाय vast.ai के GPU resources किराये पर लेकर Docker containers वातावरण में बड़े पैमाने पर की गई। ट्रेनिंग पूरी होने पर model outputs और metadata को S3 storage में अपने आप upload कर दिया गया

देशव्यापी खोज प्रणाली का निर्माण

खोज दायरे का अनुकूलन

• पूरे मंगोलिया के क्षेत्रफल के आधार पर हर zoom level के लिए tiles की संख्या निकाली गई
  • जनसंख्या घनत्व कम होने के कारण गैर-आवासीय क्षेत्रों को हटाने के लिए overpass turbo से ऐसे points निकाले गए जहाँ मानव बस्तियाँ होने की संभावना थी
  • निकाले गए points के आसपास (2km buffer) के आधार पर वास्तव में जाँचे जाने वाले tiles के सेट को बहुत कम किया गया

बड़े पैमाने पर distributed processing

• Docker Swarm का उपयोग कर 8 सर्वरों (कुल 128 vCPU) का क्लस्टर बनाया गया
• API server (FastAPI) और workers के बीच भूमिकाएँ बाँटी गईं:
  • API: workers को दिए जाने वाले search areas और tile sets का प्रबंधन, प्रगति और स्थिति प्रबंधन
  • Workers: API से search area लेकर संबंधित tiles में मॉडल से yurt detect करना और परिणाम API में दर्ज करना

परिणामों का संकलन

• कुल लगभग 270,000 search areas और लाखों इमेज समानांतर रूप से प्रोसेस की गईं
• अंततः 1,72,689 yurt की पुष्टि 40% या उससे अधिक probability वाले detection परिणामों के आधार पर की गई
• dataset को सार्वजनिक रूप से जारी किया गया, जिससे land use, hotels, छोटे mines के आसपास yurt distribution आदि का विश्लेषण संभव हुआ

yurt और मंगोलिया का सामाजिक संदर्भ

Ger (yurt) क्षेत्रों का इतिहास और बदलाव

• yurt ऐतिहासिक रूप से मंगोलियाई घुमंतू समुदायों का पारंपरिक निवास रहा है, लेकिन शहरीकरण और औद्योगीकरण की प्रक्रिया में इसका उपयोग कई रूपों में बदला है
• 20वीं सदी की शुरुआत में अस्थायी स्कूलों जैसे सार्वजनिक उद्देश्यों के लिए भी yurt का उपयोग हुआ, और बड़े शहरों की ओर आबादी के प्रवाह के साथ उलानबातर आदि में Ger districts बने

"1979 की जनगणना में कुल आबादी का 51% शहरी निवासी था, जो 1970 के दशक के तेज शहरीकरण को दर्शाता है। आवास और इन्फ्रास्ट्रक्चर की कमी के कारण शहरों के बाहरी इलाकों में Ger districts का विस्तार हुआ।"

शहरीकरण और इन्फ्रास्ट्रक्चर की चुनौतियाँ

• ग्रामीण इलाकों से आए लोग अपने yurt के साथ शहरों में बस गए, और औपचारिक इन्फ्रास्ट्रक्चर के बिना इन्हें आवास के रूप में इस्तेमाल किया गया
• 2002 में भूमि स्वामित्व संबंधी कानून लागू होने के बाद Ger districts के निवासियों की बस्तियों को कानूनी रूप से औपचारिक बनाने की प्रक्रिया आगे बढ़ी
• सरकार Ulaanbaatar 2020 Master Plan जैसी redevelopment नीतियाँ आगे बढ़ा रही है, लेकिन जमीनी प्रगति धीमी है

"Ger district के भूमि मालिक अपनी जमीन developers को बेचते या exchange करते हैं ताकि नए apartments बन सकें, लेकिन apartments का मूल्य अक्सर जमीन से कम होता है, या development की रफ्तार धीमी रहती है।"

निहितार्थ और आगे की दिशा

• यह संकेत मिलता है कि Ger districts का औपचारिकीकरण और इन्फ्रास्ट्रक्चर उपलब्ध कराना अब भी एक सामाजिक और नीतिगत चुनौती है
• मंगोलियाई सरकार का दीर्घकालिक लक्ष्य Ger districts में housing, water supply, electricity जैसे शहरी इन्फ्रास्ट्रक्चर पहुँचाना है
• डेटा-आधारित नीति-निर्माण और सतत ट्रैकिंग की आवश्यकता है

अतिरिक्त खोजपरक प्रश्न

• मंगोलिया और अन्य देशों में शहरीकरण और औद्योगीकरण के प्रमुख कारण
• शहरों में बसने वाले और वहीं न बसने वाले मंगोलियाई लोगों के बीच अंतर
• Ger district development में सरकार के सामने आने वाली व्यावहारिक कठिनाइयाँ
• अलग-अलग देशों में विकास की गति में अंतर पैदा करने वाली पृष्ठभूमियाँ

संदर्भ

• नीतिगत, समाजशास्त्रीय और इन्फ्रास्ट्रक्चर संबंधी प्रमुख शोधपत्रों, रिपोर्टों और databases का संदर्भ लिया गया
  • “Distributional Effects of Ger Area Redevelopment in Ulaanbaatar, Mongolia.”
  • Ulaanbaatar 2020 Master Plan and Development Approach for 2030.
  • “Educational Import: Local Encounters with Global Forces in Mongolia.”
  • Mongolia: A Country Study. Federal Research Division, Library of Congress.
  • Poverty Mapping in Mongolia with AI-Based Ger Detection Reveals Urban Slums Persist after the COVID-19 Pandemic. arXiv.

समापन

• तकनीक और डेटा के माध्यम से सामाजिक समस्याओं को देखने और सामाजिक पृष्ठभूमि व निवास पैटर्न पर नया दृष्टिकोण प्रस्तुत करने का प्रयास
• मशीन लर्निंग, Docker, FastAPI जैसे विभिन्न तरीकों और open source tools के संयोजन का एक व्यावहारिक उपयोग मामला

[GN⁺]

Hacker News राय

• जब शहरों में ger/yurt ज़िलों की बात होती है, तो मुझे लगता है कि घुमंतू जीवन और ger संस्कृति के सांस्कृतिक महत्व को कम करके नहीं आंकना चाहिए। हाल के climate change (desertification) और आर्थिक कारणों से बहुत से लोग अपनी इच्छा के विरुद्ध घुमंतू जीवन छोड़कर Ulaanbaatar जैसे शहरों के पास जा रहे हैं, लेकिन अक्सर वे इसे अस्थायी मानते हैं और अनिच्छा से शहर आते हैं। यह सिर्फ housing shortage का मुद्दा नहीं है; permanent structures जैसे apartment में पूरी तरह शिफ्ट होना इस बात का प्रतीक भी बन जाता है कि उन्होंने nomadic जीवन को पूरी तरह छोड़ दिया है, इसलिए मनोवैज्ञानिक हिचक भी बड़ी होती है। इसी वजह से permanent building के बगल में ger खड़ा किया जाता है, या रिश्तेदारों के आँगन में जोड़कर या बढ़ाकर सांस्कृतिक पहचान बनाए रखने के साधन के रूप में इस्तेमाल किया जाता है। ऐसे उदाहरण पहली तस्वीरों में देखे जा सकते हैं

  • कुछ साल पहले मोटरसाइकिल से Mongolia पार करते समय मुझे एक बात ने चौंकाया: लोग अच्छे permanent house में रहते थे, फिर भी backyard में एक ger ज़रूर होता था। बाहर से देखने पर मुझे लगा, क्या दूसरे घर की सच में ज़रूरत है? लेकिन जब मैंने स्थानीय लोगों से पूछा, तो उन्होंने मुझे ऐसे देखा जैसे सवाल ही अजीब हो। ger बस संस्कृति में गहराई से बसा हुआ है, और एक तरह का status symbol भी है, साथ ही मेहमाननवाज़ी, outdoor living और कई तरह के उपयोगों के लिए जगह भी

  • मैं Uzbekistan के Khiva के एक palace में देखे अनुभव का ज़िक्र करना चाहता हूँ। वह साफ़ तौर पर एक पारंपरिक palace था, जिसमें प्रवेशद्वार और बहुत से भव्य कमरे थे, फिर भी पूरी तरह दीवारों से घिरे एक अंदरूनी आँगन के कोने में एक गोल जगह थी, यानी ger खड़ा करने की अलग जगह। इस क्षेत्र के khan भी Chinggis Khan की वंशावली पर गर्व करते थे, और ऐसा नज़रिया था कि शहर के भीतर रहते हुए भी permanent छत के नीचे रात बिताना khan के अनुरूप नहीं है; आने वाले रिश्तेदार भी ऐसी बात को अच्छी नज़र से नहीं देखते थे
    Toshhovli Palace विकिपीडिया
    [रिसेप्शन आँगन में गोल स्थान की तस्वीर](https://en.wikipedia.org/wiki/Toshhovli_Palace#/media/File:KhivaTach_Khaouli_reception_yard_Iwan.JPG)

  • Mongolia में हाल की कई कठोर सर्दियों के कारण grassland से बड़े पैमाने पर पलायन हुआ है और पशुधन बहुत घट गया है, इसलिए ज़्यादातर लोग शहरों की ओर आ रहे हैं। चाहें भी तो permanent building में जाने की जगह कम है

  • मैंने सुना है कि उनके पास पहले से कम-से-कम एक ger होता है, और ज़रूरत पड़ने पर उसे शिफ्ट करना भी अपेक्षाकृत आसान है। उदाहरण के लिए, मैंने यह भी सुना है कि किसी खास आयोजन पर वे फिर से ग्रामीण घर लौट जाते हैं

  • मैं इस विचार से ज़्यादा सहमत हूँ कि ger में रहना ज़रूरी नहीं कि public policy failure का संकेत हो; यह बस एक सांस्कृतिक चुनाव भी हो सकता है। पहले Chinggis Khan भी ger में रहते थे, और वास्तव में कुछ लोग मजबूरी में, तो कुछ अपनी इच्छा से ger जीवन चुनते हैं। इसलिए उस दृश्य को अपने-आप में नकारात्मक मान लेना ठीक नहीं

• Ulaanbaatar में standardized ger मिलते हैं। बड़े बाज़ारों में parts या पूरी बनी हुई ger आसानी से खरीदी जा सकती है। 2017 के अनुसार एक की कीमत लगभग $1,000 थी। उस पैसे में एक ठीक से insulated, आसानी से ले जाई जा सकने वाली छोटी house जैसी संरचना मिल जाती है, और Mongolia में शहर के बाहर लगभग कहीं भी बस सकते हैं (हालाँकि अगर 2,000 भेड़ साथ हों, तो grazing rights के बारे में स्थानीय लोगों से बात करना बेहतर होगा)। अंततः ger चुनना सिर्फ परंपरा और संस्कृति का सवाल नहीं, बल्कि उस परिस्थिति में एक तर्कसंगत फैसला भी है

  • वैसे, शिष्टाचारवश Turkish house tent को yurt कहा जाता है, और Mongolian को ger। मज़ाक में कहा गया कि France में इसे shabadou, Canada में plumbus, और US में flip भी कह सकते हैं। फिर यह भी मज़ाक जोड़ा गया कि अगर कोई स्थानीय मेरे shabadou को ger कह दे, तो मुझे थोड़ी चुभन होगी

  • जिज्ञासा है कि ger रखने के लिए किस तरह की foundation work की जाती है

• यह भी कहा गया कि Mongolia में machine learning लागू किए गए yurt की संख्या 0 है

  • इस पर लगा कि ऐसा नहीं हो सकता, बल्कि शायद काफ़ी होंगे

  • पहले मुझे लगा yurt कोई पेशा या लोगों की कोई श्रेणी है, इसलिए शीर्षक को गलत समझ लिया

  • धन्यवाद कहा गया, और यह कि इसकी वजह से मज़ेदार अनुभव हुआ

  • एक non-native speaker के रूप में यह भी सोचा गया कि ज़्यादा सही वाक्य क्या होगा। जैसे, "machine learning से Mongolia के सभी yurt गिने गए" जैसी अभिव्यक्ति का भी ज़िक्र हुआ

• यह थोड़ा अफ़सोसजनक लगा कि OpenStreetMap (OSM) में पहले से outline किए गए 89,259 yurt को input के रूप में इस्तेमाल नहीं किया गया। हालाँकि outline को Google Maps imagery के साथ align करने में समस्या रही होगी
  OSM मंगोलिया ger टैग सांख्यिकी
  अनुमान है कि model ने tile boundary पर मौजूद yurt को ठीक से नहीं पकड़ा होगा। और 30 लाख की आबादी के मुकाबले संख्या काफ़ी कम लगी, जो थोड़ा अप्रत्याशित था

  • "30 लाख लोगों के मुकाबले yurt कम हैं" वाली बात पर, अगर वास्तविक गणना 172,700 है और हर एक को पारिवारिक निवास माना जाए, तथा प्रति ger 4 लोग मानें (शायद वास्तव में इससे अधिक), तो यह लगभग 6.9 लाख लोग हुए, यानी Mongolia की 35 लाख आबादी का 20%। यह काफ़ी plausible लगता है

  • लिंक क्लिक करने से पहले अपने मोटे अनुमान भी साझा किए गए। Mongolia की 30 लाख आबादी में से 15 लाख राजधानी में रहते हैं। अगर मान लें कि 10 लाख लोग urban core के बाहर रहते हैं, और 4 लोगों पर एक ger हो, तो 2.5 लाख हुए। फिर guest use, storage, और house yard जैसे secondary use जोड़ें तो करीब 3 लाख का अनुमान बनता है, जो ML app के नतीजे से लगभग दोगुना है

  • OSM वगैरह को label की तरह इस्तेमाल करने का विचार geo/ML projects में अक्सर आता है। लेकिन OSM का license Google Maps imagery को अपनाने नहीं देता, इसलिए research purpose के लिए भी imagery sourcing या redistribution पर काफ़ी कानूनी समस्या होती है। Google अलग-अलग बाहरी imagery source से sublicense लेकर IP को सख़्ती से manage करता है। imagery/label alignment भी बड़ी समस्या है, और label खुद imagery नहीं बल्कि GPS coordinates हो सकते हैं। ऊपर से ger जैसी movable structure के मामले में label completeness या consistency कम होना स्वाभाविक है। OSM की completeness भी स्थानीय community की सक्रियता पर बहुत निर्भर करती है। फिर भी इसे अपने labels और predictions के cross-validation के लिए इस्तेमाल किया जा सकता है। tile-based detection में boundary predictions आमतौर पर फेंक दिए जाते हैं, और overlap windows तथा NMS जैसी तकनीकों से duplicates हटाए जाते हैं

  • 1.72 लाख से अधिक की संख्या अब भी बहुत बड़ी है, और आबादी के अनुपात में ger की संख्या दुनिया में कहीं भी इससे अधिक नहीं होगी, इस बात पर ज़ोर दिया गया

• मैं यह ज़रूर रेखांकित करना चाहता हूँ कि Google Maps satellite imagery को सीधे डाउनलोड करना terms of service के खिलाफ़ है। असल में इस वजह से block होना आसान है, इसलिए यह जानकर हैरानी हुई कि उन्होंने पूरे Mongolia के tiles डाउनलोड कर लिए

  • बाज़ार पर एकाधिकार के अलावा ऐसी policy की वजह समझ नहीं आती, ऐसा जवाब आया

  • block हो जाएँ तो नया account बना लेने की राय भी आई

• नतीजे दिलचस्प लगे, इसलिए यह जानने की उत्सुकता हुई कि false positive rate वास्तव में कितना था। क्या storage tank, silo, या outdoor swimming pool को भी ger समझ लिया गया था?

• कॉलेज के दिनों में देखे गए Geo/ML projects की याद दिलाने वाली यह चीज़ बहुत सुखद लगी। Australia की government भी इसी तरह के काम पर हर साल बहुत पैसा लगाती है, लेकिन लेखक के नतीजों से तुलना करने पर हमारी government कहीं ज़्यादा inefficient लगती है। ज़मीन का ठीक से वर्गीकरण तक नहीं हो पाता, और छोटे ger-जैसे object की गिनती भी ठीक से नहीं हो पाती—यह देखकर निराशा होती है

  • मैं कहने ही वाला था कि शायद कोई regional developer/improvisational artist ऐसा अनुभव रखता होगा, लेकिन लेखक का username देखकर चौंक गया

• "कुल 172,689 ger को 40% से अधिक accuracy prediction score के साथ detect किया गया" — इसमें 'prediction score' का मतलब कैसे समझना चाहिए, यह प्रश्न उठा

  • object detector हर detected bounding box के लिए confidence score देता है; score जितना ऊँचा, model को उतना अधिक भरोसा होता है कि box सही है। आमतौर पर ऐसे applications में user threshold तय करता है, और उससे ऊपर की detection रखी जाती है, नीचे की हटा दी जाती है। threshold मनमाना भी हो सकता है, या कुछ सिद्धांतों के आधार पर चुना जा सकता है

• शुरुआत में मैंने शीर्षक का अर्थ यह समझ लिया कि Mongolia के सारे yurt machine learning का "इस्तेमाल" करते हैं

• कहा गया कि एक semi-commercial solution (शैक्षिक उपयोग के लिए मुफ़्त) इस्तेमाल किया गया, और deep learning model की topology/architecture को लेकर जिज्ञासा है। यह भी जानने की इच्छा है कि क्या इससे बेहतर approach हो सकती है