हेल्डाइवर्स 2 डेवलपमेंट टीम ने इंस्टॉलेशन साइज 154GB से घटाकर 23GB कर दिया

• लोकप्रिय को-ऑप शूटर Helldivers 2 ने हालिया अपडेट में इंस्टॉलेशन साइज में लगभग 85% की कमी की
• Nixxes Software की मदद से डुप्लिकेट गेम डेटा हटाकर (de-duplication) आकार को 154GB से 23GB तक घटाया गया
• पहले की भारी डेटा संरचना यांत्रिक हार्ड डिस्क (HDD) के लिए ऑप्टिमाइज़ किए गए डेटा डुप्लिकेशन के कारण थी, लेकिन वास्तविक लोड टाइम सुधार के प्रभाव का अनुमान बहुत बढ़ा-चढ़ाकर लगाया गया था
• ताज़ा मापों के अनुसार, HDD उपयोगकर्ता (कुल का 11%) में भी मिशन लोड टाइम में केवल कुछ सेकंड ही बढ़ोतरी दिखी
• नया ‘स्लिम वर्जन’ पुराने वर्जन जैसा ही प्ले अनुभव देता है, और प्रोग्रेस व खरीद इतिहास भी बरकरार रहता है

---

Helldivers 2 इंस्टॉलेशन साइज में बड़ी कटौती

• Arrowhead Game Studios ने Helldivers 2 की इंस्टॉलेशन साइज लगभग 154GB से घटाकर 23GB कर दी
  • लगभग 131GB की स्टोरेज बचत
  • यह ऑप्टिमाइज़ेशन Nixxes Software के साथ साझेदारी में किया गया
• Nixxes को Sony के प्रमुख PlayStation टाइटल्स के PC पोर्ट विकसित करने वाली कंपनी के रूप में जाना जाता है
  • इस सहयोग के जरिए डेटा डुप्लीकेशन हटाने (de-duplication) तकनीक लागू की गई

HDD ऑप्टिमाइज़ेशन हटाने से लोड टाइम पर असर

• शुरुआती बड़े इंस्टॉलेशन का कारण HDD लोडिंग स्पीड सुधारने के लिए की गई डेटा डुप्लिकेशन रणनीति थी
  • HDD पर लोडिंग लेग कम करने हेतु एक ही डेटा को अलग-अलग जगह स्टोर करने की पद्धति अपनाई गई थी
• टीम ने पाया कि उद्योग के पहले के अनुमान डेटा के आधार पर गलत थे
  • वर्तमान आँकड़ों के हिसाब से HDD यूज़र लगभग 11% हैं
  • इन यूज़र्स में भी मिशन लोड टाइम में अधिकतम सिर्फ कुछ सेकंड ही बढ़े
• टीम का कहना है, “लोड टाइम का अधिकांश हिस्सा लेवल निर्माण प्रक्रिया का होता है, और यह डिस्क एसेट लोडिंग के साथ parallel चलता है”

स्लिम वर्जन का एप्रोच

• Steam beta अपडेट के माध्यम से ‘स्लिम वर्जन’ उपलब्ध है
  • यह पुराने वर्जन के साथ फंक्शनली समान अनुभव देता है
  • प्रोग्रेस, war contributions और खरीद इतिहास सभी बने रहते हैं
• beta प्रतिभागी कभी भी opt-out कर सकते हैं

गेम डेवलपमेंट परिप्रेक्ष्य में महत्व

• यह केस स्टडी दिखाती है कि PC गेम्स में स्टोरेज घटाने की बड़ी संभावनाएँ हैं
  • बड़े AAA गेम्स की आम समस्या रहे अनएफ़िशियंट डेटा डुप्लिकेशन को हटाया गया
  • अन्य डेवलपर टीमों को भी स्टोरेज ऑप्टिमाइज़ेशन की जरूरत पर फिर से सोचने का संकेत मिलता है

अतिरिक्त जानकारी

• Helldivers 2 एक को-ऑप-बेस्ड शूटर गेम है, जिसने हालिया अपडेट के बाद स्टोरेज एफिशिएंसी और एक्सेसिबिलिटी में सुधार किया है
• Tom’s Hardware ने इस बदलाव को PC गैंमर समुदाय के लिए सकारात्मक बदलाव के रूप में पेश किया

[GN⁺]

Hacker News की राय

• हाल ही में डेवलपर्स द्वारा साझा किए गए डेटा के अनुसार, Helldivers 2 के HDD उपयोगकर्ताओं (पिछले हफ्ते के अनुसार 11%) में भी मिशन लोडिंग समय सबसे खराब स्थिति में सिर्फ कुछ सेकंड ही बढ़ता है
  लोडिंग का अधिकांश हिस्सा level generation process की वजह से होता है, और यह डिस्क से assets पढ़ने के साथ parallel में चलता है
  फिर भी install size 150GB से अधिक होना समझना मुश्किल है, और यह सवाल बना रहता है कि जब ऐसी optimization संभव थी तो इसे पहले क्यों रहने दिया गया

  • डेवलपर के नज़रिए से देखें तो ऐसा इसलिए होता है क्योंकि लागत उन्हें नहीं उठानी पड़ती
    ज़्यादातर यूज़र गेम खरीदने से पहले disk requirement को विस्तार से नहीं देखते, इसलिए sales पर लगभग कोई असर नहीं पड़ता, जबकि इसे ठीक करने में development resources लगते हैं
    अगर उन्हें प्रति यूज़र 150GB का cloud storage cost देना पड़ता, तो यह तुरंत ठीक कर दिया जाता
  • जब मैं पहले performance engineer के रूप में काम करता था, तो वास्तविक माप में अक्सर दिखता था कि लोग गलत चीज़ों को optimize कर रहे हैं
    असली bottleneck मापते ही जल्दी सामने आ जाता था, और उसका समाधान भी सरल होता था
    लेकिन यह काम नीरस और महंगा माना जाता है, इसलिए संगठन के भीतर इसकी priority कम रहती थी
  • यह हैरानी की बात है कि अभी भी 11% लोग HD2 को HDD पर खेल रहे हैं
    शायद install size इतना बड़ा है कि लोग इसे SSD की बजाय secondary HDD पर डालते हैं, और यही एक दुष्चक्र बन जाता है
  • इसमें बिल्कुल भी आश्चर्य नहीं है
    बहुत से डेवलपर्स वास्तविक डेटा की बजाय अंदाज़ के आधार पर optimization करते हैं
  • तकनीकी रूप से देखें तो console version का install size शुरू से ही छोटा था
    क्योंकि console builds SSD को ध्यान में रखकर बनाए गए थे, इसलिए उनमें duplicate data नहीं था
    PC version का 154GB large-scale asset duplication का नतीजा था, और शुरुआती समय में यह 40~60GB के स्तर पर था
    बाद में engine (Bitsquid/Stingray, wiki link) बंद हो जाने के बाद भी विकास जारी रहा, और आकार धीरे-धीरे बढ़ता गया

• किसी ने हिसाब लगाया कि पिछले 2 साल में इस समस्या के कारण कम-से-कम 10 million dollars के hardware resources बर्बाद हुए
  यानी डेवलपर ने कुछ लाख डॉलर की engineering cost बचाने के लिए लागत यूज़रों पर डाल दी
  ऐसे अपव्यय को रोकने का एकमात्र तरीका software quality को महत्व देने वाली संस्कृति है

  • Steam गेम्स को अधिकतम compress करके वितरित करता है, इसलिए Helldivers 2 में download size 30~40GB था, लेकिन install होने के बाद वह 150GB तक खुल जाता था (SteamDB link)
  • दरअसल यह bug नहीं, बल्कि HDD loading time के गलत अनुमान पर आधारित गलत optimization decision था
    व्यक्तिगत रूप से मेरे पास 2TB gaming drive है, इसलिए मैंने size की परवाह नहीं की
  • किसी ने पूछा कि SSD storage के monthly marginal cost को 2.5 dollars/TB मानने का आधार क्या है
    उपभोक्ता के दृष्टिकोण से क्या यह सचमुच कोई व्यावहारिक लागत है, इस पर भी सवाल उठाया गया
    एक और व्यक्ति ने जोड़ा, “यह बस इतना है कि आप एक गेम कम install कर पाएँगे”

• 2014 का Titanfall भी ऐसा ही मामला था
  कुल 48GB में से 35GB uncompressed audio था, और कहा गया कि यह dual-core CPU के लिए किया गया था (related article)

  • किसी ने कहा कि Call of Duty भी इसी तरह बदनाम रहा है
  • community project r1delta में बताया गया कि इस size को 20GB से कम तक घटा दिया गया
  • लेकिन किसी ने इसे “बहाना” कहा, और बताया कि Half-Life 2 ने भी MP3 के साथ इसे पर्याप्त रूप से संभाला था
    MP3 decoding से CPU पर लगभग कोई भार नहीं पड़ता, और Titanfall का audio format (160kbps OGG) भी lossy compression था
  • एक अन्य यूज़र ने समझाया कि Opus decoding भी लगभग 30MHz स्तर के CPU पर संभव है, इसलिए उस समय की तकनीक से भी यह कोई समस्या नहीं थी (performance comparison link)

• यह कुछ-कुछ AWS account में unused resources साफ़ करके हर महीने 10,000 dollars बचाने जैसा लगा

  • लेकिन इस मामले में बात सिर्फ भूले हुए data की नहीं थी, बल्कि access time optimization के लिए duplicate storage की थी
    हाल के Monster Hunter: Wilds mod में उल्टा तरीका अपनाया गया, जहाँ GPU decompression bottleneck कम करने के लिए textures को पहले से uncompressed रूप में store किया गया (video link)
  • हम सबने ऐसा कुछ न कुछ देखा है, लेकिन इस बार यह साधारण गलती नहीं थी, बल्कि HDD seek time कम करने की कोशिश थी
    अब मुझे भी अपना cloud account साफ़ करने जाना चाहिए

• लोग यह जानना चाहते थे कि वास्तव में किस तरह की optimization की गई थी
  HDD में physical placement स्थिर नहीं होता, इसलिए duplication के ज़रिए seek time घटाना उतना प्रभावी न भी हो सकता है
  शायद build के समय सिर्फ 'hash-based deduplication' option बंद होने की वजह से भी यह हुआ हो

  • वास्तव में लगता है कि HDD seek time कम करने के लिए एक ही files को कई जगह copy किया गया था
    deduplication के बाद install size काफ़ी घट गया, और update files तो कभी-कभी पूरे गेम से भी बड़े थे
    अब जबकि SSD लगभग standard है, HDD optimization के लिए इतना प्रयास कुछ ज़्यादा ही लगता है
  • HDD में spinning platters और read head होते हैं, इसलिए optical media जैसी optimization संभव है
    हर stage के लिए ज़रूरी common resources को duplicate करके एक साथ पढ़ा जाता है
    यह bandwidth के लिए storage sacrifice करने की रणनीति है, और CD के दौर में भी ऐसा किया जाता था

• किसी ने हाल ही में Hunt: Showdown डाउनलोड किया, जो 70GB था, और एक महीने बाद update फिर उसी आकार का दोबारा डाउनलोड हुआ
  शायद update full overwrite method से किया गया था

  • दूसरी ओर कुछ गेम्स में patch size छोटा होता है, लेकिन patch process इतनी धीमी होती है कि यूज़र पूरा reinstall करना बेहतर समझते हैं
  • मेरे साथ भी दूसरे गेम में ऐसा हुआ है
    दर्जनों GB फिर से डाउनलोड करना सचमुच बेहद अक्षम है
    Steam के बहुत बड़ा बनने से पहले ही ज़्यादातर गेम्स इस समस्या को हल कर चुके थे

• Helldivers 2 एक पुराने engine (Bitsquid आधारित) पर बना है, लेकिन यह दिखाता है कि बिना नवीनतम तकनीक के भी शानदार गेम बनाया जा सकता है

  • जब development शुरू हुआ था, तब engine अभी बंद नहीं हुआ था, इसलिए शुरू से दोबारा बनाने की तुलना में उसी पर बने रहना अधिक तर्कसंगत रहा होगा
  • Vermintide और Darktide में भी इसी engine family का उपयोग हुआ है, और यह अब भी काफ़ी उपयोगी तकनीक है
  • हालाँकि इस engine में bugs बहुत हैं, और sound engine issues या host-client synchronization bugs अक्सर सामने आते हैं
    यहाँ तक कि fixes की माँग के लिए community को खुद अभियान चलाना पड़ा
    अगर बंद हो चुके engine का उपयोग न किया गया होता, तो चीज़ें शायद कहीं अधिक stable होतीं

• किसी ने याद किया कि उसने पहले game optimization पर काम करते हुए runtime के आधार पर size को 1/4 तक घटा दिया था, लेकिन बाहर से सब वैसा ही दिखता था, इसलिए producer प्रभावित नहीं हुआ
  यह सोचकर जिज्ञासा हुई कि क्या इस बार भी अंदरूनी विरोध हुआ होगा

• किसी ने अनुभव साझा किया कि Steam ने SSD space कम समझकर HDD को cache की तरह इस्तेमाल किया, और update से ज़्यादा तेज़ full reinstall साबित हुआ
  5 मिनट download के बाद 8 घंटे update चलना बेहद हास्यास्पद था
  उम्मीद है कि इस update से ऐसी समस्याएँ सुधरेंगी

  • पहले preload कभी-कभी धीमा होने का कारण भी यही था
    पहले से encrypted files को डिस्क से दोबारा decrypt करना पड़ता था, जिससे random access load बढ़ जाता था

• किसी ने पूछा कि PC पर duplicate files वास्तव में इस्तेमाल भी होती थीं या नहीं
  क्या filesystem access इतना सीमित होता है कि HDD पर यह तय किया जा सके कि कौन-सी copy तेज़ होगी?

  • दरअसल बात किसी विशेष copy को चुनने की नहीं थी, बल्कि हर level file में ज़रूरी resources की duplicate inclusion की थी, ताकि उन्हें एक बार में पढ़ा जा सके
    इससे HDD पर seek किए बिना sequential read संभव हो जाता है
    यह तरीका Crash Bandicoot के दौर से इस्तेमाल होता आया है, और 2024 में HDD optimization करने की वजह शायद सिर्फ engine constraints रहे होंगे
  • एक अन्य व्यक्ति ने समझाया कि filesystem खुद ही बड़े archive की तरह काम करता है, इसलिए ज़रूरी data को sequential रूप से group करके store किया जाए तो performance loss के बिना इसे सरलता से हल किया जा सकता है

[bakyeono]

यह शर्मनाक बात है, लेकिन कम से कम इसे ठीक कर दिया गया, यह राहत की बात है। लगता है कि ऐसे और भी कई मामले होंगे, बस वे सामने नहीं आए हैं।