DeepSeek inference engine को open source बनाने की यात्रा

• DeepSeek टीम ने अपने आंतरिक inference engine (DeepSeek Inference Engine) को open source के रूप में वापस साझा करने की योजना सार्वजनिक की
• मौजूदा inference engine, vLLM पर आधारित है, और DeepSeek-V3 तथा R1 मॉडल की deployment मांग बढ़ने के साथ इसे साझा करने पर विचार किया जा रहा है
• मौजूदा code और infrastructure dependencies, तथा maintenance burden के कारण पूरा source जारी करना कठिन है, इसलिए modularization और feature-level contribution की दिशा अपनाई गई है
• आगे चलकर open source community के साथ करीबी सहयोग करते हुए performance optimization और reusable features साझा करने की योजना है
• DeepSeek inference optimization और model release के समय community के साथ Day-0 support synchronization के लिए सक्रिय रूप से काम करेगा

---

DeepSeek inference engine को open source बनाने की यात्रा

Open Source Week की प्रतिक्रिया और आगे के योगदान

• हाल ही में आयोजित Open Source Week में कई libraries को open source किया गया
• community की सकारात्मक प्रतिक्रिया के बीच collaboration, discussion और bug fixes सक्रिय रूप से हुए
• इसी के आधार पर DeepSeek ने अपने आंतरिक inference engine को open source के रूप में साझा करने का निर्णय लिया

आधारभूत तकनीक

• DeepSeek का training framework PyTorch पर आधारित है
• inference engine, vLLM project के शुरुआती fork पर आधारित होकर विकसित किया गया है, और इसमें DeepSeek मॉडल के लिए कई विशेष customizations शामिल हैं

पूरे open source release से जुड़ी व्यावहारिक सीमाएँ

• codebase का अंतर: यह 1 साल से अधिक पुराने vLLM fork से शुरू हुआ था; संरचना मिलती-जुलती है, लेकिन इसमें काफी बदलाव हो चुके हैं
• आंतरिक infrastructure पर निर्भरता: cluster management tools जैसी चीजें DeepSeek के अपने infrastructure से गहराई से जुड़ी हैं, इसलिए बाहरी उपयोग कठिन है
• maintenance resources की कमी: एक छोटी research team होने के नाते बड़े open source project को लगातार manage करना आसान नहीं है

विकल्प: मौजूदा open source projects के साथ सहयोग

आगे DeepSeek निम्न दिशाओं में योगदान देने की योजना रखता है:

• modular features को अलग करना: reusable components को स्वतंत्र libraries के रूप में विभाजित कर योगदान देना
• performance optimization साझा करना: आंतरिक implementation से मिले performance improvements और design ideas को मौजूदा open source projects में शामिल करना

community के प्रति आभार और आगे की दृष्टि

• open source community के बिना AGI development में प्रगति संभव नहीं होती
• operating system, language, ML framework, inference engine जैसी चीजें AI innovation की बुनियाद open source ecosystem पर टिकी हैं
• DeepSeek community के साथ सहयोग के जरिए AGI के लाभ पूरी मानवता तक पहुँचें, इसके लिए लगातार प्रयास करता रहेगा

[!NOTE]
यह लेख DeepSeek Inference Engine codebase को open source करने की रणनीति के बारे में जानकारी देता है।
भविष्य में model release के संदर्भ में DeepSeek open source community और hardware partners के साथ सहयोग का विस्तार करता रहेगा।
खास तौर पर model release से पहले, inference से जुड़ी तकनीकों को पहले से साझा और align करके, अलग-अलग hardware environments में Day-0 से SOTA support संभव हो, इसके लिए ecosystem को समन्वित किया जाएगा.

[GN⁺]

Hacker News टिप्पणियाँ

• मार्च में vLLM ने DeepSeek पेपर के सुधारों को लागू किया, जिससे vLLM v0.7.3 में DeepSeek परफ़ॉर्मेंस लगभग 3 गुना से अधिक बेहतर हो गई

  • फिर भी सुधार की काफी गुंजाइश है
  • vLLM का उपयोग करके sharegpt dataset पर 5K tokens/second, और random 2000/100 पर 12K tokens/second का benchmark किया गया
  • DeepSeek-V3/R1 inference system overview के अनुसार, हर H800 node prefill के दौरान औसतन 73.7k tokens/second input (cache hit सहित) या decoding के दौरान 14.8k tokens/second output देता है
  • DeepSeek अलग inference architecture deploy करता है, लेकिन यह दिखाता है कि सुधार की काफी गुंजाइश है
  • और अधिक open source की उम्मीद है

• codebase branching point से सहमति है

  • vLLM के शुरुआती fork के आधार पर DeepSeek model के मुताबिक customize करना था, इसलिए इसे scale करना मुश्किल था
  • maintainable sub-library को अलग करना और जानकारी सीधे साझा करने वाला approach community के साथ सहयोग करने का अच्छा तरीका है
  • बाधाएँ हैं, लेकिन इन्होंने योगदान न करने वाला आसान रास्ता नहीं चुना
  • शायद तकनीक के बारे में सिर्फ जानकारी साझा करना बेहतर हो सकता है, लेकिन यह फिर भी knowledge sharing है
  • लगता है कि कुछ न करना इनके लिए ज्यादा आसान होता
  • इन्हें सराहना मिलनी चाहिए

• commercial AI कंपनियाँ research results और know-how साझा करने के लिए क्यों प्रेरित होती हैं

  • Google ने Transformer architecture को सार्वजनिक क्यों किया
  • वे मानवता के लिए अच्छा करना और प्रगति को बढ़ावा देना चाह सकते हैं
  • यह सवाल है कि company management अपने commercial interest के खिलाफ जाने वाला कदम कैसे उठा सकता है
  • यह भी जिज्ञासा है कि क्या जानकारी और intellectual property sharing को बढ़ावा देने वाला कोई commercial logic है

• "open source community में कुछ दिलचस्प चीज़ है, लेकिन इसे कंपनी के बाहर चलाने के लिए बहुत सफाई की ज़रूरत है, और रिलीज़ के बाद इसे ठीक से maintain करने के लिए हमारे पास लोग नहीं हैं"

  • बहुत सी कंपनियाँ इसी स्थिति में हैं
  • काश वे इसे "हम इसे maintain नहीं करेंगे, लेकिन fork करने के लिए स्वतंत्र हैं" जैसे note के साथ open source कर दें

• DeepSeek का अच्छा engineering काम देखा है

  • उम्मीद है यह आगे भी जारी रहेगा

• क्या चीन अमेरिका के प्रभुत्व का जवाब देने के लिए open source AI tools, models आदि बड़े पैमाने पर जारी करने की रणनीति अपना रहा है, यह जिज्ञासा है

  • लगता है कि यह बाज़ार के लिए अच्छी बात है

• tl;dr "vLLM fork को maintain करना असंभव हो गया, और अब इसे सार्वजनिक रूप से फिर से बनाया जाएगा"

• लगता है कि यह censorship लागू करने का एक तरीका है