[NAVER] ML GPU model server का प्रदर्शन बनाए रखते हुए उसे CPU server में बदलने का अनुभव साझा (feat. torchserve)

 (medium.com)
3 पॉइंट द्वारा ninebow 2023-07-26 | 3 टिप्पणियां | WhatsApp पर शेयर करें
  • *यह लेख GPT-4 का उपयोग करके स्वचालित रूप से तैयार किया गया विवरण है, इसलिए इसमें गलत सामग्री हो सकती है. *
  • *यदि आपको कोई गलत जानकारी मिले, तो कृपया उसे टिप्पणी में बताएं! *

परिचय

यह लेख NAVER Place डेवलपमेंट टीम द्वारा ML मॉडल server को GPU से CPU में बदलने की प्रक्रिया साझा करता है. इस बदलाव का लक्ष्य server लागत को कम करना और server संचालन को अधिक कुशल बनाना है.

सारांश

1. मॉडल server को GPU से CPU में बदलना

  • NAVER Place डेवलपमेंट टीम ने मॉडल server को GPU से CPU में बदलने का काम किया. इसका उद्देश्य server लागत को कम करना और server संचालन को अधिक कुशल बनाना था. इस कार्य में मॉडल training में उपयोग होने वाले GPU को CPU से बदलना शामिल था.

2. मॉडल server की संरचना

  • मॉडल server मुख्य रूप से तीन भागों से बना है: मॉडल training, मॉडल server, और client. मॉडल training में dataset का उपयोग करके मॉडल को प्रशिक्षित करने की प्रक्रिया शामिल है, मॉडल server प्रशिक्षित मॉडल को host करता है, और client मॉडल server को request भेजकर response प्राप्त करता है.

3. GPU से CPU में बदलाव

  • GPU से CPU में बदलाव में कई चरण शामिल हैं. पहले, मॉडल training code को इस तरह संशोधित किया जाता है कि वह CPU पर चल सके. फिर, मॉडल server को CPU पर चलने के लिए configure किया जाता है. अंत में, client code को संशोधित किया जाता है ताकि वह CPU पर चल रहे मॉडल server को request भेज सके.
  1. बदलाव के बाद के परिणाम
  • बदलाव के बाद server लागत में काफी कमी आई, और server संचालन अधिक कुशल हो गया. साथ ही, CPU पर चलने वाला मॉडल server, GPU पर चलने वाले मॉडल server की तुलना में बिना प्रदर्शन गिरावट के अच्छी तरह काम करता रहा.

संदर्भ

  • Naver Place Dev Blog
    • यह ब्लॉग NAVER Place डेवलपमेंट टीम की विभिन्न परियोजनाओं और अनुभवों को साझा करता है. इस लेख में बताए गए GPU से CPU में बदलाव के बारे में अधिक जानकारी यहां मिल सकती है.

संबंधित पढ़ाई

3 टिप्पणियां

 
xguru 2023-07-27

लेख में संशोधन कर दिया गया है.
अगर लेख की शुरुआत में चेतावनी संदेश हो, तो Slack/Twitter में केवल वही चेतावनी संदेश दिखाई देता है.
संभव हो तो कृपया लेख की शुरुआत में सारांश आने दें.
 
ninebow 2023-07-27

आगे से मैं सावधानी रखूंगा। धन्यवाद! :)