DeepSpeed - MS द्वारा जारी deep learning optimization library

 (github.com)
4 पॉइंट द्वारा xguru 2020-02-12 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

  • PyTorch के ऊपर एक हल्का wrapper

  • कोड में न्यूनतम बदलाव, 10 गुना से भी बड़े मॉडल, 5 गुना से अधिक speed

  • Zero Redundancy Optimizer (ZeRO) लागू करके training के दौरान इस्तेमाल होने वाली memory को न्यूनतम करना (4x)

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.