Facebook ने अंग्रेज़ी पर निर्भर हुए बिना 100 भाषाओं का अनुवाद कर सकने वाला मॉडल open source में जारी किया

M2M-100 एक MMT(Multilingual Machine Translation) मॉडल है,

जो पहली बार अंग्रेज़ी डेटा पर निर्भर हुए बिना 100 भाषाओं के जोड़ों के बीच पारस्परिक अनुवाद संभव बनाता है.

ज़्यादातर अनुवाद बहुत अधिक training data वाली अंग्रेज़ी के ज़रिए होकर जाते हैं, लेकिन यह मॉडल सीधे अनुवाद करता है, जिससे अर्थ बेहतर तरीके से संरक्षित रहता है.

BLEU(Bilingual Evaluation Understudy) स्कोर में 10% से अधिक बेहतर परिणाम दिखाता है.

इसे कुल 2200 भाषा दिशाओं पर train किया गया है, जो पहले के state-of-the-art अंग्रेज़ी-केंद्रित बहुभाषी मॉडलों की तुलना में 10 गुना अधिक है.

M2M-100 का उपयोग करने पर कम संसाधन वाली भाषाएँ इस्तेमाल करने वाले लोगों के लिए अनुवाद गुणवत्ता बेहतर होती है.

इस लेख में MMT training dataset और मॉडल बनाने के तरीकों की विस्तृत जानकारी साझा की गई है,

और दूसरे शोधकर्ता बेहतर बहुभाषी मॉडल को reproduce और आगे विकसित कर सकें, इसके लिए मॉडल, training और evaluation methods भी साझा किए गए हैं.

12 अरब parameters पर train किए गए मॉडल फ़ाइल को डाउनलोड किया जा सकता है (136GB)