AlphaFold3 का ओपन सोर्स इम्प्लीमेंटेशन

 (github.com/Ligo-Biosciences)
3 पॉइंट द्वारा GN⁺ 2024-09-05 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Ligo Biosciences के संस्थापकों ने protein structure prediction के लिए नवीनतम मॉडल AlphaFold3 का एक open source implementation साझा किया
  • Google DeepMind और उनका नया startup Isomorphic Labs drug discovery में व्यवसाय का विस्तार कर रहे हैं
    • उन्होंने AlphaFold3 विकसित किया है ताकि drug discovery को तेज किया जा सके और pharma कंपनियों की मांग पैदा की जा सके
    • वे पहले ही Novartis और Eli Lilly के साथ 3 अरब डॉलर के अनुबंध कर चुके हैं
  • AlphaFold3 एक biomolecular structure prediction मॉडल है, जो 3 मुख्य काम करता है
    • protein structure prediction
    • drug-protein interaction structure prediction
    • nucleic acid-protein complex structure prediction
  • AlphaFold3 protein structures की mapping को बेहद तेज कर देता है, इसलिए यह विज्ञान के क्षेत्र में बहुत महत्वपूर्ण है
    • जहां एक PhD छात्र अपने पूरे PhD के दौरान एक ही structure का अध्ययन कर सकता है, वहीं AlphaFold3 का उपयोग करके experimental accuracy के बराबर predictions कुछ ही मिनटों में प्राप्त किए जा सकते हैं
  • समस्या यह है कि DeepMind ने मई में AlphaFold3 की घोषणा की थी, लेकिन कोड सार्वजनिक नहीं किया
    • इससे reproducibility को लेकर सवाल उठे और वैज्ञानिक समुदाय में असंतोष पैदा हुआ
  • AlphaFold3 structure modeling तकनीक में एक बुनियादी प्रगति है, जिससे पूरी biotech industry लाभ उठा सकती है, और इसके उपयोग के क्षेत्र बहुत व्यापक हैं
    • CRISPR gene editing technology: वैज्ञानिक ठीक-ठीक देख सकते हैं कि DNA scissor Cas protein के साथ कैसे interact करता है
    • cancer research: यह अनुमान लगाया जा सकता है कि संभावित दवाएं cancer targets से कैसे bind करती हैं। DeepMind पेपर की एक प्रमुख highlight clinical KRAS inhibitor और उसके target के complex structure की prediction थी
    • antibody/nanobody और target prediction: AlphaFold3 इस molecular class के लिए accuracy को अगले सर्वोत्तम tools की तुलना में 2 गुना बढ़ाता है
  • दुर्भाग्य से, non-commercial license होने के कारण कोई भी कंपनी इसका उपयोग नहीं कर सकती
  • इसलिए AlphaFold3 का open source implementation जारी किया गया
    • single-chain proteins पर प्रशिक्षित पूरा मॉडल जारी किया गया है, और बाकी दो क्षमताओं को जल्द train और release किया जाएगा
    • training code भी शामिल है
    • weights training और benchmarking पूरा होने के बाद जारी किए जाएंगे
    • इसे वास्तव में open source बनाने के लिए Apache 2.0 license का उपयोग किया गया है
  • DeepMind ने पेपर के माध्यम से मॉडल की पूरी architecture, प्रत्येक component के pseudocode के साथ, प्रकाशित की थी
    • इसे पूरी तरह PyTorch में translate किया गया, लेकिन अपेक्षा से कहीं अधिक reverse engineering की आवश्यकता पड़ी
  • शुरुआती निर्माण के दौरान DeepMind पेपर में कई ऐसी समस्याएं मिलीं जो training में बाधा डाल सकती थीं। यह deep learning community को दिलचस्प लग सकता है
    • MSE loss scaling, Karras et al. (2022) से अलग है। पेपर में दिए गए weights उच्च noise level पर loss को कम नहीं करते
    • पेपर में residual layer गायब है
      • गायब residual layer जोड़ने पर gradient flow और convergence में लाभ मिला
      • क्या कोई जानता है कि DeepMind ने DiT block में residual connection क्यों छोड़ा
    • MSA module के वर्तमान रूप में dead layer मौजूद है
      • अंतिम pair weighted averaging और transition layer pair representation में योगदान नहीं दे सकते, इसलिए gradient propagate नहीं होता
      • इसे AlphaFold2 के ExtraMsaStack जैसी क्रम व्यवस्था से बदला गया
      • weight sharing का उपयोग भी एक विकल्प हो सकता है, लेकिन पेपर में इस पर विवरण अस्पष्ट है
  • Ligo (YC S24) में enzyme design के लिए AlphaFold3 के विचारों का उपयोग किया जा रहा है
  • AlphaFold3 का open source होना समुदाय के लिए उपयोगी एक अतिरिक्त मिशन माना जा रहा है

GN⁺ की राय

  • AlphaFold3 protein structure prediction क्षेत्र की एक क्रांतिकारी तकनीक है, और उम्मीद है कि इसका drug discovery तथा life science research पर बड़ा प्रभाव पड़ेगा
  • लेकिन DeepMind द्वारा कोड सार्वजनिक न करना वैज्ञानिक समुदाय की reproducibility और collaboration की भावना के खिलाफ माना जा सकता है
  • AlphaFold3 जैसी क्षमताओं वाले open source projects में OpenFold, RoseTTAFold आदि शामिल हैं
  • AlphaFold3 अपनाते समय मॉडल की accuracy, सीमाएं, और computational resource requirements का सावधानी से मूल्यांकन करना चाहिए
  • open source implementation के आने से अधिक शोधकर्ता और कंपनियां AlphaFold3 का लाभ उठा सकेंगी, लेकिन commercialization पर अब भी सीमाएं हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-09-05
Hacker News की राय

  • DeepMind और AlphaFold बंद स्रोत की ओर बढ़ रहे हैं

    • Isomorphic Labs को Alphabet के एक डिविजन के रूप में स्थापित किया गया है और यह बंद-स्रोत काम पर ध्यान दे रहा है
    • शैक्षणिक टूल्स का open source संस्करण सैद्धांतिक रूप से अच्छा लगता है
    • मैं इस क्षेत्र से पर्याप्त परिचित नहीं हूँ, इसलिए ठोस लाभ बताना मुश्किल है
    • कंपनी की योजना क्या है, यह जानने की जिज्ञासा है
    • यह जानना दिलचस्प होगा कि क्या वे open source प्रोजेक्ट्स पर अपने business model के हिस्से के रूप में काम जारी रखेंगे, या यह एक बार की बात है
    • वेबसाइट यह क्या बेचना चाहती है, इस बारे में बहुत अस्पष्ट है

  • यह जानने की जिज्ञासा है कि भविष्यवाणियों का सत्यापन कैसे किया जाता है

    • क्या भविष्यवाणी के बाद भी X-ray crystallography, cryo-EM जैसी प्रयोगात्मक तकनीकों का उपयोग करना पड़ता है?
    • क्या भविष्यवाणियाँ वास्तविकता के इतनी करीब होती हैं कि बिना प्रयोग के आगे बढ़ा जा सके?

  • यह जानने की जिज्ञासा है कि क्या वे implementation पर कोई शोधपत्र प्रकाशित करने की योजना रखते हैं

    • इससे बाद में साहित्य में उसे उद्धृत करना आसान होगा
    • यह भी जिज्ञासा है कि क्या प्रमुख journal ऐसे शोधपत्र को स्वीकार करेंगे
    • अगर reproducibility को लेकर सवाल हों, तो शायद वे स्वीकार कर लें

  • खुशी है कि इस open version का उपयोग commercial environment में किया जा सकता है

    • यह कंपनी शुरू करने का शानदार तरीका है

  • लगता है कि इस implementation का नाम बदलना बेहतर होगा

    • क्योंकि यह वास्तव में AlphaFold3 नहीं है
    • उन्हें DM की ओर से नाम के उपयोग को लेकर cease-and-desist अनुरोध मिल सकता है

  • मॉडल कोड स्वयं चुनौती का सिर्फ एक छोटा हिस्सा है

    • training compute और training data इससे कहीं बड़े हिस्से हैं
    • Google के पास शायद किसी भी अन्य इकाई की तुलना में बड़े पैमाने के training compute तक पहुँच है

  • computational proteomics के साथ मेरा थोड़ा-बहुत अनुभव रहा है

    • वह क्षेत्र सच में अगले स्तर का है

  • किसने सोचा था कि सिर्फ pseudocode जारी करना पर्याप्त नहीं होगा

    • बंद विज्ञान के खिलाफ लड़ती वैज्ञानिक immune system को देखकर खुशी होती है
    • Google का अगला कदम क्या होगा, यह जानने की जिज्ञासा है

  • यह जानने की जिज्ञासा है कि क्या वे ColabFold से परिचित हैं

  • यह जानने की जिज्ञासा है कि अगला कदम क्या है

    • यह भी जिज्ञासा है कि उन्होंने enzyme design पर ध्यान केंद्रित करने का फैसला क्यों किया