xLSTM के साथ दीर्घकालिक टाइम सीरीज़ पूर्वानुमान: XLSTMTime

 (arxiv.org)
1 पॉइंट द्वारा GN⁺ 2024-07-18 | 1 टिप्पणियां | WhatsApp पर शेयर करें

xLSTMTime: Long-term Time Series Forecasting With xLSTM

  • पिछले कुछ वर्षों में, transformer-आधारित मॉडलों ने multivariate long-term time series forecasting (LTSF) में उल्लेखनीय प्रदर्शन दिखाया है। हालांकि, वे उच्च computational requirements, temporal dynamics को कैप्चर करने में कठिनाई, और long-term dependencies को संभालने जैसी समस्याओं का सामना करते हैं
  • सरल linear structure वाले LTSF-Linear के आने से transformer-आधारित मॉडलों से बेहतर प्रदर्शन देखने को मिला, जिससे time series forecasting में transformers की उपयोगिता का पुनर्मूल्यांकन हुआ
  • इसके जवाब में, यह शोधपत्र हालिया architecture extended LSTM (xLSTM) को LTSF पर लागू करने के परिणाम प्रस्तुत करता है। xLSTM में exponential gating और अधिक capacity वाली modified memory structure शामिल है, जो LTSF के लिए उपयुक्त क्षमता रखती है
  • हमारे द्वारा अपनाया गया LTSF architecture xLSTMTime मौजूदा approaches से बेहतर प्रदर्शन करता है। कई वास्तविक-world datasets पर विभिन्न state-of-the-art मॉडलों और xLSTMTime के प्रदर्शन की तुलना के परिणाम superior forecasting capability दिखाते हैं
  • हमारे निष्कर्ष संकेत देते हैं कि refined recurrent architectures, LTSF कार्यों में transformer-आधारित मॉडलों के लिए एक प्रतिस्पर्धी विकल्प प्रदान कर सकते हैं, और time series forecasting के परिदृश्य को फिर से परिभाषित करने की क्षमता रखते हैं

GN⁺ की संक्षिप्त प्रस्तुति

  • यह शोधपत्र transformer-आधारित मॉडलों की सीमाओं को दूर करने के लिए xLSTM को पेश करता है और long-term time series forecasting में उत्कृष्ट प्रदर्शन दिखाता है
  • xLSTMTime exponential gating और modified memory structure के माध्यम से मौजूदा मॉडलों से बेहतर forecasting capability साबित करता है
  • यह शोध time series forecasting में recurrent architectures की संभावनाओं पर फिर से ध्यान केंद्रित करता है और transformer-आधारित मॉडलों के लिए एक नया विकल्प प्रस्तुत करता है
  • समान कार्यक्षमता वाले प्रोजेक्ट्स में Facebook का Prophet और Amazon का DeepAR शामिल हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-18
Hacker News राय
  • पिछले कुछ वर्षों में, transformer-आधारित मॉडल multivariate long-term time series forecasting में प्रमुख रहे हैं
    • लेकिन, आम तौर पर यह स्पष्ट नहीं है कि वे non-deep-learning मॉडलों से बेहतर हैं
  • मैं अर्थव्यवस्था (inflation, GDP आदि) और finance (market liquidity आदि) में nowcasting और forecasting model बनाने का काम करता हूँ
    • मैं इस राय से सहमत हूँ कि transformer मॉडल बेहतरीन हैं, लेकिन LSTM-प्रकार के मॉडल अब भी बहुत उपयोगी हैं
  • यह Google के AI-आधारित weather forecasting model से जुड़ा है या नहीं, इसे लेकर जिज्ञासा है
  • यह अफ़सोस की बात है कि पेपर में दिया गया dataset लिंक काम नहीं करता
    • उम्मीद है कि इसे ठीक किया जाएगा
  • इसे forecasting tool के रूप में मार्केट किया जा रहा है, लेकिन क्या यह time series में event classification पर लागू नहीं होता, यह जानना चाहूँगा
  • सबसे बेहतरीन deep learning time series मॉडल hedge fund के अंदर निजी तौर पर इस्तेमाल किए जाते हैं
  • time series forecasting deterministic domain में सबसे अच्छा काम करता है
    • प्रकाशित LLM/AI/deep learning/machine learning तकनीकों में से कोई भी stock market में अच्छा काम नहीं करती
    • मैंने हर तकनीक आज़मा ली, लेकिन सफलता नहीं मिली
  • अगर किसी की time series forecasting method सच में काम करती, तो वे उसे प्रकाशित नहीं करते
  • मैंने इसे गलती से XSLT पढ़ लिया
  • इंतज़ार है उन लोगों का जो इस tool से stock predict करने की कोशिश में अपना सारा पैसा गंवा देंगे