TimeGPT-1
(arxiv.org)- TimeGPT एक time series foundation model है जो अतिरिक्त training के बिना कई domains के time series data का पूर्वानुमान करता है
- मौजूदा statistical, machine learning और deep learning तरीकों की तुलना में, यह zero-shot inference में performance, efficiency और simplicity को साथ में बेहतर करने वाला दृष्टिकोण प्रस्तुत करता है
- time series forecasting वित्त, healthcare, weather, social science, power demand, और server·workers·machines की capacity planning जैसे उन क्षेत्रों की मुख्य नींव है जहाँ भविष्य-आधारित decision-making जरूरी होती है
- मौजूदा time series forecasting क्षेत्र में deep learning की प्रभावशीलता पर व्यावहारिक सहमति कमजोर रही है, और भाषा या perception क्षेत्रों जितने व्यापक रूप से मान्य general-purpose pretrained models की कमी थी
- यह संभावना सामने आती है कि general-purpose pretrained models अधिक सटीक forecasting की पहुंच बढ़ा सकते हैं और समय व computational complexity को कम कर सकते हैं
TimeGPT द्वारा प्रस्तुत मॉडल दिशा
- TimeGPT time series के लिए एक foundation model है जो training के दौरान न देखे गए विभिन्न datasets पर भी पूर्वानुमान उत्पन्न कर सकता है
- इसका मुख्य बिंदु zero-shot inference है, यानी कई domains और applications में बिना अतिरिक्त training के forecasting करना
- pretrained general-purpose models time series forecasting को अधिक सुलभ, अधिक सटीक बना सकते हैं, और समय की खपत व computational complexity को काफी कम करने की दिशा में बदलाव ला सकते हैं
वे क्षेत्र जहाँ time series forecasting का उपयोग होता है
- Time series वह data है जो समय के क्रम में व्यवस्थित होता है, और systems, कंपनियों व संस्थानों में भविष्य की स्थिति का आकलन करने के आधारभूत data के रूप में उपयोग किया जाता है
- इसके application examples कई क्षेत्रों में फैले हुए हैं
- economic cycles और trends को समझना
- consumer spending patterns की पहचान
- power generation और grid management के लिए power demand का optimization
- servers, workers और machines की capacity तथा infrastructure का समायोजन
- समुद्री ज्वार का मापन और Dow Jones के दैनिक closing price का ट्रैक करना
- वित्त, healthcare, weather और social science में समय-आधारित patterns, trends और periodic fluctuations को समझना भविष्य के मूल्यों के पूर्वानुमान और decision-making के लिए महत्वपूर्ण है
मौजूदा forecasting तरीकों की सीमाएँ
- time series forecasting का क्षेत्र अभी तक भाषा और perception क्षेत्रों के generative models जैसी व्यापक स्वीकृति वाली सहमति तक नहीं पहुँच पाया है
- forecasting tasks में deep learning की प्रभावशीलता को लेकर practitioners की राय अब भी बंटी हुई है
- मौजूदा forecasting research अभी तक उस स्तर को पर्याप्त रूप से पूरा नहीं कर पाई है जिसका वादा एक वास्तविक general-purpose pretrained model करता है
मूल्यांकन परिणाम और निहितार्थ
- TimeGPT का मौजूदा statistical models, machine learning models और deep learning models के साथ तुलनात्मक मूल्यांकन किया गया
- मूल्यांकन के अनुसार, pretrained TimeGPT का zero-shot inference performance, efficiency और simplicity के मामले में श्रेष्ठ पाया गया
- इसे इस बात के प्रमाण के रूप में इस्तेमाल किया गया कि अन्य AI क्षेत्रों की प्रगति से मिली insights को time series analysis पर भी लागू किया जा सकता है
- बड़े पैमाने के time series models अधिक सटीक forecasting तक पहुंच बढ़ाने और uncertainty कम करने का अवसर बन सकते हैं
1 टिप्पणियां
Hacker News की राय
मैंने काफ़ी लंबे समय तक time series forecasting की है, लेकिन ऐसे time series-विशेष deep learning models की उपयोगिता अभी तक नहीं मिल पाई
बहुत high-dimensional data में, जैसे किसी card payment processing company में fraud detection modeling करते समय, deep learning आगे रहती है। लेकिन time को अन्य features से अलग मानने वाला अलग “time series” model इस्तेमाल करने का फ़ायदा लगभग नहीं मिला
state-of-the-art performance का दावा करने वाले N-BEATS, N-HiTS, transformers से पहले लोकप्रिय रहे लगभग सभी RNN variants आज़माए, लेकिन lagged values को features के रूप में डालने वाले MLP को हरा नहीं पाए। forecasting क्षेत्र के दूसरे लोगों से बात करने पर भी उन्होंने यही नतीजे देखे बताए
medium-dimensional data में LightGBM/XGBoost ज़बरदस्त बेहतर हैं, और आम तौर पर किसी भी deep learning model के बराबर या उससे बेहतर performance देते हैं, वह भी बहुत कम fine-tuning और बेहद कम compute time के साथ
low-dimensional data में पर्याप्त data नहीं होता, इसलिए human intuition से structure बनाना पड़ता है; ऐसे में अब भी (V)ARIMA/ETS/factor models सबसे मज़बूत हैं
इसलिए “time series” model के बारे में, जो general-purpose रूप से high performance देता हो, ऐसे दावों को लेकर मैं बहुत skeptical हूँ। language models के उलट, time series पर train करने से भी model दुनिया के काम करने की बुनियादी structure को जिस हद तक समझ सकता है वह सीमित है, इसलिए उसकी generalization ability भी बहुत सीमित ही रहेगी
और कई time steps आगे predict करने वाली multi-step forecasting में XGBoost जैसे models को कैसे इस्तेमाल करते हैं, यह भी जानना चाहूँगा
MLP में lag features डालने का तरीका transformer attention में longer sequence length इस्तेमाल करने की तुलना में कैसा है? feedforward neural network में 128 time-step lag values डालने पर भी अच्छे results आते हैं क्या, यह जानना चाहूँगा
कई machine learning algorithms पर experiment करते हुए intelligent trading bot https://github.com/asavinov/intelligent-trading-bot बनाते समय भी मैं इसी निष्कर्ष पर पहुँचा था
हालांकि कुछ cases में transformers बड़ा advantage दे सकते हैं। जब numerical forecasting के साथ discrete event analysis को जोड़ा जाए और events का क्रम महत्वपूर्ण हो, या technical analysis में खोजे जाने वाले खास patterns महत्वपूर्ण हों, तब यह उपयोगी हो सकता है। ऐसे cases में बहुत ज़्यादा data की ज़रूरत होती है
GPT-based market prediction बेचने का दावा होते ही chart analysts का उमड़ पड़ना तय है
अगर time series model के पास पर्याप्त बड़ा training corpus हो, तो वह seasonality, shocks, outliers जैसी typical anomalies को काफ़ी अच्छी तरह handle कर सकता है, ऐसा मुझे लगता है
अब तक की स्थिति पर पूरी तरह सहमत हूँ, लेकिन यहाँ प्रस्तुत जैसे models को practitioners द्वारा test किए जाते देखना रोमांचक होगा। हो सकता है यह सचमुच काम कर जाए
नहीं, Transformer कोई万能 समाधान नहीं है
भले ही Transformer सबसे आधुनिक general-purpose function approximator जैसा लगे, हमें समझना होगा कि यह language और vision में इतना अच्छा क्यों काम करता है
Transformer बहुत अच्छी तरह parallelize होते हैं और जटिल intermediate representations सीखते हैं। space में semantic concepts साफ़-साफ़ अलग होने लगते हैं, delimiter detection भी स्वाभाविक रूप से करते हैं, और line, curve, color, कुत्ते के कान जैसी चीज़ों को संभालना भी सीखते हैं। आख़िरी layer इन जटिल concepts को जोड़कर कुत्ता/बिल्ली/blog जैसे high-level concepts सीखती है
लेकिन Transformer, और व्यापक रूप से deep learning methods, time-series data में अभी तक नए intermediate representations निकाल नहीं पाए हैं, इसलिए वे अच्छी तरह काम नहीं करते
ऊपर-ऊपर से देखें तो भी “token window” को कैसे handle किया जाए? सबसे सरल शब्दों में, time-series modeling दुनिया के किसी खास observation पर conditioned होकर, बहुत अलग-अलग lifecycles वाले repeating patterns की पहचान करने का काम है। समस्या को शुरुआत से ही handle करने के लिए model को साल·दिन·सेकंड के स्तरों पर एक साथ स्वाभाविक रूप से reason कर पाना चाहिए। मज़ेदार बात यह है कि पिछले हफ्ते MIT का streaming LLM paper शायद इसमें मदद कर सके
दूसरा, improvement का magnitude बहुत अच्छा हो तो भी मामूली दिखता है। अगर आप कोई विशाल architecture change propose कर रहे हैं और observability व explainability हटा रहे हैं, तो सचमुच जबरदस्त results होने चाहिए
असल में, अगर किसी ने time-series forecasting में कोई breakthrough technique खोज ली है, तो market से अपना पहला 1 billion dollar कमाने से पहले किसी और को बताना बेवकूफ़ी होगी। मेरे हिसाब से 1 billion dollar पर रुकना भी बेवकूफ़ी है। time-series forecasting, अगर हल हो सके, तो आर्थिक रूप से सबसे बड़ा reward देने वाली problem है। अगर यह paper के रूप में public हुई है, तो मैं उम्मीद करूंगा कि वही अपने-आप में निराशाजनक होगी
बस सभी monotone universal Turing machines पर iterate करें, जिनकी input tape सभी संभव collected data और interest वाली time series को जोड़कर बनी हो। जो programs बहुत ज़्यादा समय लेते हैं उन्हें skip करें, सिर्फ़ वे बाकी programs रखें जो input sequence को reproduce करते हैं, और फिर अगले output bit के लिए probability distribution को program size के 2^- weight से बना दें
इसमें इतना मुश्किल क्या है?
High-frequency trading industry में market data पर deep learning काफी समय से सफलतापूर्वक लागू की जा रही है। packet capture और tick से लेकर candle तक सब कुछ handle किया जाता है
50 quants/software engineers/traders की team सालाना 1 billion dollar से ज़्यादा profit कमाने का तरीका क्यों public करेगी?
standard time-series forecasting में वे characteristics आम तौर पर “periodic pattern जारी रहता है” या “growth pattern जारी रहता है” जैसी चीज़ें होती हैं
language data पर trained Transformer मूल रूप से ऐसी time-series forecasting सीखता है जिसमें आगे आने वाली चीज़ों को प्रभावित करने वाली complex characteristics बहुत विविध रूपों में आती हैं। language data इतना complex और diverse है कि text को आगे लिखने के लिए in-context learning ज़रूरी होती है। यह किसी भी तरह की symbol strings में common characteristics खोजने और उनका उपयोग करके आगे लिखने की क्षमता है
language data के अंदर stock prices या weather records जैसे अलग-अलग data वाली विशाल Excel tables भी शामिल हो सकती हैं। इसलिए यह plausible है कि in-context learning बहुत शक्तिशाली होकर zero-shot time-series continuation तक कर सके
इससे आगे, मुझे लगता है कि language data और Transformer architecture में in-context learning की वजह से वास्तविक general intelligence जैसा behavior हासिल करने की क्षमता है। यह general pattern recognition है। language data इतना complex है कि stochastic gradient descent को general pattern recognition और continuation तक पहुँचना ही पड़ेगा
हम अभी शुरुआती दौर में हैं, और फिलहाल in-context learning को बिगाड़ने वाली fine-tuning पर focus कर रहे हैं। लेकिन जल्द ही हम सभी modalities, और मिल सकने वाली हर symbol string पर बड़े Transformers train करेंगे
हालांकि video आखिरकार layers में stacked vision जैसा दिखता है। frames की vision भी vision की तरह काम क्यों नहीं कर सकती? अभी जवाब यह है कि यह काम नहीं करती, लेकिन मुझे जिज्ञासा है कि neural networks ऐसा नहीं कर सकते, या हमने अभी सही modeling approach नहीं खोजी है
“Prophet [Taylor and Letham, 2018] और ARIMA जैसे लोकप्रिय मॉडल को उनकी अत्यधिक compute requirements और लंबे training time की वजह से analysis से बाहर रखा गया” — यह बात समझ में नहीं आती
मुझे जानना है कि क्या time series forecasting का ज्यादा अनुभव रखने वाला कोई व्यक्ति इसे और विस्तार से समझा सकता है
मैंने ARIMA को कुछ आसान कामों में इस्तेमाल किया है। मुझे समझ नहीं आता कि इसका training और run cost transformer model से ज्यादा महंगा क्यों होगा, और अगर यह सच भी हो तो ARIMA इतना व्यापक रूप से इस्तेमाल होता है कि resources और time की तुलना करना उपयोगी होता
वरना यह sales pitch जैसा लगता है, जैसे “मैं expert हूं, abc xyz industry acronym” टाइप marketing के लिए जटिल acronyms फेंके जा रहे हों
आपकी वाजिब चिंता का जवाब दें तो compute cost ज्यादा होने के कई कारण हैं। पहला, ARIMA और दूसरी “statistical” methods local models हैं, इसलिए हर time series के लिए अलग-अलग model train करना पड़ता है। इसके उलट machine learning और deep learning models global models होते हैं, इसलिए सभी time series के लिए “एक” model इस्तेमाल होता है
दूसरा, इस experiment जैसी विविध time series collections में ARIMA आम तौर पर अच्छा perform नहीं करता। AutoARIMA बेहतर विकल्प है, लेकिन time series की संख्या और लंबाई को देखते हुए training time बहुत ज्यादा हो जाता है। साथ ही, AutoARIMA लंबी time series पर बहुत धीमा हो जाने की प्रवृत्ति रखता है
संक्षेप में, benchmark में इस्तेमाल की गई 5 लाख time series पर ARIMA लागू करने में सचमुच कई हफ्ते लगते और cost भी बहुत ज्यादा होती
इसलिए हमने Theta और CES जैसे अच्छे perform करने वाले कई local “statistical” models शामिल किए। सभी baselines के लिए हमने अपने open-source ecosystem implementations का इस्तेमाल किया, जिनमें StatsForecast, MLForecast, Neuralforecast शामिल हैं। छोटे subset पर reproducible experiments का set हम जल्द ही जारी करने वाले हैं
अगर 1970s की forecasting technique को “लंबे training time” के कारण बाहर रखा गया है, तो इस paper को गंभीरता से लेना मुश्किल है
ARIMA को बाहर रखने के कुछ बहाने मिल सकते हैं। असल में इसे ठीक से चलाने के लिए time series के बारे में महत्वपूर्ण prior information डालनी पड़ती है, जैसे seasonality या changepoint correction
लेकिन “excessive computation और long training time” लागू होने वाली बात नहीं है
वह हिस्सा थोड़ा दिखावा जैसा लगता है, लेकिन paper का बाकी हिस्सा, खासकर zero-shot capability, अगर पुष्टि हो जाए तो बहुत दिलचस्प है। उम्मीद है कि यह “contact us” वाली API से ज्यादा accessible होगा, ताकि खुद ARIMA वगैरह से तुलना की जा सके
इसमें कई खामियां और सीमाएं हैं, लेकिन computational efficiency समस्या नहीं है
यह paper बेहद कमजोर है। अहम चीजों पर जानकारी लगभग न के बराबर है, और architecture व data के बारे में बस इशारे भर हैं
इसके बजाय इसमें MAE formula या training और inference concepts दिखाने वाले diagrams जैसी चीजों पर जगह खर्च की गई है। हर जगह red flags हैं
मैं Nixtla का Max हूं। इतनी ज्यादा दिलचस्पी मिलेगी, यह उम्मीद नहीं थी, और positive व critical दोनों तरह की reactions देखकर खुशी है
कुछ अहम बातें साफ करना चाहता हूं
इस paper के पहले version का मुख्य उद्देश्य TimeGPT-1 को introduce करना, बड़े-scale experiments के preliminary results दिखाना और यह बताना है कि time series में भी इस scale का transfer learning सचमुच संभव है। जैसा कि paper में कहा गया है, हमें गहरा विश्वास है कि pretrained models कई applications में compute resources के लिहाज से बहुत cost-efficient solution हो सकते हैं। साथ ही यह version preprint है। हम data के एक हिस्से पर reproducible experiments का set जारी करने पर काम कर रहे हैं, इसलिए थोड़ा इंतजार करें
Nixtla का पिछला सारा काम open source था, और हमें लगता है कि TimeGPT practitioners को forecasting और anomaly detection तुरंत देने वाला viable commercial product बन सकता है। कुछ दिलचस्प details इसलिए छोड़ी गई हैं क्योंकि वे company को बढ़ाने, बेहतर solutions देने और ecosystem को लगातार build करने के लिए competitive edge का हिस्सा हैं
जैसा कि इस thread में दूसरों ने कहा है, हम अधिक से अधिक लोगों को free trial पर onboard करने की कोशिश कर रहे हैं, ताकि और स्वतंत्र practitioners अपने use cases में accuracy validate कर सकें। आप Prophet creator का initial impression https://x.com/seanjtaylor/status/1694745912776749296?s=20, GluonTS creator की प्रतिक्रिया https://www.linkedin.com/posts/tim-januschowski_foundational..., और H20 लोगों द्वारा किए गए शुरुआती tests https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457 भी देख सकते हैं। उम्मीद है जल्द ही और independent benchmarks आएंगे
academia में जब कहा जाता है कि “peer review महत्वपूर्ण है”, “अगर आप उस field के expert नहीं हैं तो arxiv preprints न पढ़ें”, तो वे ठीक इसी तरह की चीजों की बात कर रहे होते हैं
“Uncertainty जीवन का एक मूलभूत पहलू है, और एक ऐसा constant है जिसे इंसान बिना थके पार करने और समझने की कोशिश करता रहा है” — यह वाक्य थोड़ा अजीब है
ईमानदारी से कुछ करना अच्छी बात है, लेकिन अगर ऐसा करना है तो कम से कम BBC documentary से ज्यादा poetic तो होना चाहिए
संबंधित लगता है?
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
यह product https://www.nixtla.io/ के लिए marketing material जैसा दिखता है
गलत होऊं तो अच्छा होगा, लेकिन यह Seasonal Naive मॉडल से लगभग 20~30% बेहतर दिखने भर जैसा है। इतना सुधार तो बहुत उपयोगी नहीं लगता
zero-shot होना निश्चित रूप से प्रभावशाली है, लेकिन असल में उससे बहुत कुछ किया जा सकेगा, ऐसा नहीं लगता