हाल ही में r/codex पर एक दिलचस्प पोस्ट आई।
एक यूज़र ChatGPT Pro + Codex में GPT-5.4 इस्तेमाल कर रहा था, लेकिन उसने सवाल उठाया कि context सिर्फ 258K ही क्यों दिख रहा है।
“सुना था GPT-5.4 में 1M context है, फिर सिर्फ 258K ही क्यों आ रहा है?”
असल में Codex CLI या IDE में देखने पर कुछ मामलों में default context लगभग 258K दिखता है।
कमेंट्स में जो समाधान सामने आया, वह था config setting को सीधे जोड़ना।
उदाहरण:
model_context_window=800000
model_auto_compact_token_limit=700000
इसे config.toml में जोड़ने पर, अनुभव साझा करने वालों के अनुसार context को लगभग 800K स्तर तक बढ़ाकर इस्तेमाल किया जा सकता है।
कुछ मुख्य बातें:
• GPT-5.4 अधिकतम लगभग 1M token context सपोर्ट करता है, ऐसा माना जाता है
• लेकिन Codex environment में कुछ मामलों में default setting लगभग 258K की सीमा के साथ शुरू होती है
• config values बदलने पर बड़ा context इस्तेमाल किया जा सकता है
साथ ही, कुछ यूज़र्स ने यह भी कहा कि अगर setting को अधिकतम सीमा के बहुत पास ले जाएँ तो performance गिर सकती है, इसलिए थोड़ा margin रखना बेहतर है।
⸻
मुझे व्यक्तिगत रूप से जो बात दिलचस्प लगी
AI tools जैसे-जैसे अधिक जटिल हो रहे हैं,
ऐसा लगता है कि “model spec = actual default setting” अब हमेशा सच नहीं रहता।
खासकर agentic coding / Codex जैसे environments में, सही performance निकालने के लिए settings को सीधे छेड़ना पड़ सकता है।
क्या यहाँ किसी ने Codex या CLI में long context (500K~1M) को वास्तव में इस्तेमाल करके देखा है?
यह भी जानने की उत्सुकता है कि real development workflow में इसका असर कितना महसूस होता है।
7 टिप्पणियां
जब
model_context_window=800000का उपयोग किया जाता है, तो context का 50% खर्च होने के बाद सवालों के जवाब पिछले सवालों के जवाब की दिशा में जाने लगते हैं। कृपया संदर्भ के लिए इसे ध्यान में रखें।मुझे यह भी नहीं पता था कि 1M context संभव है।
कहा जा रहा है कि उस सीमा से ऊपर बढ़ने पर token की कीमत दोगुनी हो जाती है, इसलिए इसे जांच लेना बेहतर होगा।
मैंने पुष्टि की है कि यह MacOS के codex ऐप पर भी उसी तरह लागू होता है।
मैंने इसे इस्तेमाल किया है, और gpt-5.4 का परफ़ॉर्मेंस अपने आप में काफ़ी संतोषजनक है, लेकिन यह हमेशा पूरी तरह स्थिर नहीं है—कभी-कभी यह ठीक पिछला संदेश नहीं बल्कि उससे पहले वाले संदेश का जवाब बना देता है। साथ ही, long context इस्तेमाल करने पर needle in the haystack task में इसका परफ़ॉर्मेंस 50% से नीचे गिर जाता है, ऐसी रिपोर्ट भी हैं, इसलिए मैं इसे ज़ोर देकर recommend नहीं करना चाहूँगा। हालांकि, मुझे यह नहीं पता कि needle in the haystack task खुद long-context परफ़ॉर्मेंस मापने के लिए वाकई उपयुक्त benchmark है या नहीं। वैसे Codex में compaction में भी ज़्यादा समय नहीं लगता, और compact के बाद भी यह context को ज़्यादा नहीं भूलता, इसलिए उसे तो सामान्य तौर पर बिना किसी बड़ी असुविधा के इस्तेमाल किया जा सकता है।
अगर उचित harness हो, तो फिर भी यह बुरा नहीं लगता। क्योंकि compaction खुद कम होता है, इसलिए बीच में loss होने की समस्या भी कुछ कम हो जाती है..
आह.. तभी मुझे भी लग रहा था कि context window बहुत छोटा है, पता चला कि इसे अलग से सेट करना पड़ता है।