Claude की हाल की 3 समस्याओं का पोस्टमॉर्टम

हाल ही में हुई तीन समस्याओं का सारांश (कारण और समाधान)

1. Context Window Routing Error

• कारण: Sonnet 4 मॉडल के कुछ requests गलती से उन servers पर route हो गए जो 1M tokens वाले बड़े context window के लिए configured थे। 29 अगस्त के load balancing बदलाव से समस्या और बढ़ गई।
• समाधान: routing logic को ठीक किया गया ताकि requests सही server pool तक जाएँ, और इसे सितंबर में deploy किया गया।

2. Output Corruption

• कारण: Claude API TPU servers की गलत configuration की वजह से token generation के दौरान errors हुए, जिससे responses में अनपेक्षित characters दिखाई दिए। इसका असर कई Claude models पर पड़ा।
• समाधान: 2 सितंबर को गलत configured बदलाव की पहचान कर उसे rollback करके समस्या हल की गई।

3. "approximate top-k" miscompilation

• कारण: token selection को बेहतर बनाने के लिए किए गए code बदलाव ने XLA:TPU compiler में एक संभावित bug trigger कर दिया, जिससे Claude Haiku 3.5 और अन्य models प्रभावित हुए।
• समाधान: बदलाव को rollback किया गया और compiler bug को ठीक करने के लिए XLA:TPU टीम के साथ काम किया गया। साथ ही token selection के लिए "exact top-k" operation पर switch किया गया।