Athena से CloudWatch Logs query करना

• CloudWatch Logs की कमियाँ

  • Logs Insights का उपयोग करने पर भी कुछ समस्याएँ हल करना मुश्किल है

• Athena Federated Query के साथ CloudWatch Logs को query करने की कोशिश

  • query में बहुत ज़्यादा समय लगा, और

  • अनुकूल न होने वाले error log और दस्तावेज़ों की वजह से troubleshooting मुश्किल रही

• आखिरकार, क्लासिक तरीके Firehose से S3 में unloading करके Athena से query किया गया

  • इस तरीके में जिन बातों पर विचार किया गया

    • Firehose dynamic partitioning

    • Athena partition projection

    • Firehose buffer size & interval

  • ध्यान देने योग्य बातें

    • CloudWatch Logs subscription filter की संख्या सीमा

    • Log format

    • लागत

• IaC

  • Athena table DDL का terraforming

[toughrogrammer]

मैंने bullet list को multi-level में लिखा था, लेकिन formatting टूट गई है... whitespace और tab, दोनों आज़मा कर देखे, फिर भी वही समस्या रही, इसलिए फिलहाल ऐसे ही छोड़ दिया है। कृपया समझने की कृपा करें.

[xguru]

अभी वह संभव नहीं है। आगे चलकर Markdown सपोर्ट देंगे, तो कृपया थोड़ा इंतज़ार करें~

[toughrogrammer]

ओह, इसका इंतज़ार है! हमेशा की तरह सेवा का बहुत आभारी हूँ और इसे बहुत अच्छे से इस्तेमाल कर रहा हूँ।

[toughrogrammer]

कमेंट जोड़ने के बाद मैंने एक बार फिर कोशिश करने की सोची, लेकिन पोस्ट delete नहीं हो रही है। लगता है कि अगर कमेंट हो तो पोस्ट delete नहीं की जा सकती।