Athena से CloudWatch Logs query करना
(engineering.ab180.co)<p>- CloudWatch Logs की कमियाँ<br />
- Logs Insights का उपयोग करने पर भी कुछ समस्याएँ हल करना मुश्किल है<br />
- Athena Federated Query के साथ CloudWatch Logs को query करने की कोशिश<br />
- query में बहुत ज़्यादा समय लगा, और<br />
- अनुकूल न होने वाले error log और दस्तावेज़ों की वजह से troubleshooting मुश्किल रही<br />
- आखिरकार, क्लासिक तरीके Firehose से S3 में unloading करके Athena से query किया गया<br />
- इस तरीके में जिन बातों पर विचार किया गया<br />
- Firehose dynamic partitioning<br />
- Athena partition projection<br />
- Firehose buffer size & interval<br />
- ध्यान देने योग्य बातें<br />
- CloudWatch Logs subscription filter की संख्या सीमा<br />
- Log format<br />
- लागत<br />
- IaC<br />
- Athena table DDL का terraforming</p>
4 टिप्पणियां