- AWS और अन्य cloud services से Log files को अपने-आप collect और analyze करने वाला application
- फीचर के काम करने का तरीका
- boto3 (AWS) और Ansible inventory file (अन्य clouds) का उपयोग करके remote devices पर SSH connection किया जाता है
- तय की गई log files को download करके parse किया जाता है और database input के लिए queue में डाला जाता है
- SQLAlchemy के साथ parsed queue से parsed log entries को SQLite में insert किया जाता है
- DB में save किए गए log entries को process और analyze किया जाता है। error items को खोजने और तय मानदंडों के आधार पर aggregated data views बनाने वाले functions दिए गए हैं
- हर remote machine से network activity data लाकर process किया जाता है
- Datasette का उपयोग करके DB को web app के रूप में साझा किया जाता है
1 टिप्पणियां
ऐसे लेखों के साथ हमेशा की तरह, यह ध्यान में रखकर पढ़ना चाहिए कि इसमें थोड़ी अतिशयोक्ति हो सकती है.
खैर, यह भले ही परफेक्ट न हो, लेकिन उपयोग के हिसाब से सिर्फ एक साधारण स्क्रिप्ट से भी महंगे सिस्टम को बदला जा सकता है.
महंगे टूल ले आने से भी सब कुछ अपने-आप नहीं हो जाता.
Datasette - व्यक्तिगत डेटा वेयरहाउस के लिए ओपन सोर्स