warc-parquet - WARC को Parquet में बदलने वाला CLI

• Web ARChive (.warc) फ़ाइलों को column-based Apache Parquet format में बदलता है
• DuckDB में Parquet लोड करके आसानी से query किया जा सकता है
• Rust open source

[xguru]

DuckDB - Embedded OLAP DB ओपनसोर्स

यह कुछ समय पहले पोस्ट किए गए WarcDB - Web crawl data as SQLite DB जैसा लगता है।
लेकिन जहाँ पहले से Parquet इस्तेमाल करने वाला इंफ्रास्ट्रक्चर मौजूद है, वहाँ इसे इस्तेमाल करना शायद और आसान होगा