Lance - ML workflow के लिए अनुकूलित आधुनिक Columnar data format
(github.com/lancedb)- Parquet से 2 lines of code में convert किया जा सकता है, और 100x तेज random access, vector index/search, data versioning आदि को support करता है
- pandas, duckdb, polars, pyarrow आदि के साथ compatible
- zero-copy, automatic versioning
- सबसे उपयुक्त उपयोग
- search engine और feature store बनाना
- बड़े ML model training, जहाँ high-performance IO और shuffle की जरूरत हो
- robotics, बड़े Blob (image, Point-cloud, ..) जैसी complex nested data को store/query/inspect करना
अभी कोई टिप्पणी नहीं है.