Turbopuffer - ऑब्जेक्ट स्टोरेज में तेज़ सर्च तकनीक

 (turbopuffer.com)
9 पॉइंट द्वारा GN⁺ 2024-07-11 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 2022 के अंत में, Readwise के इंफ्रास्ट्रक्चर को स्केल करते समय लेख recommendation और vector embedding का उपयोग करने वाली semantic search सुविधा जोड़ने की कोशिश की गई
  • relational database की लागत $5k प्रति माह थी, लेकिन vector search की लागत $20k+ प्रति माह होने के कारण, ऊँची लागत की वजह से इस फीचर का implementation छोड़ दिया गया
  • मौजूदा search engine महंगे हैं और उनका संचालन कठिन है: object storage, NVMe SSD, AI और vector तकनीक की प्रगति के साथ एक नए search engine की ज़रूरत है
  • मौजूदा vector database in-memory storage का उपयोग करते हैं, इसलिए उनकी लागत अधिक है
    • object storage (S3, GCS) और SSD caching का उपयोग करके लागत को काफी कम किया जा सकता है
    • उदाहरण: in-memory storage $2+/GB, object storage $0.02/GB

turbopuffer की डिज़ाइन

  • आज के समय के अनुरूप search engine विकसित किया गया
  • object storage और smart caching का उपयोग करके cost efficiency और performance दोनों हासिल किए गए
  • अरबों vectors और लाखों tenants को संभाला जा सकता है
  • object storage-आधारित search engine
    • मौजूदा search engine relational database की replicated disk architecture का उपयोग करते हैं
    • search engine को high write throughput और loose write latency की आवश्यकता होती है
    • object storage और SSD/memory caching के माध्यम से लागत घटाते हुए performance बनाए रखी जाती है
  • object storage native database implementation
    • object storage को आधार बनाकर database बनाया गया
    • उच्च reliability और unlimited scalability प्रदान करता है
    • multi-tenancy और sharding के माध्यम से high availability बनाए रखता है
  • ग्राहक उदाहरण
    • Cursor: AI code editor, अरबों vectors को manage करते हुए लागत 10 गुना कम की
    • Suno: radio फीचर
    • Dot: memory फीचर
    • Shapes: memory फीचर

GN⁺ का सार

  • turbopuffer object storage और smart caching का उपयोग करके search engine की cost efficiency और performance में बड़ा सुधार करता है
  • यह मौजूदा search engine की ऊँची लागत और संचालन की कठिनाई को हल करना चाहता है
  • AI और vector तकनीक की प्रगति के अनुरूप नया search engine डिज़ाइन किया गया है
  • Cursor जैसे शुरुआती ग्राहक उदाहरणों के माध्यम से लागत में कमी और performance improvement साबित किया गया है
  • समान कार्यक्षमता वाले अन्य प्रोजेक्ट्स में ElasticSearch और Vector DBs शामिल हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-11
Hacker News राय

  • मैंने Simon के साथ काम किया है, और वह अपने क्षेत्र में बहुत माहिर हैं

    • Shopify में हमने search से जुड़े काम साथ किए थे, और ideal search stack के बारे में बहुत बातचीत की थी
    • क्लाउड में search API के ज़रिए ranking व्यक्त करने वाला, और dataframe math का उपयोग करके अलग-अलग attributes पर boost करने वाला ideal system चाहिए

  • आशा है कि Turbopuffer, Polars dataframe की तरह काम करे ताकि search API में ranking व्यक्त की जा सके

    • dataframe math का उपयोग करके first pass चलाने और reranking model चलाने की सुविधा चाहिए

  • Fixie.ai की website design भी बहुत पसंद आई

    • Fixie.ai, Turbopuffer के ग्राहकों में से एक है

  • Hetzner में RAM की लागत $200/TB/माह है, जो दूसरी जगहों की तुलना में 18 गुना सस्ती है

    • complexity कम करने से लक्ष्य जल्दी हासिल किया जा सकता है

  • 2022 से पहले भी pg_vector मौजूद था, और in-memory storage की ज़रूरत नहीं है

    • 10 करोड़ से अधिक documents पर vector search किया जा सकता है

  • सोच रहा हूँ कि क्या Lucene का उपयोग करके object storage के सामने SSD cache nodes रखने वाला approach बनाया जा सकता है

    • Elasticsearch की बड़े पैमाने की deployments देखी हैं, और अगर सब कुछ S3 में रखा जा सके तो यह कमाल होगा

  • यह Quickwit के source-closed version जैसा लगता है

  • सोच रहा हूँ कि क्या S3 में बड़े read-only database को स्टोर करके सीधे query करने के लिए कोई सामान्य solution है

    • Duckdb, parquet files को http के जरिए खोलकर query कर सकता है, लेकिन यह बहुत सारे छोटे requests trigger करता है
    • लाखों objects को manage करने के लिए एक single file और cache किया जा सकने वाला index चाहिए

  • ClickHouse की read latency 100ms से कम और write latency 1 सेकंड से कम है

    • ClickHouse logging, real-time analytics, और RAG के लिए भी उपयुक्त है

  • vector database के बारे में ज़्यादा नहीं जानता, लेकिन लगता है कि इसका उपयोग मुख्य रूप से RAG और दूसरे AI-संबंधित कामों में होता है

    • इसे और गहराई से देखने की ज़रूरत है

  • मेरा मानना है कि object storage-first approach क्लाउड के लिए स्वाभाविक रूप से उपयुक्त है