Brave Leo अब डिफ़ॉल्ट रूप से ‘Mixtral 8x7B’ का उपयोग करता है

 (brave.com)
1 पॉइंट द्वारा GN⁺ 2024-01-29 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Brave डेस्कटॉप ब्राउज़र v1.62 से, privacy-focused AI browser assistant Leo का डिफ़ॉल्ट LLM Mixtral 8x7B में बदल गया है
  • Mixtral 8x7B, Mistral AI द्वारा दिसंबर में जारी किया गया open source LLM है; इसकी speed, performance और open model प्रकृति Brave की product direction से मेल खाती है, इसलिए इसे Leo में integrate किया गया
  • Brave के अनुसार, Mixtral 8x7B LMSYS Chatbot Arena Leaderboard के आधार पर ChatGPT 3.5, Claude Instant, Llama 2 आदि से आगे है, और BBQ benchmark में hallucination और bias कम करने में सुधार दिखाता है
  • Free Leo और प्रति माह 15 डॉलर Premium दोनों में Mixtral 8x7B डिफ़ॉल्ट रूप से मिलता है, लेकिन free version में usage limits अधिक सख्त हैं और Premium में higher limits मिलती हैं
  • Leo requests को reverse proxy के जरिए anonymously process करता है, conversations को store नहीं करता या model training में उपयोग नहीं करता, और इसे अलग app के बिना address bar या sidebar से इस्तेमाल किया जा सकता है

Leo का default model Mixtral 8x7B में बदला गया

  • Brave ने desktop browser v1.62 update के साथ Leo का default large language model Mixtral 8x7B से replace किया
  • Leo, Brave द्वारा दिया जाने वाला privacy-focused AI browser assistant है, जो browser के भीतर सीधे AI features इस्तेमाल करने देता है
  • इस update में model change के अलावा clearer onboarding, context control, input/response format और overall UI improvements भी शामिल हैं

Mixtral 8x7B चुनने की वजह

  • Mixtral 8x7B, Mistral AI द्वारा दिसंबर में जारी किया गया open source LLM है, और speed व performance की वजह से developer community में इसका उपयोग तेजी से बढ़ा
  • LMSYS Chatbot Arena Leaderboard के अनुसार यह ChatGPT 3.5, Claude Instant, Llama 2 आदि से बेहतर performance दिखाता है
  • BBQ benchmark के अनुसार hallucination और bias reduction के मामले में भी सुधार है
  • मुख्य features इस प्रकार हैं
    • बड़े context को process करना
    • English, French, German, Italian, Spanish में interactions
    • code generation

Brave product में Mixtral का उपयोग

  • Brave पहले से Brave Search की programming-related query feature Code LLM में Mixtral का उपयोग कर रहा है
  • Mixtral की performance और open source nature, Brave के open models और open source community support की दिशा से मेल खाती है
  • Brave CTO और co-founder Brian Bondy ने कहा कि Leo को हजारों free users और paid subscribers ने अपनाया है, और Mixtral शामिल होने से वे और अधिक adoption की उम्मीद करते हैं
  • Mistral AI CEO Arthur Mensch ने Mixtral के Brave Search के CodeLLM और Brave Leo में उपयोग को सकारात्मक बताया

Free और Premium model options

  • Leo में जरूरत और budget के अनुसार कई models चुने जा सकते हैं
  • Mixtral 8x7B free version और Premium दोनों के default LLM के रूप में उपलब्ध है
  • दोनों plans Anthropic के Claude Instant और Meta के Llama 2 13B को भी support करते हैं
  • Free Leo की usage conditions इस प्रकार हैं
    • Mixtral 8x7B और Claude Instant पर strict usage limits हैं
    • Llama 2 13B में higher usage limits हैं
    • Mixtral usage limit तक पहुंचने पर, पुराने Leo experience यानी Llama 2 पर वापस जाकर AI use जारी रखा जा सकता है
  • Leo Premium प्रति माह 15 डॉलर है, और Mixtral 8x7B, Claude Instant, Llama 2 13B को higher usage limits के साथ देता है

Privacy protection तरीका

  • Leo की chats को private, anonymous और secure मानकर design किया गया है
  • chats record नहीं की जातीं, model training में इस्तेमाल नहीं होतीं, और उपयोग के लिए account या login जरूरी नहीं है
  • Privacy protections इस प्रकार हैं
    • Reverse proxy: सभी requests को anonymization server के जरिए proxy process किया जाता है, ताकि request और user address को जोड़ा न जा सके
    • Response के तुरंत बाद discard: Leo response generation के तुरंत बाद discard कर दिया जाता है और Brave servers पर conversation store नहीं होती
    • Identifiers collect नहीं किए जाते: IP address जैसे identifiers, जिन्हें user से जोड़ा जा सकता है, collect नहीं किए जाते
    • Third-party provider storage नहीं: AI model या third-party model providers personal data store नहीं करते
    • Account की जरूरत नहीं: Brave account बनाए बिना भी Leo इस्तेमाल किया जा सकता है
    • Unlinkable subscription token: Leo Premium subscribe करते समय subscription को ऐसे token से verify किया जाता है जिससे purchase information और product usage को जोड़ा नहीं जा सकता

उपयोग का तरीका और availability

  • Leo browser में built-in है, इसलिए अलग app या extension के बिना इस्तेमाल किया जा सकता है
  • Brave desktop users address bar में question type करने के बाद “Ask Leo” पर click कर सकते हैं या Brave Sidebar से Leo खोल सकते हैं
  • webpage के बगल में chat-style sidebar या address bar के जरिए AI features access किए जाते हैं
  • page context में यह निम्न tasks support करता है
    • webpages या videos की real-time summarization
    • content पर question answering
    • नया content generation
    • page translation
    • page analysis
    • sentence rewriting
    • code writing support
  • Leo नवंबर से Brave desktop users के लिए उपलब्ध है, और उस version का number 1.60 है
  • Android और iOS के लिए Leo जल्द उपलब्ध होगा

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-01-29
Hacker News की राय

  • Mixtral 8x7B को लोकल पर चलाने के लिए llama.cpp इस्तेमाल किया जा सकता है, और text-generation-webui जैसी supporting libraries/interfaces के साथ https://huggingface.co/TheBloke/Nous-Hermes-2-Mixtral-8x7B-S... इस्तेमाल कर सकते हैं
    सबसे छोटे 2-bit quantization version को भी 20GB RAM चाहिए, और ठीक-ठाक 4090 GPU के VRAM में offload किया जा सकता है
    4-bit quantization version वह सबसे बड़ा model है जो 32GB system में मुश्किल से fit होता है और करीब 29~31GB इस्तेमाल करता है
    6-bit को 41GB, 8-bit को 52GB चाहिए, इसलिए 64GB system की जरूरत है, और higher-precision models को VRAM में offload करने के लिए shared memory वाले कई GPU चाहिए
    7B और 13B models आज़माए हैं, लेकिन इन models या दूसरे बड़े models पर अभी experiment नहीं किया है

    • code-related performance और चाहिए तो dolphin-mixtral fine-tuning भी आज़मा सकते हैं: https://huggingface.co/TheBloke/dolphin-2.7-mixtral-8x7b-GGU...
    • कई GPU के बजाय कोई शक्तिशाली Apple Silicon machine भी काम कर सकती है
      36GB RAM वाले MacBook M3 पर dolphin mixtral 4-bit इस्तेमाल किया था, inference बहुत तेज़ था
    • 2-bit काफी खराब है, इसलिए serious use के लिए recommend करना मुश्किल है
    • llama.cpp की तुलना में koboldcpp पसंद है
      VRAM से बड़े model को GPU/CPU में बांटकर चलाना आसान है
    • memory requirements की बात करते समय sequence length भी साथ में देखनी चाहिए
      Mixtral 32,000 tokens support करता है, इसलिए यह हिस्सा used memory में काफी बड़ा योगदान दे सकता है

  • Brave इस feature और दूसरे privacy protection features के लिए तारीफ के काबिल है
    यह unlinkable subscription token तरीका है, इसलिए Leo Premium subscribe करने पर Leo इस्तेमाल करते समय subscription verify करने वाला token जारी होता है, और Brave payment information को product usage history से link नहीं कर सकता
    account बनाने में इस्तेमाल हुआ email भी Leo के रोज़मर्रा के use से link नहीं होता, इसलिए यह काफी अनोखा private credentials तरीका है

    • बहुत शानदार है और इसे अपने app में भी डालकर देखना चाहूंगा
      foreign keys इस्तेमाल किए बिना यह ठीक-ठीक कैसे काम करता है, क्या किसी को पता है, यह जानना चाहता हूं

  • लगता है पहली Leo announcement छूट गई, लेकिन यह दिलचस्प है, और privacy का ध्यान रखकर किया गया design पसंद आया
    chat history save नहीं की जाती—यही बात मैं चाहता था

    • उस दावे को verify करने का कोई तरीका नहीं है
      जैसे VPN services के no-log दावों को verify करने का कोई तरीका नहीं होता
    • Brave पर भरोसा करना मूर्खता है
      https://www.spacebar.news/p/stop-using-brave-browser

  • सोच रहा हूं कि Mixtral देने वाले अच्छे API providers कौन से हैं
    सिर्फ OctoAI के बारे में जानता हूं, जो ठीक लगता है, और alternatives भी जानना चाहूंगा

    • model बनाने वाली company भी अपना platform चलाती है, और इस model व दूसरे models को API के जरिए इस्तेमाल किया जा सकता है: https://console.mistral.ai/
    • अभी Groq के बारे में पता चला, कहा जा रहा है कि mixtral 8x7B-32k पर 485.08 tokens/second मिलता है
      price नहीं पता, लेकिन लगता है api@groq.com पर email भेजना होगा
    • OpenRouter आम तौर पर अच्छा option है, और सबसे अच्छी बात यह है कि यह सभी LLMs के लिए unified API देता है
      pricing भी provider की अपनी pricing जैसी ही है
      हालांकि OpenAI/Anthropic models के लिए उन companies की requirements के कारण input/output filtering चालू करनी पड़ी थी
    • ये पहले से मौजूद services हैं, लेकिन Anyscale Endpoints का काफी अच्छा इस्तेमाल कर रहा हूं
      बहुत तेज़ है और default settings में ही एक साथ 10 jobs handle करता है
      Together.ai भी शुरुआती testing में ठीक लगा, लेकिन अभी बड़े scale पर इस्तेमाल नहीं किया है
    • Mistral की commercial API और AnyScale की commercial API, दोनों को mixtral-8-7b के लिए इस्तेमाल किया है, और दोनों use करने में आसान थीं
      M2 Pro 32GB memory system पर mixtral-8-7b का 3-bit quantization version भी चलाता हूं, और यह काफी तेज़ है
      कई options होना अच्छी बात है

  • पिछले हफ्ते के दौरान poe और chat.groq.com पर मौजूद versions चलाकर देखे
    llama 70b से काफी बेहतर है

  • address bar से सीधे LLM query कर पाने की बात दिलचस्प है
    आगे चलकर क्या वे यह तय करने के लिए heuristics बनाएंगे कि query सीधे LLM को भेजनी है या default search provider का इस्तेमाल करना है, यह जानना रोचक होगा

  • gpt4 इस्तेमाल करने के बाद mistral इस्तेमाल करना ऐसा लगता है जैसे Retina display देखने के बाद low-resolution screen पर लौटना
    लगातार लगता रहता है, “लेकिन GPT4 होता तो यह कर सकता था”

    • जानना चाहूंगा कि क्या आपने mixtral इस्तेमाल किया है

  • ollama से Mixtral local पर चला रहा हूं

  • क्या AI से pages summarize करने वाला कोई अच्छा Chrome extension है?
    Google Search के top results में से कुछ इस्तेमाल किए, और वे चलते तो ठीक हैं, लेकिन बेकार features बहुत ज्यादा होने से bloated थे