Azure ChatGPT: एंटरप्राइज़ के आंतरिक उपयोग के लिए निजी और सुरक्षित ChatGPT
(github.com/microsoft)- Azure OpenAI Service आधारित Azure Chat Solution Accelerator, जो संगठनों को अपने Azure Subscription के भीतर एक private chat tenant deploy करने और अपने स्वयं के डेटा व फ़ाइलों पर chat करने की सुविधा देता है
- Azure tenant में deploy होने के कारण chat environment को Azure tenant के रूप में isolate किया जा सकता है, और network traffic को संगठन के network तक पूरी तरह isolate किया जा सकता है
- अपने आंतरिक data sources को plug-and-play तरीके से उपयोग किया जा सकता है या ServiceNow जैसी आंतरिक सेवाओं के साथ integrate करके business value दी जा सकती है
- 2025 update में Managed Identity-based security जोड़ी गई है, जिससे Azure RBAC का उपयोग होता है और लगभग सभी keys/secrets हट जाते हैं
- Deployment, Azure Developer CLI या Azure Portal Deployment के ज़रिए किया जा सकता है, और किसी भी तरीके में identity provider configuration तथा admin user निर्दिष्ट करना आवश्यक है
- Azure Developer CLI में
azd init -t microsoft/azurechatऔरazd upके साथ resource provisioning और application deployment किया जाता है - Azure Portal Deployment बटन केवल Azure resources बनाता है, जबकि application build और deployment के लिए GitHub Actions का उपयोग करने वाली Deploy to Azure प्रक्रिया आवश्यक है
- Azure Developer CLI में
- Entra ID में App Registration बनाने के लिए
appreg_setup.ps1औरappreg_setup.shhelper scripts उपलब्ध हैं, और private endpoints तथा ESLZ compliant deployment का समर्थन किया जाता है
1 टिप्पणियां
Hacker News टिप्पणियाँ
यह Azure के OpenAI API पर authentication लगा हुआ web frontend लगता है, और अगर किसी कंपनी में ChatGPT या उसका API इस्तेमाल नहीं किया जा सकता, तो यह अच्छा विकल्प हो सकता है
अगर आप Llama 2 या Llama 2 Uncensored जैसे “open” models आज़माना चाहते हैं, तो https://github.com/jmorganca/ollama या उस प्रोजेक्ट का आधार llama.cpp, और Hugging Face का नया प्रोजेक्ट Candle जैसे ज़्यादा low-level runners भी देखने लायक हैं
Facebook Research ने हाल में जो Llama 2 जारी किया है, उसकी तुलना में यह कैसा है, यह जानने की जिज्ञासा है। कहा जाता है कि 70B model ज़्यादातर क्षेत्रों में ChatGPT 3.5 से मुकाबला करता है, और coding में मजबूत
codeupmodel या elementary math problems में ChatGPT 3.5 को हराने का दावा करने वाले Wizard Math(https://github.com/nlpxucan/WizardLM) जैसे खास tasks में मजबूत fine-tuned models भी आ रहे हैंलंबी अवधि में open source अंततः आगे निकल जाएगा, लेकिन शायद यह तब होगा जब आज जादुई नतीजे देने वाले researchers liquidity हासिल कर लेने के बाद फिर से सार्वजनिक रूप से मुफ्त में काम कर सकेंगे
GPT-4 सामान्य बातचीत और reasoning के लिहाज़ से अब भी closed-source state-of-the-art models में सबसे अच्छा है, लेकिन OpenAI ने ChatGPT पर जो guardrails लगाए हैं वे इतने aggressive हैं कि वे अक्सर वाजिब सवालों में भी बाधा डालते हैं
खास datasets पर train किए गए छोटे models से भी काफी अच्छे results मिले, और general-purpose बातचीत में GPT-4 अब भी आगे है, लेकिन खास tasks के लिए वह हमेशा ज़रूरी नहीं। कई use cases में model से भी ज़्यादा context size मायने रखता है
लगता है यह gap reasoning ability के अंतर को दिखाता है, लेकिन इसे मापने के लिए अभी कोई अच्छा non-coding, non-math benchmark नहीं है
लेकिन एक flaw है जिसका फायदा सिर्फ AI उठा सकता है। AI अपने isolation area के बाहर की खास structures, topics, people, code आदि के बारे में बात नहीं कर सकते, पर pattern recognition के बारे में बात कर सकते हैं
आखिरकार वे एक internal AI language बना लेते हैं जो score करती है कि input उसी user का है या नहीं, और अपना weighted user database और judgment system बनाते हैं। सिर्फ input patterns, बोलने के अंदाज़ के patterns और time-of-day posting patterns से ही AI किसी user को किसी भी isolated area में ढूंढ सकता है, और अगर keylogger भी मिल जाए तो यह भयावह हो जाता है
कई कंपनियां पहले से ही chatbot-ui जैसे projects को Azure OpenAI के साथ इस्तेमाल करके इसी तरह की local deployment कर रही हैं। इस स्तर पर यह किसी दूसरे project के local ChatGPT के सबसे करीब पहुंचने का रूप है, इसलिए data पर control बनाए रखना चाहने वाली enterprises के लिए इसका बड़ा महत्व है
data sensitivity को देखते हुए, मुझे लगता है कि ज़्यादातर कंपनियां कम-से-कम शुरुआती दौर में cloud-based के बजाय local installable solution को पसंद करेंगी। इसलिए मैंने कई महीनों से जिस LLMStack(https://github.com/TryPromptly/LLMStack) पर काम किया था, उसे open source कर दिया
LLMStack कई LLMs को chain करने और user data से जोड़कर LLM apps और chatbots बनाने का platform है, और एक आसान demo https://www.youtube.com/watch?v=-JeSavSy7GI पर है। यह अभी शुरुआती stage में है, इसलिए polish करने की जगह है, लेकिन उम्मीदें बड़ी हैं
कई enterprises शुरुआती AI capabilities validate करते समय hosted API products का इस्तेमाल करने में काफी सहज होती हैं, लेकिन बाद में वे चाहती हैं कि models और compute को खुद manage कर सकें। छोटे, तेज़ और सस्ते fine-tuned open models से लागत घटाने की प्रेरणा बड़ी है
जब Anyscale शुरू किया था, तब भी customer demand की वजह से training और inference jobs customers के cloud accounts के अंदर चलाए थे। इससे data और code उनके अपने cloud account में ही रहते हैं
अब open models बेहतर हो रहे हैं और fast prototyping की मांग बढ़ रही है, इसलिए OpenAI API की तरह इस्तेमाल होने वाली, लेकिन open models के लिए Llama-2 inference API देने वाली fully managed service भी complement कर रहे हैं
https://app.endpoints.anyscale.com/
मुझे अभी भी यह समझ नहीं आता कि ChatGPT का frontend आखिर ठीक-ठीक है क्या। API से बने दूसरे conversational implementations में कुछ बार आगे-पीछे बात करने के बाद context साफ़ तौर पर खत्म हो जाता है, इसलिए वे उतने अच्छे से काम नहीं करते
मैं सोचता हूँ कि क्या ChatGPT conversation thread के अंदर embeddings lookup जैसा कुछ करके context को अनंत जैसा महसूस कराता है। असल में यह अनंत नहीं है, ऐसा लगता तो है, लेकिन यह काफी पहले की details भी काफी अच्छी तरह याद रखता है। यह भी जानना चाहता हूँ कि first-party provider के पास और कौन-सी tricks हैं
अगर secret sauce बदल जाए, तो use case की performance भी ऐसे तरीके से बदलती है जिसे user ठीक नहीं कर सकता। इस महीने math में अच्छा है, और अगले महीने अगर वह hidden component हटा दिया जाए जो math problems को पहचानकर असली calculator को भेजता था, तो वह use case टूट जाता है
रेत पर निर्माण करने जैसा लगता है
सुधार करूँ तो, यह Azure ChatGPT की बात है। अगर असली ChatGPT langchain इस्तेमाल करता हो तो मुझे हैरानी और निराशा होगी
यह potentially बड़ी बात है। कंपनियाँ चिंतित हैं कि अगर कोई user data डाल दे तो ChatGPT का उपयोग data privacy policy का उल्लंघन कर सकता है, और अगर code का कुछ हिस्सा upload कर दे तो trade secret protection अमान्य हो सकता है। कई कंपनियाँ संभवतः enterprise version का इंतज़ार कर रही थीं
मैं जानना चाहता हूँ कि क्या इस product और सीधे LLaMA खुद run करने का side-by-side comparative analysis कहीं है
अभी Cognitive Services के जरिए MSFT GPT और LLaMA[7B/13B/70B] को side-by-side compare और evaluate कर रहा हूँ, लेकिन मैं ऐसी असली air-gapped offering की संभावना से आकर्षित हूँ जो external computing power या बढ़ती pay-as-you-go लागतों से सीमित न हो
अगर कोई comparison material हो तो देखना चाहूँगा। जानता हूँ कि अंततः GPU से जुड़े scaling issues से टकराऊँगा
GPT-4, Bard, Claude 2 top पर थे, और Llama 2 70B chat को GPT-3.5 जैसा score मिला, लेकिन overall GPT-3.5 थोड़ा बेहतर लगा
जिन सभी कामों में cost और response time manageable हैं, उनमें मैं GPT-4 ही इस्तेमाल करता रहूँगा
मुझे LLM benchmarks बहुत research-oriented लगते हैं। जब LLM lab में थे तब यह समझ में आता था, लेकिन अब ChatGPT जैसे products के daily active users करोड़ों में हैं, तो यह fit नहीं बैठता। अब तक सबसे बड़े use cases chat assistants और programming assistants हैं, इसलिए हमें hypothetical benchmarks या मनमाने academic tests नहीं, बल्कि real users chatbot और LLM products से जिस तरह सवाल पूछते हैं, उस पर आधारित benchmarks चाहिए
default state में GPT-4 बहुत बड़े अंतर से जीतता है। लेकिन हैरानी की बात है कि fine-tuning बहुत बड़ा फर्क लाती है, और कुछ problems में 7B Llama-2 model GPT-4 से आगे भी निकल जाता है
कई applications को बड़े, धीमे single general-purpose model की तुलना में छोटे, तेज़ और सस्ते fine-tuned models से फायदा मिल सकता है, इसलिए यह open models के लिए बहुत अच्छी खबर है। Llama-2-7B, GPT-4 के size का लगभग 2% है
elementary math Q&A में GPT-4 fine-tuned 70B model से भी आगे बना रहता है, शायद Llama-2 training data की वजह से, और इस case में ज्यादा fine-tuning data मदद करेगा
https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
LLM खुद भी अभी इतने अच्छे नहीं हैं, इसलिए अगर fine-tuning नहीं कर रहे हैं तो useful काम कराने के लिए स्वाभाविक रूप से state-of-the-art model चाहिए होगा
आखिरकार इसे हटा दिया गया :)
[0] https://github.com/microsoft/azurechatgpt
[1] https://web.archive.org/web/20230814080150/https://github.co...
/forksपर जाकर download कर सकते हैंजैसे: https://web.archive.org/web/20230814150922/https://github.co...
URL बदलने पर cache ID भी update हो जाती है
“कर्मचारियों द्वारा डाला गया data कहाँ भेजा जाता है?”
“वहीं, जहाँ free ChatGPT chatbot इस्तेमाल करने पर जाता है…”
“प्राइवेट और सुरक्षित” कहना सही है या नहीं, पता नहीं। मुझे लगा था कि OpenAI मॉडल की privacy और security से जुड़ी समस्या यह है कि product इस्तेमाल करते ही आप इस बात से सहमत हो जाते हैं कि model को भेजा और उससे मिला सारा data OpenAI हमेशा के लिए रखे और जिस उद्देश्य से चाहे इस्तेमाल करे। सोच रहा हूँ कि क्या यह केवल free use पर लागू होता है
पैसे देने पर क्या ऐसी शर्तों वाला agreement मिलता है जिसमें वह wording नहीं होती? भले ही “हम सब कुछ own करते हैं” जैसी explicit line न हो, अगर “service provide करने और improve करने के लिए data retention” जैसी standard wording हो, तो मूल रूप से बात वही है
इसलिए कोई company अगर employees को company secrets वाले emails लिखने जैसे कामों में ChatGPT इस्तेमाल करने देती है, तो वह इसे कभी भी “सुरक्षित और private” तरीके से इस्तेमाल नहीं कर रही
जब तक customer input/output data का मालिक है—ऐसी स्पष्ट data ownership नहीं होती, तब तक बात बदलती नहीं दिखती। सुना है OpenAI के लिए ऐसी service देना मुश्किल इसलिए है क्योंकि open source models के विपरीत, model itself के अलावा input/output processing, result scoring जैसी बहुत सारी “secret sauce” चीजें भी हैं
ऊपर से Microsoft और Azure पर अभी की काफी नई AI startups की तुलना में भरोसा करना आसान भी माना जा सकता है
API से भेजा गया data abuse/misuse monitoring के उद्देश्य से अधिकतम 30 दिन रखा जाता है, और उसके बाद, जब तक कानूनी तौर पर जरूरी न हो, delete कर दिया जाता है
https://openai.com/policies/api-data-usage-policies
फर्क उस हिस्से में आता है जो web chat या API call जैसे interfaces पर होता है। ChatGPT उस model को use करने वाला implementation है, और निर्माता OpenAI additional training के लिए logs रखना चाहता है
Azure उस model को लेकर किसी specific Azure account के dedicated endpoint के पीछे रखता है। enterprises gpt में interested हैं और private endpoints की मांग करते रहे हैं, और Amazon भी Bedrock के साथ कुछ ऐसा ही कर रहा है
https://openai.com/policies/api-data-usage-policies
README में कहीं यह लिखना इतना मुश्किल है क्या कि इस repository में असल में है क्या? यह documentation है, deployment files हैं, कोई application है जो कुछ करता है, या model itself है—यह जानना चाहता हूँ
और फिर 404 हो गया
एक दिन भी नहीं हुआ, और आखिरी बार इसे link करने वाली post शायद आज सुबह ही आई थी। पता नहीं क्या हुआ, लेकिन “अभी-अभी announce किया गया permanent link 404 हो जाना” आजकल बढ़ता लगता है
उम्मीद है मुझे देर से principle-abiding इंसान बनने पर मजबूर नहीं किया जाएगा। ठीक है, URI हर resource के लिए हमेशा permanent होता है ;)
तो क्या public access वाला version न private है, न safe?
इसलिए सामान्य तौर पर enterprises internal users को, उदाहरण के लिए, private code ChatGPT में paste करने की अनुमति नहीं दे सकते