अरे, मैंने कंप्यूटर से जुड़े विषय में पढ़ाई की है, इस साल फ़रवरी में ग्रेजुएट हुआ/हुई हूँ और अभी तक मेरी कोई नौकरी नहीं है। मैं Linux 2015 से इस्तेमाल कर रहा/रही हूँ, यानी development पढ़ना शुरू करने से भी पहले से!
खैर, आखिरकार इस लेख में इसका सीधे तौर पर ज़िक्र नहीं है, लेकिन यह मानने जैसा ही हो गया कि Apple की वह रणनीति, जिसमें वह अपने मनचाहे स्तर का AI environment Apple ecosystem के भीतर in-house बनाना चाहता था, असफल रही। (Apple Car के बाद फिर से) बस यही लगता है कि अगर यह 2 साल पहले हुआ होता तो शायद तस्वीर कुछ और होती।
विस्तृत सामग्री और सारांश के लिए धन्यवाद। मैंने शुरुआत में सोचा था कि यह Linux की Capabilities जैसी कोई चीज़ है, लेकिन लगता है कि यह dynamic analysis तक शामिल करने वाला तरीका है।
मैंने Gemini से इसे समझाने के लिए कहा था। मैं भी dedicated security person नहीं हूँ, इसलिए मुझे भी ठीक से नहीं पता।
[गहन रिपोर्ट: PyPI और OpenSSF जिस अगली पीढ़ी की security technology 'Capability Analysis' पर ध्यान दे रहे हैं]
हाल के समय में open source ecosystem को निशाना बनाने वाले supply chain attacks अधिक sophisticated होते जा रहे हैं, इसलिए PyPI(Python Package Index) और OpenSSF(Open Source Security Foundation) पारंपरिक pattern matching approach से आगे बढ़कर 'Capability Analysis(क्षमता/कार्य-विश्लेषण)' को अपनाने की रफ्तार तेज कर रहे हैं।
इस तकनीक का मूल यह है कि पैकेज "खुद को क्या बताता है" यह नहीं, बल्कि "वास्तव में वह क्या कर सकता है" इसे समझा जाए।
Capability Analysis(कार्य-विश्लेषण) क्या है?
यदि पारंपरिक virus scan 'wanted list(ज्ञात malware signatures)' से मिलान करने जैसा था, तो Capability Analysis पैकेज की 'behavioral capability' की जांच करने का तरीका है।
चाहे कोई पैकेज खुद को सामान्य utility की तरह छिपाए, लेकिन सिस्टम पर नियंत्रण पाने या जानकारी चुराने के लिए उसे अनिवार्य रूप से operating system के कुछ खास resources(network, files, processes) का उपयोग करना ही पड़ता है। यह analysis तकनीक ट्रैक करती है कि कोड चलाते समय पैकेज नीचे दिए गए जैसे 'sensitive capabilities' का इस्तेमाल करता है या नहीं।
नेटवर्क(Network): क्या install script चुपके से बाहरी IP पर data exfiltration करती है या communication की कोशिश करती है?
फाइल सिस्टम(FileSystem): क्या यह SSH keys, AWS credentials, /etc/passwd जैसी sensitive files तक पहुंचने या उन्हें modify करने की कोशिश करता है?
प्रोसेस execution(Execution): क्या यह shell commands चलाता है, या code को dynamically generate करके (eval, exec) child process बनाता है?
वास्तविक उपयोग और अनुमानित मुख्य security tools
वर्तमान में OpenSSF project और security research groups इस analysis को करने के लिए नीचे दिए गए tools विकसित कर रहे हैं और उन्हें pipeline में लागू कर रहे हैं।
A. OpenSSF Package Analysis (आधिकारिक project)
- अवलोकन: OpenSSF के नेतृत्व वाला यह project PyPI या NPM पर अपलोड किए गए packages को isolated sandbox environment में वास्तव में install और execute करके देखता है।
- काम करने का तरीका: जब पैकेज चलता है, तब होने वाले system calls को kernel level पर intercept किया जाता है, और "इस पैकेज ने installation के दौरान 192.168.x.x से connect करने की कोशिश की" जैसे behavioral data इकट्ठा किए जाते हैं।
- tech stack: gVisor(sandbox), Strace(system call tracing) आदि का उपयोग किया जाता है।
B. Packj (पैकजे)
- अवलोकन: academia(Georgia Tech आदि) के research पर आधारित यह tool पैकेज की 'risky capabilities' को tag करने में विशेष रूप से सक्षम है।
- काम करने का तरीका: यह static analysis और dynamic analysis दोनों का साथ में उपयोग करता है। source code में sensitive API calls ढूंढता है, और package metadata का analysis करके यह तय करता है कि क्या यह 'abandoned package' है, या 'typosquatting(नाम की नकल)' का मामला है।
- विशेषता: यह "यह पैकेज एक audio library है, लेकिन इसमें network communication और address book access जैसी capabilities हैं" जैसे असामान्य permission combinations को detect करता है।
C. GuardDog (गार्डडॉग)
- अवलोकन: Datadog द्वारा जारी किया गया CLI tool, जो Semgrep(static analysis engine) का उपयोग करके malicious patterns खोजता है।
- काम करने का तरीका: यह पैकेज के भीतर छिपे obfuscated code, miner scripts, executable downloaders जैसी 'malicious functionality' वाले code patterns(heuristics) की पहचान करता है।
D. Falco (फाल्को) & Sysdig
- अवलोकन: ये cloud-native environment के runtime security tools हैं।
- भूमिका: container के भीतर पैकेज चलते समय होने वाले abnormal behaviors (जैसे unexpected shell access, sensitive files को पढ़ना) को real time में detect करने वाले engine के रूप में उपयोग किए जाते हैं।
संबंधित संदर्भ सामग्री और links
इस तकनीक को और गहराई से समझने के लिए आप मूल projects और blogs देख सकते हैं।
शायद वे package डाउनलोड करके code चलाते हैं, unpack करते हैं, या static analysis, dynamic analysis जैसी चीजें करके देखते हैं कि code क्या करता है। ज़्यादातर malware ऐसे ही फैलता है।
मैं भी कभी-कभी यही सोचता हूँ। इसका कोई अंत नहीं है.
"कभी-कभी लगता है कि software development चुनना कहीं गलत फैसला तो नहीं था
senior बनने के बाद भी लगातार पढ़ाई और side projects की अपेक्षा की जाती है
पता नहीं कब hobbies या social life के लिए समय मिल पाएगा"
मुझे लगता है कि जैसे जिद्दी अविश्वास गलत है, वैसे ही पूर्ण अंधविश्वास भी गलत है.
उचित तरीके से इसके फायदे-नुकसान पर अच्छी तरह विचार करके इस्तेमाल करना ज़रूरी है, लेकिन यूँ ही FOMO का माहौल बनाना मुझे AI कंपनियों की मार्केटिंग चाल लगता है.
बहुत बढ़िया है। जूनियर से लेकर सीनियर तक, सबको यह लेख पढ़ना चाहिए
मुझे लगता है कि पिछले साल से लेकर अगले साल तक का समय software engineering में सबसे बड़े बदलाव का दौर होगा।
अगर यहां समय के इस रुझान को चूक गए, तो काफ़ी पीछे छूट सकते हैं.
> विमान के entertainment system में भी AI-आधारित game features आम होती जा रही हैं।
chess engine के सिद्धांत को जानने वाले के नज़रिए से यह इतनी बेहूदा बढ़ा-चढ़ाकर कही गई बात लगी कि सोचा मामला क्या है....
असल में मूल वीडियो में summary की तरह बढ़ा-चढ़ाकर कही गई ऐसी कोई बात है ही नहीं।
लगता है यह Delta Air Lines के EASY difficulty के इतना अच्छा खेलने पर तंज कसने वाला वीडियो है कि थोड़ा-बहुत chess खेलने वाले लोगों के लिए भी उसे हराना मुश्किल हो।
लेकिन यह जानने की जिज्ञासा है कि अर्थ और निहितार्थ वाले हिस्से में राय इतनी पक्षपाती और भ्रमपूर्ण कैसे हो गई।
> यह एक ऐसा उदाहरण है जो दिखाता है कि AI तकनीक का जन-स्तर पर प्रसार airline services के क्षेत्र तक भी फैल रहा है।
अरे, मैंने कंप्यूटर से जुड़े विषय में पढ़ाई की है, इस साल फ़रवरी में ग्रेजुएट हुआ/हुई हूँ और अभी तक मेरी कोई नौकरी नहीं है। मैं Linux 2015 से इस्तेमाल कर रहा/रही हूँ, यानी development पढ़ना शुरू करने से भी पहले से!
मुझे लगता है कि Apple की मनचाही infrastructure को बनाकर उपलब्ध करा पाने की क्षमता ने भी इस चयन को काफ़ी प्रभावित किया होगा।
खैर, आखिरकार इस लेख में इसका सीधे तौर पर ज़िक्र नहीं है, लेकिन यह मानने जैसा ही हो गया कि Apple की वह रणनीति, जिसमें वह अपने मनचाहे स्तर का AI environment Apple ecosystem के भीतर in-house बनाना चाहता था, असफल रही। (Apple Car के बाद फिर से) बस यही लगता है कि अगर यह 2 साल पहले हुआ होता तो शायद तस्वीर कुछ और होती।
सिरी...
मैं बच्चा हूँ।
विस्तृत सामग्री और सारांश के लिए धन्यवाद। मैंने शुरुआत में सोचा था कि यह Linux की Capabilities जैसी कोई चीज़ है, लेकिन लगता है कि यह dynamic analysis तक शामिल करने वाला तरीका है।
उम्मीदें हैं..
मैंने Gemini से इसे समझाने के लिए कहा था। मैं भी dedicated security person नहीं हूँ, इसलिए मुझे भी ठीक से नहीं पता।
[गहन रिपोर्ट: PyPI और OpenSSF जिस अगली पीढ़ी की security technology 'Capability Analysis' पर ध्यान दे रहे हैं]
हाल के समय में open source ecosystem को निशाना बनाने वाले supply chain attacks अधिक sophisticated होते जा रहे हैं, इसलिए PyPI(Python Package Index) और OpenSSF(Open Source Security Foundation) पारंपरिक pattern matching approach से आगे बढ़कर 'Capability Analysis(क्षमता/कार्य-विश्लेषण)' को अपनाने की रफ्तार तेज कर रहे हैं।
इस तकनीक का मूल यह है कि पैकेज "खुद को क्या बताता है" यह नहीं, बल्कि "वास्तव में वह क्या कर सकता है" इसे समझा जाए।
यदि पारंपरिक virus scan 'wanted list(ज्ञात malware signatures)' से मिलान करने जैसा था, तो Capability Analysis पैकेज की 'behavioral capability' की जांच करने का तरीका है।
चाहे कोई पैकेज खुद को सामान्य utility की तरह छिपाए, लेकिन सिस्टम पर नियंत्रण पाने या जानकारी चुराने के लिए उसे अनिवार्य रूप से operating system के कुछ खास resources(network, files, processes) का उपयोग करना ही पड़ता है। यह analysis तकनीक ट्रैक करती है कि कोड चलाते समय पैकेज नीचे दिए गए जैसे 'sensitive capabilities' का इस्तेमाल करता है या नहीं।
eval,exec) child process बनाता है?वर्तमान में OpenSSF project और security research groups इस analysis को करने के लिए नीचे दिए गए tools विकसित कर रहे हैं और उन्हें pipeline में लागू कर रहे हैं।
A. OpenSSF Package Analysis (आधिकारिक project)
- अवलोकन: OpenSSF के नेतृत्व वाला यह project PyPI या NPM पर अपलोड किए गए packages को isolated sandbox environment में वास्तव में install और execute करके देखता है।
- काम करने का तरीका: जब पैकेज चलता है, तब होने वाले system calls को kernel level पर intercept किया जाता है, और "इस पैकेज ने installation के दौरान 192.168.x.x से connect करने की कोशिश की" जैसे behavioral data इकट्ठा किए जाते हैं।
- tech stack: gVisor(sandbox), Strace(system call tracing) आदि का उपयोग किया जाता है।
B. Packj (पैकजे)
- अवलोकन: academia(Georgia Tech आदि) के research पर आधारित यह tool पैकेज की 'risky capabilities' को tag करने में विशेष रूप से सक्षम है।
- काम करने का तरीका: यह static analysis और dynamic analysis दोनों का साथ में उपयोग करता है। source code में sensitive API calls ढूंढता है, और package metadata का analysis करके यह तय करता है कि क्या यह 'abandoned package' है, या 'typosquatting(नाम की नकल)' का मामला है।
- विशेषता: यह "यह पैकेज एक audio library है, लेकिन इसमें network communication और address book access जैसी capabilities हैं" जैसे असामान्य permission combinations को detect करता है।
C. GuardDog (गार्डडॉग)
- अवलोकन: Datadog द्वारा जारी किया गया CLI tool, जो Semgrep(static analysis engine) का उपयोग करके malicious patterns खोजता है।
- काम करने का तरीका: यह पैकेज के भीतर छिपे obfuscated code, miner scripts, executable downloaders जैसी 'malicious functionality' वाले code patterns(heuristics) की पहचान करता है।
D. Falco (फाल्को) & Sysdig
- अवलोकन: ये cloud-native environment के runtime security tools हैं।
- भूमिका: container के भीतर पैकेज चलते समय होने वाले abnormal behaviors (जैसे unexpected shell access, sensitive files को पढ़ना) को real time में detect करने वाले engine के रूप में उपयोग किए जाते हैं।
इस तकनीक को और गहराई से समझने के लिए आप मूल projects और blogs देख सकते हैं।
OpenSSF Package Analysis आधिकारिक blog (घोषणा और सिद्धांत की व्याख्या)
https://openssf.org/blog/2022/…
OpenSSF Package Analysis GitHub (source code और architecture)
https://github.com/ossf/package-analysis
Packj GitHub (tool download और विस्तृत features)
https://github.com/ossillate-inc/packj
GuardDog GitHub (Datadog का PyPI/NPM malicious package detection tool)
https://github.com/DataDog/guarddog
PyPI Security report (malicious package reporting और response process)
https://pypi.org/security/
शायद वे package डाउनलोड करके code चलाते हैं, unpack करते हैं, या static analysis, dynamic analysis जैसी चीजें करके देखते हैं कि code क्या करता है। ज़्यादातर malware ऐसे ही फैलता है।
मैं भी कभी-कभी यही सोचता हूँ। इसका कोई अंत नहीं है.
"कभी-कभी लगता है कि software development चुनना कहीं गलत फैसला तो नहीं था
senior बनने के बाद भी लगातार पढ़ाई और side projects की अपेक्षा की जाती है
पता नहीं कब hobbies या social life के लिए समय मिल पाएगा"
skills साझा बिंदु..
मैं starship पर शिफ्ट हो गया हूँ
Tailscale का ज़िक्र बहुत हो रहा है। सच कहूँ तो इसका कोई ढंग का विकल्प है ही नहीं..
मुझे लगता है कि जैसे जिद्दी अविश्वास गलत है, वैसे ही पूर्ण अंधविश्वास भी गलत है.
उचित तरीके से इसके फायदे-नुकसान पर अच्छी तरह विचार करके इस्तेमाल करना ज़रूरी है, लेकिन यूँ ही FOMO का माहौल बनाना मुझे AI कंपनियों की मार्केटिंग चाल लगता है.
अगर आप अभी AI को अपनी नौकरी की भूमिका में पर्याप्त रूप से शामिल नहीं कर पा रहे हैं, तो FOMO महसूस करना भी ठीक लगता है।
अरे, मैं एक
/छोड़ बैठा था, इसलिए उसे ठीक कर दिया है.बहुत बढ़िया है। जूनियर से लेकर सीनियर तक, सबको यह लेख पढ़ना चाहिए
मुझे लगता है कि पिछले साल से लेकर अगले साल तक का समय software engineering में सबसे बड़े बदलाव का दौर होगा।
अगर यहां समय के इस रुझान को चूक गए, तो काफ़ी पीछे छूट सकते हैं.
कारण पता नहीं होने की वजह से मैं काफी चिंतित था, इसलिए बस पुराना वर्शन डाउनलोड करके इस्तेमाल कर रहा था, लेकिन अच्छा है कि कारण का पता चल गया :)
https://github.com/kaniini/capsudo
> विमान के entertainment system में भी AI-आधारित game features आम होती जा रही हैं।
chess engine के सिद्धांत को जानने वाले के नज़रिए से यह इतनी बेहूदा बढ़ा-चढ़ाकर कही गई बात लगी कि सोचा मामला क्या है....
असल में मूल वीडियो में summary की तरह बढ़ा-चढ़ाकर कही गई ऐसी कोई बात है ही नहीं।
लगता है यह Delta Air Lines के EASY difficulty के इतना अच्छा खेलने पर तंज कसने वाला वीडियो है कि थोड़ा-बहुत chess खेलने वाले लोगों के लिए भी उसे हराना मुश्किल हो।
लेकिन यह जानने की जिज्ञासा है कि अर्थ और निहितार्थ वाले हिस्से में राय इतनी पक्षपाती और भ्रमपूर्ण कैसे हो गई।
> यह एक ऐसा उदाहरण है जो दिखाता है कि AI तकनीक का जन-स्तर पर प्रसार airline services के क्षेत्र तक भी फैल रहा है।
"capability analysis" आधारित सुरक्षा टूल से क्या मतलब है?