2025 AI Index Report

 (hai.stanford.edu)
6 पॉइंट द्वारा GN⁺ 2025-04-17 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AI का सामाजिक प्रभाव अभी तक का सबसे स्पष्ट है, और इसका असर वाकई ऐतिहासिक है
  • Stanford HAI का मानना है कि AI 21वीं सदी की सबसे परिवर्तनकारी तकनीक बनेगी
  • लेकिन AI विकास के लाभ सब तक समान रूप से पहुँचें, इसके लिए दिशा-संपन्न विकास की आवश्यकता पर ज़ोर दिया गया है
  • AI Index, AI की तकनीकी प्रगति, आर्थिक प्रभाव और सामाजिक प्रभाव का वस्तुनिष्ठ विश्लेषण कर नीति-निर्माताओं और business leaders को महत्वपूर्ण insights प्रदान करता है

1. कठिन benchmarks पर AI का प्रदर्शन लगातार बेहतर हो रहा है

  • 2023 में, शोधकर्ताओं ने नवीनतम AI systems की सीमाओं की जाँच के लिए नए benchmarks पेश किए:
    • MMMU, GPQA, SWE-bench
  • केवल 1 साल में प्रदर्शन में बड़ा सुधार हुआ:
    • MMMU: +18.8%p
    • GPQA: +48.9%p
    • SWE-bench: +67.3%p
  • benchmarks के बाहर भी, AI ने high-quality video generation technology में उल्लेखनीय प्रगति दिखाई
  • कुछ environments में language model आधारित agents ने सीमित समय में इंसानों से बेहतर programming performance भी दिया

2. AI रोज़मर्रा की ज़िंदगी में तेज़ी से फैल रहा है

  • healthcare से transportation तक, AI लैब से बाहर निकलकर रोज़मर्रा की ज़िंदगी में पूरी तरह integrate हो रहा है
  • 2023 में, US FDA ने AI आधारित 223 medical devices को मंज़ूरी दी (2015 में यह संख्या सिर्फ 6 थी)
  • self-driving cars अब सिर्फ प्रयोग नहीं, commercial deployment के चरण में पहुँच चुकी हैं
    • Waymo: हर हफ्ते 150,000 से अधिक autonomous rides प्रदान कर रहा है
    • Baidu: Apollo Go robotaxi के ज़रिए चीन के कई शहरों में commercial service चला रहा है

3. कंपनियाँ AI अपनाने और उपयोग में बड़े पैमाने पर निवेश कर रही हैं

  • 2024 में, अमेरिका का private AI investment $109.1 billion रहा, जो दुनिया में सबसे अधिक है
    • China ($9.3 billion) का लगभग 12 गुना, UK ($4.5 billion) का लगभग 24 गुना
  • खासकर generative AI sector में ही $33.9 billion निवेश हुआ → 2023 की तुलना में 18.7% वृद्धि
  • AI उपयोग करने वाली कंपनियों का अनुपात भी तेज़ी से बढ़ा:
    • 2023 में 55% → 2024 में 78% ने AI अपनाने की रिपोर्ट दी
  • research findings के अनुसार, AI ने कुल मिलाकर productivity बढ़ाने के साथ
    • jobs के बीच skill gap कम करने में भी सकारात्मक योगदान दिया

4. अमेरिका अभी भी प्रमुख AI models के उत्पादन में अग्रणी है, लेकिन China तेज़ी से performance gap कम कर रहा है

  • 2024 तक, अमेरिका ने 40 प्रमुख AI models जारी किए, जो China (15), Europe (3) से काफ़ी आगे है
  • संख्या में अमेरिका आगे है, लेकिन Chinese models की quality gap तेज़ी से घट रही है
    • प्रमुख benchmarks (MMLU, HumanEval) पर 2023 में दो अंकों का अंतर → 2024 में लगभग बराबरी
  • China अब भी AI papers और patents की संख्या में दुनिया में नंबर 1 है
  • AI model development अब Middle East, Latin America, Southeast Asia आदि तक अधिक विविध हो रहा है

5. Responsible AI (RAI) ecosystem विकसित हो रहा है, लेकिन असंतुलित है

  • AI से जुड़े incidents और problems तेज़ी से बढ़ रहे हैं, लेकिन बड़े industry model developers अब भी RAI standard evaluations को कम ही अपनाते हैं
  • नए safety evaluation benchmarks सामने आए हैं:
    • HELM Safety, AIR-Bench, FACTS → accuracy और safety evaluation के लिए आशाजनक tools
  • कंपनियों में RAI risk awareness ऊँची है, लेकिन ठोस कार्रवाई अभी भी कमज़ोर है
  • दूसरी ओर, सरकारें AI governance पर अपनी प्रतिक्रिया तेज़ कर रही हैं
    • OECD, EU, UN, African Union आदि ने transparency और trustworthiness को महत्व देने वाले policy frameworks जारी किए हैं

6. वैश्विक स्तर पर AI को लेकर आशावाद बढ़ रहा है, लेकिन क्षेत्रों के बीच बड़ा अंतर है

  • AI को लाभकारी मानने वालों का अनुपात:
    • China (83%), Indonesia (80%), Thailand (77%) जैसे देशों में सकारात्मक राय बहुमत में
    • Canada (40%), US (39%), Netherlands (36%) जैसे देशों में यह आँकड़ा कम रहा
  • फिर भी आशावाद बढ़ रहा है:
    • 2022 की तुलना में optimistic perception में वृद्धि: Germany (+10%), France (+10%), Canada (+8%), UK (+8%), US (+4%)

7. AI अधिक efficient, सस्ता और accessible बनता जा रहा है

  • छोटे models की performance improvements की बदौलत, GPT-3.5 स्तर के model की inference cost नवंबर 2022 → अक्टूबर 2024 के बीच 280 गुना घट गई
  • hardware के स्तर पर:
    • सालाना लागत में 30% कमी
    • energy efficiency में 40% सुधार
  • open-weight models की performance भी तेज़ी से बढ़ रही है
    • कुछ benchmarks में closed models के साथ performance gap 8% → 1.7% तक सिमट गया
  • ये सभी कारक advanced AI technology के entry barriers को तेज़ी से कम कर रहे हैं

8. अलग-अलग देशों की सरकारें AI regulation और investment पर गंभीरता से आगे बढ़ रही हैं

  • 2024 में US federal agencies ने AI से संबंधित 59 regulations जारी किए
    • 2023 की तुलना में 2 गुना से अधिक वृद्धि, और संबंधित agencies की संख्या भी 2 गुनी हुई
  • 75 देशों में AI-related legislative mentions में 21.3% वृद्धि हुई
    • 2016 की तुलना में 9 गुना वृद्धि
  • प्रमुख सरकारी निवेश के उदाहरण:
    • Canada: $2.4 billion, China: $47.5 billion semiconductor fund
    • France: €109 billion, India: $1.25 billion
    • Saudi Arabia: Project Transcendence के तहत $100 billion निवेश

9. AI और computer science education फैल रही है, लेकिन access और readiness की समस्या बनी हुई है

  • दुनिया के 2/3 देश K–12 computer science education लागू कर चुके हैं या करने की योजना में हैं
    • 2019 की तुलना में 2 गुना वृद्धि
    • Africa और Latin America में सबसे तेज़ प्रगति
  • अमेरिका में computer-related bachelor’s degrees पाने वालों की संख्या 10 साल में 22% बढ़ी
  • लेकिन बुनियादी infrastructure की कमी (जैसे बिजली) के कारण Africa के कुछ क्षेत्रों में पहुँच अब भी मुश्किल है
  • अमेरिका के K–12 computer science teachers में 81% मानते हैं कि AI एक आवश्यक educational element है, लेकिन
    • आधे से भी कम ने कहा कि वे वास्तव में AI पढ़ाने के लिए तैयार हैं

10. industry AI development को lead कर रही है, लेकिन competition और भी तीव्र हो रहा है

  • 2024 में प्रमुख AI models में लगभग 90% industry द्वारा विकसित किए गए (2023 में यह 60% था)
  • दूसरी ओर, सबसे अधिक cited AI research अब भी academia से आती है
  • models का scale लगातार बढ़ रहा है:
    • training compute हर 5 महीने में 2 गुना
    • datasets हर 8 महीने में 2 गुना
    • power usage हर साल 2 गुना बढ़ रहा है
  • लेकिन performance gap घटने की प्रवृत्ति दिख रही है:
    • top 1 और top 10 models के बीच score gap: 11.9% → 5.4%
    • rank 1 और rank 2 models के बीच अंतर: सिर्फ 0.7%
  • इसका मतलब है AI development environment में competition बहुत तीव्र है और complexity बढ़ रही है

11. AI को विज्ञान के क्षेत्र में सर्वोच्च मान्यता मिल रही है

  • AI को हाल ही में Nobel Prize-winning research की core technology के रूप में मान्यता मिली
    • deep learning technology (physics category), protein structure prediction applications (chemistry category) के लिए क्रमशः सम्मान दिया गया
  • इसके अलावा, reinforcement learning में breakthrough contributions के लिए Turing Award भी दिया गया
  • यह दर्शाता है कि AI का वैज्ञानिक प्रभाव अब प्रमुख academic fields में औपचारिक रूप से मान्य होने लगा है

12. complex reasoning अब भी AI के लिए एक बड़ी चुनौती है

  • AI ने International Mathematical Olympiad स्तर की समस्याओं को हल करने में उत्कृष्ट प्रदर्शन दिखाया है
  • लेकिन PlanBench जैसे complex reasoning benchmarks पर इसे अब भी कठिनाई होती है
  • स्पष्ट सही उत्तर मौजूद होने पर भी, यह अक्सर logic problems को लगातार सही ढंग से हल नहीं कर पाता
  • इसी कारण, जहाँ accuracy बहुत महत्वपूर्ण है ऐसे high-risk domains में AI की प्रभावशीलता की सीमाएँ हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-04-17
Hacker News राय
  • इस रिपोर्ट के डेटा को Google Drive पर CSV फ़ाइलों के रूप में उपलब्ध कराया गया है, ताकि उन्हें SQLite डेटाबेस में बदलकर Datasette Lite से एक्सप्लोर किया जा सके
    • सबसे दिलचस्प टेबल विभिन्न मॉडलों में bias के उदाहरण दिखाती है
  • आइटम 11 (AlphaFold3 vs Vina, Gnina आदि) पर एक rebuttal Substack पर पोस्ट किया गया है
    • Gnina, Vina के परिणामों को neural network से दोबारा मूल्यांकित करता है, इसलिए वही चिंता यहाँ भी लागू होती है
    • मैं AI को लेकर आशावादी हूँ, लेकिन यह तुलना गलत थी
    • ऐसे तरीकों की ज़रूरत है जो नए drug candidates पर generalize कर सकें, लेकिन मूल्यांकन दोहराए जाने वाले dataset पर किया गया था
  • मैं अक्सर ऐसी रिपोर्टें देखता हूँ जिनमें कहा जाता है कि AI इंसानों से बेहतर है, लेकिन रोज़मर्रा की समस्याएँ सुलझाने में मुझे इससे मदद नहीं मिली
    • मैंने Claude को सैकड़ों पंक्तियों का code और समस्या की जगह दी, लेकिन वह समस्या हल नहीं कर पाया
    • LLM में किसी खास output पर अटक जाने की प्रवृत्ति होती है
    • Google search की तरह, आप कितना भी specific search करें, वही नतीजे लौट आते हैं
  • यह देखकर हैरानी हुई कि पर्यावरणीय प्रभाव पर कोई अध्याय नहीं है
    • यूरोप, खासकर फ़्रांस में, AI के उपयोग की आलोचना का यह एक मुख्य तर्क है
    • इसमें कला की चोरी, नौकरियों का विनाश, गलत जानकारी बनाना आसान होना, और कम-आय वाले देशों में AI trainers की कामकाजी परिस्थितियाँ शामिल हैं
    • व्यक्तिगत रूप से मैं AI के खिलाफ नहीं हूँ; मैं सिर्फ वे तर्क गिना रहा हूँ जो अपनी फ़ीड में अक्सर देखता हूँ
  • हर अध्याय अलग PDF के रूप में उपलब्ध है, और पूरी रिपोर्ट 456 पेज की है
  • "AI का कठिन benchmarks पर प्रदर्शन लगातार बेहतर हो रहा है"
    • ऐसा लगता है कि ज़्यादा AI models को अब इन प्रतिष्ठित benchmarks के हिसाब से tune किया जा रहा है
  • यह सवाल उठाया गया है कि वेबसाइट इमेज को नए टैब में आसानी से खोलना मुश्किल क्यों बनाती है
    • URL कॉपी करने पर वह noise image से लिंक करता है, लेकिन AWS S3 से original image डाउनलोड की जा सकती है
    • क्या यह non-technical users को डराने के लिए है, इस पर संदेह है
  • Stanford की पिछली AI रिपोर्टें ठोस और आलोचनात्मक थीं
    • मौजूदा रिपोर्ट कई छोटी press releases को एक साथ बाँध देने जैसी लगती है
    • AI विश्वविद्यालयों से कंपनियों की ओर, और research papers से press releases की ओर खिसक गया है
    • OpenAI की GPT-संबंधित press releases में उपयोगी जानकारी के बिना सिर्फ आँकड़े गिनाए गए थे
  • मुझे यक़ीन है कि जीवन स्तर बेहतर होगा
    • उसी समय में ज़्यादा प्रभावी ढंग से काम किया जा सकेगा, इसलिए productivity बढ़ेगी और लागत सस्ती होगी
    • यह असर stock market में कैसे दिखेगा, इस पर मुझे भरोसा नहीं है
  • अमेरिका अब भी सबसे अच्छे AI models बना रहा है, लेकिन चीन performance gap को कम कर रहा है
    • ज़्यादातर शोधकर्ता देशों पर नहीं, बल्कि होशियार लोगों के साथ मिलकर शानदार चीज़ें बनाने पर ध्यान देते हैं
    • मैं दुनिया की इकलौती manufacturing powerhouse के साथ युद्ध नहीं चाहता
    • अच्छा होगा अगर चीन के साथ AI प्रतिस्पर्धा में अमेरिका R&D को गंभीरता से ले, लेकिन मैं यह नहीं चाहता