Stanford Law के अध्ययन में AI ने law professors से बेहतर प्रदर्शन किया

 (law.stanford.edu)
1 पॉइंट द्वारा GN⁺ 2 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Stanford Law School के अध्ययन में law professors ने छात्रों के सवालों पर अपने सहकर्मी professors के जवाबों की तुलना में AI-जनित जवाबों को भारी रूप से अधिक पसंद किया, जो यह दिखाता है कि इससे law education दिए जाने के तरीके पर असर पड़ सकता है
  • अमेरिका के law schools के 16 law professors की blind evaluation में लगभग 3,000 anonymous comparisons किए गए, और AI ने professor जवाबों के साथ direct comparison में 75% की जीत दर दर्ज की
  • प्रतिभागियों ने contract law class के बाद या office hours में छात्र जो पूछ सकते हैं ऐसे 40 सवाल बनाए और उनके जवाब खुद लिखे, फिर स्रोत जाने बिना AI और सहकर्मी professors के जवाबों का मूल्यांकन किया
  • professors ने AI जवाबों को educationally harmful के रूप में 3.5% मामलों में चिह्नित किया, जबकि सहकर्मी professors के जवाबों के लिए यह 12% था, और AI system ने अध्ययन के भीतर शीर्ष स्तर के human instructors के समान प्रदर्शन किया
  • नतीजे AI tutor के पूर्ण पैमाने पर अपनाने का सीधे समर्थन नहीं करते, लेकिन law जैसे judgement-प्रधान क्षेत्रों में भी जिम्मेदार deployment के तरीके पर चर्चा करने का आधार देते हैं

अध्ययन की रूपरेखा और प्रमुख नतीजे

  • Stanford Law School के professor Julian Nyarko के नेतृत्व में किया गया अध्ययन “Law Professors Prefer AI Over Peer Answers” यह जांचता है कि large language models contract law class में प्रभावी tutor की भूमिका निभा सकते हैं या नहीं
  • इस अध्ययन में अमेरिका के law schools के 16 law professors ने भाग लिया, और प्रतिभागियों ने contract law पर ऐसे 40 प्रतिनिधि सवाल तैयार किए जो छात्र class के बाद या office hours में पूछ सकते हैं, फिर उनके जवाब खुद लिखे
  • professors ने यह जाने बिना जवाबों का मूल्यांकन किया कि वे AI से आए हैं या किसी अन्य भाग लेने वाले professor से, और लगभग 3,000 anonymous comparisons में AI जवाबों ने direct comparison में 75% की जीत दर दिखाई
  • शोधकर्ताओं ने AI जवाबों की लंबाई और संरचना को human जवाबों के अनुरूप समायोजित किया, कई evaluation methods का इस्तेमाल किया, और professors से यह भी मूल्यांकन कराया कि क्या जवाब छात्र को गुमराह या भ्रमित कर सकते हैं
  • AI system ने अध्ययन के भीतर शीर्ष स्तर के human instructors के समान प्रदर्शन किया, और professors ने AI जवाबों को educationally harmful के रूप में 3.5% तथा सहकर्मी professor जवाबों को 12% मामलों में चिह्नित किया

law education में महत्व और सीमाएँ

  • law ऐसा क्षेत्र है जहाँ अक्सर स्पष्ट सही जवाब नहीं होता, और परस्पर विरोधी तर्क भी समान रूप से persuasive हो सकते हैं, इसलिए judgement, सूक्ष्म reasoning और ambiguity से निपटने की क्षमता महत्वपूर्ण है
  • शोधकर्ताओं ने commercial tutoring systems और Google के NotebookLM सहित कई AI models को भी देखा, और model के अनुसार प्रदर्शन में अंतर पाया गया
  • context limitations का असर AI जवाबों पर पड़ा तब भी professors ने अक्सर human-written alternatives की तुलना में AI जवाबों को अधिक पसंद किया
  • law schools को AI tools को law education में integrate करने के सवाल पर सख्त academic standards बनाए रखने होंगे, साथ ही hallucination, overreliance और critical thinking क्षमता कमजोर होने जैसे जोखिमों पर भी विचार करना होगा
  • अध्ययन ने AI tools द्वारा दिए गए जवाबों की quality का मूल्यांकन किया, लेकिन student learning को सबसे प्रभावी ढंग से बेहतर बनाने वाली implementation अभी भी एक खुला प्रश्न है; चर्चा को इस सवाल से आगे बढ़ना चाहिए कि क्या AI सटीक और high-quality जवाब दे सकता है, और इस पर आना चाहिए कि उसे छात्रों के हित में जिम्मेदारी से कैसे deploy किया जाए

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2 시간 전
Hacker News की राय

  • यह अध्ययन काफ़ी संदिग्ध लगता है। और गहराई से देखना पड़ेगा, लेकिन जो भी इसे पढ़ रहा हो उसके लिए साफ़ तौर पर काफ़ी बड़े warning signs दिखने चाहिए
    Figure 2 (पेज 6) में काफ़ी समस्याएँ दिखती हैं। प्रोफेसर सिर्फ 16 हैं, लेकिन हर एक के लिए 3 हज़ार comparisons बताए गए हैं, और प्रोफेसर-दर-प्रोफेसर नतीजे भी काफ़ी बिखरे हुए हैं। variance बहुत बड़ा है, इसलिए यह इस बात का संकेत लगता है कि अध्ययन में अर्थपूर्ण statistical power नहीं है
    और मुख्य नतीजों में सिर्फ Google model शामिल हैं, इसलिए साफ़ bias भी दिखता है। दूसरे models कहीं और दिखाई देते हैं, तो फिर वे core results में क्यों नहीं हैं, यह सवाल उठता है
    मैं क़ानूनी विशेषज्ञ नहीं हूँ, लेकिन statistics काफ़ी अच्छी तरह समझता हूँ, और मैं भरोसे से कह सकता हूँ कि इस paper में कुछ गड़बड़ लगती है। इसे पूरी तरह बकवास नहीं कह सकता, लेकिन हर तरफ़ warning signs हैं

    • सही है, लेकिन 2 साल पहले बात यह थी कि AI “एक प्रभावशाली tool है, लेकिन knowledge workers को replace नहीं करेगा,” और अब बात यह हो गई है कि “ऐसे अध्ययन में, जो कहता है कि AI ने top-tier knowledge workers को हरा दिया, methodological flaws हो सकते हैं।” 2 साल बाद शायद खेल ही ख़त्म हो जाए
    • उससे भी ज़्यादा, पूरे अध्ययन की संरचना ही निरर्थक लगती है। इसे सवाल/जवाब के रूप में बनाया गया, फिर इंसानों से जवाबों का मूल्यांकन कराया गया, लेकिन सच तो यह है कि यही काम LLM को train करने के लिए किया जाता है। अंत में यह बस इंसान को “यह जवाब बेहतर है” वाला बटन दबाने के लिए राज़ी कराने का काम है
    • पूरे paper में कुछ अस्पष्टता हो सकती है, यह अलग बात है, लेकिन यह दिलचस्प है कि Instructor 3 और 8 का harmfulness rate LLM से काफ़ी कम है, फिर भी preference में वे सबसे ऊपर नहीं हैं। harmfulness और preference उलटी दिशा में चलते दिखते हैं, लेकिन पूरी तरह नहीं। लगता है कि experts की पसंद में भी कुछ हद तक charisma असर डालता है
    • 3 हज़ार का आँकड़ा शायद यहीं से आया है, और paper में इसकी व्याख्या है
      लिखा है कि प्रोफेसरों ने evaluators के रूप में 2,918 blind forced-choice comparisons किए, प्रति evaluator median 200 थे, और हर बार anonymous instructor response और LLM response में से वह जवाब चुना गया जिसे वे छात्र को देना चाहेंगे
    • आजकल papers में यह रुझान बढ़ता जा रहा है कि “8 लोगों का interview करो और expert opinion के आधार पर निष्कर्ष निकाल दो।” AI और cybersecurity में तो यह ख़ास तौर पर बहुत दिखता है
      मैंने ऐसे papers भी देखे हैं जिनमें interviews और protocols को ChatGPT में डालकर output निकालना ही “methodology” कह दिया गया। वे peer review पार करके publish भी हो चुके हैं

  • शायद इसे Hollywood फ़िल्मों के उदाहरण से समझाया जा सकता है। अगर कोई फ़िल्म इस तरह बनाई जाए कि वह सबसे ज़्यादा लोगों को संतुष्ट करे, तो लोगों के उसे दूसरी फ़िल्मों पर चुनने की संभावना बढ़ जाती है
    मानव law professors अपने व्यक्तित्व, विश्वास और राय को अपने लेखन में लेकर आते हैं, जबकि LLM को सबसे व्यापक audience को संतुष्ट करने के लिए train किया जाता है। इसका यह मतलब नहीं कि उसका जवाब बेहतर ही हो। जैसे Captain America ज़रूरी नहीं कि American Beauty से बेहतर फ़िल्म हो

  • एक software engineer के तौर पर मुझे कुछ हद तक यह सहज अंदाज़ा होता है कि agent को कौन-सा काम सौंपना जोखिमभरा हो सकता है
    लेकिन जब AI को कानूनी दस्तावेज़ का draft बनाने को देते हैं, तो क्या गड़बड़ हो सकती है, इसे लेकर वैसी सहज समझ अभी उतनी विकसित नहीं है। वसीयत लिखना ऊपर से काफ़ी harmless लग सकता है, लेकिन असल में मैं इतना निश्चित नहीं हूँ। कानूनी system जालों और पेचिदगियों से भरा होने के लिए बदनाम है

    • मैंने सामान्य-purpose LLM AI, जैसे आम Claude या GPT वगैरह, का कानूनी दस्तावेज़ के draft बनाने में काफ़ी इस्तेमाल किया है। सबसे बड़ा जाल hallucinated case citations हैं
      यह आसानी से किसी दूसरे मुकदमे का ऐसा विश्वसनीय-सा उद्धरण जोड़ देता है जो आपकी मनचाही दलील को पूरी तरह साबित करता हुआ लगे, और United States v. Shenzhou Electronics Inc जैसे बिल्कुल असली लगने वाले case name भी गढ़ देता है। कई बार review करने पर नकली citation नहीं मिले तो भरोसा हो जाता है, और फिर अगली filing में यह अचानक तीन ठूँस देता है
      फिर भी जो वकील research में LLM का इस्तेमाल नहीं करते, वे पीछे रह जाएँगे। ऐसे niche precedents ढूँढ़ने में यह अविश्वसनीय रूप से अच्छा है जिन्हें मैं अकेले शायद कभी नहीं ढूँढ़ पाता। पहले exact search-term matching ज़्यादा होती थी, और कानूनी research में वह अक्सर मूलतः बेकार होती थी। आपको कुछ ऐसा चाहिए जो अधिक अस्पष्ट शर्तों पर खोज सके, और AI यह काम बहुत अच्छी तरह करता है। बस नतीजों की पुष्टि ज़रूर करनी चाहिए। Lexis Nexis या Westlaw के LLM, सामान्य-purpose models से बेहतर होने की संभावना है
      LLM एक शानदार कानूनी सहायक बन सकता है। अगर आप legal काम करते हैं, तो सिर्फ ideas उछालने के लिए भी इसका इस्तेमाल करना चाहिए। इसे विरोधी पक्ष की तरफ़ से devil’s advocate की भूमिका देना अच्छा रहता है। मेरा एक दोस्त इसे हमेशा opposing counsel बनाकर संभावित सारे counterarguments निकलवाता है
      यह software development जैसा ही है। अगर जो output बन रहा है वह मायने रखता है, तो output को verify करना ही होगा
    • लगता है ज़्यादातर skilled professions में यह बात सही होगी। AI का सबसे अच्छा उपयोग वही लोग कर पाते हैं जो उस skill या profession को पहले से अच्छी तरह जानते हैं
      यह वैसा ही है जैसे मैं, एक system administrator, जो खोजता हूँ उसकी तुलना accounts team की Jane जो खोजती है उससे करना। non-technical end user के समस्या को और बिगाड़ने, या ads से भरे search results में से कोई संदिग्ध चीज़ install कर लेने की संभावना बहुत अधिक होती है। मेरे या helpdesk staff के साथ ऐसा होने की संभावना कम है
      मैं किसी वकील की सलाह के बिना AI से कोई महत्वपूर्ण कानूनी दस्तावेज़ बनवाने पर भरोसा नहीं करूँगा। उसी तरह मैं यह भी नहीं चाहूँगा कि मेरा वकील AI से मेरा code लिखवाने पर निर्भर करे
    • एक वकील और software engineer दोनों होने के नाते, अब तक के अनुभव से मुझे code और कानूनी दस्तावेज़ drafts में LLM की error rate काफ़ी मिलती-जुलती लगती है। लेकिन कानूनी संदर्भ में यह ज़्यादा समस्या पैदा करती है। वजह यह है कि कानूनी दस्तावेज़ों में code जैसे कई structural safeguards नहीं होते
      कानूनी दस्तावेज़ों में automated tests, static types, test environments, logging/observability instrumentation, या sandboxing नहीं होती
      draft बनने और “deployment” के बीच का समय-अंतर भी debugging loop को कहीं कम प्रभावी और अधिक महँगा बना देता है। code को कुछ सेकंड में production में deploy करके logs में error देखकर तुरंत debug किया जा सकता है। लेकिन contract या court filing की गलती अक्सर कम-से-कम कई दिनों बाद, और बहुत बार कई वर्षों बाद पता चलती है, और तब तक उसे ठीक करना असंभव हो चुका होता है। इसलिए errors को ढूँढ़ना भी कठिन है और हल करना भी
      errors के नतीजे भी आम तौर पर कहीं ज़्यादा बड़े होते हैं। उन्हें सुधारा नहीं जा सकता, और कानूनी गलतियाँ किसी की जान, आज़ादी, या बड़ी संपत्ति को जोखिम में डाल सकती हैं। बेशक safety-critical systems के bugs कानूनी गलती जितने या उससे भी बुरे हो सकते हैं, इसलिए यह कोई पूर्ण विभाजन नहीं है। फिर भी सामान्य तौर पर ज़्यादातर software, ज़्यादातर कानूनी दस्तावेज़ों से कम जोखिमभरा होता है
      उल्टा, कानूनी दस्तावेज़ों की बुनियादी style और structure में LLM, code की तुलना में बेहतर लगता है। जैसे IRAC format का पालन करना, कानूनी propositions के साथ citations जोड़ना, और समझ में आने वाले वाक्य लिखना। बेशक hallucination अब भी समस्या है। code के संदर्भ में यह अच्छे comments, cohesion, design patterns के consistent use, test coverage, साफ़ variable names, और DRY जैसी best practices के बराबर होगा
      इन qualitative metrics में बेहतर होने की वजह यह हो सकती है कि सबसे लंबे कानूनी दस्तावेज़ भी आम तौर पर बड़े और जटिल codebase की तुलना में संरचनात्मक रूप से सरल होते हैं और उनमें text lines कम होती हैं। या फिर वजह यह हो सकती है कि LLM को code की तुलना में natural-language text पर अधिक train किया गया है, या natural language code की तुलना में ज़्यादा forgiving होती है। wording या grammar में छोटे अंतर दस्तावेज़ की व्याख्या पर बहुत बड़ा असर न डालें, लेकिन code में एक single-character error बहुत बड़ा असर डाल सकती है
    • यह बिल्कुल भी नहीं कहा जा सकता कि वसीयत लिखना harmless है। अगर आप ऐसे executor हैं जिसे टूटी-फूटी AI वसीयत को संभालना पड़े, तो बिल्कुल नहीं। इस वसंत मैंने अपने पिता की estate process की थी, और सबसे साधारण estate भी बेहद थकाऊ और उलझाऊ प्रक्रिया निकली
    • मैं वसीयत लिखने को harmless नहीं मानता। अगर यह गलत लिखी गई हो, तो निकट संबंधियों के सिर पर बड़ा झंझट आ सकता है, और उन्हें कई महीनों या कई वर्षों तक चलने वाली probate प्रक्रिया से गुजरना पड़ सकता है

  • भले ही यह खास अध्ययन अच्छा न हो, कुल मिलाकर यह चौंकाने वाला नहीं है
    कानूनी काम में ऐसे क्षेत्र होते हैं जहाँ बड़ी मात्रा में टेक्स्ट का विश्लेषण किया जाता है, निष्कर्ष निकाले जाते हैं, और फिर उनके आधार पर दूसरा टेक्स्ट लिखा जाता है। यह तो सचमुच LLM की मुख्य विशेषज्ञता है
    ऐसे तरह के वकीलों को बेरोज़गारी की कतार में सबसे आगे होना चाहिए। प्रोग्रामरों को नहीं, इसकी तो सच में तुलना ही नहीं है

    • सिर्फ सैद्धांतिक रूप से LLM की मुख्य विशेषज्ञता होने का मतलब यह नहीं कि LLM वह काम कर सकता है। पूर्वधारणाओं को अलग रखकर भी यह अभी साबित किया जाना बाकी है। कानून एक जीवन-निर्णायक प्रणाली है और इसे सबसे ऊँचे स्तर के सत्यापन से गुजरना चाहिए
    • यह कहना सही है कि यह LLM की मुख्य विशेषज्ञता है। लेकिन LLM के उपयोग के लिहाज़ से प्रोग्रामिंग के पास कानून की तुलना में अधिक फायदे हैं
      वहाँ लॉजिक को execute किया जा सकता है, और output के आधार पर loop बनाए जा सकते हैं। अधिक उपयोगी reinforcement learning सेट करना आसान है, और synthetic training data बनाना भी आसान है। tool use और agent parallelization को भी स्वाभाविक रूप से support मिलता है। अदालत प्रणाली जो बहुत कम API देती है, उसकी तुलना में API integration भी आसान है
      प्रोग्रामिंग function और module स्तर पर abstraction को स्पष्ट रूप से encode करती है, इसलिए टेक्स्ट के टुकड़ों की तुलना में knowledge graph बनाना, reasoning करना, और उसके ऊपर आगे निर्माण करना आसान है
    • प्रोग्रामिंग और कानून, दोनों में AI की वही समस्या दिखती है
      AI घाव पर लगी पपड़ी जैसा है। यह अस्थायी रूप से खाली जगह भरता है, कमियों को पाटने के लिए दौड़ता है, लेकिन शायद अंतिम समाधान नहीं होगा
      मॉडलों ने दिखा दिया है कि software और कानून, दोनों में literacy की भारी अपूर्ण मांग थी। अब विकल्प यह है कि उस अपूर्ण मांग के संरचनात्मक कारणों को ठीक किया जाए, या फिर AI की पपड़ी की परतों से उसे ढक दिया जाए
    • इस अध्ययन का विषय अकादमिक लोग हैं। मैं उन्हें या उनके काम को कमतर नहीं बता रहा, लेकिन यह BigLaw में होने वाले transactional या litigation काम से बहुत अलग है
      यह मौजूदा टेक्स्ट का विश्लेषण और सारांश बनाने पर कहीं अधिक केंद्रित है, और वे टेक्स्ट खुद भी LLM training के लिए अधिक आसानी से इस्तेमाल किए जा सकते हैं। जैसे क़ानून, न्यायिक मिसालें, law journals, और textbooks
      इसलिए यह संभवतः LLM में बदलने के लिए सबसे आसान कानूनी काम है, लेकिन साथ ही सबसे कम मूल्यवान भी हो सकता है। आखिर law professors को BigLaw वकीलों जितना भुगतान नहीं मिलता। यह तरीका ज्यों-का-त्यों scale नहीं होगा। इसका मतलब यह नहीं कि AI BigLaw में प्रवेश नहीं कर सकता, लेकिन वह एक अलग चुनौती होगी

  • मैं समझता हूँ कि इस लेख पर चर्चा इस दिशा में क्यों जा रही है, लेकिन अध्ययन खुद इस संभावना पर केंद्रित है कि LLM कानून के छात्र का tutor बनकर काम कर सकता है। इसे आगे बढ़ाकर यह पूछना कि LLM वकीलों की जगह लेगा या नहीं, दिलचस्प है, लेकिन अध्ययन ने खुद यह बात नहीं की
    अगर फ्रेम यह हो कि LLM को कानूनी tutor की तरह इस्तेमाल करके कानूनी शिक्षा की लागत घटाई जाए, तो यह सामाजिक रूप से सकारात्मक परिणाम जैसा लगता है। इससे भी आगे, अगर आधुनिक LLM systems कानूनी संदर्भ सामग्री तक पहुँच सकते हों, तो यह सहज रूप से विश्वसनीय लगता है कि वे छात्र द्वारा पूछे गए सवाल का व्यापक उत्तर दे सकते हैं और शिक्षण सामग्री या मूल स्रोतों तक जाने वाले संकेत या सीधे संदर्भ दे सकते हैं। अध्ययन के नतीजे भी कुछ ऐसे ही दिखते हैं
    लेखक स्पष्ट और जानबूझकर इस बात पर ज़ोर देते हैं कि कई कानूनी सवाल किसी अलग-थलग गणनात्मक उत्तर के नहीं होते, बल्कि उन्हें संदर्भ में रखने की ज़रूरत होती है। परिणाम यह संकेत देते हैं कि LLM-आधारित सिस्टम, आधुनिक language models के “stochastic best-fit algorithm generation” के ज़रिए, छात्रों के प्रश्नों को उचित संदर्भ में रख सकते हैं, प्रश्न में निहित trade-offs या जटिलताओं को समझा सकते हैं, और निर्णायक रूप से उन जटिलताओं को छात्रों को समझाने में कानूनी शिक्षकों के पेशेवर मानक तक पहुँच सकते हैं
    व्यवहारिक रूप से, उम्मीद है कि यह नतीजा HN पाठकों को थोड़ा भरोसा देगा कि जब वे LLM से कानूनी सवाल पूछें, तो वे ऐसे जवाब की अपेक्षा कर सकते हैं जो उस प्रश्न से जुड़ी कानूनी जटिलताओं को समझाए। यह अच्छी खबर है, और अगर समय मिले, तो शायद किसी वास्तविक वकील से सलाह लेने से पहले हमें कम-से-कम यही प्रारंभिक तैयारी करनी चाहिए
    दूसरी ओर, मुझे नहीं लगता कि यह अध्ययन इस बात का संकेत देता है कि LLM वास्तव में सीधी कानूनी सलाह देने के लिए तैयार है। यह वैसा ही है जैसे law textbook कानूनी सलाह का विकल्प नहीं होती, या और सटीक रूप से कहें तो, मेरे हालात से मोटे तौर पर मिलते-जुलते किसी कानूनी मामले का मिल जाना वही परिणाम सुनिश्चित नहीं करता

    • ऐसा लगता है कि यह कम-से-कम दिखाता है कि LLM कानूनी शिक्षा के संदर्भ में उपयोग होने लायक पर्याप्त समझदार है

  • Figure I.1 बहुत कुछ बता देता है। जवाब की लंबाई जीत की दर का सबसे मजबूत predictive variable निकलती है। यह संभवतः अध्ययन की methodological flaw की वजह से है
    प्रोफेसरों को संक्षेप में जवाब देने का निर्देश दिया गया था। कुछ ऐसा कि “कृपया संक्षेप में लिखें। उम्मीद है कि हर उत्तर लिखने में 3 मिनट से अधिक नहीं लगेंगे”, और संभवतः वे छोटे जवाब लिखने की ओर झुक गए होंगे। पहले से ही संक्षेप में लिखने की स्थिति में, शायद प्रोफेसरों ने लिखित उत्तरों में ज़्यादा मेहनत ही नहीं लगाई। यह वह headline नहीं है जो लेखक सोचते हैं

  • हैरानी है कि Stanford Law ने ऐसे अतिरंजित press release title पर सहमति दी। कुछ ऐसा जैसे “सामान्य पहले वर्ष के contract law प्रश्नों पर law professors ने professor-generated answers की तुलना में AI-generated answers को अधिक पसंद किया” ज़्यादा सही लगता

    • संशोधित शीर्षक सही है। यह अजीब लगता है कि विद्वान लोग मानो किसी top lab CEO की तरह बढ़ा-चढ़ाकर दावे करके valuation बढ़ाना चाह रहे हों

  • मेरा सबसे अच्छा अनुमान यह है कि Gemini को उस textbook पर train किया गया था जिसे ये सवाल परखना चाहते थे, इसलिए संभव है कि वह उन सवालों या संबंधित सवालों की स्पष्ट recall में अधिक मजबूत रहा हो
    paper की methodology में जो लिखा है, उसे देखें तो यह काफ़ी सीमित introductory course है

    • इसके अलावा, यह अध्ययन Stanford के HAI institute में किया गया था और इसमें स्पष्ट bias दिखता है, और paper में अजीब तरह से conflict of interest statement नहीं है
      संशोधन: अभी पता चला कि Google, HAI का एक प्रमुख donor है। ऐसे में यह अध्ययन कम-से-कम आंशिक रूप से Google-funded कहा जा सकता है। शायद इसी वजह से लेखक conflict of interest नहीं होने की घोषणा नहीं कर सके

  • कानूनी क्षेत्र मूल रूप से AI language models के लिए आदर्श रूप से उपयुक्त है। आखिरकार, यहाँ लगभग सब कुछ परस्पर जुड़े टेक्स्ट पर आधारित है
    मुझे लगता है कि IT क्षेत्र से भी बड़ा layoff wave यहाँ आ सकता है। हालाँकि, यहाँ कहीं अधिक शक्तिशाली lobbying काम करेगी, और लोग अपने काम के मूल्य को बहुत बढ़ा-चढ़ाकर दिखाकर बाहरी दखल को रोकने की कोशिश करेंगे

    • एक वकील के रूप में, मुझे लगता है कि LLM को लेकर वह सहज धारणा सही है। कानून वही language game है जिसमें LLM अच्छे हैं
      लेकिन वह लहर पहले ही शुरू हो चुकी है, और बहुत बड़ी होगी। corporate clients AI के इस्तेमाल की मांग कर रहे हैं। वे यह नहीं चाहते कि associate घंटों लगाकर draft लिखे और फिर partner उसकी समीक्षा करे। वे चाहते हैं कि top partner AI का इस्तेमाल करे और बस उसे ठीक-ठाक कर दे

  • LLM जो नहीं कर सकता, वह यह है कि cross-examination के दौरान यह समझा सके कि उसने ऐसा क्यों कहा। वह सिर्फ इस बात की सबसे अच्छी व्याख्या का hallucination करता है कि किसी ने अपनी कही बात शायद क्यों कही होगी, और यह भी विश्वसनीय ढंग से बता सकता है कि कोई दूसरा व्यक्ति कुछ और क्यों कहता
    “इसने यह क्यों कहा और वह क्यों नहीं कहा?” जैसा सवाल कथन के आधार को स्पष्ट नहीं करवाता, बल्कि बस एक नया और अधिक जटिल कथन बनवा देता है

    • साधारण मामलों में यह सही है
      लेकिन LLM context construction techniques मौजूद हैं जो अंतिम परिणाम को एक data structure में स्थिर कर देती हैं। वह data structure पूर्ण किए गए पाठ में मौजूद निष्कर्ष का समर्थन करने वाले दावों की संरचना को बनाए रखता है। भाषा के भीतर तर्क को व्यवस्थित करना एक बहुत समृद्ध क्षेत्र है, इसलिए इसमें कई तरह के pattern हैं; उनमें मेरा पसंदीदा वह है जिसे Claim Dependency Graph कहा जाता है, जो atomic claims के बीच संबंधों को graph edges के रूप में मॉडल करता है
      ऐसे structure पर कई operations किए जा सकते हैं, और “यह पुनर्निर्मित करो कि इस निष्कर्ष तक कैसे पहुँचा गया” भी स्पष्ट रूप से उनमें से एक है
    • मनुष्यों के पास व्यक्त किए गए विचारों को आकार देने वाली वास्तविक प्रेरणा होती है। LLM सवालों के प्रवाह के जवाब में नए सिरे से उत्पन्न विचार बनाने लगता है
    • संभवतः यही बात मनुष्यों पर भी लागू होती है। बातचीत में हम अक्सर सहज रूप से जवाब दे देते हैं, और केवल कहे जाने पर ही उलटी दिशा में rationalization बनाते हैं
      अधिक विचार किए गए सोच के मामले में भी, अगर भाग्य अच्छा हो तो हम “reasoning trace” याद रख सकते हैं, लेकिन हमारी आत्मचिंतन क्षमता वहीं तक सीमित है। अगर आप neuroscientist नहीं हैं, तो आपको यह भी नहीं पता कि हमारे पास कितने neurons हैं, और यह तो और भी कम पता होता है कि वे विचार कैसे पैदा करते हैं
      motivated reasoning आत्मचिंतन को और बाधित करता है, और जब उसके ऊपर बेईमानी तथा communication errors भी जुड़ जाएँ, तो बची हुई सीमित जानकारी भी हम एक-दूसरे तक ठीक से नहीं पहुँचा पाते
      model interpretability पर काफी प्रगति हुई है। विवादास्पद रूप से, यह भी कहा जा सकता है कि अब हम AI के decision-making को मानव मस्तिष्क से बेहतर समझा सकते हैं
    • LLM hallucinate करते हैं क्योंकि मनुष्य भी hallucinate करते हैं
      LLM से sources को annotations के रूप में जोड़ने के लिए कहना, मनुष्यों की तरह ही, तर्क की काफ़ी नज़दीकी नकल करने वाली pattern matching को बहुत बढ़ा सकता है
      मैं समझता हूँ कि “इसने यह क्यों कहा और वह क्यों नहीं कहा” वाले प्रश्न का मतलब क्या है। बस मैंने ऐसे दूसरे तरीके भी देखे हैं जिनसे यह पूछा जा सकता है ताकि LLM उलटी दिशा में overreact न करे