- कॉन्ट्रैक्ट रिव्यू में LLM की तुलना Junior Lawyer और legal process outsourcing (LPO) से करने वाले इस प्रयोग में Senior Lawyer के निर्णय को ग्राउंड ट्रुथ मानकर issue classification, clause location identification, speed और cost का साथ में मूल्यांकन किया गया
- कानूनी issue classification में GPT4-1106 ने F-score 0.871 हासिल किया, जो LPO के 0.874 के लगभग बराबर था और Junior Lawyer के 0.860 से ऊँचा था, लेकिन clause location identification में LPO का 0.770, GPT4-32k के 0.740 से आगे रहा
- प्रयोग में anonymized 10 procurement contracts का उपयोग किया गया, और NDA को इसलिए बाहर रखा गया क्योंकि दस्तावेज़ छोटे होने के कारण वे जटिल मूल्यांकन के लिए उपयुक्त नहीं थे; इसमें अमेरिका और न्यूज़ीलैंड के jurisdiction वाले contracts संतुलित रूप से शामिल थे
- रिव्यू की गति में LLM बहुत आगे रहे; औसत समय Junior Lawyer के लिए 56.17 मिनट, LPO के लिए 201 मिनट, जबकि GPT4-1106 के लिए 4.70 मिनट, GPT4-32k के लिए 2.11 मिनट, और Palm2 text-bison के लिए 0.73 मिनट था
- प्रति कॉन्ट्रैक्ट लागत Claude 2.0 और Claude 2.1 के लिए 0.02 डॉलर, तथा GPT4-1106 के लिए 0.25 डॉलर निकली, जो Junior Lawyer के 74.26 डॉलर और LPO के 36.85 डॉलर की तुलना में अधिकतम 99.97% लागत बचत दिखाती है
कॉन्ट्रैक्ट रिव्यू में क्या तुलना की गई
- लक्ष्य यह आकलन करना था कि क्या LLM बड़े पैमाने के contract review कार्य में accuracy, speed, और cost efficiency के मामले में Junior Lawyer और LPO के बराबर या उनसे बेहतर हैं
- तुलना का कार्य था कॉन्ट्रैक्ट में मौजूद कानूनी issues का निर्धारण करना और उन contract clauses की location ढूँढना जिन्होंने उस निर्णय को प्रभावित किया
- Senior Lawyer द्वारा किए गए निर्णयों को ग्राउंड ट्रुथ मानकर LLM, Junior Lawyer और LPO के परिणामों की तुलना की गई
- शोध प्रश्न तीन भागों में व्यवस्थित थे
- क्या LLM, contract के भीतर कानूनी issue classification और location identification में Junior Lawyer और LPO से बेहतर हैं
- क्या LLM contracts को अधिक तेज़ी से review कर सकते हैं
- क्या LLM contracts को कम लागत पर review कर सकते हैं
डेटासेट और प्रयोग की रूपरेखा
- डेटासेट वास्तविक कानूनी contracts से लिए गए 10 procurement contracts से बना था, और गोपनीयता बनाए रखने के लिए उन्हें anonymize किया गया था
- procurement contracts को इसलिए चुना गया क्योंकि कानूनी प्रैक्टिस में इनका review volume अधिक होता है, जबकि NDA आमतौर पर छोटे होते हैं, इसलिए उन्हें LLM की जटिल कानूनी issue classification क्षमता मापने के लिए पर्याप्त नहीं माना गया
- jurisdiction में अमेरिका और न्यूज़ीलैंड के contracts को संतुलित रूप से शामिल किया गया
- अमेरिका को statute law और common law के मिश्रित तंत्र के रूप में देखा गया
- न्यूज़ीलैंड को common law आधारित तंत्र के रूप में देखा गया
- प्रत्येक contract का विश्लेषण दो-घटक संरचना के साथ किया गया: document scenario और contract review playbook
- document scenario में jurisdiction, history, organization size, और contract parties के product/service context की जानकारी दी गई
- review playbook में वास्तविक मामलों से निकाले गए standardized checklist items दिए गए
- Senior Lawyer ने यह तय किया कि क्या प्रत्येक contract पूर्व-निर्धारित मानकों को पूरा करता है, और निर्णय को प्रभावित करने वाले contract के specific हिस्सों को चिन्हित कर दर्ज किया
- जहाँ contract में संबंधित जानकारी नहीं थी और इसलिए मानक पूरा नहीं होता था, उसे भी स्पष्ट रूप से दर्ज किया गया
- कई Senior Lawyers के परिणामों को majority opinion के आधार पर संकलित किया गया
- यह अध्ययन Onit Inc. के ethical standards के अनुसार किया गया, जिसमें participant notice, withdrawal rights, anonymization, contract data de-identification, ethics committee की भागीदारी और audit शामिल थे
मॉडल चयन और prompt
- मॉडलों का चयन LLM क्षेत्र के प्रमुख vendors, preliminary test results, और context window के आकार को ध्यान में रखकर किया गया
- जो models 16,000 tokens या उससे अधिक प्रोसेस नहीं कर सकते थे, उन्हें पूरे contract context को संभालने में कठिन माना गया और बाहर कर दिया गया
- LLaMA2 और Amazon Titan में दस्तावेज़ को कई हिस्सों में बाँटना पड़ता था, और हर हिस्से में scenario, playbook, और definition clauses को दोहराना पड़ता था
- RAG जैसी तकनीकों पर भी विचार हुआ, लेकिन preliminary evaluation में contract context की समझ में discontinuity दिखी, इसलिए इसे human lawyers जैसी समझ से तुलना करने के लिए उपयुक्त नहीं माना गया
- मूल्यांकन में शामिल models और settings इस प्रकार थीं
- GPT4 32k: temperature 0.2, input 32,768 tokens, training data सितंबर 2021 तक
- GPT4-1106: temperature 0.2, input 128,000 tokens, training data अप्रैल 2023 तक
- GPT3.5-turbo-16k: temperature 0.2, input 16,385 tokens, training data सितंबर 2021 तक
- Claude 2.1: temperature 0.2, input 200,000 tokens, training data 2023 की शुरुआत तक
- Claude 2.0: temperature 0.2, input 100,000 tokens, training data 2023 की शुरुआत तक
- Palm2 Text-bison-32k-2: temperature 0.2, input 32,768 tokens, training data 2021 के मध्य तक
- prompt को role, task, और context से मिलाकर बनाया गया
- role मॉडल को lawyer persona अपनाने के लिए कहता था
- task यह था कि दिए गए मानकों के अनुसार contract review किया जाए और issue तथा उसकी location का निर्णय किया जाए
- context को इस तरह बनाया गया था कि वह lawyers, LPO, और contract reviewers को दिए जाने वाले निर्देशों जैसा लगे, जैसे target reader, parties की background, और negotiation scenario
सटीकता: issue classification क़रीब, location identification में अंतर
- कानूनी पेशेवर समूहों के बीच agreement को Cronbach’s Alpha से आंका गया
- सभी participants का agreement 0.923366 था, जो काफ़ी ऊँचा था
- Senior Lawyers के बीच agreement 0.719308 था, जो सबसे कम था
- Junior Lawyers के लिए यह 0.765058 था
- LPO ने 1.0 के साथ पूर्ण response agreement दिखाया
- कानूनी issue classification में F-score के आधार पर शीर्ष परिणाम LPO और GPT4-1106 के रहे
- LPO: precision 0.933, recall 0.823, F-score 0.874
- GPT4-1106: precision 0.835, recall 0.910, F-score 0.871
- Junior Lawyer: precision 0.876, recall 0.845, F-score 0.860
- Claude 2.0 और GPT4-32k ने क्रमशः F-score 0.817 और 0.820 दर्ज किया
- GPT3.5 का 0.657 और Palm2 text-bison का 0.708 रहा, जो अपेक्षाकृत कम था
- issue location identification में LPO ने सबसे ऊँचा F-score दर्ज किया
- LPO: precision 0.915, recall 0.666, F-score 0.770
- GPT4-32k: precision 0.847, recall 0.660, F-score 0.740
- Claude 2.1: precision 0.911, recall 0.569, F-score 0.701
- GPT4-1106: precision 0.857, recall 0.575, F-score 0.686
- Junior Lawyer: precision 0.866, recall 0.542, F-score 0.667
- Palm2 text-bison का F-score 0.452 था, जो सबसे कम था
- LLM, issue classification में Junior Lawyer और LPO के बराबर या उनसे बेहतर हो सकते हैं, लेकिन clauses की सटीक location बताने वाले काम में मॉडल के बीच अंतर बड़ा है और वे हमेशा human practitioners से आगे नहीं निकलते
गति, लागत और अपनाने की सीमाएँ
- औसत contract review समय में LLM, human practitioners की तुलना में बहुत तेज़ थे
- Senior Lawyer: 43.46 मिनट
- Junior Lawyer: 56.17 मिनट
- LPO: 201.00 मिनट
- GPT4-1106: 4.70 मिनट
- GPT4-32k: 2.11 मिनट
- GPT3.5: 1.44 मिनट
- Claude 2.1: 2.05 मिनट
- Claude 2.0: 1.63 मिनट
- Palm2 text-bison: 0.73 मिनट
- सबसे तेज़ LLM, Palm2 text-bison, के बारे में गणना की गई कि उसने LPO की तुलना में 276 गुना और Junior Lawyer की तुलना में 77 गुना तेज़ी से contract review कार्य पूरा किया
- LLM system prompt की configuration, testing, fine-tuning, और validation में औसतन 16 घंटे लगे, जो Junior Lawyer और LPO को इसी तरह का काम निर्देशित करने में लगने वाले समय के लगभग बराबर था
- प्रति contract औसत लागत में human practitioners और LLM के बीच बड़ा अंतर दिखा
- Senior Lawyer: 75.92 डॉलर
- Junior Lawyer: 74.26 डॉलर
- LPO: 36.85 डॉलर
- GPT4-1106: 0.25 डॉलर
- GPT4-32k: 1.24 डॉलर
- GPT3.5: 0.05 डॉलर
- Claude 2.1: 0.02 डॉलर
- Claude 2.0: 0.02 डॉलर
- Palm2 text-bison: 0.03 डॉलर
- लागत की गणना human practitioners के औसत समय और hourly rate, तथा LLM के औसत input/output token count और token pricing के आधार पर की गई
- Palm2 text-bison की कीमत tokens नहीं बल्कि character count के आधार पर निकाली गई
- जिन LLM का issue location identification प्रदर्शन कम है, उन्हें स्वतंत्र रूप से contract markup करने में सीमाएँ हो सकती हैं; इसलिए कानूनी काम में model selection प्रदर्शन और लागत जितना ही महत्वपूर्ण है
1 टिप्पणियां
Hacker News की रायें
मैं एक legal contract generation startup चला रहा हूँ, जो वकीलों द्वारा लिखे गए contracts को templates में बदलता है, और आम लोगों को contracts पढ़कर सवाल पूछने देने के लिए GPT analysis feature भी कुछ हद तक बनाया है।
Contract review में GPT, document generation की तुलना में document analysis में ज़्यादा मजबूत था, और यह paper भी इसी बात को support करता है। हालांकि कई AI document review startups इस्तेमाल करके देखें तो जैसे ही आप उनसे specific जवाब कुरेदकर पूछते हैं, ज़्यादातर टूट जाते हैं। यह paper वकील और client के बीच होने वाली बातचीत जैसा नहीं, बल्कि relevant clauses ढूँढने तक सीमित रहा लगता है।
GPT गलत जवाब दे भी दे तो उसकी कोई कानूनी liability नहीं है, इसलिए कोई smart व्यक्ति खुद research कर रहा हो तो यह useful है। यह कुछ वैसा ही है जैसे पहले भी smart लोग Google से खुद research कर सकते थे।
Contract generation के बारे में, ज़्यादातर मामलों में मुझे लगता है कि GPT द्वारा हर बार तुरंत एक unique contract बना देने से बेहतर, अच्छी तरह लिखे और review किए गए standard contracts repository ज़्यादा मददगार होगा। वकील contracts को अपने पास कसकर पकड़े रहते हैं, और हमारे लिए ऐसे वकील ढूँढना भी बहुत मुश्किल था जो हमें template बनाने के लिए contracts लिख दें। आखिरकार यह उनके और उनकी professional community के future revenue streams को कम करने जैसा है। GPT-4 training पर करोड़ों डॉलर खर्च हुए, लेकिन अगर सिर्फ 10 million डॉलर खर्च करके अच्छी तरह review किए गए contracts का repository बना लिया जाता, तो उतने ही पैसे से contract generation model train करने से ज़्यादा useful होता।
लोग documents के साथ क्या करना चाहते हैं, इस पर काफी तरह-तरह के सवाल पूछते हैं, लेकिन GPT अभी उनमें अच्छा नहीं था। निकट भविष्य में वकीलों की नौकरियाँ शायद अभी भी बची रहेंगी।
उदाहरण के लिए करीब 20 साल पहले, कम से कम जहाँ मैं रहता हूँ वहाँ architects भी ऐसे designs बनाना नहीं चाहते थे जिन्हें कई लोगों को सस्ते में बेचा जा सके। उन्हें लगता था कि ऐसे designs architecture output market को छोटा कर देंगे। लेकिन यह साफ दिखता है कि ज़्यादातर लोगों को सच में unique design की जरूरत नहीं होती।
आखिरकार market ने बहुत परवाह नहीं की, और जैसे ही कोई usable design library और business model बना सका, समस्या अपने आप सुलझ गई। Architects के लिए विकल्प बस यही बचे कि collaborate करके कुछ हिस्सा बचा लें, या फिर खो दें।
मुझे लगता है lawyers भी उसी रास्ते पर जाएँगे। सबसे आसान और profitable काम automate होते जाएँगे, वे कठिन दौर से गुजरेंगे, legal services market सिकुड़ेगा, और बचा हुआ काम वही ज़्यादा complex tasks होंगे जिन्हें automation संभाल नहीं पाएगा।
Pets की देखभाल जैसे मुद्दों पर, जो मुझे इतने महत्वपूर्ण नहीं लगते, उल्टा बहुत ज़्यादा weight दिया गया महसूस हुआ। Output को अपने हिसाब से फिर से edit कर सकता था, लेकिन 150 डॉलर की service से मैंने अधिक उम्मीद की थी।
जिस company की मुझे याद आ रही है, वह अपने marketing material में complete AI-based solution जैसा इशारा करती है, लेकिन असल में लगता नहीं कि वह पूरी तरह सिर्फ AI पर चलती है।
Extreme cases में यह ethics issue बन सकता है और bar association की sanctions मिल सकती हैं, लेकिन ज़्यादातर तो सिर्फ reputation-related consequences ही होते हैं, नहीं? क्या ऐसी स्थितियाँ हैं जहाँ गलत तरीके से लिखे गए contract के लिए lawyer को कानूनी liability में पकड़ा जा सके?
जिन क्षेत्रों में LLM मदद कर सकता है, उनमें legal field से मुझे खास उम्मीद है। 5–10 साल के भीतर, और यह paper देखकर लगता है कि हम लगभग वहाँ पहुँच ही चुके हैं, मैं ऐसे “lawyer” LLM से कुछ घंटे बात कर पाऊँगा जिसके पास मेरे tax, medical, insurance, marriage-related documents तक access होगा, और बिना 500 डॉलर प्रति घंटे दिए personalized advice और information पा सकूँगा।
कानूनी रूप से ज़्यादा जानकारी रखने वाले आम लोगों की एक लहर आएगी, और मैं सच में उत्साहित हूँ।
मैंने पहले ही software-related licenses और legal consequences के बारे में LLM से सवाल किए हैं, और hobby project-level सवालों के लिए महंगे experts को शामिल किए बिना basics समझ पाया हूँ।
लेकिन अगर किसी decision में बड़ी रकम दाँव पर हो, तो obviously expert services लूँगा। ऐसे topics में “generally correct” काफी नहीं होता।
हमारा core business legal document generation है, और यह AI नहीं बल्कि rule-based logic से चलता है। Core business के result के तौर पर हमारे पास users के legal documents पहले से हैं, इसलिए हम उन documents से जुड़ी सहायक AI chat feature बनाने की बहुत अच्छी position में हैं।
हाल ही में हमने product recommendation AI को production environment में deploy किया है। कुछ हिस्सा rule-based है, और personalized recommendation text GPT-4 generate करता है। अभी हम AI chat feature बना रहे हैं जो users को कई legal documents और हमारी services समझने में मदद करेगा। हम first-line customer support को इस AI chat से replace करना चाहते हैं—गुस्सा होने से पहले यह जान लें कि अभी first-line customer support एक बहुत खराब rule-based AI है।
Finnish main website https://aatos.app है। SE और DK के लिए भी कुछ services हैं, और हाल ही में UK में पहले केवल e-signature service शुरू की है।
कानूनी क्षेत्र में LLM लागू करने की संभावना पर अपना फैसला तब तक रोकूंगा जब तक इसे दस्तावेज़/contract review के अलावा दूसरे tasks पर नहीं परखा जाता। बड़ी corporate legal teams में contract review अक्सर सैकड़ों हालिया graduates को outsource किया जाता है, और यह असली वकील की क्षमता का बहुत कम इस्तेमाल करने वाला proofreading जैसा काम होता है, साथ ही corporate revenue बढ़ाने में मदद करता है
व्यक्ति आम तौर पर जो legal services खरीदते हैं, वे family law matters, criminal cases, small claims जैसी चीजें होती हैं। निकट भविष्य के LLMs किसी गंभीर आपराधिक मुकदमे को संभालने के लिए जरूरी तथ्य-विशेष और परिस्थिति-विशेष विश्लेषण कर पाएंगे, ऐसा नहीं लगता। custody cases या contested divorces में जरूरी व्यक्तिगत, case-specific और उलझी हुई family dynamics तक LLM की पहुंच दिखाने वाली कोई चीज भी मैंने नहीं देखी
वकील के इस्तेमाल के tool के रूप में LLM स्वीकार न करने की कोई वजह नहीं है, लेकिन repetitive legal proofreading से आगे बढ़कर वास्तविक practice में अपनाने के लिए यह technology बिल्कुल ready है, ऐसा मैं नहीं मानता
भावनाएं, व्यक्तिगत दृष्टिकोण, और उन्हीं के आधार पर बनी case law न हो तो ऐसे cases कैसे दिखेंगे, यह मुझे ठीक से नहीं पता
मैं एक technology-based commercial insurance brokerage में data और AI lead करता हूं। GPT-4 का उपयोग करके insurance requirements के लिए खास deep contract analysis tool बना रहा हूं, और Google में रहते हुए भी patent classification से लेकर discovery support तक Google legal team के लिए कई LLM solutions बनाए थे
language models कानूनी भाषा को समझने और context analyze करने में बेहतरीन हैं। लेकिन कई legal applications “क्या मौजूदा insurance program के तहत यह contractually covered है?” जैसे ऐसे महत्वपूर्ण decisions से जुड़े होते हैं जिनमें गलती नहीं होनी चाहिए। इसलिए legal domain के LLM products हम इन principles पर बना रहे हैं
यह expert के साथ इस्तेमाल होने वाला human-in-the-loop tool होना चाहिए। जहां संभव हो, इसे automation नहीं बल्कि decision support के रूप में design करना चाहिए, और फिर भी इससे बहुत समय बच सकता है
transparency और citations जरूरी हैं। अगर tool इंसान के साथ इस्तेमाल होना है, तो trust बनाने के mechanisms होने चाहिए। चाहे LLM ने जिन document clauses का reference लिया उन्हें highlight करना हो, या analysis का कोई हिस्सा क्यों नहीं दिया गया यह समझाना हो, evidence cite करना महत्वपूर्ण है
इसे recall के बजाय precision के लिए tune करना चाहिए। कई legal use cases में false positives और hallucinations खास तौर पर खराब होते हैं, इसलिए model या prompt को precision-centric बनाना mitigation में मदद करता है
“precision के लिए tune करना” से आपका मतलब prompt engineering है, या सच में GPT-4 को fine-tune करना?
ऐसा नहीं है कि इस paper में कोई merit बिल्कुल नहीं है, लेकिन यह पूरे profession या “industry” के बारे में बढ़ा-चढ़ाकर statements देने का बहाना जैसा लगता है। शायद visibility बढ़ाने और बाद में कुछ बेचने का मकसद भी हो सकता है
सबसे खराब बात यह है कि prior work के रूप में सिर्फ एक preprint document cite किया गया है। वह document खुद भी contract review पर नहीं बल्कि general legal reasoning पर है। LegalBench का कुछ हिस्सा बेशक “interpretation” है और existing contract review benchmarks के ऊपर बना है, लेकिन ज्यादा relevant papers मिल सकते थे
legal document review automation, question-answering tasks सहित, करीब 20 साल से natural language processing में बहुत active field रहा है, और 2017 के बाद और भी ज्यादा active हो गया। कम से कम Kira, Luminance जैसे tools, LLM-based न होने पर भी, दुनिया भर की legal teams और law firms में काफी व्यापक रूप से इस्तेमाल होते हैं। इसलिए lawyers उनकी limitations practice में पहले से जानते हैं
हालांकि Kira-टाइप tools latest model performance measure नहीं करते, और transparent benchmarks भी इस्तेमाल नहीं करते। इस लिहाज से इस paper के benchmark results LLM usage के नजरिये से स्वागतयोग्य अतिरिक्त material हैं
लेकिन single review playbook से 10 documents review करने के limited scope को देखते हुए “industry implications” तक लिखने की जरूरत नहीं थी। इसमें काफी दिखावा है, और यह legal services industry के भविष्य से ज्यादा यह दिखाता है कि authors उस industry को अच्छी तरह नहीं जानते
capabilities और limitations जाननी हों तो हल्का लेकिन उपयोगी reading material के तौर पर ये भी recommend करूंगा: https://kirasystems.com/science/, https://zuva.ai/blog/, https://www.atticusprojectai.org/cuad
सोच रहा हूं कि lawyers अपनी industry को threaten करने वाली technology को कमजोर करने के लिए कैसी legal reasoning गढ़ेंगे
reasoning ineffective assistance of counsel के risk से लेकर “बच्चों के बारे में सोचो” तक कुछ भी हो सकती है। monopoly बचाने में जो भी मदद करे, वही इस्तेमाल करेंगे
हाल की उन घटनाओं को देखते हुए जहां lawyers ने ChatGPT से research की और legal briefs draft करने में मदद ली, और मामला ठीक नहीं चला, यहां comments में दिख रहे optimism से मैं पूरी तरह convinced नहीं हूं
generate→verify की छोटी pipeline बनाना trivial नहीं है, लेकिन impossible भी नहीं। जिन cases का आपने जिक्र किया, वे बहुत lazy associates और LLM क्या करता है इसकी बेहद poor understanding का combination लगते हैं
सैद्धांतिक रूप से, कानूनी वाक्यों को code की तरह संरचित होना चाहिए। उनमें तार्किक संरचना होती है, इसलिए वे अन्य प्राकृतिक भाषाओं की तुलना में LLM पर अधिक आसानी से लागू हो सकते हैं
शुरुआती खबरें थीं कि वकीलों ने “नकली” case law जमा किए, लेकिन legal profession का पुनर्गठन बस समय की बात है। law firms में paralegals आदि जैसे सरल काम करने वाले बहुत लोग होते हैं, और LLM उनका काम कर सकता है। इन्हें white-collar माना जाता है, लेकिन ये गायब हो जाएंगे
यह coding जैसे तरीके से आगे बढ़ेगा। जैसे एक junior partner मिल गया हो जिसकी जाँच करनी पड़े, और यह standard document work की जगह ले सकता है
इस पर पूरी तरह भरोसा नहीं किया जा सकता, लेकिन junior developer पर भी तो पूरी तरह भरोसा नहीं करते। फिर भी यह आपको 80% तक पहुँचा देता है
यह एक दिलचस्प problem space है। यहाँ काम आ सकने वाली cultural jamming शैली की legal theory भी है
मान लीजिए 99 डॉलर/माह की self-representation service दो चीजें करती है। 1) सभी assets को सुरक्षित साधनों में ले जाने का तरीका सिखाती है। 2) साथ ही self-representation के जरिए अपना बचाव करने देती है। मकसद जीतना नहीं, बल्कि system को जाम करना है। सामने वाले को यह संकेत देने के बाद कि आप कानूनी रूप से दिवालिया स्थिति में हैं, अगर आप लगातार applications दाखिल करते रहें और प्रक्रिया को जितना संभव हो उतना दर्दनाक बना दें, तो वे समझ सकते हैं कि appeals process में 5 साल लगेंगे और बस हार मान लें
यह सच है कि वकील template services को legal documents देना नहीं चाहते, लेकिन सच कहें तो अदालत जाकर बड़ी मात्रा में filings इकट्ठा करके उन्हें train कर देना ही काफी हो सकता है। उस strategy में बेहतरीन documents या legal theory जरूरी नहीं है। बस ऐसे documents चाहिए जो court filing requirements पूरी करते हों। जैसे, “हाँ, आपकी housekeeper की बेटियों का deposition 400 डॉलर प्रति घंटे पर लेना होगा, और अगर कोई समस्या है तो hearing रख सकते हैं।” अगर पर्याप्त लोग ऐसा करें, तो legal system असल में ठप हो जाएगा और power लोगों के पास लौट आएगी
ऐसे मुद्दों के लिए लड़ते हुए दुनिया से चले गए Aaron Swartz को श्रद्धांजलि
https://www.courts.ca.gov/12272.htm
[0]https://en.wikipedia.org/wiki/Paper_terrorism
“सभी criminal prosecutions में, आरोपी को अपने बचाव के लिए counsel की assistance पाने का अधिकार होगा” — अमेरिकी संविधान का Sixth Amendment
अगर LLM औसत human defense lawyer से अधिक सक्षम हो जाए, तो क्या यह प्रावधान फिर भी human counsel की assistance ही मांगेगा?
शायद वकील की सबसे महत्वपूर्ण विशेषता technical knowledge नहीं होती
LLM facts से जुड़े मुद्दों आदि में मदद कर सकता है, और अगर सही तरह से बनाया जाए तो वकील से ज्यादा मजबूत privacy guarantees भी दे सकता है। बेशक, ऐसा वास्तव में होने की संभावना नहीं लगती