Various LLM Smells

 (shvbsle.in)
1 पॉइंट द्वारा GN⁺ 2 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • LLM-सहायित लेखन शुरुआत में शब्दावली और वाक्य संरचना को बेहतर बनाता हुआ लगा, इसलिए वह कम-गुणवत्ता वाले AI लेख जैसा महसूस नहीं हुआ; लेकिन कुछ महीनों बाद वही निशान पूरे इंटरनेट पर बार-बार दिखने लगे
  • लेखन में मज़बूत निष्कर्षात्मक वाक्य और छोटे वाक्यों की लगातार श्रृंखला अक्सर दिखती है, और “Symmetry becomes a trap.” जैसे संक्षिप्त, निर्णायक कथन एक दोहराने वाले पैटर्न के रूप में सामने आते हैं
  • “X is the Y of Z” संरचना और “सिर्फ X नहीं, बल्कि Y” के करीब जाने वाले विरोधी-तुलनात्मक प्रयोग भी LLM द्वारा बनाए गए लेखन की पहचानी जा सकने वाली वाक्य-गंध माने जाते हैं
  • AI-जनित वेबसाइटों में JetBrains Mono फ़ॉन्ट, step संरचना, मिलते-जुलते bullet points, और खास तरह के buttons·cards·badges में टिमटिमाते dots बार-बार दिखाई देते हैं
  • मुख्य बात रचनात्मक काम में LLM/AI के उपयोग का विरोध करना नहीं है, बल्कि लेखन और वेबसाइटों में बार-बार महसूस होने वाले पैटर्नों को इकट्ठा करके देखना है

LLM उपयोग में बार-बार दिखने वाली गंध

  • पिछले साल के अंत में गणित ब्लॉग पोस्ट को संवारने के लिए LLM का इस्तेमाल किया गया था, तब शब्दावली और वाक्य संरचना बेहतर हो गई थी और वह AI द्वारा बनाए गए कम-गुणवत्ता वाले लेख जैसा नहीं लगा
  • लगभग 3 महीने बाद वही वाक्य संरचना पूरे इंटरनेट पर बार-बार दिखाई देने लगी, और AI-सहायित कामकाज में एक पहचानी जा सकने वाली छाप जैसी महसूस हुई
  • HN Thread के उदाहरण लेखन और वेबसाइट—इन दो क्षेत्रों में दोहराई जाने वाली “AI गंध” दिखाते हैं

लेखन और वेबसाइटों में दिखने वाले दोहराए जाने वाले पैटर्न

  • LLM लेखन

    • मज़बूत निष्कर्षात्मक वाक्य जरूरत से ज्यादा बार दिखाई देते हैं
      • “Humans trust symmetry because it feels like intelligence made visible.”
      • “The Tiger fit the story. Jin-yong fit the physics.”
      • “Symmetry becomes a trap.”
    • छोटे वाक्यों की श्रृंखला बार-बार इस्तेमाल होती है
      • “Yet the tilt is not an accident. It is the shape of the optimum.”
      • “Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.”
      • “These examples are not decorative. They form a distributed argument.”
    • “X is the Y of Z” तरह की वाक्य संरचना अक्सर दिखाई देती है
      • “Cringe is the visible signature of moving along a gradient you chose.”
    • “सिर्फ X नहीं, बल्कि Y” के करीब जाने वाले विरोधी-तुलनात्मक प्रयोग भी दोहराए जाते हैं
      • “solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts”

  • AI-जनित वेबसाइटें

    • JetBrains Mono फ़ॉन्ट बार-बार दिखाई देता है
    • वही फ़ॉन्ट इस्तेमाल करने वाली “step” संरचना और मिलते-जुलते bullet points कई वेबपेजों पर दिखाई देते हैं
    • खास तरह के buttons, cards, और badges के भीतर टिमटिमाते dots भी AI-जनित वेबसाइटों के दोहराए जाने वाले तत्व लगते हैं

  • ध्यान देने की बात

    • रचनात्मक काम में LLM/AI के उपयोग का खुद में विरोध नहीं किया जा रहा, बल्कि यह बार-बार महसूस होने वाले पैटर्नों को इकट्ठा करके की गई एक प्रकार की अवलोकनात्मक नोटिंग है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2 시간 전
Hacker News की राय

  • जब LLM वह काम करता है जो मैं नहीं कर पाता, तब वह खास तौर पर अच्छा लगता है। अगर किसी खास क्षेत्र में LLM का आउटपुट मुझे अपने काम से बहुत बेहतर लगे, तो संभव है कि मेरे पास उसकी गुणवत्ता का सही आकलन करने की क्षमता ही कम हो

    • यह बात coding पर भी पूरी तरह लागू होती है, और HN पर LLM-जनित code की quality को लेकर राय इतनी बंटी हुई क्यों है, इसका कुछ हद तक कारण भी समझाती है
      एक पक्ष कहता है, “AI ऐसा code बना देता है जो मैं किसी भी हालत में नहीं लिख पाता, कई दिनों का काम एक बार में खत्म कर देता है, और मेरी productivity 10 गुना बढ़ा देता है,” जबकि दूसरा पक्ष कहता है, “AI बार-बार घटिया code बनाता है, rework चाहिए होता है, गलती करता है इसलिए निगरानी रखनी पड़ती है, और आखिर में समय ही बर्बाद करता है।” अगर एक ही product का output लोगों को इतना अलग दिख रहा है, तो पहले वाले खेमे के लिए यह थोड़ा बुरा संकेत है
    • मैं किसी हद तक writing से रोज़ी कमाता हूँ, और Claude का prose मुझे सचमुच इतना खराब लगता है कि पढ़कर उबकाई आए
      उलटे, मैं code लगभग लिखता ही नहीं और पेशे के तौर पर भी बस एक बार किया है, लेकिन जब Claude कुछ सेकंड में code उगल देता है तो लगता है जैसे मैं कोई सुपरह्यूमन हूँ और जल्द ही अरबपति बनने वाला हूँ। फिर मुझे याद आता है कि Claude पढ़ने लायक गद्य भी नहीं लिख पाता, और मैं लिखना तो जानता हूँ पर code नहीं, तो मैं वह code मिटाकर ज़्यादा कमाई वाले काम पर लौट जाता हूँ
    • मैं उस संभावना से सहमत हूँ, लेकिन मौजूदा frontier models उन क्षेत्रों की writing में भी पूरी तरह बेकार नहीं हैं जिन्हें मैं काफ़ी अच्छी तरह जानता हूँ
      शायद एक साल पहले मैं ऐसा नहीं कहता। वे इतनी विश्वसनीय बकवास निकालते हैं कि expert के लिए भी पहचानना कठिन हो जाता है, इसलिए उन पर बाज़ जैसी नज़र रखनी पड़ती है, लेकिन भीतर के पासे अब गलत या बेकार की तुलना में सही और उपयोगी दिशा में थोड़ा ज़्यादा गिर रहे हैं
    • सच कहूँ तो यह समझना मुश्किल है कि किसी को LLM writing ज़रा भी ठीक-ठाक कैसे लग सकती है। अगर ऐसा लगता है, तो आपको और किताबें पढ़नी चाहिए
      महीने में एक किताब पढ़ना भी कोई बहुत बड़ा लक्ष्य नहीं है। Melville, Hemingway, Chaucer, Shakespeare तक जाने की ज़रूरत नहीं; बस कोई भी NYT bestseller उठा लीजिए, वह LLM द्वारा बनाए जा सकने वाले किसी भी लेखन से कहीं बेहतर होगा
    • मैं इस बात से सहमत नहीं कि LLM इसलिए अच्छा लगता है क्योंकि वह वह काम कर देता है जो मैं नहीं कर पाता। LLM लोगों को यह मानने पर मजबूर करने में माहिर है कि अच्छे लेखन का सिर्फ एक ही रूप होता है
      LLM “textbook/technical manual” जैसी codified शैली को पसंद करता है, शायद इसलिए कि वह इंसानों के लिए अधिक उपयोगी पड़ती है। लेकिन इंसानी writing सिर्फ सबसे elegant वाक्य बनाने का नाम नहीं है, और कभी-कभी बेहतरीन writing कुछ ऐसी भी हो सकती है जैसे यह puppy picture meme: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...

  • “honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, “The smoking gun:” जैसी अभिव्यक्तियाँ बहुत तीखा LLM वाला संकेत लगती हैं
    खासकर वे वाक्य जो “The ___:” से शुरू होते हैं; “load bearing” जब बात architecture की नहीं हो रही हो; “blast radius” जब सचमुच किसी विस्फोट की बात न हो; “smoke test” जहाँ “sanity check” ज़्यादा ठीक बैठता हो; तीन बिंदुओं की सूची में तीसरा बिंदु पहले दो का बस मिला-जुला रूप हो; किसी चीज़ को रूपक में “shape” कहना; “Curious if anyone…” पर खत्म होने वाली social posts; और किसी anecdote में “Oh. Oh.” लिखना, जिसमें दूसरे Oh को italic करना भी अक्सर दिखता है
    इनमें से कुछ terms developer सच में इस्तेमाल करते हैं, लेकिन असली इस्तेमाल की आवृत्ति पर सवाल उठाना ठीक है, और नए models के prose में भी ऐसे निशान अब भी बचे हुए हैं

    • ये LLM मुहावरे अब रोज़ खपत में हैं, इसलिए लगता है कि अगली पीढ़ी ही नहीं बल्कि मौजूदा पीढ़ी की रोज़मर्रा की भाषा में भी घुसकर रहेंगे। यह असहनीय हो सकता है
    • अगर आपका इशारा “load bearing” और “blast radius” की तरफ़ है, तो LLM से पहले भी मैं इन्हें online discussions में बहुत बार देखता था और खुद भी अक्सर इस्तेमाल करता था
      खासकर load bearing operations से जुड़ी रोज़मर्रा की बातचीत में काफ़ी सामान्य अभिव्यक्ति थी। हाँ, “smoke test” को असल ज़िंदगी में इस्तेमाल होते मैंने नहीं देखा
    • मैंने GPT से Claude 4.7-शैली की अभिव्यक्तियों की जाँच करवाई: https://chatgpt.com/share/6a18e3b4-1308-832a-9263-bed823de3f...
      Wikipedia द्वारा संकलित patterns भी अच्छी तरह documented हैं: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
    • जो चीज़ नियमित रूप से दिखती है, उनमें सबसे मज़ेदार belt-and-suspenders/belt-and-braces है, क्योंकि मैंने किसी असली इंसान को वह अभिव्यक्ति इस्तेमाल करते कभी नहीं देखा। यह इतना खटकता था कि मुझे AI से कहना पड़ा कि इसे इस्तेमाल करना बंद करे
    • व्यक्तिगत रूप से मुझे सबसे ज़्यादा चिढ़ “escape hatch” से होती है
      हर चीज़ को escape hatch बना दिया जाता है। try/catch भी escape hatch, CLI flag भी escape hatch। इसका कोई मतलब नहीं बनता, और आख़िरकार यह मेरी “बैन किए गए शब्द और वाक्यांश” वाली Markdown file में चला जाता है

  • LLM लेखन की एकरूपता खराब है। लिखने में मदद के लिए LLM का इस्तेमाल करना अच्छा है, लेकिन LLM द्वारा बनाए गए शब्दों को, भले सिर्फ शब्दावली में थोड़ा-सा बदलाव करके ही क्यों न हो, अंतिम लेख में न डालना बेहतर है
    उससे संरचना और प्रवाह की आलोचनात्मक समीक्षा करवाई जा सकती है, और ज़रूरत से ज़्यादा दोहराए गए शब्द, passive voice, और बेवकूफ़ाना topic sentence चुनने जैसे मुद्दे ढूँढवाए जा सकते हैं। ऐसी चीज़ें शैली बिगाड़े बिना लेखन को अधिक वस्तुनिष्ठ रूप से बेहतर बनाती हैं
    दूसरी ओर, web design में LLM की एकरूपता अच्छी है। ज़्यादातर साइटों को अलग दिखने के लिए बहुत कोशिश करने की ज़रूरत नहीं होती। किसी उपयोगी साइट के अच्छे design का मतलब readability है, और LLM इसमें औसत developer से बेहतर है। वही button layout और वही font size system बार-बार इस्तेमाल करना ठीक है। अगर वह मुझे अच्छा दिख रहा है, तो संभवतः वह मेरे अकेले करने से बेहतर होगा, और अकेले करता तो शायद उससे खराब ही होता

    • LLM web design में मेरी शिकायत यह है कि यह जगह-जगह बेकार elements बहुत जोड़ देता है
      GPT-5.x इसमें खास तौर पर बुरा है। उदाहरण के लिए, dashboard बनाते समय यह ढेर सारे numbers और text snippets इधर-उधर डाल देता है, जिनमें से ज़्यादातर बस एक ही बात दो बार कहते हैं। हालांकि यह structure की कोई मूलभूत समस्या कम और ऐसी चीज़ ज़्यादा लगती है जो जल्द सुधर सकती है; और अगर पहले से सारा copy तैयार करके फिर साइट बनवाई जाए, तो अच्छा नतीजा मिल सकता है
    • मैं नई personal site बनाते समय Claude का इस्तेमाल कर रहा हूँ, और अगर मैं कहूँ, “मुझे दूसरे pages पर जाने वाले links वाला अच्छा-सा menu चाहिए,” तो यह काफ़ी ठीक चीज़ निकाल देता है, जो अच्छा लगता है
      लेखन में LLM का इस्तेमाल मुझे काफ़ी अजीब लगता है। बेवकूफ़ाना application form भरने जैसी चीज़ें शायद अपवाद हो सकती हैं। मैंने collaborators को technical docs में LLM इस्तेमाल करते देखा है, और वह लगभग हमेशा ऐसी borderline बकवास होती थी जिसकी बस दिखावट सही लगती थी। creative writing में LLM का बहुत इस्तेमाल करने पर लगता है जैसे उद्देश्य ही गायब हो जाता है
    • चाहे LLM हो या single-founder SaaS, यह कहना मुश्किल है कि web design में एकरूपता अच्छी चीज़ है
    • मैं LLM को उपमा खोजक और एक उन्नत dictionary की तरह इस्तेमाल करता हूँ। सारे शब्द मैं खुद लिखता हूँ, लेकिन अंग्रेज़ी सुधारने और ऐसे expressions पाने में इससे मदद लेता हूँ जिन्हें मैं अच्छी तरह नहीं जानता
      अभी तक मैंने इसे अपने लेखन की review के लिए नहीं आज़माया है, पर जानना चाहता हूँ कि क्या यह इतना अच्छा है
    • पूरी तरह सहमत। मैंने हाल ही में एक speech लिखी, और यह कल्पना भी नहीं कर सकता कि अगर मैंने LLM के वाक्य अपने नाम से उठा लिए होते तो वह कितनी घिसी-पिटी लगती
      जब मैं सोचता हूँ कि कोई अपने प्रिय व्यक्ति के लिए या उसके बारे में कुछ महत्वपूर्ण लिखते समय बीच-बीच में सुझाई गई मीठी-सी कचरा पंक्तियाँ डाल दे, तो मुझे उसकी तरफ़ से शर्म आती है। यह पूरी तरह बकवास है, और यह दर्शकों को बहुत बड़ा संकेत देता है कि आपको अपने शब्द खुद लाने की भी परवाह नहीं है

  • विरोधी निषेध को भी नहीं छोड़ना चाहिए
    यह एक rhetorical structure है जिसमें वाक्य के पहले हिस्से में किसी विचार का निषेध किया जाता है और बाद के हिस्से में विकल्प को दृढ़ता से रखा जाता है। आम तौर पर यह “X नहीं, Y है” या “सिर्फ X नहीं, Y है” जैसे फ़ॉर्मूले में आता है
    Wikipedia पर भी आम LLM patterns पर अच्छी सामग्री है: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

    • एक ऐसे व्यक्ति के रूप में जिसकी writing को अक्सर AI समझकर false positive कर दिया जाता है, उस दस्तावेज़ की शुरुआती disclaimer मुझे सराहनीय लगती है
      खास तौर पर यह नज़रिया अच्छा लगा कि समस्या खुद ये patterns नहीं हैं। सिर्फ patterns ठीक करने से बात नहीं बनेगी; असली समस्या यह है कि ऐसे patterns अक्सर जल्दबाज़ी या लापरवाही से लिखी गई content की ओर इशारा करते हैं
    • वह बात मुख्य लेख में है
    • LLM को उस wiki page के patterns से बचने की training मिलने में कितना समय लगेगा

  • “No ___, no ____. Just _____” जैसी संरचना, या किसी approach को समझाते समय “honest” का इस्तेमाल करना भी साफ़ पहचान में आता है

    • “honest”, “straight”, “genuine”, “actual”, “real” — ये सब ऐसे शब्द लगते हैं जो कमज़ोर दावे पर परत चढ़ाने के लिए लगाए जाते हैं
      यह इतना ज़्यादा हो गया है कि मैं “क्या यह सच में पक्का है?” जैसे अंदाज़ में किसी sub-agent से fact-checking घुसाने वाला hook सोच रहा हूँ। “X नहीं, Y है” वाला झूठा भेद भी इसी तरह इस्तेमाल होता है। जैसे कोई self-proclaimed sovereign citizen कहे कि “मैं driving नहीं कर रहा, बस वाहन से यात्रा कर रहा हूँ”
    • मैं उस pattern को jab, jab, thrust मानता हूँ। चाहो तो इसे “tap tap whack” भी कह सकते हो
      यह सकारात्मक रूप में भी आता है। जैसे “Smooth. Effortless. A perfect fit for your needs.”
      अनौपचारिक या persuasive writing में यह ऐसे बार-बार आता है मानो हर बार punchline ठोकनी ज़रूरी हो। थोड़ा अफ़सोस है कि हम सार्वजनिक रूप से बार-बार बता रहे हैं कि यह पहचान क्या है। इसे काफ़ी सटीकता से पकड़ पाना अच्छा था, लेकिन शायद यह हमेशा नहीं चल सकता था
    • यह तो LLM से बहुत पहले का उबाऊ marketing cliché था, और लगता है कि models ने इसे training data से उठा लिया है
    • “the uncomfortable truth” को भी मत भूलिए

  • दिलचस्प बात यह है कि LLM की writing style हाल में बहुत बेहतर हुई हो, ऐसा नहीं लगता
    कुछ समय पहले यह पहले ही “ठीक-ठाक” स्तर तक पहुँच चुकी थी, लेकिन नए models ने ऐसा सुधार नहीं दिया कि लोग उन्हें पेशेवर human writers पर तरजीह दें। superintelligence की दौड़ में क्या दूसरे क्षेत्रों का भी यही हाल होगा, यह जानने की जिज्ञासा है

  • अब मैं चाहता हूँ कि blog posts, Slack messages जैसी ज़्यादातर चीज़ों में, भले spelling mistakes और grammar errors थोड़ी हों, फिर भी इंसानी कच्चा-सा लेखन दिखे
    LLM idea generation, code writing, और शायद polishing के लिए शानदार है, लेकिन कृपया पूरी writing उसी से मत लिखवाइए। ऐसी writing में मैं AI नहीं, आप क्या कहना चाहते हैं, यह सुनना चाहता हूँ

    • मैं इसे यूँ कहता हूँ: अगर आपके पास खुद लिखने की भी इच्छा नहीं है, तो किसी और के पास उसे पढ़ने की इच्छा होने का भी कोई कारण नहीं है

  • अगर आप काम पर Claude इस्तेमाल कर सकते हैं और अपने emails दिखाना ठीक है, तो यह कहना अच्छा होगा: “मेरे भेजे गए सभी emails पढ़ो और मेरी आवाज़ में email drafts लिखने वाला एक skill बना दो”
    भले आप उस skill का सच में इस्तेमाल न करें, generated skill file को पढ़ना मज़ेदार होता है। Claude से “मैं कौन हूँ?” पूछने जैसा एक अजीब एहसास आता है
    मैंने इसे Slack messages के साथ नहीं आज़माया, क्योंकि उन्हें पढ़ना थोड़ा डरावना लगता है। फिर भी वही concept लागू होगा
    हमारी कंपनी में कुछ लोग Claude से Slack messages सक्रिय रूप से लिखवाते हैं, और यह आसानी से पकड़ में आ जाता है: एक दिन तक वे कई messages में बमुश्किल समझ आने वाली अंग्रेज़ी लिखते हैं, और अगले दिन से एकदम सुसंगत, flawless prose एक ही message में भेजने लगते हैं

    • मैंने दोस्तों के Discord chat logs का सारांश बनाकर उसे League of Legends मैच review की बोलचाल वाली शैली में ढाला। उदाहरण यहाँ है: https://github.com/shepherdjerred/monorepo/blob/main/package...
      यह वास्तव में काफ़ी अच्छा काम करता है

  • आजकल LinkedIn feed स्क्रॉल करना मज़ेदार है
    आज मुझे जो सबसे पसंद आया, वह था: “समस्या tax नहीं है। समस्या mindset है.”

    • LinkedIn वाला घिसा-पिटा उत्साह तो LLM आने से पहले से ही मौजूद था

  • “JetBrains Mono” फ़ॉन्ट की बात देखकर लगा था कि ज़रूर Inter के अति-उपयोग की आलोचना आएगी। फिर भी JetBrains Mono एक शानदार फ़ॉन्ट है

    • जैसे राजनीतिक दल जिन जालों में फँस जाते हैं, वैसा ही कहीं यह न हो जाए कि सामने वाले ने जो सोचा है वह परिभाषा के हिसाब से बुरा है।
      अगर JetBrains Mono काम के लिए सही है तो उसे इस्तेमाल करना चाहिए, सिर्फ़ इसलिए उससे बचने की ज़रूरत नहीं कि AI उसे अक्सर इस्तेमाल करता है
    • बात थोड़ी अलग है, लेकिन अगर नाम JetBrains Mono है तो क्या यह JetBrains की बौद्धिक संपदा है?
      सोच रहा हूँ कि क्या इसे किसी भी वेबसाइट पर इस्तेमाल करना कानूनी तौर पर ठीक है
    • यह थोड़ा दुख देता है
    • यह मेरा रोज़ इस्तेमाल होने वाला फ़ॉन्ट है, इसलिए वह सूची देखकर मैं थोड़ा चौंक गया। शायद चूँकि मैं इसे पहले से इस्तेमाल कर रहा था, इसलिए ध्यान ही नहीं गया