LLM द्वारा बनाए गए "AI smells"
(shvbsle.in)- LLM-सहायता प्राप्त लेखन में शुरुआत में शब्दावली और वाक्य संरचना बेहतर लगी, इसलिए वह कम-गुणवत्ता वाली AI-लिखित सामग्री जैसा नहीं लगा, लेकिन कुछ महीनों बाद वही निशान पूरे इंटरनेट पर बार-बार दिखने लगे
- LLM द्वारा लिखे गए पाठ में जरूरत से ज्यादा एक-पंक्ति सूक्ति-जैसे वाक्य, लगातार छोटे वाक्य, "X, Z का Y है" जैसे ढांचे सहित दोहराए जाने वाले शैलीगत पैटर्न दिखाई देते हैं
- AI-जनित वेबसाइटों में JetBrains Mono फ़ॉन्ट, एक जैसे step/bullet लेआउट, खास button/card डिज़ाइन, blinking badge dot जैसे दृश्य UI एलिमेंट बार-बार दिखते हैं
- मुख्य बात रचनात्मक काम में LLM/AI के उपयोग का विरोध करना नहीं है, बल्कि लेखन और वेबसाइटों में बार-बार पकड़े जाने वाले पैटर्न को इकट्ठा कर उनका अवलोकन करना है
LLM लेखन की "AI smell"
- पिछले साल के अंत में गणित ब्लॉग पोस्ट को सँवारने के लिए LLM का इस्तेमाल किया गया तो शब्दावली और वाक्य संरचना बेहतर हो गई, इसलिए वह AI द्वारा बनाई गई कम-गुणवत्ता वाली सामग्री जैसा नहीं लगा
- लगभग 3 महीने बाद वही वाक्य संरचना पूरे इंटरनेट पर बार-बार दिखने लगी, और AI-सहायता प्राप्त कामकाज में पहचाने जा सकने वाले निशान जैसी महसूस हुई
- em-dash के अत्यधिक उपयोग के अलावा नीचे दिए गए तीन शैलीगत पैटर्न भी बार-बार दिखाई देते हैं
लेखन और वेबसाइटों में दिखने वाले दोहरावदार पैटर्न
-
जरूरत से ज्यादा एक-पंक्ति सूक्ति-जैसे वाक्य (Punchlines)
- छोटे, तीखे घोषणात्मक वाक्य जरूरत से ज्यादा आते हैं
- "Humans trust symmetry because it feels like intelligence made visible."
"मनुष्य symmetry पर भरोसा करते हैं क्योंकि यह ऐसे महसूस होती है जैसे intelligence दृश्य रूप ले चुकी हो।" - "The Tiger fit the story. Jin-yong fit the physics."
"Tiger कहानी में फिट बैठता था। Jin-yong physics में फिट बैठता था।" - "Symmetry becomes a trap."
"Symmetry एक जाल बन जाती है।"
- "Humans trust symmetry because it feels like intelligence made visible."
- छोटे, तीखे घोषणात्मक वाक्य जरूरत से ज्यादा आते हैं
-
लगातार छोटे वाक्य
- छोटे वाक्यों को एक के बाद एक रखने वाली संरचना दोहराई जाती है
- "Yet the tilt is not an accident. It is the shape of the optimum."
"लेकिन वह झुकाव संयोग नहीं है। वह optimum का आकार है।" - "Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony."
"फिर AlphaEvolve आया। उसमें symmetry के लिए कोई preference नहीं थी। कोई aesthetic prior नहीं। harmony को बचाए रखने की कोई instinct नहीं।" - "These examples are not decorative. They form a distributed argument."
"ये उदाहरण सिर्फ सजावटी नहीं हैं। ये मिलकर एक distributed argument बनाते हैं।"
- "Yet the tilt is not an accident. It is the shape of the optimum."
- छोटे वाक्यों को एक के बाद एक रखने वाली संरचना दोहराई जाती है
-
"X, Z का Y है" संरचना
- किसी खास अवधारणा को रूपक के रूप में परिभाषित करने का एक स्थिर पैटर्न
- "Cringe is the visible signature of moving along a gradient you chose."
"Cringe उस gradient पर आगे बढ़ने का दिखाई देने वाला signature है जिसे आपने चुना है।"
- "Cringe is the visible signature of moving along a gradient you chose."
- किसी खास अवधारणा को रूपक के रूप में परिभाषित करने का एक स्थिर पैटर्न
-
"सिर्फ X नहीं बल्कि Y" संरचना
- विरोध के जरिए जोर देने वाली वाक्य संरचना
- "solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts"
"ऐसे solutions जो सिर्फ constraint को ही पूरा नहीं करते, बल्कि aesthetic instincts को भी संतुष्ट करते हैं"
- "solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts"
- विरोध के जरिए जोर देने वाली वाक्य संरचना
AI-जनित वेबसाइटों की "AI smell"
- सिर्फ लेखन ही नहीं, AI-जनित वेबसाइट डिज़ाइन में भी एकरूप दृश्य पैटर्न बार-बार दिखते हैं
-
JetBrains Mono फ़ॉन्ट
- AI द्वारा बनाई गई कई वेबपेजों में JetBrains Mono फ़ॉन्ट समान रूप से इस्तेमाल होता है
-
एक जैसे step और bullet लेआउट
- इस फ़ॉन्ट के साथ step संरचना और bullet list लेआउट लगभग एक ही रूप में बार-बार दिखते हैं
-
button और card डिज़ाइन
- खास button style और card component डिज़ाइन कई साइटों पर एक जैसे दिखाई देते हैं
-
badge का blinking dot
- badge component के भीतर blinking dot बार-बार दिखने वाले UI एलिमेंट के रूप में पहचाना जाता है
- फ़ुटनोट: लेखक रचनात्मक काम में LLM/AI के उपयोग का स्वयं विरोध नहीं करता, बल्कि इसे बार-बार पहचाने जाने वाले पैटर्न को इकट्ठा कर देखने के एक अवलोकन के रूप में रखता है
3 टिप्पणियां
मैं इससे संबंधित एक open source बनाने की कोशिश कर रहा हूँ। ऐसे लेख भी काफ़ी मददगार संदर्भ बनते हैं.
https://github.com/devswha/patina
मैं सहमत हूँ।
मैंने यह अनुभव किया है कि AI द्वारा लिखा गया लेख पढ़ना उतना ही मुश्किल लगता है, जैसे हम स्वाभाविक रूप से विज्ञापन बैनरों से नज़र बचा लेते हैं।
Hacker News की राय
जब LLM वह काम करता है जो मैं नहीं कर पाता, तब वह खास तौर पर अच्छा लगता है। अगर किसी खास क्षेत्र में LLM का आउटपुट मुझे अपने काम से बहुत बेहतर लगे, तो संभव है कि मेरे पास उसकी गुणवत्ता का सही आकलन करने की क्षमता ही कम हो
एक पक्ष कहता है, “AI ऐसा code बना देता है जो मैं किसी भी हालत में नहीं लिख पाता, कई दिनों का काम एक बार में खत्म कर देता है, और मेरी productivity 10 गुना बढ़ा देता है,” जबकि दूसरा पक्ष कहता है, “AI बार-बार घटिया code बनाता है, rework चाहिए होता है, गलती करता है इसलिए निगरानी रखनी पड़ती है, और आखिर में समय ही बर्बाद करता है।” अगर एक ही product का output लोगों को इतना अलग दिख रहा है, तो पहले वाले खेमे के लिए यह थोड़ा बुरा संकेत है
उलटे, मैं code लगभग लिखता ही नहीं और पेशे के तौर पर भी बस एक बार किया है, लेकिन जब Claude कुछ सेकंड में code उगल देता है तो लगता है जैसे मैं कोई सुपरह्यूमन हूँ और जल्द ही अरबपति बनने वाला हूँ। फिर मुझे याद आता है कि Claude पढ़ने लायक गद्य भी नहीं लिख पाता, और मैं लिखना तो जानता हूँ पर code नहीं, तो मैं वह code मिटाकर ज़्यादा कमाई वाले काम पर लौट जाता हूँ
शायद एक साल पहले मैं ऐसा नहीं कहता। वे इतनी विश्वसनीय बकवास निकालते हैं कि expert के लिए भी पहचानना कठिन हो जाता है, इसलिए उन पर बाज़ जैसी नज़र रखनी पड़ती है, लेकिन भीतर के पासे अब गलत या बेकार की तुलना में सही और उपयोगी दिशा में थोड़ा ज़्यादा गिर रहे हैं
महीने में एक किताब पढ़ना भी कोई बहुत बड़ा लक्ष्य नहीं है। Melville, Hemingway, Chaucer, Shakespeare तक जाने की ज़रूरत नहीं; बस कोई भी NYT bestseller उठा लीजिए, वह LLM द्वारा बनाए जा सकने वाले किसी भी लेखन से कहीं बेहतर होगा
LLM “textbook/technical manual” जैसी codified शैली को पसंद करता है, शायद इसलिए कि वह इंसानों के लिए अधिक उपयोगी पड़ती है। लेकिन इंसानी writing सिर्फ सबसे elegant वाक्य बनाने का नाम नहीं है, और कभी-कभी बेहतरीन writing कुछ ऐसी भी हो सकती है जैसे यह puppy picture meme: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...
“honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, “The smoking gun:” जैसी अभिव्यक्तियाँ बहुत तीखा LLM वाला संकेत लगती हैं
खासकर वे वाक्य जो “The ___:” से शुरू होते हैं; “load bearing” जब बात architecture की नहीं हो रही हो; “blast radius” जब सचमुच किसी विस्फोट की बात न हो; “smoke test” जहाँ “sanity check” ज़्यादा ठीक बैठता हो; तीन बिंदुओं की सूची में तीसरा बिंदु पहले दो का बस मिला-जुला रूप हो; किसी चीज़ को रूपक में “shape” कहना; “Curious if anyone…” पर खत्म होने वाली social posts; और किसी anecdote में “Oh. Oh.” लिखना, जिसमें दूसरे Oh को italic करना भी अक्सर दिखता है
इनमें से कुछ terms developer सच में इस्तेमाल करते हैं, लेकिन असली इस्तेमाल की आवृत्ति पर सवाल उठाना ठीक है, और नए models के prose में भी ऐसे निशान अब भी बचे हुए हैं
खासकर load bearing operations से जुड़ी रोज़मर्रा की बातचीत में काफ़ी सामान्य अभिव्यक्ति थी। हाँ, “smoke test” को असल ज़िंदगी में इस्तेमाल होते मैंने नहीं देखा
Wikipedia द्वारा संकलित patterns भी अच्छी तरह documented हैं: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
हर चीज़ को escape hatch बना दिया जाता है। try/catch भी escape hatch, CLI flag भी escape hatch। इसका कोई मतलब नहीं बनता, और आख़िरकार यह मेरी “बैन किए गए शब्द और वाक्यांश” वाली Markdown file में चला जाता है
LLM लेखन की एकरूपता खराब है। लिखने में मदद के लिए LLM का इस्तेमाल करना अच्छा है, लेकिन LLM द्वारा बनाए गए शब्दों को, भले सिर्फ शब्दावली में थोड़ा-सा बदलाव करके ही क्यों न हो, अंतिम लेख में न डालना बेहतर है
उससे संरचना और प्रवाह की आलोचनात्मक समीक्षा करवाई जा सकती है, और ज़रूरत से ज़्यादा दोहराए गए शब्द, passive voice, और बेवकूफ़ाना topic sentence चुनने जैसे मुद्दे ढूँढवाए जा सकते हैं। ऐसी चीज़ें शैली बिगाड़े बिना लेखन को अधिक वस्तुनिष्ठ रूप से बेहतर बनाती हैं
दूसरी ओर, web design में LLM की एकरूपता अच्छी है। ज़्यादातर साइटों को अलग दिखने के लिए बहुत कोशिश करने की ज़रूरत नहीं होती। किसी उपयोगी साइट के अच्छे design का मतलब readability है, और LLM इसमें औसत developer से बेहतर है। वही button layout और वही font size system बार-बार इस्तेमाल करना ठीक है। अगर वह मुझे अच्छा दिख रहा है, तो संभवतः वह मेरे अकेले करने से बेहतर होगा, और अकेले करता तो शायद उससे खराब ही होता
GPT-5.x इसमें खास तौर पर बुरा है। उदाहरण के लिए, dashboard बनाते समय यह ढेर सारे numbers और text snippets इधर-उधर डाल देता है, जिनमें से ज़्यादातर बस एक ही बात दो बार कहते हैं। हालांकि यह structure की कोई मूलभूत समस्या कम और ऐसी चीज़ ज़्यादा लगती है जो जल्द सुधर सकती है; और अगर पहले से सारा copy तैयार करके फिर साइट बनवाई जाए, तो अच्छा नतीजा मिल सकता है
लेखन में LLM का इस्तेमाल मुझे काफ़ी अजीब लगता है। बेवकूफ़ाना application form भरने जैसी चीज़ें शायद अपवाद हो सकती हैं। मैंने collaborators को technical docs में LLM इस्तेमाल करते देखा है, और वह लगभग हमेशा ऐसी borderline बकवास होती थी जिसकी बस दिखावट सही लगती थी। creative writing में LLM का बहुत इस्तेमाल करने पर लगता है जैसे उद्देश्य ही गायब हो जाता है
अभी तक मैंने इसे अपने लेखन की review के लिए नहीं आज़माया है, पर जानना चाहता हूँ कि क्या यह इतना अच्छा है
जब मैं सोचता हूँ कि कोई अपने प्रिय व्यक्ति के लिए या उसके बारे में कुछ महत्वपूर्ण लिखते समय बीच-बीच में सुझाई गई मीठी-सी कचरा पंक्तियाँ डाल दे, तो मुझे उसकी तरफ़ से शर्म आती है। यह पूरी तरह बकवास है, और यह दर्शकों को बहुत बड़ा संकेत देता है कि आपको अपने शब्द खुद लाने की भी परवाह नहीं है
विरोधी निषेध को भी नहीं छोड़ना चाहिए
यह एक rhetorical structure है जिसमें वाक्य के पहले हिस्से में किसी विचार का निषेध किया जाता है और बाद के हिस्से में विकल्प को दृढ़ता से रखा जाता है। आम तौर पर यह “X नहीं, Y है” या “सिर्फ X नहीं, Y है” जैसे फ़ॉर्मूले में आता है
Wikipedia पर भी आम LLM patterns पर अच्छी सामग्री है: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
खास तौर पर यह नज़रिया अच्छा लगा कि समस्या खुद ये patterns नहीं हैं। सिर्फ patterns ठीक करने से बात नहीं बनेगी; असली समस्या यह है कि ऐसे patterns अक्सर जल्दबाज़ी या लापरवाही से लिखी गई content की ओर इशारा करते हैं
“No ___, no ____. Just _____” जैसी संरचना, या किसी approach को समझाते समय “honest” का इस्तेमाल करना भी साफ़ पहचान में आता है
यह इतना ज़्यादा हो गया है कि मैं “क्या यह सच में पक्का है?” जैसे अंदाज़ में किसी sub-agent से fact-checking घुसाने वाला hook सोच रहा हूँ। “X नहीं, Y है” वाला झूठा भेद भी इसी तरह इस्तेमाल होता है। जैसे कोई self-proclaimed sovereign citizen कहे कि “मैं driving नहीं कर रहा, बस वाहन से यात्रा कर रहा हूँ”
यह सकारात्मक रूप में भी आता है। जैसे “Smooth. Effortless. A perfect fit for your needs.”
अनौपचारिक या persuasive writing में यह ऐसे बार-बार आता है मानो हर बार punchline ठोकनी ज़रूरी हो। थोड़ा अफ़सोस है कि हम सार्वजनिक रूप से बार-बार बता रहे हैं कि यह पहचान क्या है। इसे काफ़ी सटीकता से पकड़ पाना अच्छा था, लेकिन शायद यह हमेशा नहीं चल सकता था
दिलचस्प बात यह है कि LLM की writing style हाल में बहुत बेहतर हुई हो, ऐसा नहीं लगता
कुछ समय पहले यह पहले ही “ठीक-ठाक” स्तर तक पहुँच चुकी थी, लेकिन नए models ने ऐसा सुधार नहीं दिया कि लोग उन्हें पेशेवर human writers पर तरजीह दें। superintelligence की दौड़ में क्या दूसरे क्षेत्रों का भी यही हाल होगा, यह जानने की जिज्ञासा है
अब मैं चाहता हूँ कि blog posts, Slack messages जैसी ज़्यादातर चीज़ों में, भले spelling mistakes और grammar errors थोड़ी हों, फिर भी इंसानी कच्चा-सा लेखन दिखे
LLM idea generation, code writing, और शायद polishing के लिए शानदार है, लेकिन कृपया पूरी writing उसी से मत लिखवाइए। ऐसी writing में मैं AI नहीं, आप क्या कहना चाहते हैं, यह सुनना चाहता हूँ
अगर आप काम पर Claude इस्तेमाल कर सकते हैं और अपने emails दिखाना ठीक है, तो यह कहना अच्छा होगा: “मेरे भेजे गए सभी emails पढ़ो और मेरी आवाज़ में email drafts लिखने वाला एक skill बना दो”
भले आप उस skill का सच में इस्तेमाल न करें, generated skill file को पढ़ना मज़ेदार होता है। Claude से “मैं कौन हूँ?” पूछने जैसा एक अजीब एहसास आता है
मैंने इसे Slack messages के साथ नहीं आज़माया, क्योंकि उन्हें पढ़ना थोड़ा डरावना लगता है। फिर भी वही concept लागू होगा
हमारी कंपनी में कुछ लोग Claude से Slack messages सक्रिय रूप से लिखवाते हैं, और यह आसानी से पकड़ में आ जाता है: एक दिन तक वे कई messages में बमुश्किल समझ आने वाली अंग्रेज़ी लिखते हैं, और अगले दिन से एकदम सुसंगत, flawless prose एक ही message में भेजने लगते हैं
यह वास्तव में काफ़ी अच्छा काम करता है
आजकल LinkedIn feed स्क्रॉल करना मज़ेदार है
आज मुझे जो सबसे पसंद आया, वह था: “समस्या tax नहीं है। समस्या mindset है.”
“JetBrains Mono” फ़ॉन्ट की बात देखकर लगा था कि ज़रूर Inter के अति-उपयोग की आलोचना आएगी। फिर भी JetBrains Mono एक शानदार फ़ॉन्ट है
अगर JetBrains Mono काम के लिए सही है तो उसे इस्तेमाल करना चाहिए, सिर्फ़ इसलिए उससे बचने की ज़रूरत नहीं कि AI उसे अक्सर इस्तेमाल करता है
सोच रहा हूँ कि क्या इसे किसी भी वेबसाइट पर इस्तेमाल करना कानूनी तौर पर ठीक है