कुछ समय पहले Hacker News पर एक विषय काफी चर्चा में था।
वह एक ब्लॉग पोस्ट थी जिसमें बताया गया था कि classical ML से AI Slop Text की पहचान करना उम्मीद से ज़्यादा प्रभावी है।
https://news.ycombinator.com/item?id=48936880
https://blog.lyc8503.net/en/post/llm-classifier/
यह ऐसा तरीका है जिस पर पहले भी काफी चर्चा हो चुकी थी, लेकिन यह अब भी वैध और प्रभावी लगा, इसलिए मैंने इसका Korean संस्करण भी बना लिया।
- वाक्य-स्तर पर बाँटकर char/word n-gram TF-IDF + linear SVM ensemble से स्कोर किया जाता है, और संदिग्ध वाक्यों के अनुपात के आधार पर पूरे दस्तावेज़ का निर्णय किया जाता है।
- inference पूरी तरह JavaScript में होता है, इसलिए यह server, API, GPU के बिना सिर्फ static page पर चलता है। मॉडल लगभग 1.4MB का है, और पेस्ट किया गया लेख कहीं भी भेजा नहीं जाता।
बिल्कुल, इसकी सीमाएँ भी स्पष्ट हैं। SVM जैसी classical ML का उपयोग होने की वजह से कुछ साफ़ तौर पर AI-जैसे लेख तो यह अच्छी तरह पकड़ लेता है, लेकिन अस्पष्ट या academic लेखों में कभी-कभी अनिश्चित परिणाम भी देता है।
अगर इसमें परिणाम AI आता है तो वह हमेशा AI ही हो, यह ज़रूरी नहीं है, लेकिन AI द्वारा लिखे गए लेख की जाँच करने के लिए यह उपयोगी हो सकता है।
1 टिप्पणियां
मैंने इसे अपनी लिखी हुई चीज़ों से तुलना करके देखा। जो मैंने खुद लिखा था वह 0% आया, AI से लिखवाकर थोड़ा-बहुत एडिट किया हुआ 51% आया, और सिर्फ AI से लिखा हुआ 100% आया, तो उम्मीद से बेहतर पहचान कर रहा है, हेहे।
बस एक आइडिया है: अगर Chrome browser extension के रूप में
https://github.com/mozilla/readabilityजैसे मानदंडों से content की पहचान करके, उसका परिणाम ट्रैफिक सिग्नल की तरह दिखाया जाए, तो यह और सुविधाजनक लगेगा।(सिर्फ रजिस्टर किए गए page domains को अपने-आप पहचान ले, और बाकी पर translation feature की तरह मैन्युअल रूप से काम करे, तब भी अच्छा लगेगा)