हमने वह फीचर जोड़ दिया जिसे ChatGPT गलती से मौजूद मान रहा था

• ChatGPT ने ऐसे फीचर की जानकारी दी जो मौजूद ही नहीं था, जिसके कारण वास्तव में बहुत से उपयोगकर्ताओं ने Soundslice पर ASCII Tab अपलोड किया
• Soundslice की मूल सेवा सिर्फ इमेज-आधारित sheet music scan को सपोर्ट करती थी, लेकिन ChatGPT के निर्देशों के कारण ASCII Tab सपोर्ट की मांग तेजी से बढ़ गई
• प्रोडक्ट को लेकर गलतफहमी कम करने के लिए वास्तव में ASCII Tab importer फीचर जोड़ना पड़ा
• इसे ऐसा पहला मामला माना जा सकता है जिसमें AI ने गलत जानकारी फैलाकर वास्तविक प्रोडक्ट दिशा को भी प्रभावित किया
• फीचर जोड़ना अपने-आप में उपयोगकर्ताओं के लिए मददगार है, लेकिन इस बात को लेकर मिश्रित भावनाएँ रहीं कि प्रोडक्ट डेवलपमेंट 'गलत जानकारी' से प्रभावित हो रहा है

---

पृष्ठभूमि और समस्या की स्थिति

• Soundslice का Sheet Music scanner फोटो से sheet music को digitize करता है, ताकि उपयोगकर्ता उसे सुन सकें, एडिट कर सकें और अभ्यास कर सकें
• सिस्टम सुधारने के लिए error logs मॉनिटर किए जाते हैं, और हाल में पारंपरिक sheet music फोटो की जगह ChatGPT चैट स्क्रीन के ASCII tab notation वाले screenshot बड़ी संख्या में अपलोड होने लगे
  • ASCII tab notation गिटार जैसे string instruments के लिए सरलीकृत notation system है
• मूल रूप से ASCII Tab format मौजूदा Soundslice सेवा में सपोर्टेड फीचर नहीं था

कारण की पहचान

• इतने अलग-अलग स्रोतों से ASCII tab screenshot क्यों अपलोड हो रहे थे, इसका कारण खोजते हुए सीधे ChatGPT से सवाल पूछकर टेस्ट किया गया
• इससे सीधे पुष्टि हुई कि ChatGPT उपयोगकर्ताओं को गलत तरीके से यह बता रहा था कि वे Soundslice साइट में ASCII tab import करके audio सुन सकते हैं

फीचर का न होना और गलतफहमी

• Soundslice वास्तव में ASCII tab को सीधे import करने की सुविधा नहीं देता था
• जबकि ऐसा फीचर था ही नहीं, फिर भी कई उपयोगकर्ताओं ने सिर्फ ChatGPT के निर्देश पर भरोसा करके signup और upload करने की कोशिश की
• ChatGPT के गलत जवाब की वजह से कंपनी की सेवा को लेकर उपयोगकर्ताओं की अपेक्षाएँ गलत तरीके से बन गईं
• इसके कारण, वास्तव में मौजूद न रहने वाले फीचर को लेकर शिकायतें और पूछताछ लगातार आती रहीं

निर्णय और प्रतिक्रिया

• ऐसी स्थिति में कंपनी ने सोचा कि इसका जवाब कैसे दिया जाए
• सेवा में "ChatGPT का जवाब गलत है" जैसी notice लगाने का विकल्प भी था, लेकिन वास्तविक उपयोगकर्ता मांग को बड़ा मानते हुए ASCII tab importer फीचर विकसित किया गया
• यह 2025 के development plan list में नीचे की प्राथमिकता वाला फीचर था, लेकिन मांग के अनुसार इसे जल्दी शामिल किया गया
• प्रोडक्ट UI की भाषा भी बदली गई ताकि इस नए फीचर को सक्रिय रूप से बताया जा सके

प्रोडक्ट/सेवा की दिशा पर प्रभाव

• इसे ऐसा पहला मामला बताया गया जिसमें ChatGPT ने बार-बार गलत जानकारी देकर एक ऐसे फीचर को product roadmap में शामिल करा दिया जो वास्तव में पहले मौजूद नहीं था
• उपयोगकर्ताओं को उपयोगी टूल मिलना सकारात्मक है, लेकिन गलत जानकारी के कारण प्रोडक्ट डेवलपमेंट की दिशा प्रभावित होने पर मिश्रित भावनाएँ रहीं

अनुभव और चिंताएँ

• इस बात का गहरा एहसास हुआ कि AI द्वारा फैलायी गई गलत जानकारी अब वास्तविक कंपनी और प्रोडक्ट निर्णयों को प्रभावित करने वाले दौर में पहुँच चुकी है
• इस पर सवाल बाकी है कि उपयोगकर्ता मांग के बजाय AI द्वारा बनाई गई गलत अपेक्षाओं के आधार पर कंपनी को किस स्तर तक प्रतिक्रिया देनी चाहिए

[kandk]

लगता है यह ऐसी सर्विस है जिसे AI ने खुद चुन लिया हो, काफ़ी जलन हो रही है, हाहा

[jjw951215]

लगता है ChatGPT ही marketing department था।

[GN⁺]

Hacker News राय

• GPT-4 को प्रोग्रामिंग में इस्तेमाल करने का सबसे उपयोगी तरीकों में से एक, मेरे अनुभव में, यह है कि API के इस्तेमाल को <i>समझाने</i> के बजाय सिर्फ example code और अतिरिक्त feature requirements दिए जाएँ और AI को अनुमान लगाने दिया जाए। कई बार यह ऐसा बेहतर approach निकाल देता है जिसके बारे में मैंने सोचा भी नहीं था। तब मैं सचमुच API को बदलकर AI के code को काम करने लायक बना देता हूँ। उल्टा, जब मैं existing code दिखाकर पूछता हूँ कि यह क्या करता है और AI गलती कर देता है, तो मैं उसे इस संकेत की तरह लेता हूँ कि मेरा API confusing तरीके से design किया गया है। इस तरह neural network की मुख्य ताकत accuracy नहीं, बल्कि उसकी विश्वसनीय लगने वाली "hallucination" क्षमता, यानी creativity, का उपयोग किया जा सकता है। अच्छा यह है कि GPT-4 द्वारा चालाकी से छिपाए गए bugs को खुद पकड़ने में समय नहीं लगाना पड़ता। सिर्फ non-intuitive interface को बेहतर बनाया जा सकता है। जो चीजें मूल रूप से inefficient, unreliable, या composability में कमजोर हैं, उनमें AI मदद नहीं कर सकता। लेकिन सिर्फ API को अधिक guessable और समझने में आसान बना देना भी बहुत मूल्यवान है। हाँ, पहले से लोकप्रिय APIs पर यह तरीका उतना काम नहीं करता, यह इसकी सीमा है
  • कभी-कभी AI सचमुच बेहतर approach सुझा देता है। मैंने अपनी किताब की पांडुलिपि 30 से अधिक बार edit की थी और experts से proofreading भी कराई थी, फिर भी आख़िरी चरण में Grammarly ने लगभग 1/3 उपयोगी सुधार सुझाए। अगर मैंने उसके सारे सुझाव मान लिए होते, तो पांडुलिपि शायद और खराब हो जाती। Grammarly की ताकत अनावश्यक शब्दों और passive voice को पकड़ने में है। लेकिन humor, context, या जानबूझकर की गई repetition जैसी चीजें वह नहीं समझता। समस्या यह है कि managers इंसानों को पूरी तरह हटाना चाहते हैं, और फिर बात लगभग हमेशा बिगड़ जाती है
  • एक हल्का-सा किस्सा। लगभग हर Python image processing library में आमतौर पर imread() function होता है, लेकिन मुझे यह पता नहीं था, इसलिए जब मैंने internal library बनाई तो image_get() जैसा अलग नाम रख दिया। जब मैं ChatGPT से internal library का उपयोग करके एक simple script लिखने को कहता हूँ, तो अगर context ज़्यादा न दूँ, यह लगभग हर बार mylib.imread() मानकर code लिख देता है
  • यह तरीका पुराने HCI (Human-Computer Interaction) design technique Wizard of Oz जैसा है। इसमें इंसान असली app होने का नाटक करता है, और यह नए features खोजने में प्रभावी होता है विकी विवरण
  • आज सुबह मैंने यह तरीका सफलतापूर्वक इस्तेमाल किया। मैंने AI से unit test code बनाने को कहा, और नतीजा बहुत खराब था। लेकिन उसी असफलता की प्रक्रिया में मुझे पता चला कि जिस code को test करना था, उसमें छिपा हुआ bug था
  • HDD, यानी Hallucination-Driven Development वाला मज़ाक
• मैंने हाल ही में एक पोस्ट में लिखा था: "कभी-कभी hallucination test-driven development (TDD) की तरह काम कर सकती है। अगर कोई large language model ऐसा method hallucinate करता है जो मौजूद ही नहीं है, तो हो सकता है वह method तार्किक रूप से ज़रूरी हो, इसलिए कभी-कभी उसे खुद implement कर देना अच्छा होता है" मूल पोस्ट देखें। यह product features पर भी लागू होता है
  • लगता है हममें से कई लोगों ने यह तरीका सीधे अनुभव किया है। vibe coders की hallucinated API calls भी शायद दरअसल ऐसे सुझाव हैं जिन्हें पहले से मौजूद होना चाहिए था। hallucination-based development अब trend है संबंधित ट्वीट
• मुझे लगता है कि इस मामले से बहुत लोग गलत सबक ले रहे हैं। असली बात यह नहीं है कि demand थी, बल्कि यह है कि technology ने एक ऐसा feature hallucinate करके सुझाया जो मौजूद ही नहीं था, और फिर वह नया feature जोड़ दिया गया। मुख्य बिंदु यह है कि generative AI ने लोगों को यह विश्वास दिला दिया कि जो feature वास्तव में नहीं था, वह मौजूद है। आगे चलकर इससे और गंभीर समस्याएँ पैदा हो सकती हैं, इसलिए मुझे लगता है ChatGPT चलाने वालों को ध्यान रखना चाहिए कि ऐसी चीज़ें बार-बार न हों
• music notation tool का बाज़ार कई तरह से बँटा हुआ है। सबसे प्रमुख रूप से traditional notation और tab notation (guitar और संबंधित वाद्यों के लिए) में विभाजित है। उपयोगकर्ता, notation style, और उपयोगी जानकारी तक पूरी तरह अलग हैं। standardization की कोशिशें हुई हैं (जैसे MusicXML), लेकिन camps के बीच दीवारें अब भी ऊँची हैं। ChatGPT ने जो किया, वह यह मान लेना था कि tab notation के उपयोगकर्ता भी Soundslice का उपयोग करेंगे, जबकि शायद अभी ऐसा नहीं है। लेकिन भविष्य में, अगर Soundslice tab users के लिए विशेष value देने वाले additional features दे, तो यह बदल सकता है
  • पता नहीं आपने मेरी बात ठीक से समझी या नहीं, लेकिन Soundslice पिछले 10 साल से tab notation को पूरी तरह support करता है, खासकर editor और कई formats के importer सहित। इस बार नया जोड़ा गया support <i>ASCII tab</i> का है
• मैंने हाल में LLM से code लिखवाने की कोशिश की। boilerplate setup के लिए यह उपयोगी है। patterns पहचानने में भी इसकी ताकत है। लेकिन यह अक्सर code को बार-बार इधर-उधर बदलवाता रहता है। इसने एक बार मेरे लिए पूरा iOS app भी बनाया; UI को इसने मेरी इच्छा के अनुसार अच्छी तरह बदला और sample data भी तरह-तरह से भर दिया। लेकिन code structure की सफ़ाई बहुत खराब थी। जब audio files की play time को list के रूप में manage करना था, तो इसने file ID और duration को dictionary में map करने की कोशिश की (नए developers के लिए: आम तौर पर ऐसी जानकारी AudioFile object के अंदर attached होती है)। LLM का झुकाव पुराने version के code को बार-बार refer करने की ओर होता है। कई बार यह लगातार ऐसे बदलावों पर अड़ा रहता है जिनका मौजूदा काम से कोई संबंध नहीं होता। अब मुझे लगने लगा है कि मैं LLM को "train" करने में बहुत समय लगा रहा हूँ। अगर इसकी सीमाओं से आगे बढ़कर उस पर ज़रूरत से ज़्यादा निर्भर न हों, तो यह काफ़ी productive हो सकता है। कम से कम यह तो समझे कि मैंने क्या बदला है, और 5 दिन पहले के code draft के आधार पर बार-बार वही सुझाव न देता रहे। (एक उदाहरण में, जहाँ लंबे flat text file को enum values में बदलना था, मैंने सिर्फ पहली दो lines बदलीं और इसने जल्द ही pattern सीखकर दर्जनों lines सही तरह से सुझा दीं)
  • LLM के साथ काम करना सचमुच कई बहुत productive interns के साथ काम करने जैसा लगता है, और इसकी सीमाएँ भी वैसी ही हैं
• इसे product-channel fit कहते हैं। मुख्य बिंदु यह है कि इसने नए acquisition channel से आई demand को तुरंत पकड़ लिया
  • ChatGPT ने वास्तव में वही काम किया जो मेरे अनुभव में कई कंपनियों की sales team हमेशा से करती आई है। ग्राहक जो चाहता है, उसे आत्मविश्वास से "यह पहले से है" या "अगली तिमाही में आ जाएगा" कह देना, और फिर engineers से कहना कि जल्दी से बना दो—ठीक वही structure, बस automated version
  • क्या यह solutions engineering से जुड़ा हुआ है? यानी वह क्षेत्र जो बड़े ग्राहकों के लिए custom solutions, adapters, data processing आदि जैसी individualized support पर केंद्रित होता है
  • यह बिल्कुल नए market need या opportunity खोजने का एक नया तरीका है। यह उस ताकत से जुड़ता है जिसमें LLM बड़े पैमाने पर data देखकर ऐसे patterns को "hallucinate" कर सकता है जिन्हें इंसान अभी तक साफ़ तौर पर पहचान नहीं पाए। इस case की तरह, उस pattern के वास्तव में मौजूद होने का सबूत तब सामने आया जब लोगों ने ChatGPT की गलत जानकारी पर भरोसा करके उसी के अनुसार काम किया। यानी क्रम हुआ: hallucination → action → real demand validation → supplier द्वारा feature addition। अगर implementation cost बहुत ज़्यादा न हो, तो कंपनी के नज़रिए से यह बुरा response नहीं है
• इस मामले को देखकर मेरे दिमाग में तुरंत ‘AI SEO’ आया। मुझे लगता है बहुत से लोग यह शोध कर रहे होंगे कि कैसे AI chatbots, जैसे ChatGPT जैसे LLMs, उनकी साइट पर traffic भेजें। आगे चलकर इस market में अरबों डॉलर आने की संभावना है। मुझे इस क्षेत्र की जानकारी नहीं है, लेकिन यक़ीन है कि बहुत लोग पहले से इस पर काम कर रहे होंगे। और मुझे यह भी जिज्ञासा है कि क्या आगे कोई ऐसी service आएगी जहाँ OpenAI को पैसे देकर ChatGPT से अपने product की ज़्यादा recommendation कराई जा सके
  • इस खेल में जीतने के लिए ज़रूरी है कि आपकी website का LLM training data में बहुत बार और स्वाभाविक रूप से ज़िक्र हो। AI SEO और पारंपरिक SEO में बहुत बड़ा अंतर नहीं है
• यह एक दिलचस्प उदाहरण है कि AI वास्तविक दुनिया में बदलाव कैसे ला रहा है। कुछ लोग AGI द्वारा दुनिया जीतने वाले robot armies से डरते हैं, लेकिन मुझे लगता है कि असल में market forces ही AI के ज़रिए दुनिया को चलाने का ज़्यादा सीधा माध्यम बनेंगी
• अगर आपने B2B startup में कभी यह देखा है कि "sales team ने कोई ऐसा feature लिख दिया जो असल में था ही नहीं, और backlog अचानक उसी feature की ओर मुड़ गया", तो AI hallucination की वजह से हुआ यह बदलाव आपको बिल्कुल भी चौंकाने वाला नहीं लगेगा
  • यह मज़ाक भी आया कि कहीं "rogue" की spelling गलत तो नहीं लिखी गई। "household item rouge" और "rule-breaking rogue" का अंतर भी link के साथ बताया गया
  • B2B क्षेत्र में sales team का सिर्फ PowerPoint लेकर घूमना, और अगर response अच्छा मिले तो पीछे से feature या पूरा product तक जल्दी-जल्दी तैयार करना, एक standard practice है। यह सिर्फ startups की बात नहीं है। बड़ी कंपनियाँ भी अक्सर ऐसा करती हैं
  • B2B (Business-to-Business) का मतलब है business-to-business कारोबार
• हमारी कंपनी ने भी ऐसी ही समस्या झेली है। ChatGPT नहीं, बल्कि हमारा अपना AI chatbot documentation-based RAG करते समय बार-बार ऐसे options (flags) hallucinate करता था जो असल में मौजूद नहीं थे। इसलिए हमने इसे product feedback के रूप में review किया। ज़रूरी नहीं कि वही exact option चाहिए था, लेकिन शायद कोई intuitive feature missing था, इसलिए LLM ने उसे एक plausible चीज़ के रूप में कल्पना कर लिया

[kallare]

शायद इसे hallucination-driven development कहना चाहिए...;;

[opminsu]

हाहाहाहा

[ryj0902]

सिफारिश... यही सिफारिश है!

[unsure4000]

HDD हाहाहाहाहाहाहाहा

[ilillliiliil]

यही तो है lol

[dongjinahn]

हाहाहा "फ़ीचर होना चाहिए"

[bungker]

हाहाहाहा