AI-Powered फ़ीचर्स बनाते समय सीखी गई बातें

 (newsletter.posthog.com)
20 पॉइंट द्वारा GN⁺ 2025-10-06 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • PostHog ने 12 महीनों तक AI फ़ीचर Max AI विकसित करते हुए जो व्यावहारिक अनुभव हासिल किया, उसके आधार पर सही फ़ीचर चुनने से लेकर implementation और improvement तक की पूरी प्रक्रिया को व्यवस्थित करने वाली गाइड
  • AI फ़ीचर्स, अगर वे धीमी, अविश्वसनीय, या महत्वहीन समस्याओं को हल करते हैं, तो प्रोडक्ट को बेहतर बनाने के बजाय खराब कर सकते हैं; इसलिए validated patterns (डेटा खोज/सारांश, generators, tool use) का उपयोग करना चाहिए
  • implementation चरण में ऐप का context और state management सबसे महत्वपूर्ण है; query planning और conditional routing के ज़रिए AI को सही दिशा में ले जाएँ, और monitoring व guardrails से failures के लिए तैयार रहें
  • speed optimization के लिए model benchmarks को लगातार ट्रैक करें, task के अनुसार fast और slow models का मिश्रित उपयोग करें, और asynchronous processing का उपयोग करें
  • लगातार evaluation और improvement के लिए शुरुआती चरण से eval जोड़ें, A/B tests चलाएँ, AI knowledge silos को रोकें, और AI expertise को पूरी टीम में फैलाएँ

क्या बनाना है, यह चुनना

  • यह पहचानना ज़रूरी है कि AI प्रोडक्ट को खराब भी कर सकता है, और ऐसे गलत फ़ीचर्स नहीं बनाने चाहिए जो बहुत धीमे हों, भरोसेमंद न हों, या ऐसी समस्या हल करें जिसकी किसी को परवाह ही न हो

1. वे patterns सीखें जिनमें AI अच्छा है

  • validated AI patterns को अपनाएँ, ताकि उपयोगकर्ताओं के लिए परिचित UX patterns को AI की वास्तविक ताकत वाले फ़ंक्शन्स के साथ जोड़ा जा सके
    • पहला pattern: "दस्तावेज़/डेटा/PDF से बातचीत" - AI search और summarization में बहुत अच्छा है, इसलिए इसका उपयोग रिपोर्ट और recommendations बनाने में किया जा सकता है (उदाहरण: Intercom का Fin, Mintlify का docs chat)
    • दूसरा pattern: कई तरह के generators - titles, code, documents, SQL, images, filters आदि बनाना (उदाहरण: Lovable, Bolt.new, Figma, Rippling, Notion)
    • तीसरा pattern: tool use - AI अच्छी तरह परिभाषित tools का उपयोग करके workflows को automate और improve करता है (उदाहरण: MCP servers, Zapier, Atlassian, Asana)
  • PostHog का Max AI कई patterns का उपयोग करता है
    • डेटा और दस्तावेज़ों से बातचीत
    • SQL insights और filters बनाना
    • survey generation और analysis insights जैसे tools का उपयोग
    • आगे चलकर session recording को अपने-आप देखना और analyze करना जैसे tool use का विस्तार

2. उन समस्याओं की पहचान करें जिन्हें AI हल कर सकता है

  • पूरे प्रोडक्ट में उन tasks की समीक्षा करें जहाँ AI वास्तविक value दे सकता है
    • 30 सेकंड से अधिक समय लेने वाले स्पष्ट single tasks - लंबे forms भरना, manual data entry, integrations set up करना, SDK install करना आदि
    • ऐसे मामले जहाँ उपयोगकर्ता को ऐसी language या interface इस्तेमाल करनी पड़ती है जिसे वह समझता नहीं - complex UI, SQL queries, app building आदि
    • 20 से अधिक बार दोहराए जाने वाले tasks - descriptions लिखना, summaries बनाना, items generate करना आदि
  • incident.io के Stephen Whitworth की सलाह: "AI क्या नया और शानदार कर सकता है" से ज़्यादा, इस पर ध्यान दें कि "उपयोगकर्ता जो काम दिन में 100 बार करता है, उसे AI कैसे बेहतर बना सकता है"
    • उदाहरण: उपयोगकर्ता manually incident summary लिखने की तुलना में auto-generated incident summaries को कहीं अधिक पसंद करते हैं, और अभी 75% incident summaries AI से बनती हैं
  • PostHog के उपयोग के उदाहरण
    • AI install wizard: PostHog install time को लगभग 10 मिनट से घटाकर 90 सेकंड कर दिया
    • Max AI का SQL translation: complex SQL queries को natural language में आसानी से लिखने की सुविधा देकर SQL से कम परिचित उपयोगकर्ताओं को भी custom insights बनाने में सक्षम किया

3. सत्यापित करें कि समस्या specific और valuable है

  • दायरा घटाकर specific और valuable problem पर लाना चाहिए
  • जिन जालों से बचना चाहिए
    • value-less problem पर existing pattern लागू करना: शुरुआती चरण के साधारण प्रोडक्ट में "docs से chat" जैसा फ़ीचर अनावश्यक हो सकता है और core usability problems को छिपा सकता है
    • AI से बहुत बड़ी समस्या हल करने की कोशिश: AI आपको 1 billion dollar नहीं कमा देगा; पहले एक narrow problem हल करना और फिर expand करना बेहतर है
  • Max बनाते समय जल्दी ही समझ आ गया कि "revenue कैसे बढ़ाएँ?" जैसे बहुत broad सवाल प्रभावी नहीं होते
    • इसके बजाय PostHog में integrated, और उपयोगकर्ता के PostHog context का लाभ उठाने वाले specific फ़ंक्शन्स पर ध्यान दिया गया
    • उदाहरण: Max को पता होता है कि कौन-सी tables उपलब्ध हैं, इसलिए वह बेहतर SQL लिख सकता है; और क्योंकि उसे built-in tools की समझ है, वह native visualizations के साथ product-related सवालों का जवाब दे सकता है

आइडिया को implement करना

  • यह जाँचने के लिए कि जो बनाया जा रहा है वह वास्तव में काम करता है, core elements पर ध्यान केंद्रित करें

4. ऐप का context और state सबसे महत्वपूर्ण हैं

  • OpenAI API को call करना तो हर कोई कर सकता है, लेकिन ऐप का context unique होता है
  • इसमें शामिल होने वाला data
    • उपयोगकर्ता क्या करना चाहता है
    • इसे कौन कर रहा है
    • account state
    • ऐप के भीतर वर्तमान location
    • ऐप का data schema
  • जब Max से पूछा जाता है, "पिछले हफ्ते signups क्यों घटे?", तब API को यह जानकारी मिलती है
    • current page (dashboard, दिखाई दे रहे insights, applied filters, user role)
    • data schema (उपलब्ध events, event properties, people properties)
    • account (organization tier, timezone, retention period)
  • code example के ज़रिए UI context formatting
    • dashboard information (name, displayed insights, applied filters, date range)
    • insight information (name, query type, analyzed events, breakdowns)
  • workflow के भीतर "context" (state) को संभालना भी ज़रूरी है
    • बातचीत आगे बढ़ने पर context खोना नहीं चाहिए, खासकर जब कई sub-agents हों
    • workflow के हर हिस्से में context को store और include करें
  • context optimization और model selection, model fine-tuning की तुलना में अधिक प्रभावी और उपयोगी हैं

5. query planning और conditional routing से AI को सफलता की ओर ले जाएँ

  • AI को बिना सीमाओं के छोड़ दिया जाए तो वह हर तरह का अप्रत्याशित व्यवहार कर सकता है, इसलिए सफलता के लिए उसे गाइड करना ज़रूरी है
  • implementation इस तरह करें कि कई steps orchestrate और connect हों: query planning → data retrieval → visualization
  • state management के अलावा जिन बातों की आवश्यकता है
    • AI को उपलब्ध tools और data की पहचान हो
    • इरादे के अनुसार सही tool और data चुनने में सक्षम हो
    • query execution और formatting जैसे tools वास्तव में काम कर रहे हों, यह सुनिश्चित करें
  • PostHog के top-level router के उदाहरण
    • यह तय करना कि insight generate करनी है या नहीं
    • docs search करनी है या नहीं
    • billing से संबंधित है या नहीं
  • हर router node के अपने conditions होते हैं, जो task के लिए सही data और tools से जोड़ते हैं
    • इससे यह सुनिश्चित होता है कि task पूरा करने के लिए AI के पास आवश्यक building blocks मौजूद हों, और सफलता की संभावना बढ़े

6. monitoring, guardrails और error handling से failure के लिए तैयार रहें

  • बनाई गई संरचना failures को रोकती है, लेकिन AI अंततः guardrails से टकराएगा ही, इसलिए guardrails देना अनिवार्य है

monitoring

  • समस्याएँ कब शुरू होती हैं, यह जानने के लिए शुरू से monitoring implement करें
  • Max AI टीम के Georgiy की सलाह
    • production traces की monitoring अनिवार्य है
    • dogfooding के लिए monitoring tools बनाए गए, और अच्छा होता अगर वे शुरुआत से ही होते
    • scale पर traces monitor करना और कठिन हो जाता है, इसलिए online evaluation मददगार होगी (अगली priority)
    • 100 conversations की समीक्षा करना मुश्किल है, और रोज़ 1,000 conversations की समीक्षा करना असंभव
    • ये conversations वास्तविक उपयोगकर्ता प्रश्नों और समस्याओं का प्रतिनिधित्व करती हैं, और agent बनाने के लिए ज़रूरी लगभग सारी insights देती हैं

hallucination रोकना

  • AI जिस किसी चीज़ के बारे में hallucinate कर सकता है, उसके बारे में hallucinate करेगा, इसलिए कौन-सा data सीधे सेट करना है और किन rules का पालन करना है, यह स्पष्ट रूप से बताना चाहिए
  • AI install wizard के rules के उदाहरण
    • API key कभी hallucinate न करे; इसके बजाय .env file में भरी हुई API key का हमेशा उपयोग करे
    • "// वास्तविक ऐप में..." जैसे placeholder comments जोड़ना मना है
    • existing business logic को modify करना या simulation code जोड़ना मना है
    • ऐसे नए packages या libraries import करना मना है जो पहले से उपयोग में नहीं हैं
    • यह मान लेना मना है कि authentication libraries (Clerk, Auth.js आदि) उपलब्ध हैं

user guardrails

  • खाली text box देखते ही लोग घबरा जाते हैं और सब कुछ भूल जाते हैं
  • समाधान: AI फ़ीचर का उपयोग कैसे करना है, इस बारे में suggestions जोड़ें, सही दिशा में मार्गदर्शन दें, और याद दिलाएँ कि क्या-क्या किया जा सकता है

error handling

  • workflows कभी-कभी टूटते हैं, इसलिए retries और rate limiting के साथ उन्हें gracefully handle करें
  • advanced users के लिए LLM analytics, error tracking, और feature flags सेट किए जा सकते हैं
    • PostHog ये तीनों देता है (एक सुविधाजनक संयोग)

फ़ीचर को सुधारना

  • AI models तेज़ी से और अप्रत्याशित रूप से evolve होते हैं, इसलिए AI फ़ीचर्स को अपेक्षा से ज़्यादा maintenance और continuous improvement की ज़रूरत होती है

7. AI knowledge silos को रोकें

  • AI फ़ीचर बनाना टीम के केवल एक "AI person" की ज़िम्मेदारी नहीं होना चाहिए
  • AI को प्रोडक्ट में गहराई से integrated होना चाहिए, और इसका मतलब है कि उपयोगकर्ताओं से बात करने और उनके लिए कुछ बनाने वाले लोगों की expertise ज़रूरी है
  • सुझाए गए तरीके
    • primitives बनाएँ और AI फ़ीचर्स को composable बनाएँ: ताकि टीमों को prompts, streaming, approvals, eval, analytics को बार-बार reinvent न करना पड़े, और वे unique, value-added AI फ़ीचर्स पर ध्यान दे सकें
    • पूरे ऐप में consistent UX patterns बनाए रखें: PostHog में यह भूमिका Max निभाता है, जिससे हज़ारों AI widgets से पैदा होने वाली confusion रोकी जा सके
    • AI experts को अस्थायी रूप से टीमों में embed करें: ताकि टीमें AI फ़ीचर्स तेज़ी से बना सकें और पूरे organization में AI knowledge फैल सके (Max AI टीम ऐसा करती है)

8. speed पर ध्यान दें

  • AI फ़ीचर्स, खासकर complex ones, की बड़ी चुनौतियों में से एक है धीमापन
  • workflows अक्सर LLM providers को कई calls भेजते हैं, जिससे बहुत latency पैदा हो सकती है
  • यह खास तौर पर निराशाजनक हो सकता है जब वही काम ऐप या website में किसी दूसरे तरीके से पूरा किया जा सकता हो
  • Superhuman के founder Rahul Vohra की सलाह: "speed wins"
    • उदाहरण: Instant Reply या Auto Summarize
    • Gmail और Outlook में भी इसी तरह के फ़ीचर्स हैं, लेकिन उन्हें request के समय reply और summary generate करनी पड़ती है और उपयोगकर्ता को पूरा होने तक इंतज़ार करना पड़ता है
    • Superhuman में इसे precompute किया जाता है, इसलिए यह हमेशा तुरंत उपलब्ध रहता है; यही साधारण अंतर user experience पर बहुत बड़ा असर डालता है

सुधार के तरीके

  • model benchmarks और नए model releases पर नज़र रखें: जब बेहतर और तेज़ models आएँ, तो उन्हें test और use करें; इससे functionality और speed दोनों में सबसे बड़ा सुधार मिल सकता है (LLM analytics का उपयोग करें)
  • task के अनुसार fast और slow models का मिश्रण करें
    • title generation, session replay filters, survey summaries, और insight search के लिए fast models (gpt-4.1-mini, gpt-4.1-nano) का उपयोग
    • schema generation, conversation handling, और context management के लिए slow model (gpt-4.1) का उपयोग
  • asynchronous processing का उपयोग करें: session summaries और pattern extraction जैसे complex AI tasks को Temporal workflows के माध्यम से async चलाया जाता है, ताकि user interaction block न हो। बाद में इन्हें Redis में cache किया जाता है, जिससे बिना recompute किए retries संभव हों

9. effectiveness को लगातार monitor और evaluate करें

  • सिर्फ इसलिए कि नया फ़ीचर ✨ AI ✨ है, उसका मूल्यांकन कम सख्ती से नहीं किया जाना चाहिए
  • गलत ideas प्रोडक्ट को खराब कर सकते हैं, और models में बदलाव उपयोगकर्ताओं को बिना बताए अनुभव पर नकारात्मक असर डाल सकते हैं

effectiveness evaluate करने के तरीके

  • शुरुआत में eval जोड़ें: छोटा golden या synthetic dataset भी सामान्य development cycle की तुलना में बहुत बड़ा performance improvement दे सकता है। scale पर भी इसे implement करना अपेक्षा से आसान निकला, और आगे फ़ीचर्स बनाना भी तेज़ हुआ
  • A/B tests चलाएँ: AI फ़ीचर और सामान्य experience की तुलना करें, और अलग-अलग prompts, context, workflows आदि test करें
  • विभिन्न customer types में AI usage rate देखें (उदाहरण: free users बनाम enterprise, product बनाम sales)
    • यह पता चलने पर कि product managers और marketers, ideal customer profile वाले product engineers की तुलना में Max का ज़्यादा उपयोग करते हैं, roadmap पर फिर से विचार किया गया
  • उपयोगकर्ताओं को AI responses को अच्छा/बुरा rate करने दें: अगर उपयोगकर्ता response को बुरा rate करे, तो अतिरिक्त details माँगें और उनका उपयोग context, prompt, और workflow को adjust करने में करें
  • AI बनाम non-AI usage की तुलना करें: existing activation और retention metrics के आधार पर समझें कि AI प्रोडक्ट और user lifecycle में आदर्श रूप से कहाँ फिट बैठता है और क्या उसका सकारात्मक प्रभाव है

समापन

  • ये 9 lessons अलग-अलग नहीं, बल्कि मिलकर काम करते हैं
  • सीधे अंत तक पहुँचकर यह सोचना कि eval optimization = शानदार प्रोडक्ट बनाना, एक गलती है
  • लक्ष्य उपयोगकर्ताओं के लिए मूल्यवान चीज़ बनाना है, कोई चमकदार tech demo नहीं
  • सिर्फ AI होने का मतलब यह नहीं कि उपयोगकर्ता उसमें value पाएँगे
  • शानदार प्रोडक्ट बनाने के बारे में सीखे गए सारे सबक आज भी लागू होते हैं
    • उपयोगकर्ताओं से बात करें
    • जल्दी ship करें
    • experiments चलाएँ
    • iterate करें

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.