प्रोडक्ट में छिपे growth अवसर कैसे खोजें

• Duolingo, Grammarly जैसे वैश्विक subscription-based प्रोडक्ट्स को grow करने वाले Albert Cheng ने यह साझा किया कि उपयोगकर्ताओं को प्रोडक्ट वैल्यू से कैसे जोड़ा जाए, इस पर एक YouTube वीडियो की स्क्रिप्ट का सार
  • उन्होंने ज़ोर दिया कि growth सिर्फ metrics hacking नहीं, बल्कि user-centric value delivery process है
• Explore और Exploit framework के ज़रिए experiments से मिले insights को पूरे प्रोडक्ट में फैलाकर, एक सफल experiment को 10x से अधिक amplify करने की रणनीति पेश की गई
• Grammarly में free users को paid features का sampling दिखाकर प्रोडक्ट की असली वैल्यू बताई गई, जिससे upgrade rate 2x बढ़ा
• Chess.com में हार के बाद गलतियों की जगह बेहतरीन moves दिखाने वाले positive feedback पर स्विच करके game review 25%, subscriptions 20%, और retention में बड़ा सुधार हुआ
• consumer subscription products की सफलता की कुंजी उच्च user retention (D1 30-40% से अधिक) है, और यह दिखाता है कि word-of-mouth से organic growth तथा free product के ज़रिए व्यापक value delivery बेहद ज़रूरी है

---

Albert Cheng का परिचय और पृष्ठभूमि

• दुनिया के शीर्ष consumer growth experts में से एक, जिन्होंने Duolingo, Grammarly, और Chess.com में growth और monetization को lead किया
• शुरुआती दौर में YouTube पर 2 करोड़ से अधिक लोगों द्वारा उपयोग किए जाने वाले streaming और gaming features विकसित किए
• growth के प्रति उनका अनोखा approach marketing, data, strategy, और product management को जोड़ता है

पियानिस्ट से growth leader तक का सफर

• ताइवान से आए प्रवासी माता-पिता के घर पले-बढ़े और रोज़ 90 मिनट classical piano का अभ्यास किया
• उनके पास Perfect Pitch था, जिससे वे सुरों को तुरंत पहचान लेते थे और तेज़ी से संगीत सीखते थे
• music school जाने पर विचार किया, लेकिन बाद में engineering की ओर मुड़ गए
• piano और growth में समानताएँ
  • लगातार दोहराव और गलतियों से सीखना: तेज़ feedback loop और resilience का विकास
  • संरचित आधार पर रचनात्मकता: growth models और metrics जैसी संरचना पर creative solutions निकालना, जैसे music theory के आधार पर सुंदर संगीत बनाना

Explore और Exploit framework

• यह अवधारणा Brian Balfour की Reforge class से आई, जिससे Grammarly के engineering partner Nurmal के माध्यम से परिचय हुआ
• Explore: सही पहाड़ खोजने की प्रक्रिया
• Exploit: उस पहाड़ पर प्रभावी ढंग से चढ़ने के लिए resources केंद्रित करना
• ज़्यादातर कंपनियाँ किसी एक छोर पर झुक जाती हैं
  • अत्यधिक exploration: टीम बिखर जाती है और 100 तरह के ideas को random तरीके से try करती है, बिना रणनीति के
  • अत्यधिक exploitation: saturation और stagnation की स्थिति, और सिर्फ local optimization तक सीमित रहना
• growth teams अक्सर exploit mode में फँस जाती हैं

• micro level पर application: Chess.com का उदाहरण

  • Chess.com के learning feature PM Dylan ने game review engagement सुधारने पर काम किया
  • game review: गेम खत्म होने के बाद virtual coach सबसे खराब move और सबसे अच्छे move सिखाता है
  • data tracking से मिली खोज
    • game review इस्तेमाल करने वाले users में 80% लोग इसे सिर्फ जीतने के बाद इस्तेमाल करते थे
    • शुरुआत में यह माना गया था कि लोग हार या गलतियों का विश्लेषण करने के लिए इसका उपयोग करेंगे, लेकिन मानव मनोविज्ञान अलग निकला
  • product experience में बदलाव
    • हार के बाद गलतियाँ दिखाने की बजाय शानदार moves और best moves दिखाए गए
    • coach ने प्रोत्साहन संदेश दिया: "हार सीखने की प्रक्रिया का हिस्सा है"
  • नतीजे
    • game review 25% बढ़ा
    • subscriptions 20% बढ़ीं
    • user retention में बड़ा सुधार
  • exploit चरण: insights को पूरी कंपनी में साझा करना
    • puzzle PM ने इस positive pattern को अपने प्रोडक्ट में लागू किया
    • success rate दिखाना, copy बदलना, button color बदलना आदि
    • experiment की सफलता को 10x तक scale किया जा सकता है

• experiment success rate और continuous improvement

  • सामान्य experiment win rate 30~50% होती है
  • consumer products बहुत unpredictable होते हैं और कई hypotheses गलत निकलती हैं
  • बड़े सफल या बड़े असफल experiment, दोनों बहुत मूल्यवान होते हैं
    • insights को पूरी कंपनी में साझा करना ज़रूरी है
    • मूल PM को हर application method खुद खोजने की ज़रूरत नहीं
    • यदि hypothesis और findings को साफ़ तौर पर व्यक्त किया जाए, तो दूसरी टीमें ideas निकाल सकती हैं
  • success rate और impact बढ़ाने के लिए team members insights के आसपास फोकस करते हैं

• Explore और Exploit के बीच कब switch करना है

  • Chess.com हर साल लगभग 250 experiments चलाता है
  • Experiment Explorer Tools में निवेश
    • चल रहे experiments का समग्र दृश्य
    • hypotheses और learnings के बीच patterns पहचानना
  • जब statistically significant न होने वाले experiments बढ़ने लगें, तो यह अत्यधिक exploitation का संकेत है
    • शायद अब और value निकालने की गुंजाइश न बची हो
    • टीम को फिर से brainstorming और divergent thinking के लिए प्रेरित किया जाता है

AI के ज़रिए growth acceleration

• text-to-SQL feature

  • Chess.com के data request Slack channel में इसका उपयोग
    • पहले: ad-hoc सवालों (दक्षिण अफ्रीका में subscribers की संख्या, पिछले महीने puzzle play time आदि) का जवाब data analyst मैन्युअली देते थे
    • अब: Slack bot अपने आप query चलाकर analysis देता है
  • प्रभाव
    • Slack bot को पहला जवाब देने वाले के रूप में train किया गया
    • पूरी कंपनी ज़्यादा data-driven decision-making करने लगी
    • सवालों की संख्या में विस्फोटक बढ़ोतरी
      • वे सवाल भी आसानी से पूछे जा सकते हैं, जिन्हें लोग झिझक के कारण पहले नहीं पूछते थे
      • ChatGPT जैसा प्रभाव: सहज बातचीत करने वाला साथी बड़ा फर्क लाता है

• AI prototyping tools

  • idea से representative solution तक की प्रक्रिया छोटी हुई
  • पहले: इंसानी हस्तक्षेप वाले कई चरण (idea writing → spec → review → design आदि)
  • Chess.com का approach
    • मुख्य screens (onboarding flow, home screen, chessboard) के AI prototypes बनाए गए
    • v0, Lovable जैसे tools का उपयोग
    • इन्हें पूरी कंपनी के साथ साझा किया गया ताकि वे starting point की तरह काम करें
    • ideas को तेज़ी से visualize, discuss, और test किया जा सकता है

• AI stack

  • PM: Vzero
  • designer: Figma Make
  • engineer: Cursor, Claude Code, GitHub Copilot
  • marketing: translation, subtitles, content adaptation tools
  • customer support: Intercom Fin
  • चुनौती: tinkering से workflow तक सहज transition अभी अनसुलझा है
    • हर function की पसंदीदा tools अलग हैं
    • tools के बीच interoperability की कमी है
    • production deployment तक पहुँचने के लिए अब भी functions के बीच handoff की ज़रूरत पड़ती है
    • design system components और MCP में निवेश से सुधार जारी है

Grammarly की सबसे बड़ी monetization success story

• पृष्ठभूमि और समस्या की पहचान

  • Grammarly एक AI-based writing assistant है, जो Chrome extension या desktop client के रूप में उपलब्ध है
  • freemium business model: 90% से अधिक free users, बाकी paid subscribers
  • subscriber conversion PM Kyla की टीम free-to-paid conversion path सुधारने की ज़िम्मेदार थी
  • शुरुआती समस्या
    • users को किस प्रकार के suggestions मिल रहे हैं और paywall कितनी बार दिख रहा है, इसकी tracking पर्याप्त नहीं थी
    • पहले instrumentation बनाना ज़रूरी था

• मुख्य insight

  • free users में से बहुत कम लोग सभी suggestions स्वीकार करते हैं
    • ज़्यादातर लोग चुनिंदा suggestions ही स्वीकार करते हैं
  • free users का वास्तविक अनुभव: Grammarly सिर्फ spelling और grammar सुधारने वाला tool है
    • क्योंकि free suggestions मुख्य रूप से correctness पर केंद्रित थीं
  • paid features: tone को अधिक empathetic बनाना, clarity सुधारना, पूरे वाक्य को rewrite करना आदि

• समाधान: paid suggestions का sampling

  • विभिन्न paid suggestions का sampling करके उन्हें free users की writing में जगह-जगह दिखाया गया
  • paid features का सीमित preview दिया गया
  • चिंता: अगर बहुत ज़्यादा दिखाया गया, तो subscription intent कम हो सकता है
  • परिणाम: ठीक उल्टा हुआ
    • users ने Grammarly को काफ़ी अधिक powerful tool के रूप में पहचाना
    • upgrade rate लगभग 2x बढ़ गया

• monetization से मिली सीख

  • freemium products में free product को पूरे feature set को reflect करना चाहिए
  • कुछ paid features की लागत होती है, लेकिन उन्हें भरसक दिखाने से वही अपने आप payoff देता है
  • time-based free trial की जगह reverse trial की अवधारणा
    • लिखते समय real-time में improvements देना
    • प्रतिदिन सीमित संख्या में देना और फिर refresh करना
  • industry patterns को Grammarly के विशेष use case के मुताबिक ढाला गया

फ़्रीमियम vs. ट्रायल मॉडल

• फ़्रीमियम subscription मॉडल चुनने के कारण

  • मिशन-उन्मुखता: प्रोडक्ट को जितना संभव हो उतना व्यापक रूप से फैलाने का संस्थापक का लक्ष्य
    • Duolingo (शिक्षा), Grammarly (लेखन), Chess.com (शतरंज) — सभी का global स्तर पर व्यापक value proposition
    • सबसे कम entry barrier है मुफ़्त प्रोडक्ट
  • word-of-mouth growth: प्रोडक्ट मुख्यतः मुंहज़बानी प्रचार से बढ़ता है
    • network effects बनाना संभव: Duolingo के social features
    • Grammarly का B2C2B play: मुफ़्त उपयोगकर्ता टीम या सहकर्मियों की खरीद को प्रेरित करते हैं
  • मुख्य value proposition को मुफ़्त में स्थायी रूप से देना और premium features का sampling कराना

• ट्रायल (Trial) vs. reverse trial

  • reverse trial: B2B features में मज़बूत, खासकर जब lock-in हो
    • credit card जानकारी के बिना शुरुआत
    • CRM उपयोग या content बनाने में काफ़ी समय निवेश
    • ट्रायल अवधि खत्म होने पर बने रहने और भुगतान करने की संभावना अधिक
  • सामान्य free trial: consumer products में अधिक आम
    • consumer products में reverse trial का काम करना कठिन होता है

consumer subscription products की सफलता की कुंजी

• user retention का महत्व

  • user retention consumer subscription कंपनियों का सोना है
  • retention कम हो तो सारा बोझ पहले दिन के payment पर आ जाता है
    • user acquisition cost चुकानी पड़ती है
    • habitual usage pattern बनने से पहले aggressive upsell की ज़रूरत होती है
  • कई apps यह तरीका अपनाते हैं, लेकिन शुरुआती चरण से आगे बढ़ना मुश्किल होता है

• growth path का अंतर

  • Duolingo और Chess.com: organic word-of-mouth आधारित business
    • बाज़ार को बड़ा करते हुए grow करते हैं
    • यह highly competitive space में market share की लड़ाई से अलग है
  • competitive markets में users हासिल करने के लिए ऊँची bid पर प्रतिस्पर्धा होती है

• retention targets

  • new user retention (D1, D7 आदि)
    • D1 retention 30~40%: consumer app के रूप में काफ़ी मजबूत
    • इससे बहुत कम हो तो user intent या DAU-आधारित acquisition क्षमता पर सवाल उठता है
  • बाज़ार में बहुत विकल्प और app fatigue होने के कारण इसे हासिल करना कठिन है
  • current user retention (CURR): कहीं ज़्यादा महत्वपूर्ण
    • daily frequency वाले products में सबसे महत्वपूर्ण metric
    • habitual pattern विकसित कर चुके existing user base की stickiness
    • समय के साथ compound effect से daily habit बनती है
    • कंपनी mature होने पर ज़्यादातर ऊर्जा existing user retention mechanisms पर केंद्रित होती है

• Grammarly का अपवाद

  • Grammarly install करने के बाद उसे रोज़ सक्रिय रूप से खोला नहीं जाता
  • activation, install, और aha moment बहुत महत्वपूर्ण हैं
    • एक बार install होने पर बहुत लंबे समय तक user बना रह सकता है
  • typing के समय यह अपने-आप काम करता है, इसलिए DAU stats सटीक नहीं होते

resurrected users का महत्व

• DAU/WAU के घटक

  • mature कंपनियों (Chess.com) में daily/weekly active users का लगभग 80% current या existing users होते हैं
  • बाकी में new users और reactivated (resurrected) users लगभग समान आकार के होते हैं
  • कंपनी mature होने के बाद new users पर बहुत ध्यान दिया जाता है, लेकिन असल में उनका हिस्सा इतना बड़ा नहीं होता

• inactive और sporadic users का संचय

  • समय के साथ बहुत बड़ी संख्या में inactive users जमा होते जाते हैं
  • sporadic users: रोज़ नहीं, लेकिन हफ़्ते में 1~2 बार या महीने में 1~2 बार उपयोग
  • अंततः सैकड़ों मिलियन dormant users जमा हो जाते हैं
  • resurrection experience में निवेश करना सार्थक है
    • उन्हें वापस लाने के नए तरीके ढूँढना

• Duolingo की resurrection strategy

  • social notifications का उपयोग
    • contact sync इस्तेमाल करने पर करीबी दोस्त ने Duolingo शुरू किया है, ऐसी push notification
    • इससे प्रोडक्ट पर वापसी के लिए प्रेरित करना
  • replacement mechanism
    • 3 साल पहले फ़्रेंच सीखी थी, लेकिन ज़्यादातर भूल चुके हैं
    • app दोबारा खोलने पर replacement test की सिफ़ारिश ताकि सही स्तर पर place किया जा सके
  • mature कंपनियों के लिए ऐसे mechanisms काफ़ी high ROI देते हैं

Duolingo, Grammarly, Chess.com के बीच अंतर

• Duolingo: व्यवस्थित experimentation machine

  • बेहद विशिष्ट और सुसंगत product development approach
  • Green Machine playbook लिखी और सार्वजनिक की
  • entrepreneurial spirit
    • university graduation के तुरंत बाद बुद्धिमान और ऊर्जावान प्रतिभाओं की बड़े पैमाने पर hiring
    • शानदार experimentation tools उपलब्ध कराना
    • कंपनी की clock speed को महत्व देना
    • बहुत अधिक creativity और idea generation
  • product experience हर user के लिए दिन में कई बार बदलता है
    • यह काफ़ी चौंकाने वाले स्तर तक है
  • product development cycle के हर चरण में specs और processes मौजूद
    • बहुत सख़्ती और निरंतरता से संचालन
    • product reviews 10~15 मिनट में तेज़ी से होती हैं

• Grammarly: B2C से B2B की ओर विकास

  • शुरुआत में students के लिए paid product के रूप में शुरू हुआ
  • धीरे-धीरे सभी के लिए premium मॉडल तक विस्तार, फिर professionals-केंद्रित दिशा में बदलाव
  • किसी खास कंपनी की खास functions (marketing, sales, customer support teams) ने बड़े पैमाने पर Grammarly अपनाया
  • managed enterprise motion जोड़ा गया
  • Albert की भूमिका: consumer self-serve motion पर फोकस, लेकिन अलग-थलग नहीं बल्कि आपस में जुड़ा हुआ
    • self-serve revenue और active users में वृद्धि
    • Product-Led Sales: उपयुक्त team/function/company की पहचान, demand पैदा करना और sales को सौंपना
  • generative AI transition के साथ तेज़ी से evolve किया
    • हाल की Coda और Superhuman acquisitions के साथ productivity suite में बदल रहा है
  • Duolingo से अलग, इसमें ज़्यादा strategic decision-making की ज़रूरत है
  • core product team ने iteration work को सबसे अधिक lead किया
    • suggestions की frequency और quality current user retention को सबसे अधिक प्रभावित करती हैं
    • Albert ने growth team बनाई, लेकिन बाद में समझा कि इसे वास्तव में core product team को lead करना चाहिए
    • core product leaders से बातचीत के बाद ज़िम्मेदारी transfer की

• Chess.com: शतरंज के लिए उन्मादी जुनून

  • कर्मचारी शतरंज को लेकर बेहद जुनूनी हैं
  • दुनिया भर से remote hiring, और सिर्फ़ शतरंज से प्यार करने वाले लोगों की भर्ती
  • दिन भर शतरंज खेलते हैं और streams देखते हैं
  • Slack हमेशा chess moves और games से भरा रहता है
  • Duolingo के मामले में
    • यह language learning product है, लेकिन इसकी मूल भावना motivation है
    • सबसे कठिन चीज़ है habit formation
    • language learning पहला माध्यम है, जबकि motivation और habit इसकी superpower हैं
  • Grammarly के मामले में
    • spelling और grammar correction के लिए जाना जाता है, लेकिन इसकी असली विशिष्टता असंख्य applications में integration है
    • अब यह AI superhighway के रूप में grammar writing से आगे बहुत कुछ दे सकता है
  • Chess.com 100% शतरंज के बारे में है
    • यह उसकी संस्कृति में रचा-बसा है और लोग बेहद passionate हैं
    • हमेशा product का dogfooding करते हैं
    • product को लगातार इस्तेमाल करने और ideas देने की अद्भुत ऊर्जा है

AI Chess.com को कैसे बदल रहा है

• शतरंज और AI का लंबा रिश्ता

  • शतरंज और AI लगभग एक सदी से एक-दूसरे से जुड़े हुए हैं
  • शुरुआती computing pioneers ने मशीन इंटेलिजेंस को टेस्ट करने के लिए शतरंज को चुना
  • 1997 में IBM के Deep Blue ने विश्व चैंपियन Garry Kasparov को हराया
    • यह एक झटके और आत्मचिंतन का क्षण था कि क्या AI इंसानों की जगह ले लेगा
    • यह 30 साल पहले की बात थी, लेकिन आज भी हम सब मौजूद हैं और शतरंज खेलने वाले लोगों की संख्या अब तक सबसे अधिक है

• आज के chess engine की क्षमता

  • Stockfish जैसे engine दुनिया के सर्वश्रेष्ठ grandmaster से भी नाटकीय रूप से बेहतर हैं
  • ELO rating system की तुलना
    • औसत chess player: 1,000~1,500
    • शीर्ष grandmaster (Magnus Carlsen): लगभग 2,800
    • Stockfish और समान engine: लगभग 3,600
  • chess engine मुख्य मोहरों (जैसे rook) के बिना खेलते हुए भी शीर्ष खिलाड़ियों से मुकाबला कर सकते हैं
  • computing power के कारण वे प्रति सेकंड करोड़ों बार गणना करते हैं, इसलिए इंसान उनके साथ प्रतिस्पर्धा नहीं कर सकते
  • chess engine के खेल को देखते हुए नई creativity, strategy, lines और खेल के प्रति सराहना के रास्ते खुलते हैं

• Chess.com का AI उपयोग करने का तरीका

  • यह तकनीक सभी users को देना, उन लोगों को भी जिन्होंने अभी-अभी पहली बार मोहरा चलाया है
  • Game Review product: बैकग्राउंड में chess engine चलाकर हर चाल का evaluation तैयार करना
  • इसे users तक अनुवादित और सुलभ शैली में पहुँचाना
    • user की मातृभाषा का उपयोग
    • audio में भी उपलब्ध
  • LLM का उपयोग: users तक personality और tone पहुँचाने वाले हिस्से में
  • मुख्य सिद्धांत: customer सबसे पहले
    • सिर्फ ट्रेंड होने की वजह से LLM लागू नहीं करते
    • सही feature में सही तकनीक लगाकर user को value देना
    • hype के पीछे नहीं भागना

• LLM की शतरंज खेलने की क्षमता

  • हैरानी की बात है कि LLM अपने आप में शतरंज बहुत खराब खेलते हैं
  • hallucination होती है, चालों के पैटर्न को पहचानने में अच्छे हैं लेकिन बहुत गहरी chess analysis नहीं कर सकते
  • ChatGPT से chessboard image बनवाने पर खानों की संख्या गलत हो सकती है या सेटअप ठीक नहीं होता
  • reasoning क्षमता में सुधार होने की उम्मीद है
  • हाल ही में Google ने एक tournament sponsor किया जिसमें सभी शीर्ष LLM एक-दूसरे के खिलाफ खेले
    • सुधार हो रहा है, लेकिन शतरंज में trained deep computing engine LLM की तुलना में कहीं अधिक शक्तिशाली हैं

• AlphaZero और AlphaGo

  • AlphaGo documentary तकनीकी रूप से गहरी बातों को भावनात्मक और मानवीय ढंग से पेश करती है
  • AlphaZero का training तरीका: अपने ही खिलाफ अनगिनत games खेलना
    • neural network के जरिए हर बार और ज्यादा smart बनना
    • अरबों~खरबों बार दोहराव से बेहद दक्ष हो जाना

AI growth की भूमिका को कैसे बदल रहा है

• growth की परिभाषा

  • growth की भूमिका: users को product value से जोड़ना
  • user journey को ध्यान में रखकर हर element के हिसाब से team बनाना
    • हर team के पास specific metric goal और roadmap होता है
    • goal के मुकाबले execution
  • AI experiment cycle के कुछ हिस्सों को तेज़ कर सकता है

• Product Discovery में AI का उपयोग

  • core product के लिए लंबा time frame और गहरा user/market research चाहिए
  • growth में बहुत सारे experiments चलाए जाते हैं, और हर experiment का output अगले idea का input बनता है
  • पुराना तरीका: analysis document हाथ से लिखना
    • उन्हें पढ़ना और insights निकालना
    • ideas को दूसरे specs में बदलना
  • AI का उपयोग
    • ChatGPT जैसे tools से दूसरों के analysis का summary बनाना
    • किन ideas को आज़माना है, उस पर सलाह देना
    • idea generation और research cycle काफी तेज़ हो जाना
  • prototyping भी नाटकीय रूप से छोटी हो गई है
    • अभी वह चरण नहीं आया है जहाँ PM खुद production में code deploy कर दें
    • खासकर bold ideas की कल्पना करने में लगने वाला समय बहुत कम हो गया है

• exploration और exploitation पर प्रभाव

  • पहले: exploration ज्यादा कठिन था
  • अब: exploration बहुत आसान हो गया है
    • व्यापक concepts को visualize किया जा सकता है
    • visualize होने पर team उसके आसपास चर्चा कर सकती है और उसे click करके देख सकती है
    • इससे दुनिया बदल देने वाला फर्क पैदा होता है

experiment scale बढ़ाने के लिए टिप्स

• पहली टिप: बस शुरू करें

  • Atlassian की product status report: 40% product teams कोई experiment चलाती ही नहीं हैं
  • यह दार्शनिक कारणों से या B2B orientation की वजह से हो सकता है, इसलिए समझा जा सकता है
  • लेकिन अगर आपका consumer product एक तय scale और frequency रखता है
    • पर्याप्त data इकट्ठा किया जा सकता है
    • बहुत अनुभव के बावजूद भी अक्सर गलती होती है
    • consumer behavior बहुत चंचल होता है
    • कंपनी में काम करते-करते आप स्वाभाविक रूप से power user बन जाते हैं और नए user का अनुभव भूल जाते हैं
  • पहला कदम उठाने की सलाह
    • AB test चलाएँ
    • third-party tools खोजकर जल्दी integrate करें
    • engineer के साथ मिलकर कुछ बनाएँ
    • crawl-walk-run का अभ्यास करें

• पसंदीदा tools

  • Grammarly में StatSig का उपयोग किया गया (हाल ही में acquisition हुआ)
  • Duolingo और Chess.com के पास in-house experiment tools हैं
  • इनके फायदे और नुकसान दोनों हैं
    • Duolingo एक experiment machine है, इसलिए custom tool बड़ा accelerator है
  • आम तौर पर शुरुआत से in-house build करने की सलाह नहीं दी जाती
    • एक तय scale पर यह समझ में आ सकता है
    • ये कंपनियाँ 15 साल पहले बनी थीं, तब ऐसे tools मौजूद नहीं थे

• दूसरी टिप: system, individual experiment जितना ही महत्वपूर्ण है

  • system individual experiments जितना, और शायद उससे भी ज्यादा महत्वपूर्ण है
  • growth model से शुरुआत करें
    • समझें कि कंपनी कैसे grow करती है
    • पता करें किन channels का उपयोग होगा
  • product instrumentation ज़रूरी है
    • नहीं तो experiment results अजीब निकलेंगे
  • वास्तविक उदाहरण: एक कंपनी in-house experiment tool इस्तेमाल कर रही थी
    • 3 महीने बाद पता चला कि user retention उलटी तरह से configured थी
    • सारे positive results असल में negative results थे
    • यह बहुत शर्मनाक था और अब ऐसा फिर नहीं होगा

• तीसरी टिप: insights को साझा करें और फैलाएँ

  • जब कोई बहुत बड़ी success या बड़ी failure वाला experiment मिले
    • उसे पूरी कंपनी में साफ़ तौर पर साझा करें
    • hypothesis और findings को स्पष्ट रूप से बताएं
    • मूल PM को ही हर application ढूँढने की ज़रूरत नहीं है
  • growth leader के रूप में दूसरों को ideas पर swarm करने के लिए प्रोत्साहित करें
    • success rate बेहतर होता है
    • impact बढ़ता है

सालाना 1,000 experiments का लक्ष्य

• Chess.com की experiment journey

  • 2023 से पहले: लगभग कोई experiment नहीं
  • पिछले साल: लगभग 50
  • इस साल: लगभग 250 चल रहे हैं
  • अगले साल का लक्ष्य: 1,000

• इस लक्ष्य का असली मतलब

  • यह Albert का बनाया हुआ लक्ष्य है, लेकिन सिर्फ संख्या ही मकसद नहीं है
  • goal setting की असली value: यह बातचीत शुरू कराना कि कौन-सी बातें सच होनी चाहिए
  • लक्ष्य हासिल करने के लिए insights
    • सिर्फ PM या engineering ही experiment नहीं करते
    • lifecycle marketing: push notification और email copy बदलने के experiments
    • app store: screenshots, keywords आदि के experiments
    • content marketing team आदि
    • engineering support के बिना कुछ screens पर no-code enable करना
      • home screen या pricing screen पर बहुत से configurable tests
    • progress track करना और observability सुनिश्चित करना
  • वास्तव में 1,000 तक पहुँचना जितना महत्वपूर्ण नहीं, उससे ज्यादा इन चीज़ों को हासिल करना वास्तव में महत्वपूर्ण है
  • अगर लगभग लक्ष्य तक पहुँचकर ये चीज़ें हासिल हो जाएँ, तो वह बहुत अच्छी स्थिति है

संस्कृति परिवर्तन के तरीके

• Chess.com में नाटकीय सांस्कृतिक बदलाव

  • 0 experiments से 2 साल बाद 1,000 (लगभग 3 प्रति दिन) तक बदलाव
  • कई टीमें parallel में experiments चलाती थीं

• सांस्कृतिक बदलाव की सफलता के कारक

  • leadership का समर्थन

    • CEO और co-founders Eric और Danny को इसका काफी श्रेय
    • experimentation उनकी सहज सोचने की शैली नहीं थी
    • मानसिक लचीलेपन और प्रोत्साहन के साथ इसे एक tool के रूप में जोड़ा गया
    • frontline से product-led growth और experimentation की वकालत की गई
    • founders और मौजूदा approach के विरोध में न जाना बहुत महत्वपूर्ण था

  • वास्तविक success cases साझा करना

    • game review और positivity के उदाहरणों की तरह जो वास्तव में काम करता है, उसे दिखाना ज़रूरी है
    • जीत (Win) ज़रूरी है: जश्न मनाया जाए और लोगों को learning के बारे में अच्छा महसूस हो
    • जब यह पूरे संगठन में लागू होता है, तो हर किसी को ऊर्जा मिलती है
    • metrics आगे बढ़ते हैं और तेज़ी से सीखना और ship करना संभव होता है
    • केवल ऊपर से goals तय कर देना काफी नहीं है
    • लोगों को काम करती हुई चीज़ देखनी चाहिए

  • शुरुआती experiments

    • Albert के जुड़ने से पहले ही कुछ experiments चल रहे थे
    • चीज़ें पहले से ही सही दिशा में बढ़ रही थीं

experiments से अतिरिक्त सीख

• Duolingo की success story

  • Streak और immersion

    • Jackson ने podcast में इस पर चर्चा की
    • immersion और calendar में streak दिखाने के ज़रिए learning effect
    • बड़ा milestone हासिल करने से ज़्यादा शुरू करना महत्वपूर्ण है

  • Virality टीम

    • virality एक बहुत अस्पष्ट अवधारणा है और product में इसे बनाना बहुत कठिन है
    • Duolingo एक ऐसा product है जिसे काफ़ी शेयर किया जाता है
    • screenshot tracking में निवेश
      • app में उन hotspots को ढूँढना जहाँ users screenshots लेते हैं
      • ऐसे तरीके खोजना जिन्हें दूसरे apps में भी देखा जा सके
      • इसे केवल एक निश्चित अवधि तक चलाया गया
    • जो sharing hotspots मिले
      • streak milestone: साफ़ तौर पर share करने का point
      • बहुत मज़ेदार challenges: बेहद ऊँची share rate
      • leaderboard में top 3 में पहुँचना share करने लायक नहीं था
    • इन पलों पर illustrators और animators को लगाया गया
    • बहुत आनंददायक experience बनाया गया
    • नतीजा: हैरान कर देने वाला असर
    • सीख: इंसानी intuition के ख़िलाफ़ जाकर sharing को force न करें
      • उन पलों को ढूँढें जब users पहले से organic तरीके से screenshots लेते हैं
      • उस पल को बहुत, बहुत बेहतर बनाइए
      • 5x या 10x amplify करके काफ़ी growth लाई जा सकती है

gamification के तीन pillars

• Jorge का gamification model

  • gamification patterns मूल रूप से तीन pillars पर टिके हैं

  • 1. core loop

    • Duolingo: lesson progression
      • lesson पूरा → reward पाना → streak बढ़ना
      • अगले दिन push notification
    • core loop को बहुत tight बनाना महत्वपूर्ण है
      • लोगों के पास टिके रहने लायक आदत होनी चाहिए

  • 2. metagame

    • Duolingo: Path, leaderboard, achievements
    • वे चीज़ें जिनका लंबे समय तक पीछा किया जा सके
    • लगातार active रहने के लिए long-term motivation देती हैं

  • 3. profile

    • समय के साथ profile बनती है
    • product experience के भीतर investment का प्रतिबिंब
    • इन तीनों को पूरा कर लिया जाए तो long-term learning journey के सफल होने की संभावना बढ़ जाती है

• Chess.com की नए users वाली चुनौती

  • नए users में 75% से अधिक को पूरी तरह beginner या शुरुआती स्तर का माना गया
  • beginners के लिए live game मज़ेदार नहीं होता
    • data: पहली game जीतने की दर 1/3 से कम
    • game हारने पर user retention 10% खराब हो जाता है
    • scale पर यह बुरा साबित होता है
  • आम mobile games: बहुत simplified version बनाया जाता है
    • chess में यह और कठिन है (rules बदले नहीं जा सकते)

• learning के शुरुआती चरण का महत्व

  • चाहे language learning हो या chess, पहला चरण self-doubt से भरा होता है
  • ऐसा अनुभव जो यह मज़बूत करे कि आप यह नहीं कर सकते
  • users को उस दौर से निकालकर ले जाने वाला experience जानबूझकर design करना मूल्यवान है

• Chess.com का solution

  • अगर कोई खुद को complete beginner कहता है, तो उसे ज़्यादा मज़ेदार play-and-learn experience दिया जाता है
    • उसे सीधे live game में नहीं डाला जाता
  • पहली 5 games तक rating छिपाई जाती है
    • ताकि वे rating को तेज़ी से गिरते हुए न देखें
  • coach के साथ खेलना, दोस्तों के साथ खेलना, bots के साथ खेलना जैसी कई राहें
  • real-time hints: असली इंसान के साथ खेलते समय किधर move करना है, इसका guide
    • जीतने में मदद करता है

टीम बनाने पर counterintuitive सीख

• पारंपरिक hiring तरीका

  • JD (job description) लिखना
    • जिन तरह-तरह की खूबियों की तलाश है, उन्हें सूचीबद्ध करना
  • अपनी कंपनी जैसी कंपनियों की shortlist बनाना
  • वहाँ से hiring की कोशिश करना
  • industry का सामान्य default path

• Albert की खोज: high agency

  • कई छोटे startups और Duolingo के अनुभव से मिली समझ
  • top performers की विशेषताएँ
    • बहुत high agency
    • clock speed: तेज़ सोच और तेज़ action
    • energy
    • mission में रुचि ज़रूरी है, लेकिन गहरा अनुभव अनिवार्य नहीं
  • अनुभव कभी-कभी crutch भी बन सकता है
    • खासकर AI की वजह से तेज़ी से बदलती बुनियाद वाली दुनिया में
    • सीखी हुई कई आदतों को जानबूझकर छोड़ना पड़ता है
    • beginner's mind की ज़रूरत होती है
  • तेज़ प्रतिक्रिया देने और तेज़ी से आगे बढ़ने वाले लोग ढूँढें
  • तेज़ सीखने की क्षमता
  • ऐसी कंपनियाँ ही टिकेंगी और फलेंगी-फूलेंगी

• high agency की पहचान कैसे करें

  • इसका बड़ा हिस्सा interview process के बाहर सामने आता है
  • संकेत
    • सवालों का प्रकार: क्या उसने वास्तव में product को आज़माया और गहराई से समझा?
    • references
    • interview सेट करने के लिए communication
    • बातचीत में लाई जाने वाली energy
  • कई soft signals पकड़े जा सकते हैं
  • समय के साथ इन patterns को पहचाना जा सकता है
  • पहले सिर्फ़ सवालों और rubric से पढ़कर बाकी चीज़ों पर ध्यान नहीं दिया जाता था
  • अब इन बातों को काफ़ी अधिक संतुलित तरीके से देखा जाता है
  • vibes का भी एक तत्व होता है
  • work trial interview approach का समर्थन
    • conversational interview की जगह लगभग एक हफ़्ते तक वास्तव में साथ काम करना

कंपनी के आकार का चुनाव

• Albert का Goldilocks Zone

  • Google (बड़ी कंपनी) से लेकर बेहद छोटे startup तक का अनुभव
  • अपने लिए सही जगह मिली: मध्यम आकार

• हर आकार की विशेषताएँ

  • बड़ी कंपनी (Google)

    • बेहद बड़े scale को संभालना
    • सहकर्मियों से कई best practices सीखना
    • चाहें तो लगभग हर tool और feature उपलब्ध
    • लेकिन धीरे चलने की प्रवृत्ति
    • चीज़ों को ship और launch करना मुश्किल
    • अंततः थोड़ा पागल कर देता है

  • बेहद छोटा startup

    • बहुत तेज़ी से आगे बढ़ता है
    • लेकिन Albert के सारे सफेद बाल यहीं आए
    • कंपनी को कोई नहीं जानता
      • लोगों को एक-एक करके hire करना
      • users को एक-एक करके हासिल करना
    • तेज़ी से सीख सकते हैं और बहुत कुछ ship कर सकते हैं
    • लेकिन दुनिया पर बड़ा असर डालना बहुत कठिन हो सकता है
    • कुछ कंपनियाँ hyper-scale होकर सफल होती हैं
    • लेकिन Albert ने कुछ समय यह रास्ता आज़माया और पाया कि यह उनके लिए सही नहीं था

  • मध्यम आकार (500~1,000 लोग)

    • scale पर योगदान देना संभव, और साथ ही
    • दैनिक और साप्ताहिक गति से execution भी संभव
    • पूरे कंपनी-स्तर के प्रयासों को देख सकते हैं
    • और साथ ही details में भी जा सकते हैं
      • experiment results पढ़ना
      • pixels तक देखना
      • किसी खास team के साथ काम करना
    • 10~20 साल पुरानी कंपनी
      • टिकाऊ और आदर्श रूप से profitable
      • अच्छी leadership team
      • फिर भी खोजने के लिए कई dimensions बाकी
      • एक बड़े inflection point पर
      • ठहरी हुई नहीं, बल्कि dynamic

• हर व्यक्ति के लिए सही stage

  • हर इंसान का एक कंपनी stage होता है जहाँ वह सबसे ज़्यादा चमकता है
  • Albert की यात्रा: बड़ी tech कंपनी → बेहद छोटा startup → मध्यम आकार
  • मध्यम आकार ही उनका Goldilocks Zone है

असफलता कॉर्नर: Chariot का केस

• पृष्ठभूमि

  • San Francisco की commuter shuttle service
    • 15-सीटर shuttle
    • कई मोहल्लों से San Francisco downtown तक चलती थी
  • public bus system और Uber/Lyft के बीच का मॉडल
  • Albert वहाँ product lead थे
  • core service को users बहुत पसंद करते थे
    • भरोसेमंद, तेज़ और काफ़ी किफायती

• असफल प्रयास: Chariot Directly

  • आइडिया: dynamic routes से utilization बेहतर करना
    • Uber/Lyft की तरह इसे और innovative बनाना
  • driver fixed route चलाते थे, लेकिन
    • अगर उनके पास spare time हो तो route से हटकर घर से pickup कर सकते थे
  • कोशिश की, लेकिन आखिरकार यह काम नहीं किया

• सीखे गए सबक

  • 1. solution पहले, problem बाद में

    • "क्या यह अच्छा नहीं होगा?" के पीछे भागना
    • यह नहीं सोचना कि "हमारे users कौन हैं और हम कौन-सी समस्या हल कर रहे हैं"
    • यह नहीं सोचना कि "उन्हें इससे खुशी क्यों मिलेगी"
    • problem की बजाय solution से शुरुआत नहीं करनी चाहिए

  • 2. two-sided marketplace पर विचार

    • एक से ज़्यादा end user मौजूद थे
    • passenger app पर ही बहुत ज़्यादा ध्यान था
    • यह समझ नहीं पाए कि अनुभव का बड़ा बोझ drivers उठाते हैं
    • operations team के साथ भी यही बात थी
    • अगर drivers भ्रमित हों या असंतुष्ट हों
      • तो overall product experience मुश्किल हो सकता है

  • 3. validation से पहले PR का जोखिम

    • service launch से पहले बहुत PR किया और चर्चा बनाई
    • PR का अपना समय और जगह है
    • लेकिन customer वाकई इसे चाहते हैं, इसकी validation से पहले ऐसा करना बहुत जोखिमभरा है
    • launch के बाद काफ़ी sunk cost बन गई
      • फिर उसे अंत तक ले जाना पड़ता है
      • आप सफलता देखना चाहते हैं

• पुनरावलोकन

  • यह 10 साल पुरानी बात है, लेकिन अब भी बहुत साफ़ याद है
  • कंपनी में समय अच्छा बीता
  • इसमें तीन से भी ज़्यादा अहम सबक थे
  • बाद में कई products बनाते समय ये सीख साथ रही

लाइटनिंग राउंड

• सुझाई गई किताबें

  • अभी क्या पढ़ रहे हैं

    • 4 साल और 1 साल के बच्चे हैं, इसलिए ज़्यादातर बच्चों की किताबें पढ़ते हैं
    • Snuggle Puppy: इसमें गाना है, बेटी ज़ोर से हँसती है, दिल गर्म हो जाता है

  • काम के लिए सुझाई गई किताब: Ogilvy on Advertising

    • 40 साल पुरानी किताब, लेकिन व्यावहारिक उदाहरणों से भरी हुई
    • copy और creative पर केंद्रित
    • पुरानी शैली की advertising है, लेकिन experiment-driven approach है
    • आखिरकार अहम क्या है: user को action लेने के लिए प्रेरित करना
    • लक्ष्य है product खरीदना
    • सिर्फ़ clever ads या sexy creative नहीं
    • product और lifecycle teams के लिए बहुत प्रासंगिक

  • Dark Squares

    • Chess.com के cofounder Danny Wrench की memoir
    • chess जगत में बहुत मशहूर
    • एक abusive cult में बड़े होने और chess prodigy होने की कहानी
    • अविश्वसनीय कहानी
    • अभी लगभग आधी पढ़ी है
    • यह याद दिलाती है कि जिन लोगों के साथ हम काम करते हैं, उनके अतीत कितने गहरे हो सकते हैं
    • इसका मतलब chessboard के काले खाने भी हैं और एक कठिन अतीत भी
    • यह podcast release होने के समय तक प्रकाशित होने वाली है

• जीवन मंत्र

  • माँ की कही बात: "प्रतिष्ठा से ज़्यादा महत्वपूर्ण कुछ नहीं है"
  • उदार समझ
    • हर दिन लिए जाने वाले छोटे-छोटे फ़ैसले
    • आप लोगों के साथ कैसा व्यवहार करते हैं
    • आप कैसे सामने आते हैं
    • आपका चरित्र क्या है
  • ये सब compound होकर हैरान कर देने वाले तरीक़ों से दरवाज़े खोलते हैं
  • जिन कई कंपनियों में वे शामिल हुए, वे अपेक्षाकृत हल्के connections के ज़रिए मिलीं
  • यह podcast भी उन्होंने उन लोगों को आते देखा जिनके साथ वे काम कर चुके थे
  • सही काम करें और अच्छी प्रतिष्ठा बनाएँ, तो आप बहुत आगे जा सकते हैं
  • दूसरी तरफ़: प्रतिष्ठा नाज़ुक होती है
    • अगर आप गलत काम करते हैं, तो उसे वापस बनाने में लंबा समय लगता है
  • यह एक दिलचस्प life motto है जो जीवन भर उनके मन में रहा

मुख्य संदेश

• समझ यह है: वास्तविक अनुभव के प्रति ईमानदार रहना महत्वपूर्ण है
  • कई सीखें दूसरों के प्रयासों से आती हैं
  • मानसिक स्पंज की तरह बनें
  • अलग-अलग चीज़ें आज़माएँ
  • उन्हें सोखें और तुरंत अमल में लाएँ
  • जो काम न करे उसे छोड़ दें और कंपनी की ज़रूरतों के अनुसार evolve करें

[t7vonn]

हाल में विवादों में रही messenger कंपनी के किसी व्यक्ति की याद दिलाता है ..