Notion AI फीचर कैसे बनाता है (Linus Lee)

• Linus Lee का AI डेवलपमेंट अनुभव

  • Linus Lee Notion में lead AI engineer के रूप में काम करते हैं।
  • Notion से पहले उन्होंने NLP, machine learning, और HCI पर काफी रिसर्च की, और prototyping व writing भी सक्रिय रूप से की।
  • Notion में उन्होंने Q&A, Autofill, और AI Writing फीचर विकसित किए, और latent space models पर भी रिसर्च की है।

• Notion AI डेवलपमेंट का ओवरव्यू

  • Linus Lee कॉलेज के समय से ही तरह-तरह के web development और productivity tools बनाते रहे हैं।
  • 2022 के दौरान उन्होंने स्वतंत्र रूप से AI से जुड़े papers पढ़ना और रिसर्च शुरू किया।
  • अक्टूबर 2022 में वे Notion के AI Writer beta प्रोजेक्ट में शामिल हुए।
  • जब वे Notion में शामिल हुए थे, तब AI टीम में चार लोग थे, लेकिन अब यह लगभग 20 लोगों तक बढ़ चुकी है।
  • Linus Lee जिन मुख्य प्रोजेक्ट्स में शामिल रहे, वे AI Writer, Autofill, और Q&A हैं, जिन्हें क्रमशः 2023 के फरवरी, मई, और नवंबर में लॉन्च किया गया।
  • आगे चलकर Notion AI agent तकनीक के जरिए usability को और बेहतर बनाने की योजना रखता है।

• Notion के office और AI टीम का परिचय

  • Notion के San Francisco और New York में office हैं, और San Francisco office का उपयोग lunch या event space के रूप में भी होता है।
  • New York office वह जगह है जहाँ Linus Lee रहते और काम करते हैं, और यह साफ-सुथरे design वाले work environment के लिए जाना जाता है।
  • Notion में AI फीचर डेवलपमेंट 2013 में शुरू हुआ था, और CEO व CTO सीधे product development में भाग लेते हैं।
  • 2022 की पतझड़ में AI टीम की एक meeting फोटो में manager, CEO Ivan, CTO Simon, product managers, और designers Q&A session करते हुए दिखते हैं।
  • AI product development में quality और evaluation महत्वपूर्ण तत्व हैं, और इसके लिए research benchmark से लेकर वास्तविक production usage तक के spectrum को ध्यान में रखकर evaluation techniques उपयोग की जाती हैं।
  • Notion benchmark और वास्तविक data के बीच performance की जाँच करता है, और programmatic tests के जरिए model performance का सटीक मूल्यांकन करता है।
  • evaluation items में खास शब्द, trust, keyword inclusion, और सटीक language performance जैसी चीजें शामिल होती हैं।

• Notion के AI product development

  • human evaluation, Notion AI product development का एक महत्वपूर्ण तत्व है।
  • test dataset में लोग सीधे data की जाँच करते हैं, और programmatic tests के जरिए product को test किया जाता है।
  • product development के बाद user feedback के आधार पर लगातार monitoring की ज़रूरत होती है।
  • AI को ऐसे कई स्तरों की capabilities देनी चाहिए जो user failure cases collect करने और questions के answers देने जैसे काम प्रभावी ढंग से कर सकें।
  • high-quality AI product development का केंद्र सुधार और data quality है। इसलिए वास्तविक दुनिया के data को model के अनुरूप ढालना महत्वपूर्ण है।
  • Notion टीम में engineers, researchers, designers, और product managers मिलकर refinement features पर चर्चा और development करते हैं।
  • GPT-4 जैसे models का उपयोग करके output quality बढ़ाने के लिए refinement models को लगातार बेहतर किया जाता है।

• Notion AI फीचर डेवलपमेंट प्रक्रिया

  • Notion AI engineers जानकारी जुटाने और data structure बनाने के माध्यम से models विकसित करते हैं। इसलिए data का गहराई से analysis करना और user needs के अनुसार काम करना ज़रूरी है।
  • Notion users के meeting notes, web pages, और अन्य जानकारी को व्यवस्थित करने के तरीकों पर रिसर्च करते हुए datasets बनाए जाते हैं, क्योंकि इससे AI model performance प्रभावित होती है।
  • रिसर्च के माध्यम से Q&A जैसे use cases पहचाने जाते हैं और model का test किया जाता है, ताकि user questions के लिए प्रभावी जवाब दिए जा सकें।
  • GPT-4 और cloud models का उपयोग करके prototype systems विकसित किए जाते हैं, और फिर उन्हें internally test करके शुरुआती समस्याओं की पहचान की जाती है।
  • internal use के दौरान एकत्र किए गए failure cases का analysis किया जाता है और उसी आधार पर dataset व model में सुधार किया जाता है। इस तरह repeated testing और feedback के जरिए model accuracy बढ़ाई जाती है।

• Notion के AI model development और evaluation process

  • model iteration process में prompt सुधारना, model fine-tuning, और language model pipeline में दूसरा चरण जोड़ना शामिल है।
  • जब development stage में लगे कि समस्या हल हो गई है, तो उसे फिर से deploy किया जाता है, और अधिक failure cases इकट्ठा करके यह प्रक्रिया दोहराई जाती है।
  • internal environment में input और output की quality संतोषजनक होने तक यह प्रक्रिया लगातार चलती रहती है।
  • किसी चरण पर product को beta program के जरिए सीमित users के लिए खोला जाता है, और user feedback के साथ-साथ automatically collected log data को monitor किया जाता है।
  • dataset निर्माण के शुरुआती चरण में यह सुनिश्चित करने के लिए कई तरीके अपनाए जाते हैं कि वह वास्तविक use cases को सही तरह दर्शाता है या नहीं।

• AI फीचर डेवलपमेंट का शुरुआती चरण

  • prototype बनाया जाता है और internal AI team के साथ test किया जाता है।
  • इसके बाद internal use के जरिए तरह-तरह के inputs और examples इकट्ठा किए जाते हैं।
  • शुरुआती input set को ज़रूरी नहीं कि वास्तविक मामलों का पूरी तरह प्रतिनिधित्व करना ही हो।
  • internal testing के बाद इसे बड़े user base तक धीरे-धीरे पहुँचाया जाता है ताकि अधिक यथार्थवादी data मिल सके।
  • अनुमानित failure cases के आधार पर शुरुआती dataset भी बनाया जा सकता है।
  • language support फीचर विकसित करते समय मौजूदा QA datasets का foreign languages में अनुवाद करके उपयोग किया जाता है।

• internal और external testing के जरिए data collection और evaluation

  • शुरुआती dataset का पूरी तरह realistic होना ज़रूरी नहीं है। इसलिए testing के जरिए बेहतर data इकट्ठा किया जाता है।
  • prototype को internal या छोटे external user groups के साथ test किया जाता है, और गलत outputs के examples कई तरीकों से इकट्ठा किए जाते हैं।
  • keyword या output structure आधारित evaluation programmatically किया जाता है और हर AI inference के लिए logs छोड़े जाते हैं। इसलिए failed outputs की जाँच और analysis संभव होता है।
  • user interviews के जरिए वास्तविक use cases को समझा जाता है और अप्रत्याशित उपयोग के तरीके भी खोजे जा सकते हैं।
  • उदाहरण के लिए, Autofill फीचर की internal testing के दौरान पाया गया कि कई कर्मचारी इसका उपयोग translation के लिए कर रहे थे, इसलिए उस फीचर का अधिक optimized translation version विकसित किया गया।

• AI product feedback और evaluation methods

  • like और dislike feedback buttons users के लिए बहुत उपयोगी नहीं होते, इसलिए उनका उपयोग अक्सर नहीं किया जाता।
  • साथ ही, Notion के user scale पर इन feedback buttons से पर्याप्त data भी नहीं मिल पाता।
  • फिर भी, कभी-कभी इनके जरिए ऐसे exceptional cases पकड़ में आ जाते हैं जो अन्य use cases में नहीं दिखते, इसलिए कुछ हद तक ये मददगार होते हैं।
  • internal रूप से adversarial testing के जरिए unexpected inputs पर model performance का मूल्यांकन किया जाता है।
  • adversarial testing, model performance की सीमाएँ समझने और यह पहचानने में उपयोगी है कि समस्या कहाँ पैदा होती है।
  • real usage data के जरिए model की strengths और weaknesses को लगातार monitor किया जाता है।

• AI product development के मुख्य तत्व

  • evaluation और logs सबसे महत्वपूर्ण हैं।
  • comprehensive और पूरी तरह restartable logs बनाना ज़रूरी है।
  • वास्तविक उपयोग के दौरान मिले खराब output examples या internal test results के आधार पर pipeline को फिर से बनाया और debug किया जा सकता है।
  • हर example को development environment में दोबारा चलाकर नए prompt या model के साथ test किया जाता है ताकि समाधान निकाला जा सके।
  • समस्या हल होने के बाद उस example को test dataset में जोड़ दिया जाता है ताकि वही समस्या दोबारा न आए।

• AI development से मिली महत्वपूर्ण सीख

  • product को जल्दी इस्तेमाल करना और बार-बार test करना चाहिए, ताकि task की समझ अधिक परिष्कृत हो सके।
  • AI में differentiation का मुख्य तत्व model performance नहीं, बल्कि task की समझ है।
  • end users के लिए AI applications बनाते समय AI टीम को task की कठिनाई और model की सीमाओं को गहराई से समझना चाहिए।
  • task को छोटे हिस्सों में बाँटना, और यह समझना कि model कहाँ बार-बार fail करता है और कहाँ स्वाभाविक रूप से अच्छा करता है, बहुत महत्वपूर्ण है।
  • product का बार-बार उपयोग करना और outputs का analysis करना, model की errors के कारणों को समझने और task की कठिनाई जानने का सबसे अच्छा तरीका है।

• AI product development के दौरान ध्यान देने वाली बातें

  • product spec में interface और features के साथ evaluation criteria और अच्छे output के standards भी स्पष्ट होने चाहिए।
  • evaluation criteria product owners, engineers, और researchers के बीच communication का मुख्य आधार बनते हैं।
  • पारंपरिक machine learning का अनुभव LLM और generative AI models पर भी लागू हो सकता है, और यह अपेक्षा से अधिक insights देता है।
  • लेकिन पारंपरिक machine learning में बड़े datasets के साथ clusters या बड़े subsets का analysis किया जाता है, जबकि language models में individual failure cases और individual logs को अधिक बार review किया जाता है।
  • इसलिए language model work के लिए अलग tools और workflows की आवश्यकता होती है।

• AI model evaluation का महत्व और approach

  • evaluation में users और उनका वास्तविक काम ही सत्य का सबसे महत्वपूर्ण स्रोत है।
  • इसलिए evaluation materials को internal और external usage data के आधार पर वास्तविक use cases को दर्शाना चाहिए।
  • evaluation process में एक महत्वपूर्ण चुनौती यह है कि input space इतना व्यापक हो कि जिन सभी inputs पर system से अच्छे काम की अपेक्षा है, वे उसमें शामिल हों।
  • automatic evaluation pipeline बनाना बाद में बड़े data को संभालते समय समय बचा सकता है, लेकिन शुरुआती चरण में टीम के लोगों का सीधे outputs को review और समझना बहुत महत्वपूर्ण है।
  • इससे model failures के कारणों और खास tasks के प्रति model की tendencies को समझने में मदद मिलती है।

• AI टीम बनाने का तरीका

  • इसके दो मुख्य approaches हैं। पहला है मौजूदा machine learning team को AI team में बदलना।
  • ऐसा करने पर टीम data, validation, और benchmarks पर केंद्रित हो सकती है। इसलिए user needs और वास्तविक दुनिया की expectations के अनुरूप evaluation करना महत्वपूर्ण है।
  • दूसरा तरीका यह है कि मौजूदा engineering team, OpenAI API जैसी language model APIs का उपयोग करना सीखे। Notion ने भी यही तरीका अपनाया। इसलिए शुरुआती AI team में अधिकतर web engineers थे।
  • ऐसे team structure का लाभ यह है कि वह user understanding और testing experiments में मजबूत होता है। लेकिन उन्हें rigorous evaluation और high-quality datasets के महत्व को सीखना पड़ा।
  • साथ ही, dataset maintenance में अच्छी hygiene practices और workflows महत्वपूर्ण हैं। इसलिए high-quality data points सुनिश्चित करना अनिवार्य है।