हाल के समय में generative AI सेवाओं में तेज़ी से बढ़ोतरी हुई है, और इसके साथ PM की भूमिका में बुनियादी बदलाव आ रहे हैं.
यह बात QA की भूमिका पर भी समान रूप से लागू होती है.
पहले PM requirements (Spec) को define करता था और QA feature के सही काम करने (Pass/Fail) को verify करता था, लेकिन AI युग में quality अब ऐसा क्षेत्र बन गया है जिसे PM को खुद 'define' और 'evaluate' करना होगा.
- QA नहीं, PM ही quality की ज़िम्मेदारी क्यों लेता है?
- सही उत्तर का अभाव: AI के जवाब सही या ग़लत की समस्या नहीं होते, बल्कि वे 'अच्छे' और 'खराब' के spectrum पर मौजूद होते हैं.
- evaluation की subjectivity: "क्या यह natural है?", "क्या यह useful है?" जैसे qualitative मानदंड वही PM define कर सकता है जो product vision को सबसे अच्छी तरह समझता है.
- definition ही quality है: AI services में quality testing से पकड़ में नहीं आती; इसकी शुरुआत शुरू से ही इस बात को define करने से होती है कि 'अच्छा result' क्या है.
- सामान्य service vs AI service quality management की तुलना
मौजूदा सामान्य software services और AI services के बीच quality को देखने के नज़रिए से लेकर management के तरीक़ों तक बड़ा अंतर है.
-
quality के मानदंड और निर्णय: सामान्य services में planning document ही सही उत्तर होता है. बटन काम कर रहा है या नहीं, payment हो रही है या नहीं—इस तरह 'सही/ग़लत (Pass or Fail)' को साफ़ तौर पर बाँट सकने वाली O/X quiz जैसी पद्धति होती है. दूसरी ओर, AI services में स्पष्ट सही उत्तर नहीं होता; वहाँ केवल 'model answer' मौजूद होता है. quality एक लगातार बदलते spectrum पर होती है, इसलिए यह तय करना कि उत्तर सही है या नहीं, उससे ज़्यादा महत्वपूर्ण यह देखना है कि result कितना optimized है—यह किसी subjective descriptive exam की checking के ज़्यादा क़रीब है.
-
quality management का core और responsibility: सामान्य services में planning के मुताबिक feature पूरा हुआ या नहीं, इसकी जाँच करने वाला 'quality assurance (QA)' महत्वपूर्ण होता है, और इसकी ज़िम्मेदारी मुख्य रूप से QA organization पर होती है. लेकिन AI services में यह तय करना कि अच्छा result क्या है, यानी 'evaluation design', सबसे महत्वपूर्ण है. इसलिए product vision को सबसे अच्छी तरह समझने वाला PM quality का अंतिम ज़िम्मेदार बन जाता है.
-
verification के तरीक़े में बदलाव: पहले तयशुदा scenarios के अनुसार feature काम कर रहा है या नहीं, यह test किया जाता था. लेकिन AI services में इंसान सीधे output को देखकर निर्णय लेते हैं, यानी qualitative evaluation (Human Eval). आगे चलकर PM द्वारा बनाए गए मानदंडों को सिखाए गए LLM को evaluator (LLM Judge) के रूप में इस्तेमाल किया जाता है, ताकि बड़े पैमाने के data को automated तरीके से verify करके quality को बेहतर बनाया जा सके.
- AI PM के लिए quality management के 5 चरण
- guide के साथ ख़ुद score देना: sample data निकालकर खुद grading करें और अपने judgment criteria को पहचानें.
- मानदंडों को स्पष्ट भाषा में लिखना: "specificity", "realism" जैसी धुंधली महसूस होने वाली बातों को समझाए जा सकने वाली भाषा में define करें.
- dataset बनाना: service जिन core questions को solve करना चाहती है, उनकी list और model answers तैयार करें.
- evaluation automation (LLM Judge): define किए गए मानदंडों के आधार पर LLM से बड़े पैमाने पर results का evaluation करवाएँ.\
- metrics पर संदेह करना: evaluation score बढ़ने पर भी अगर user satisfaction कम है, तो मानदंडों की ही फिर से समीक्षा करें.
💡 insight अब
PM अब सिर्फ़ features बनाने वाला व्यक्ति नहीं है, बल्कि वह 'product value के judgment criteria' को design करने वाला व्यक्ति है. क्या अच्छा result है, इसे define करना और उसे measure करने वाली structure बनाना—यही अनुभव AI युग के PM के लिए सबसे शक्तिशाली प्रतिस्पर्धात्मक क्षमता बनेगा.
अभी कोई टिप्पणी नहीं है.