मैंने एक semantic model registry बनाई है.

नमस्ते। यह मेरी पहली पोस्ट है, इसलिए लिखते समय हाथ थोड़ा काँप रहा है.

उद्देश्य

यह सेवा https://hi.news.hada.io/topic?id=26967 [AI के बाद का डेटा इंजीनियरिंग] पोस्ट को देखकर सूझी और उसी से बनानी शुरू की गई।
यह एक ऐसी सेवा है जिसे OSI format को केंद्र में रखकर कई semantic model formats को import, export और search करने योग्य बनाने का लक्ष्य है।

बनाने का कारण

मुझे लगा कि semantic model के बारे में चर्चा अब धीरे-धीरे बढ़ रही है। इस प्रक्रिया में कई कंपनियों की सहमति से बना format OSI (Open Semantic Interchange) है, और हाल ही में इसका 1.0 रिलीज़ हुआ है।

यह सचमुच standard बनेगा या नहीं, यह अभी स्पष्ट नहीं है, लेकिन मांग बनने से पहले ही supply chain की समस्या को हल करके किसी अंतरराष्ट्रीय project में योगदान देना चाहता था, इसलिए इसे बनाया। (हालाँकि semantic assets sharing के मामले में वास्तव में इसकी मांग है या नहीं, इस पर फैसला फिलहाल थोड़ा रोककर रखा है।)

फीचर्स

फीचर्स को Python SDK, CLI और web—इन तीन क्षेत्रों में बाँटकर विकसित किया गया है, और तीनों में लगभग वही क्षमताएँ हैं।

• dbt metric flow जैसे मौजूदा semantic models को import करके उन्हें OSI format में बदला जा सके, या उसका उल्टा भी किया जा सके—ऐसा बनाने की कोशिश है।
  बेशक, conversion process में खो जाने वाले context को कैसे पूरा किया जाए, इस पर भी विचार कर रहा हूँ।
• साथ ही, इसे केवल simple search तक सीमित नहीं रखना चाहता; search के बाद preview देखना, measure, dimension आदि को आसानी से जाँचना संभव हो—इसके लिए usability features भी जोड़ने की योजना है।
• और जब GitHub पर पहले से मौजूद semantic layer index हो जाती है, तब यदि original author और GitHub ID एक ही हों, तो उसे claim करके अपनी deployment entry के रूप में लाने की सुविधा भी है।

स्टैक

search के लिए OpenSearch का उपयोग किया गया है, infra management के लिए Terraform, और backend में FastAPI का उपयोग किया गया है।

---

कृपया सहयोग दें।