OQBoost: व्यावहारिक उपयोग के लिए तिरछे ट्री

OQBoost एक Gradient Boosting Decision Tree (GBDT) लाइब्रेरी है, जो 2D Oblique Split पर आधारित है.

मौजूदा प्रमुख GBDT लाइब्रेरियों XGBoost, LightGBM और CatBoost में अधिकांशतः axis-aligned split का उपयोग होता है. एक ही feature का उपयोग करके split करने के कारण ये बहुत तेज़ और efficient हैं, लेकिन diagonal decision boundary या दो variables के interaction को व्यक्त करने के लिए कई ट्रियों के संयोजन की आवश्यकता होती है.

OQBoost इस सीमा को हल करने के लिए दो features को एक साथ उपयोग करने वाले 2D Oblique Split को मूल split unit के रूप में इस्तेमाल करता है. एक node में सीधे तिरछा split करके यह अधिक समृद्ध expressive power देता है, साथ ही व्यावहारिक training speed बनाए रखने के लक्ष्य से डिज़ाइन किया गया है.

इसके लिए OQBoost, Grid Label Accumulation आधारित high-speed direction search algorithm और Hessian-weighted Regression को मिलाकर, पारंपरिक Oblique Tree की ऊँची computational cost को काफ़ी कम करता है. साथ ही Lazy Binning, Fast Search, Cache, Precomputation जैसी विभिन्न optimizations के माध्यम से इसने वास्तविक लाइब्रेरी स्तर की training speed हासिल की है.

वर्तमान में OQBoost निम्नलिखित सुविधाएँ प्रदान करता है.

• Binary Classification
• Multiclass Classification (Joint Training)
• Regression
• Native Missing Value Handling
• Native Categorical Feature Support
• SHAP-style Built-in Explanation
• Kernel SHAP Compatibility
• Multi-thread Training
• Scikit-learn Compatible API

प्रयोगों के परिणामों में OQBoost ने विभिन्न सार्वजनिक datasets पर मौजूदा GBDT लाइब्रेरियों के बराबर प्रतिस्पर्धी प्रदर्शन दिखाया.

• Binary Classification: औसत AUC Rank 1
• Regression: औसत R² Rank 1
• Multiclass Classification: LightGBM और XGBoost के समान स्तर का प्रदर्शन

OQBoost का लक्ष्य केवल मौजूदा GBDT को दोबारा लागू करना नहीं है, बल्कि व्यावहारिक लागत पर Oblique Split का उपयोग करने वाला एक नया Gradient Boosting engine प्रदान करना है.