Cog : मशीन लर्निंग के लिए कंटेनर टूल

• मशीन लर्निंग मॉडल्स को production-usable स्तर पर package करने में मदद करने वाला open source टूल
• NVidia base image + caching + Python + environment variable defaults आदि Best Practice सहित Docker image को आसानी से generate करता है
  → ताकि CUDA/cuDNN/PyTorch/TensorFlow/Python आदि version-compatible रहें
• Pydantic के माध्यम से OpenAPI schema generate करता है
• model types के जरिए FastAPI में RESTful HTTP API को dynamic रूप से generate करता है
• लंबे समय तक चलने वाले deep learning models या batch processing के लिए Redis-आधारित queue worker प्रदान करता है (आगे और भी जोड़े जाने की योजना)
• यह ML SaaS Replicate के लिए बनाया गया था, लेकिन अपनी infrastructure में भी इस्तेमाल किया जा सकता है