CS 886: Foundation Models के नवीनतम शोध रुझान

• कनाडा के "MIT" कहे जाने वाले University of Waterloo की AI कक्षाओं में से एक
• हर chapter में explanation slides, YouTube lecture videos, और references के links शामिल हैं
• सिर्फ topics और reference list भी अच्छे संदर्भ के रूप में काम आ सकते हैं

पाठ्यक्रम की रूपरेखा

Introduction to Foundation Models

1. Foundation Model का परिचय
2. कक्षा परिचय
3. RNN & CNN
4. NLP & CV

Transformer Architecture

5. Self-Attention & Transformer
6. Efficient Transformer
7. Parameter-Efficient Tuning
8. Language Model Pretraining

Large Language Models

9. Large Language Model
10. Scaling Law
11. Instruction Tuning & RLHF
12. Efficient LLM Training
13. Efficient LLM Inference
14. Compress and Sparsify LLM
15. LLM Prompting

(Large) Multimodal Models

16. Vision Transformer
17. Diffusion Model
18. Image Generation
19. Multimodal Model Pre-training
20. Large Multimodal Model

Augmenting Foundation Models

21. Tool Augmentation
22. Retrieval Augmentation