XrayGPT: मेडिकल vision-language model (VLM) का उपयोग करके chest radiograph का सारांश

• chest radiograph X-ray छवियों का स्वचालित विश्लेषण करने पर शोध
• Vicuna LLM को मेडिकल डेटा (1 लाख रोगी/डॉक्टर के बीच की वास्तविक बातचीत) और 30,000 radiology बातचीत के आधार पर fine-tune किया गया
• मुफ़्त टेक्स्ट radiology report datasets (MIMIC-CXR और OpenI) से संवादात्मक, साफ-सुथरे सारांश (~217k) तैयार किए गए, जिससे LLM प्रदर्शन बेहतर हुआ
• Frozen Medical Visual Encoder (MedClip) को fine-tuned LLM (Vicuna) के साथ align किया गया (Simple Linear Transformation का उपयोग करके)

[cosine20]

अगर आपके पास छाती का X-ray इमेज है, तो आप डेमो खुद भी आज़मा सकते हैं।