The Pile, 825 गीगाबाइट का विविध open source language modeling dataset (2020)

 (pile.eleuther.ai)
1 पॉइंट द्वारा GN⁺ 2024-03-09 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

The Pile: language modeling के लिए विविध टेक्स्ट का 800GB dataset

  • The Pile 22 छोटे लेकिन उच्च-गुणवत्ता वाले datasets को मिलाकर बनाया गया 825 GiB आकार का एक विविध open source language modeling dataset है.
  • यह dataset Eye नामक संस्था द्वारा host किया जाता है, और jsonlines data format में zstandard का उपयोग करके compress किया गया है.
  • यदि कोई model The Pile का उपयोग करता है या उस पर evaluate किया जाता है, तो developers से उसे सूचित करने का अनुरोध किया गया है.

The Pile को training set के रूप में उपयोग करने के कारण

  • हालिया research के अनुसार, खासकर बड़े models के मामले में, data sources की विविधता model के सामान्य cross-domain knowledge और downstream generalization ability को बेहतर बनाती है.
  • evaluation results के अनुसार, The Pile पर trained models पारंपरिक language modeling benchmarks पर मध्यम स्तर का सुधार दिखाते हैं, और Pile BPB पर उल्लेखनीय सुधार दिखाते हैं.

The Pile को benchmark के रूप में उपयोग करने के कारण

  • Pile BPB (bits per byte) पर अच्छा score पाने के लिए model को किताबें, GitHub repositories, web pages, chat logs, medicine, physics, mathematics, computer science, और philosophy papers जैसे विविध domains को समझने में सक्षम होना चाहिए.
  • Pile BPB इन domains में world knowledge और reasoning ability को मापने वाला एक metric है, और बड़े language models की सामान्य cross-domain text modeling ability के लिए एक मजबूत benchmark है.

Citation

  • यदि आप The Pile या उसके components का उपयोग करते हैं, तो निम्न प्रकार से citation देने का अनुरोध किया गया है.
@article{pile,
  title={The {P}ile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and Presser, Shawn and Leahy, Connor},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

Leaderboard

  • leaderboard test set के साथ duplication की संभावना दर्शाता है, और Zero-shot का अर्थ है कि Pile के सभी components training data में शामिल नहीं थे.
  • GPT-3 (Zero-Shot)* और GPT-2 (Zero-Shot)* को OpenAI द्वारा 1 जनवरी 2021 को क्रमशः 0.7177 और 1.225 के Test BPB के साथ rank किया गया था.
  • evaluation code EleutherAI 2021 द्वारा प्रदान किया गया है.

GN⁺ की राय

  • The Pile dataset इस हालिया research को दर्शाता है कि language models के training और benchmarking में data diversity महत्वपूर्ण है. यह language models को वास्तविक दुनिया के विविध टेक्स्ट को समझने और process करने में मदद करता है.
  • dataset का आकार और विविधता models को अधिक व्यापक ज्ञान सीखने और बेहतर generalization ability प्राप्त करने में सक्षम बनाते हैं. इसे खासकर artificial intelligence क्षेत्र में एक महत्वपूर्ण प्रगति माना जा सकता है.
  • हालांकि, ऐसे बड़े datasets का प्रभावी उपयोग करने के लिए पर्याप्त computing resources की आवश्यकता होती है, जिससे cost और environmental impact पर विचार करने की जरूरत पैदा होती है.
  • समान क्षमताएँ देने वाले अन्य projects में OpenAI का GPT-3 जैसे large language models शामिल हैं, जो विभिन्न data sources से सीखते हैं.
  • The Pile का उपयोग करने से पहले data के source, quality, और model क्या सीखेगा, इसकी पर्याप्त समझ आवश्यक है. इस dataset को चुनने का लाभ विविध ज्ञान अर्जित करना है, लेकिन data processing और storage की लागत को भी ध्यान में रखना चाहिए.

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.