उच्च-गुणवत्ता वाली nonfiction AI slop का ठीक उलटा है

• लाइब्रेरी की classification system, librarians की curation और borrowing history से बनी shelf browsing, search engine की तुलना में quality और serendipity दोनों देती है, और readers को अप्रत्याशित high-quality nonfiction तक ले जाती है
• मुफ्त platform Book Prize Index प्रमुख English-language nonfiction literary prizes के विजेताओं और finalists की लगभग 6,500 किताबें search और sort करता है, और natural-language queries व similar-book discovery को भी support करता है
• AI का उपयोग केवल data collection, coding और semantic search के लिए किया गया; कभी-कभी समझने में कठिन search results भी अच्छी तरह managed shelves में घूमने जैसा discovery experience देते हैं
• Literary prize records, out-of-print हो चुकी और Amazon recommendations से बाहर हो गई उत्कृष्ट किताबों को भी फिर सामने लाते हैं। 1993 में 4 प्रमुख awards जीतने वाली W.E.B. Du Bois biography की sales rank 10 लाख से बाहर है, लेकिन index में यह overall top 10 के करीब है
• Open research libraries, mobility में विस्तार, social accessibility में सुधार, cataloging technology और media में बदलावों ने 20वीं सदी की nonfiction की quality को ऊंचा किया; subjectively, 1980s से early 2000s तक का दौर शायद इसका peak रहा हो

---

Shelf browsing से बनी curated serendipity

• University के दिनों में Library of Congress classification system के A~F sections में किताबें लगाते हुए, हर बार किसी random page से एक sentence पढ़ने की आदत ने religion, philosophy, sociology और history की किताबों से व्यापक परिचय कराया
  • ज्यादातर चीजें रुचि नहीं जगा पाती थीं, लेकिन Hellenistic mystery religions, The Education of Henry Adams, Are Clothes Modern? जैसी किताबों में डूबकर कई pages पढ़े और पास की books भी देखीं
• यह अनुभव पूरी तरह random reading से ज्यादा curated self-learning जैसा था
  • Library of Congress classification system और research library staff materials को organize और curate करते थे
  • borrowed books होने की शर्त पहले से steady readership होने का अतिरिक्त filter बनती थी
  • नतीजतन systematic तरीके से curated, फिर भी रोचक serendipity वाला high-quality sample मिल पाता था

Google search और open stacks का decline

• आज undergraduate students जब material खोजते हैं तो वे Google search का उपयोग करते हैं, जिसका discovery experience research library की किसी specific classified shelf को सीधे browse करने की तुलना में काफी कमजोर है
• Research library की spaces भी पहले जैसी नहीं रहीं
  • browse की जा सकने वाली open stacks को Learning Lab, Digital Innovation Hub, socializing और snacks के seating areas से replace किया जा रहा है
  • पुरानी और unusual books को discard करने या electronic editions से बदलने के मामले भी बढ़ रहे हैं
• इसके बावजूद nonfiction की quality अभी भी ऊंची है, और AI chatbots व podcasts से competition के कारण readership घटने की स्थिति में भी एक ठीक से पहचाना न गया nonfiction का golden age जारी है

Book Prize Index की संरचना

• Book Prize Index high-quality nonfiction की long tail को explore करने के लिए बनाया गया मुफ्त platform है
• प्रमुख English-language nonfiction literary prizes की जीत और finalist history को quality criterion के रूप में उपयोग किया गया
  • प्रमुख awards की lists aggregate करने के बाद Claude और GPT-5.6 से Wikipedia सहित कई online sources से winners और finalists collect किए गए
  • collected data को searchable और sortable list के रूप में तैयार किया गया
• Hosting और API costs खुद देकर इसे सभी के लिए मुफ्त उपलब्ध कराया जा रहा है

Semantic search से दोबारा बना shelf-walk

• AI की भूमिका data collection, coding और semantic search तक सीमित है
• Semantic search, researchers द्वारा पहले से उपयोग किए जाने वाले text search को सीधे बेहतर बनाता है
  • modern France, social history जैसे simple phrases search किए जा सकते हैं
  • classic biographies that are surprisingly weird जैसी complex meaning वाली natural-language queries भी handle करता है
  • embedding model लगभग 6,500 books में से relevant books खोज निकालता है
• Results कभी-कभी समझने में कठिन हों, फिर भी उनकी unpredictability अच्छी तरह managed garden में random walk जैसा discovery experience दोबारा बनाती है
• खासकर पहले से पसंद आई किताब जैसी books खोजने के books like use case के लिए यह अच्छी तरह fit बैठता है
  • Stefan Zweig की pre-war Vienna memoir The World of Yesterday को आधार बनाकर search करने पर पहली बार दिख रहीं promising books तुरंत मिल सकती हैं

Data visualization और publishers की ranking

• collected data से experimental visualizations बनाई गईं
  • corpus में शामिल लगभग 5,000 books को cover color के अनुसार arrange किया गया
  • decades के हिसाब से compare करके देखा जा सकता है कि हाल के दशकों में car colors के gray होने जैसी phenomenon book covers में भी दिखती है या नहीं
• उसी page के charts और publisher ranking के जरिए पिछले एक century में nonfiction literary prizes में सबसे अच्छा प्रदर्शन करने वाले imprints और publishers explore किए जा सकते हैं

Literary prizes द्वारा preserve की गई nonfiction की long tail

• Pulitzer Prize का nonfiction category भी अपेक्षाकृत हाल में, 1962 में शुरू हुआ
• Nonfiction literary prizes की संख्या 1970s~1990s में बढ़ी और 2014 में peak पर पहुंची; 2020 से gradual decline शुरू हुआ हो सकता है
• पिछले कई दशकों में nominees और winners से बनी long tail लगातार high quality दिखाती है
  • list से लगभग random तरीके से चुनने पर भी original और outstanding book मिल सकती है
  • ये books publication के समय अनदेखी रह गई works नहीं थीं, बल्कि press, literary world और academia से praised थीं, पर आज recommendation systems से बाहर धकेल दी गई हैं
• David Levering Lewis की W.E.B. Du Bois biography इस disconnect को अच्छी तरह दिखाती है
  • 1993 में publication के समय इसने 4 प्रमुख awards जीते और index में overall top 10 के करीब है
  • अभी यह out of print है और Amazon sales rank भी 10 लाख से बाहर है, इसलिए recommend होने की संभावना कम है, लेकिन used copy लगभग 4 dollars में खरीदी जा सकती है

Nonfiction golden age बनाने वाले बदलाव

• Open research libraries का basic design 18वीं~19वीं सदी में आया, लेकिन postwar era की technological और social changes ने libraries और archives में नया knowledge produce करने के तरीके को काफी बदल दिया
• Jet airliners ने multiple continents में fieldwork को, जो पहले ultra-rich लोगों तक सीमित था, ज्यादा writers और researchers के लिए खोल दिया
• Class, race और gender आधारित restrictions कमजोर होने से rare-book libraries जैसे elite spaces की accessibility बढ़ी, और नए research questions भी संभव हुए
  • लगभग 1965 से पहले के biographers अपने subjects की sexual orientation को शायद ही explore करते थे
• Library of Congress classification system और 1960s के अंत में विकसित MARC(machine-readable cataloguing) जैसी early digital technologies ने books की classification और sorting आसान बनाई
  • sources verify करना और high-quality endnotes लिखना भी काफी आसान हुआ
• Broadcast news, Dick Cavett जैसे distinctive TV interview programs, और books के Hollywood adaptation pathways ने writers को नए incentives दिए और works को promote करने के platforms उपलब्ध कराए
• Word processors और early computers ने nonfiction quality को वास्तव में बढ़ाया या नहीं, यह स्पष्ट नहीं है
  • 2000s के बाद Wikipedia और Google Books/Hathi Trust ने उस generation के research में बड़ा योगदान दिया

Nonfiction quality का peak

• बहुत-सी library books पलटकर देखने के subjective judgment के अनुसार nonfiction writing quality 20वीं सदी भर बेहतर होती गई
• Peak शायद 1980s से early 2000s के बीच रहा हो
• वर्तमान nonfiction quality सचमुच गिर रही है या नहीं, यह तय करना मुश्किल है

[GN⁺]

Hacker News टिप्पणियां

• मेरे हिसाब से अच्छा fiction मूल रूप से AI का ठीक उल्टा है। LLM कई तत्वों को जोड़कर ऐसा नतीजा बना सकते हैं जो creative दिखे, लेकिन उनकी सीमाएं हैं; हजारों बार prompt देने पर भी किसी बेहतरीन novel जैसी सचमुच मौलिक रचना निकलेगी, इसकी कल्पना करना मुश्किल है
  ऐसी रचना के लिए जीवन का जादू और बेतुकापन चाहिए

  • यह बात थोड़ी असंगत लगती है कि इंसानों को ज्यादा creative होने के लिए जीवन का जादू और बेतुकापन अनुभव करना ही क्यों जरूरी है। इंसानी creation भी आखिर अपने अनुभवों को जोड़ने और फिर से संयोजित करने की प्रक्रिया ही है, और अगर AI के पास इसे reflect करने वाला पर्याप्त data हो, तो क्या वह सचमुच मौलिक नतीजे नहीं बना सकता?
    बुद्धिमत्ता और creativity दोनों recombination हैं, और AI भी इंसानों की तरह इसे अच्छी तरह कर सकता है। अभी फर्क यह है कि इंसानों को मिलने वाला data कहीं ज्यादा analog, भावनात्मक और वास्तविकता पर आधारित होता है
  • उम्र बढ़ने के साथ आसमान के नीचे कुछ भी नया नहीं वाली बात बार-बार याद आती है
  • AI technical content को document और explain करने वाली nonfiction की एक शाखा में काफी उपयोगी है। मैंने अपनी पसंद बताकर fantasy novel लिखने को कहा था, लेकिन नतीजा भयानक था; लगता नहीं कि AI जल्द ही fantasy writers की नौकरियां छीन पाएगा
  • अभी मैं LLM द्वारा लिखे novel पढ़ना नहीं चाहता, लेकिन उम्मीद है कि भविष्य में मेरी सोच बदलेगी और आनंद लेने लायक रचनाएं भी आएंगी। हालांकि nonfiction को भी LLM से replace करना कहीं ज्यादा मुश्किल है
    अभी जो https://www.goodreads.com/en/book/show/17801.Underground और https://www.goodreads.com/en/book/show/44824581-a-k-pop-live पढ़ रहा हूं, वे विशाल material पर निर्भर हैं, जिसमें मुश्किल से संभव face-to-face interviews और on-site events में शामिल होना भी है, इसलिए ये ऐसी किताबें हैं जिन्हें LLM नहीं लिख सकता। https://www.goodreads.com/series/139929-designers-dragons जैसी अपेक्षाकृत साधारण किताब भी ऐसे sources का उपयोग करती है जो digitize नहीं हुए या सामान्य digital material collections में नहीं हैं
    LLM synthesis का काम अच्छी तरह कर सकते हैं, लेकिन सक्षम nonfiction किताब लिखने के लिए tools और verification systems अभी भी कम हैं। आगे चलकर यह संभव हो भी जाए, तब भी सबसे बेहतरीन और दिलचस्प nonfiction इंसानों का क्षेत्र बना रहेगा, और memoirs या travelogues भी, जब तक सिर्फ dictation न कराया जा रहा हो, replace करना मुश्किल होगा
  • Models धीरे-धीरे यह क्षमता दिखा रहे हैं कि वे math proofs की तरह इंसानों द्वारा explore न किए गए क्षेत्रों में extrapolate कर सकते हैं। मुझे जानना है कि जीवन के बेतुकेपन से material लेना ही models के लिए खास तौर पर मुश्किल होगा, यह मानने का ठोस आधार क्या है

• लंबे लेख पढ़कर मिली जानकारी और LLM बातचीत से मिली जानकारी दिमाग में अलग-अलग तरीके से store होने की संभावना है। कोई कठिन या नया लेख पढ़ते समय हम लंबे समय तक सोचते हैं कि content मौजूदा अनुभव या knowledge से कैसे जुड़ता है, और कठिन pages पर रुककर विचारों को integrate और reorganize करते हैं
  इसके उलट LLM से बातचीत करते समय knowledge निष्क्रिय रूप से प्राप्त करने जैसा लगता है, इसलिए वह पर्याप्त रूप से integrate नहीं होता। इंसानी teacher से सीखते समय शायद ऐसा नहीं होता, जो कुछ हद तक paradoxical है

  • यह education theory के assimilation और accommodation के करीब है। Assimilation वह प्रक्रिया है जिसमें knowledge मौजूदा cognitive schema में फिट हो जाता है, और accommodation वह है जिसमें नए knowledge के लिए schema खुद बदलता है, इसलिए चुनौती मिलने या गहराई का एहसास पैदा होता है
    जैसे कोई बच्चा foreigner को अपने देश के बाहर से आया व्यक्ति समझकर सीखता है, फिर पहली बार foreign trip पर जाकर महसूस करता है कि वह खुद वहां foreigner है। LLM output आम तौर पर ऐसे रूप की तरफ झुकता दिखता है जिसे आसानी से assimilate किया जा सके
  • मैं टहलते या hiking करते समय audiobooks सुनता हूं, और सीखी हुई बातों को याद करते समय कभी-कभी मैं कहां चल रहा था यह भी साथ में याद आ जाता है। इंसान जानकारी को कैसे process करते हैं, इस बारे में अभी बहुत कुछ जानना बाकी है
  • LLM के साथ interact करते हुए knowledge निष्क्रिय रूप से पाने वाली बात लगभग विरोधाभासी अभिव्यक्ति जैसी लगती है, और मेरे अनुभव से बहुत अलग है
  • यह शायद tool का इस्तेमाल करने के तरीके पर ज्यादा निर्भर करता है। सिर्फ पढ़कर मैं अच्छी तरह नहीं सीख पाता; खुद करके और जो बातें समझ नहीं आतीं उन पर लगातार सवाल पूछकर सीखता हूं। LLM इतनी बार पूछने देता है कि कोई इंसान होता तो जल्दी ही धैर्य खो देता
    मूल material से अकेले पढ़ते समय की तरह समझी हुई बातों को लिखना, flash cards बनाना और active practice करना, साथ ही कठिन हिस्सों पर ज्यादा गहराई से सवाल करना संभव है। इससे विचारों का integration और reorganization संभव होता है, जो दूसरे तरीकों से मैं नहीं कर पाता था
    अगर LLM को knowledge slot machine की तरह इस्तेमाल करके बीच की प्रक्रिया के बिना मिली चीजों को सीधे execute किया जाए, तो नतीजा अलग हो सकता है
  • हर व्यक्ति जानकारी हासिल करने का तरीका अलग रखता है, इसलिए ऐसी अटकलें बहुत गलत भी हो सकती हैं। LLM पसंद नहीं है, इस तथ्य को इंसानी दिमाग या knowledge तक पहुंचने के तरीकों पर व्यापक निष्कर्ष के रूप में generalize नहीं किया जा सकता; यहां व्यक्ति का subjective experience ही लगभग सब कुछ है

• Book awards औसत से बेहतर signal हैं, लेकिन publishers थोड़ी भी प्रासंगिकता रखने वाले हर award में बड़ी संख्या में किताबें submit करते हैं और इसे business cost मानते हैं। यह वैसा ही है जैसे कोई photographer ‘award-winning photographer’ की उपाधि के लिए entry fee दे, या companies judging fee और material submit करें
  किताबें बहुत ज्यादा हैं और qualified judges कम, इसलिए award मिलना arbitrary या हास्यास्पद रूप से आसान हो सकता है। NCR Book Award ने बड़ा विवाद झेला था जब यह सामने आया कि judges ने किताबें खुद पढ़ी ही नहीं थीं [1], और PROSE Award इतना बड़ा है कि सामान्य category में finalist बनना या award जीतना अक्सर बढ़ा-चढ़ाकर प्रतिष्ठित बताया जाता है
  [1] https://www.theguardian.com/news/2013/may/19/literary-prize-judges-admit-failure-read-books

  • Awards अपने दौर की उपज होते हैं, इसलिए वे judges की biases और readers की literary tastes के साथ-साथ भाई-भतीजावाद·पक्षपात·elitism को भी reflect करते हैं। Hugo, Nebula, Locus के पिछले winners और nominees को देखें तो बहुत-सी बस ठीक-ठाक रचनाएं भी मिलती हैं
  • Beer और wine awards भी ऐसे ही हैं: कुछ बेहतरीन होते हैं, लेकिन ज्यादातर पैसे देकर entry लेने वाली promotional lottery के करीब हैं

• ‘टेक्नोलॉजी’ और ‘साइंस’ सेक्शन में मुझे कई बेहतरीन किताबें मिलीं जिन्हें मैं पहले पढ़ चुका था और कई ऐसी भी जिन्हें पढ़ना चाहता हूं, जिससे खो चुकी रोज़ाना पढ़ने की आदत दोबारा बनाने की प्रेरणा मिली। हाल की ‘समाज और संस्कृति’ वाली किताबें book club के लिए भी अच्छी लगती हैं
  एक bug है: ‘award’ filter में Pulitzer या National Book Award चुनने पर कोई result नहीं आता, लेकिन browse करते समय वही award-winning किताबें दिखती हैं

  • इस site को शुरुआत में मैंने निजी उपयोग के लिए बनाया था, लेकिन meaning-based search और category browsing के ज़रिए ऐसी अच्छी किताबें खोजते हुए, जिनके बारे में मुझे पता नहीं था, इसे बढ़ाने में मैं डूब गया। उम्मीद है यह दूसरों के लिए भी यही काम करेगी
  • हाल में फोन और TV की आदतें सुधारने के बाद अब हमारा परिवार movie night की जगह शांत reading club करता है
    1. फोन में Jomo install किया, ताकि उत्तेजक apps खोलने से पहले 5 सेकंड इंतज़ार करना पड़े और सिर्फ 5 मिनट इस्तेमाल हो; हर बार खोलने पर waiting time 5 सेकंड बढ़ जाता है और midnight पर reset होता है। यही friction असली चीज़ है
    2. दिलचस्प paper books तुरंत खरीदकर घर में जगह-जगह रख देता हूं
    3. पढ़ने को मौजूदा आदतों से जोड़ता हूं। रोज़ workout के लिए निकलते समय किताब साथ ले जाता हूं और workout के बाद सामने वाले cafe में coffee के साथ पढ़ता हूं; रात में सोने से पहले पढ़ता हूं। कुछ किताबें खत्म करने के बाद reading में मन लगने लगता है, उलटे TV पर focus करना मुश्किल हो जाता है, और infinite scroll ऐसा लगता है जैसे junk food खाना—करते समय भी भीतर से ठीक नहीं लगता
       शुरू करने के लिए https://bookshop.org/p/books/true-grit-charles-portis/5ac45463b35e7b22 recommend करता हूं

• research library में जिस किताब को खोज रहा था, उससे दो-तीन shelves दूर पड़ी किताबों से मैंने जीवन बदल देने वाली कई techniques और derivations सीखीं। researcher बनने के बाद मैं librarian से किताबें अपने office के पास वाली branch में भेजने को कहता था और खुद shelves नहीं देखता था; फिर main library में list में मौजूद कुछ किताबों के पास की किताबें उधार लीं और एक बड़ा breakthrough मिला
  अब उसी library में mobile shelving लग गई है, जिससे browsing झंझट बन गई है, और लगता है कि shelf browsing से होने वाली accidental discovery जैसी कोई कीमती चीज़ हमने खो दी है
  इस site की list से उम्मीदें बहुत थीं, लेकिन मेरे specialized field में यह कमज़ोर लगी। van Soest की Nutritional Ecology of the Ruminant या van der Werf की Animal Breeding: Use of New Technologies जैसी किताबें खोजने पर बहुत सारी popular science books ही आती हैं। पुराने दिनों में library में मिली किताबें scientific rigor बनाए रखते हुए भी हैरानीजनक रूप से समझने में आसान और रोचक थीं, लेकिन recommend की गई popular science books में ऐसा लगता है जैसे वे मुझे अपने विचार explore करने देने के बजाय कुछ बेचने की कोशिश कर रही हों; शायद फिर से खुद shelves देखनी पड़ेंगी

• author search support हो तो अच्छा होगा। हाल ही में Caro की LBJ series पढ़नी शुरू की है और अब तक शानदार है; जानना चाहता हूं कि उन्हें कितने awards मिले हैं। मुझे nonfiction पसंद है, इसलिए इस site पर अक्सर आऊंगा

  • और generally, year, title, publisher, author, score जैसे column headers पर click करके sort किया जा सके तो अच्छा होगा। कुछ screens पर यह काम करता है, कुछ पर नहीं, इसलिए intuitive नहीं लगता
    ‘traditional’ और ‘semantic’ search के बीच switch करना ताज़गी भरा है, लेकिन अच्छा होगा कि toggle सिर्फ home tab पर नहीं, books tab पर भी लगातार दिखे

• किताबों को थोड़े random तरीके से browse करते हुए मिलने वाली accidental discovery से मैं सहमत हूं, लेकिन web app खुद इसके उलट लगता है। कुछ categories दबाकर देखीं तो top books में हर जगह popularity contest जैसी गंध आई, जो random browsing से काफी दूर है

• Axiom Business Book Awards, Library Journal Best Books of the Year, Booklist Magazine's Editor's Choice Awards जोड़ना अच्छा होगा। book reviews पर काफी ध्यान देने वाले कुछ popular Substacks भी हैं, लेकिन public aggregation site के लिए मैं अपनी सबसे पसंदीदा जगह तक recommend नहीं करूंगा

  • Axiom जोड़ने की योजना है। हालांकि ‘book of the year’ type lists book awards से थोड़ी अलग हैं, इसलिए उन्हें जोड़ना है या कैसे जोड़ना है, इस पर सोच रहा हूं; लेकिन list में books बढ़ाने के अगले step के तौर पर यह संभवतः आएगा
    दूसरे awards की recommendations भी चाहिए। मैं historian हूं, इसलिए history-related awards बेहतर जानता हूं, और current list history field की ओर जरूरत से ज्यादा झुकी हो सकती है

• book awards index का history section अमेरिका की ओर जरूरत से ज्यादा biased है। focus American history, Native Americans, World War II के बाद का Japan, और पिछली सदी का Vietnam तक सीमित है

  • आखिरकार ऐसी ही किताबें बिकती हैं। अमेरिका की population बड़ी है, इसलिए history जैसे niche topics भी अगर American readers को target करें तो profitable हो सकते हैं
    जो historians mass market books बेचने की कोशिश नहीं करते, वे कहीं ज़्यादा व्यापक किताबें लिखते हैं, लेकिन आम bookstores में वे मुश्किल से दिखती हैं
  • irony यह है कि Europe, North Africa, Middle East, Persia, China, Central Asia और India की तुलना में अमेरिका में वास्तव में historical accumulation काफी कमज़ोर है

• Spanish या English में Spanish Civil War की किताबें ढूंढ रहा हूं। recommend की गई American books पसंद नहीं आईं, और भाषा या award किस देश में मिला इससे फर्क नहीं पड़ता—मैं खोज जारी रखना चाहता हूं; इसलिए non-English देशों के book awards भी शामिल हों तो अच्छा होगा

  • युद्ध खुद से ज्यादा यह बहुत रोचक है कि युद्ध कैसे हुआ और पूरे देश ने लड़ाई को क्यों स्वीकार किया। इसे समझने के लिए पिछली dictatorship के अंतिम दौर से शुरू करके पूरी Second Spanish Republic को देखना पड़ेगा, तभी युद्ध समझ आता है
    Stanley Payne की The Collapse of the Spanish Republic recommend करता हूं। वह उस पूरे दौर में Spain में रहे journalist थे, इसलिए मुख्य रूप से अपनी आंखों देखी बातें बताते हैं; वे निष्पक्ष होने का दावा नहीं करते, लेकिन मुख्य लोगों में से कई को personally जानते थे, इसलिए काफी nuanced ढंग से लिखते हैं
  • मैंने जो किताबें पढ़ी हैं उनमें Paul Preston की The Spanish Civil War और George Orwell की Homage to Catalonia की जोरदार सिफारिश करता हूं। मेरी reading list में Hugh Thomas की The Spanish Civil War और Antony Beevor की The Fight for Spain हैं, और उन्हें जल्द हासिल करके पढ़ना चाहता हूं