संगीत प्रोसेसिंग में ध्यान रखने लायक डरावने edge cases (2022)

 (dustri.org)
2 पॉइंट द्वारा GN⁺ 2023-11-13 | 2 टिप्पणियां | WhatsApp पर शेयर करें
  • Navidrome के source code और data model को देखकर संकलित उदाहरणों के आधार पर, संगीत metadata में केवल title, artist, album, cover और release को ही संभालें तब भी normalize करना मुश्किल बनाने वाले exceptions बहुत हैं
  • †, ★, ', (), <|°_°|>, slash, spaces, emoji, formulas, EICAR test string जैसे नाम filename, search, sorting और security tools से आसानी से टकरा जाते हैं
  • बिना title वाले albums, कई covers, एक ही title वाले कई albums, 7 घंटे, 13 घंटे और 4723 घंटे के tracks, और 99 tracks वाले EP जिनमें ज़्यादातर 4 सेकंड की चुप्पी हैं, संगीत की units की length और structure को लेकर सरल assumptions तोड़ देते हैं
  • एक ही व्यक्ति के कई aliases, band name में बदलाव, region के हिसाब से नामों के फर्क, एक ही नाम वाले कई bands, और internationalized names के overlap होने पर सिर्फ एक string से artist की पहचान करना मुश्किल हो जाता है
  • MusicBrainz जैसे database schemas albums, releases, artists, aliases और tracks को इतनी बारीकी से इसलिए अलग करते हैं क्योंकि ऐसे exceptions को सच में handle करना पड़ता है

Titles और names जो बुनियादी assumptions तोड़ देते हैं

  • संगीत metadata में album names इंसानों को creative लग सकते हैं, लेकिन systems के लिए वे special characters handling की समस्या बन जाते हैं
    • Justice का †
    • David Bowie का ★
    • Frank Zappa का '
    • Sigur Rós का ()
    • Prince का Love Symbol; Prince ने 1993 में अपना stage name भी इसी symbol में बदल दिया था और उन्हें “The Artist Formerly Known as Prince” कहा जाता था
    • Caravan Palace का <|°_°|>
  • Operating systems और file systems भी names से हिल जाते हैं
    • MASTER BOOT RECORD का album naming system Windows और Linux दोनों में समस्याएं पैदा कर सकता है
    • Linux environment में The You Suck Flying Circus का ///////-//-///// जैसा नाम खास तौर पर ध्यान खींचता है
    • Marco.V का C:/del*mp3 ऐसा title है जो file path जैसा दिखता है
    • Auto!Automatic!! के Another Round Won't Get Us Down में \\\\\ नाम का track और ////////// नाम का track है
  • Search और sorting भी सरल नहीं हैं
    • Vaporwave genre के artists Hallmark '87 के A T R I U M की तरह अक्षरों के बीच spaces डालते हैं
    • Laughing Mantis ने EICAR test file string जैसे नाम वाला गाना X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H* जारी किया था

Untitled, confusing titles और लंबे titles

  • Albums में title न होने के cases भी होते हैं
    • Rammstein का latest album
    • Led Zeppelin का चौथा album
    • KoЯn का आठवां album
  • ऐसे album names भी बहुत हैं जो बिना title के लगते हैं या confusion पैदा करते हैं
    • The Byrds का (untitled)
    • R Kelly का untitled
    • Autechre का untilted
    • +/- का Self-Titled Long-Playing Debut Album
    • Tintern Abbey के 7-inch vinyl single का A-side Beeside है
    • Weezer ने Weezer title वाले कई albums निकाले, और एक ही साल में दो बार निकालने के मामले भी हैं
    • Underoath का Ø (Disambiguation), Wikipedia के Ø disambiguation page के साथ confusion पैदा करता है
    • Meghan Trainor का Title
  • बहुत लंबे album titles UI, search और display areas पर दबाव डालते हैं

Covers, track count, length और release versions

  • कुछ albums में कई covers होते हैं, इसलिए “एक album = एक cover” वाली assumption सही नहीं बैठती
    • The Police के Synchronicity में 36 cover variants हैं
    • Art Garfunkel के Fate for Breakfast के 6 covers थे, लेकिन अमेरिका में commercial failure होने के कारण ज़्यादातर लोगों ने केवल एक ही देखा
    • Ian Dury & The Blockheads के Do It Yourself में कम से कम 34 sleeves थे
  • Cover image खुद भी controversy या censored versions पैदा कर सकती है
  • Tracks बिना title के हो सकते हैं या उनका नाम ही confusing हो सकता है
  • Track length और composition में extreme cases हैं
    • NǽnøĉÿbbŒrğ VbëřřĦōlökäävsŦ का “Doom Apocalypse X, The Ultimate Fate Of The Universe (Part IX: The Photon Era)” लगभग 7 घंटे लंबा है, और पूरा album “The Ultimate Fate Of The Universe” 23 घंटे से थोड़ा कम है
    • Pipe Choir Three का The Rise and Fall of Bossanova 13 घंटे के गाने को 5 parts में बांटता है
    • Bull of Heaven के 209: Blurred With Tears And Suffering Beyond Hope में 4723 घंटे 54 मिनट 37 सेकंड का track शामिल है
    • Nine Inch Nails के Broken में 99 tracks हैं, और track 7 से 97 तक हर एक 4 सेकंड की चुप्पी है
  • ज़्यादातर albums के कई versions या releases होते हैं
    • The Eminem Show के 15 versions हैं
    • All Lights Fucked on the Hairy Amp Drooling में 1994 cassette पर 27 tracks, 2022 reissue में 4 tracks, और bootleg में 31 tracks हैं
    • God Speed You Black Emperor! ने 2002 में अपना नाम बदलकर “Godspeed You! Black Emperor” कर लिया
    • Sybreed के Antares में Japanese, US, Russian, Swiss promo और European promo editions के track counts और 11वें track अलग हैं
    • Art of Noise के Close-Up single के UK versions में से 4 के catalog number और sleeve समान थे, लेकिन उनके tracks अलग थे, और उनमें से एक में “Close-Up” track खुद था ही नहीं
    • Taylor Swift ने अपने music की पूरी ownership वापस पाने के लिए albums फिर से record किए
  • Licensing issues भी release differences पैदा करते हैं
    • MF DOOM का MM..FOOD 2004 में आया था, और unresolved Sesame Street samples के कारण 2007 में re-recorded version आया

Artist identification मुश्किल होने के cases

  • एक track से बहुत बड़ी संख्या में artists जुड़े हो सकते हैं
    • GRAY का “119 REMIX” title की तरह ही 119 artists की भागीदारी वाला track है
  • Bands नाम बदलते हैं या region के अनुसार अलग नाम इस्तेमाल करते हैं
    • GZR को पहले album में g//z/r, दूसरे में geezer, और तीसरे में GZR लिखा गया
    • Ghost कुछ समय तक केवल अमेरिका में Ghost B.C. के नाम से जाना गया
    • Suede अमेरिका में “The London Suede” के नाम से जाना जाता है
    • Zoviet France की spellings :$OVIET:FRANCE:, Soviet France, :Zoviet-France:, :zoviet*france: जैसी हैं
    • Invent, Animate ने दो artists समझे जाने से बचने के लिए अपना नाम बदलकर “Invent, Animate” किया
  • कुछ artists कई names इस्तेमाल करते हैं
    • Aphex Twin के Blue Calx, Caustic Window, Brian Tregaskin, The Dice Man, Polygon Window, Power-Pill, Richard D. James, GAK, The Tuss, user48736353001 आदि कई aliases हैं
    • Filipe Santos को भी कई नामों के उदाहरण के रूप में पेश किया गया है
  • Band name खुद search और sorting rules को हिला देता है
  • अलग-अलग bands एक ही नाम इस्तेमाल कर सकते हैं
    • “Emperor” Norwegian black metal band, drum and bass producer, trance artist, Japanese metal band, Arknights world के fictional penguin hip-hop artist आदि कई entities को refer कर सकता है
    • Havamal एक Viking metal band और दूसरे Viking metal band, दोनों को refer कर सकता है
    • Bulldog Breed UK के दो bands को refer कर सकता है, और दोनों ने “Made in England” नाम का album निकाला था
    • Avishai Cohen Israel से आने वाले दो jazz musicians को refer करता है
    • Revolver, Peace, Hybrid, End जैसे common “cool” names में duplication बहुत है
  • Internationalization भी identification को और मुश्किल बनाता है
    • Пётр Ильич Чайковский, यानी Tchaikovsky, के MusicBrainz में 31 names हैं

Character encoding, operating systems और data model

  • कुछ artists और albums UTF-8 support और operating system handling को test करते हैं
    • ･ ･－･ ･－ ･･･ ･ －･･ के पास मिलते-जुलते Morse code names वाले कई singles हैं
    • Spın̈al Tap dotless i और metal umlaut इस्तेमाल करता है
    • Four Tet का ⣎⡇ꉺლ༽இ•̛)ྀ◞ ༎ຶ ༽ৣৢ؞ৢ؞ؖ ꉺლ Wikipedia page में characters बहते हुए से दिखते हैं, और वह 00110100 01010100 नाम भी इस्तेमाल करता है; ASCII में इसका अर्थ “4T” है
    • KEYGEN CHURCH ने “░█░█░░█░█░█░” और “░ ▒ ▓ █” नाम के albums निकाले
    • Magma की Kobaïan constructed language में ऐसे custom diacritics शामिल हैं जो UTF-8 में नहीं हैं
    • Aphex Twin के पास ∆Mᵢ⁻¹=−α ∑ Dᵢ[η][ ∑ Fjᵢ[η−1]+Fextᵢ [η⁻¹]] नाम का track है
    • Coldplay के Music of the Spheres में ज़्यादातर track titles में emoji का इस्तेमाल है
    • Ed Sheeran ने -, =, ÷, x, + नाम के albums निकाले
  • “Classical music” को भी एक अलग problem area के रूप में ही पेश किया गया है
  • पसंदीदा उदाहरणों में brouillard है
    • Band का नाम brouillard है, उसका इकलौता member भी brouillard है, और सभी albums और सभी tracks भी brouillard हैं
  • इस तरह की उलझन से निपटने का तरीका MusicBrainz database schema देखकर समझा जा सकता है

संबंधित पढ़ाई

2 टिप्पणियां

 
kunggom 2023-11-13

यह लेख पहले भी GeekNews पर प्रकाशित हो चुका है.
https://hi.news.hada.io/topic?id=6319
 
GN⁺ 2023-11-13
Hacker News की राय

  • मुझे याद है, जब मैंने Metallica की "Kill 'Em All" को एक used CD store में बेचा और फिर वही "Kill 'Em All" वापस खरीदी, तो क्लर्क काफी confuse हो गया था
    कुछ editions में cover songs Am I Evil और Blitzkrieg दो extra tracks के रूप में थे, और दोनों CDs का identification number एक ही था, इसलिए confusion और बढ़ गया
    उसने स्वाभाविक रूप से पूछा कि मैं अभी-अभी बेची हुई CD फिर क्यों खरीद रहा हूँ; जब मैंने दिखाया, तो वह हैरान रह गया और बोला कि उसने ऐसा मामला पहली बार देखा है

  • The The, so much for skipping articles like "A" or "The" I guess.

    पहले Google पर "The Who" search करने वाली एक meme image थी, जिसमें results के ऊपर लिखा था कि "'The' एक common word है, इसलिए इसे search query से हटा दिया गया" / "'Who' एक common word है, इसलिए इसे search query से हटा दिया गया"

    • एक आम bulletin board software default रूप से 3 characters या उससे छोटे search terms को पूरी तरह ignore या block कर देता था
      तकनीकी forums में, जहाँ abbreviations बहुत इस्तेमाल होते हैं, यह अविश्वसनीय रूप से annoying setting है
    • Siri को तोड़ देने वाले band names मेरी जिंदगी की असली समस्या हैं
      Them, तुम्हारी ही बात हो रही है O_o
    • 2000s के शुरुआती-मध्य दौर में मैंने मशहूर statistical software R के साथ काफी काम किया
      उस समय R में कुछ करने का तरीका Google पर ढूँढने के लिए mailing list archive की location पता होनी चाहिए थी और search को उसी domain तक सीमित करने जैसे काफी specific tricks चाहिए होते थे
      बाद में जब Google ने internally R का बहुत इस्तेमाल शुरू किया, तो अचानक वह समस्या गायब हो गई

  • Taylor Swift द्वारा अपने पुराने गानों को फिर से record करके re-release करना भी काफी famous example है
    अगर कोई Alexa से "Love Story" चलाने को कहे, तो क्या उसे वह version चलाना चाहिए जिससे Taylor को ज्यादा royalties मिलें, या वह version जिससे किसी music publisher को ज्यादा मिलें
    गाने की popularity ranking बनाते समय संभवतः अलग-अलग versions को अलग गानों की तरह treat नहीं करना चाहिए

    • Streaming service की most-played songs list में कभी-कभी वही गाना दो बार rank हो जाता है
      क्योंकि single version और album version दोनों मौजूद होते हैं

  • संबंधित: https://github.com/minimaxir/big-list-of-naughty-strings
    Big List of Naughty Strings उन strings की list है जो user input data के रूप में इस्तेमाल होने पर problems पैदा करने की high संभावना रखती हैं

    • इससे संबंधित और मजेदार लेख: https://www.sempf.net/post/On-Testing1
    • common LLM injection strings भी इस list में जोड़नी चाहिए
    • दशकों तक system administrator के रूप में काम करने के बाद, मैं गारंटी दे सकता हूँ कि ज्यादातर coders ने यह list कभी नहीं देखी है और आगे भी नहीं देखेंगे :|

  • लगता है बस A नाम का band छूट गया है
    इस band ने “nothing” नाम का गाना निकाला था https://en.wikipedia.org/wiki/Nothing_(A_song)
    मुझे याद है कि पहले Amazon पर इनके albums ढूँढने में काफी मशक्कत करनी पड़ी थी, और आज भी यह खास आसान नहीं दिखता

    • या फिर 80s की शुरुआत का Jethro Tull album A भी है
    • जब वह album आया था, मुझे वह बहुत पसंद आया था
      लेकिन search करना सचमुच असंभव था, इसलिए आखिरकार CD खरीदनी पड़ी

  • Some tracks are long

    लगता है कि बात recorded tracks की ही हो रही है, लेकिन 13 घंटे तो beginner number है[0]
    [0] https://en.wikipedia.org/wiki/As_Slow_as_Possible#Halberstad...

    • recorded tracks में 4,700 घंटे वाला भी है
      https://www.discogs.com/release/3580802-Bull-Of-Heaven-209-B...
      5.5 साल का track भी है, लेकिन उसका सिर्फ कुछ हिस्सा ही public हुआ है
      https://www.discogs.com/release/3580806-Bull-Of-Heaven-210-L...
      फिर भी यह लगभग 13,000 घंटे है
    • एक छोटा piano piece है[1], जिसके लिए composer का original instruction था कि उसे हजार से ज्यादा बार repeat किया जाए[2], इसलिए actual performance 24 घंटे से ज्यादा हो जाती है
      इसलिए स्वाभाविक रूप से यह लगभग कभी perform नहीं होता
      John Cage का As Slow as Possible जैसा भी कुछ है, जिसकी एक performance अभी भी चल रही है
      यह 2001 में शुरू हुई और 2640 में खत्म होगी, इसलिए अंत देखना हो तो शायद जल्दी करनी पड़े
      [1] शायद Ravel का piece होगा, लेकिन मेरी याद और quick search, दोनों अभी मेल नहीं खा रहे
      [2] लगता है 2347 जैसा कोई थोड़ा arbitrary लगने वाला खास number था
    • जरूरी नहीं कि बात इसी की हो, लेकिन titles भी बहुत लंबे हो सकते हैं
      Sufjan Stevens का "The Black Hawk War, or, How to Demolish an Entire Civilization and Still Feel Good About Yourself in the Morning, or, We Apologize for the Inconvenience but You're Going to Have to Leave Now, or, 'I Have Fought the Big Knives and Will Continue to Fight Them Until They Are Off Our Lands!'" याद आता है
      यह वही गाना है जिसने एक young script kiddie रहे मुझे FAT32 full path length limit 255 characters सिखाई थी

  • Marco V के C:\del.mp3* का भी special mention बनता है
    https://www.discogs.com/release/133498-MarcoV-Cdelmp3-Solari...

    • यह लगभग music world का Bobby Tables है

  • emma essex का संगीत सुनना शुरू करने के बाद मुझे समझ आया कि आज के दौर में भी Unicode handling कितनी अधूरी-सी लागू है
    मेरे पसंदीदा उदाहरणों में एल्बम "𝅙𝅙" (U+1D159) में शामिल "HHSU 𓃚 𝕮𝖆𝖒𝖇𝖎𝖚𝖒, 𝕏𝕪𝕝𝕖𝕞, 𝓗𝓮𝓪𝓻𝓽𝔀𝓸𝓸𝓭" का "⎆", "♫♫♩♫‿♩ but it's 怒首領蜂 大往生", "ｒｔｒｃ{（''»''）²２}：≞（''»''０１）；" वगैरह हैं

    • Apple Music को शायद "⎆" नाम का ट्रैक इतना नापसंद है कि मेरे अकाउंट में वह ट्रैक एल्बम से पूरा गायब है
    • यह देखकर मैंने UTF-8 को Unicode code point में बदलने वाला command-line tool खोजा, और पता चला कि वह uconv -x hex/unicode था
      पहला उदाहरण ज्यादातर mathematical alphanumeric symbols जैसा दिखता है
      https://en.wikipedia.org/wiki/Mathematical_Alphanumeric_Symb...
      सोचता हूँ कि क्या किसी ने कभी Unicode Private Use Area के characters इस्तेमाल किए हैं
      दिलचस्प नतीजे आ सकते हैं
    • लगता है HN ने कुछ characters मिटा दिए होंगे

  • GZR, also known as g//z/r on their first album, geezer on their second, and GZR on their third.

    अगर उन्होंने हर एल्बम पर बैंड का नाम बदला होता, लेकिन तीनों एल्बमों के नाम बिल्कुल एक जैसे होते, तो वह काफी प्रभावशाली होता

    • अगर album_grouping_key या musicbrainz_albumid जैसी चीज़ होती, तो यह 20 साल पहले ही हल हो सकता था
      “भयानक है”
    • ऐसे band name changes वाले edge cases को dataset के अंदर entity को ID देकर अलग करने से हल किया जा सकता है
      इस स्तर पर मुझे यह भी यकीन नहीं कि इसे edge case कहना चाहिए या नहीं

  • Autechre का Untilted जानबूझकर confuse करने वाले album titles में मेरा पसंदीदा उदाहरण है
    लेख में भी आया है, जब इसे छोटे font में render किया जाता है, तो देखकर भी साफ नहीं होता कि title "Untitled" नहीं है

    • कसम से, मैं इसे कई सालों से सुनता आ रहा था, लेकिन हाल ही में समझ आया कि album name "untitled" नहीं है
      बढ़िया किया, Ae!