Project Hammer: कनाडा में किराना मिलीभगत घटाना

 (jacobfilipp.com)
1 पॉइंट द्वारा GN⁺ 2024-09-10 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • कनाडा के किराना बाजार में ऊंचे concentration के कारण price competition कमजोर हो रही है; इसी स्थिति में Project Hammer प्रमुख कंपनियों के पुराने price data को सार्वजनिक करके मिलीभगत की पहचान और competition को बढ़ावा देने के लिए इस्तेमाल करना चाहता है
  • dataset में Voila, T&T, Loblaws, No Frills, Metro, Galleria, Walmart Canada, Save-On-Foods जैसी 8 कंपनियां शामिल हैं, और अवधि 28 फरवरी 2024 से लेकर सबसे हालिया loaded data तक है
  • सार्वजनिक files product metadata के लिए product और time-series prices के लिए raw में बंटी हैं, और इन्हें 2 CSV या SQLite file के रूप में analyze किया जा सकता है
  • prices वेबसाइट UI को screen scraping करके Toronto के एक इलाके में “in store pickup” के आधार पर जुटाए गए हैं, इसलिए वे internal API data से अलग हो सकते हैं या कुछ dates/companies के लिए missing हो सकते हैं
  • economic analysis, data normalization, bug review, और political/media/legal उपयोग—इन सबका संयोजन जरूरी है ताकि यह data academic analysis और legal action तक आसानी से पहुंच सके

Project Hammer क्या करना चाहता है

  • Project Hammer का लक्ष्य कनाडा के किराना sector में competition बढ़ाना और मिलीभगत घटाना है
  • इसके लिए तीन काम किए जा रहे हैं
    • प्रमुख किराना कंपनियों की वेबसाइटों से historical price database बनाना
    • data को academic analysis और legal action के लिए उपयुक्त रूप में उपलब्ध कराना
    • dataset के अस्तित्व के बारे में उन लोगों को बताना जो बदलाव ला सकते हैं, और उन्हें इसे असल में इस्तेमाल करने में मदद करना

सार्वजनिक किराना price data

  • dataset में 8 किराना कंपनियां शामिल हैं
    • Voila
    • T&T
    • Loblaws
    • No Frills
    • Metro
    • Galleria
    • Walmart Canada
    • Save-On-Foods
  • उपलब्ध अवधि 28 फरवरी 2024 से लेकर सबसे हालिया loaded data तक है
  • data दो तरीकों से लिया जा सकता है
    • 2 CSV
      • product file में product metadata और product details हैं
      • raw file में time-series price data है
      • दोनों files को id और product_id columns से join किया जाता है
    • SQLite file
      • SQLite file देखने के tool के तौर पर DB Browser की सिफारिश की गई है
      • filtering और CSV export संभव है
  • data fields और collection method project FAQ section में देखे जा सकते हैं

किन लोगों की भागीदारी चाहिए

  • project को एक व्यक्ति द्वारा पूरा करना मुश्किल है, और analysis, normalization, validation और उपयोग संभालने वाली community चाहिए
  • खास तौर पर इन roles में भागीदारी मांगी गई है
    • समय के साथ अलग-अलग price trends की interaction और correlation का economic analysis कर सकने वाले लोग
    • data processing और normalization में कुशल लोग
    • data के साथ एक दिन काम करके bugs, issues और opportunities बताने वाले लोग
    • दूसरे देशों में इसी तरह का price analysis करने वाले लोग, या Mario Zechner के काम से प्रेरित लोग
    • Canada के बहुत highly concentrated किराना sector को सुधारना चाहने वाले data-oriented politicians, aides, activists, journalists और lawyers

data से पूछे जा सकने वाले सवाल

  • standard sandwich की कीमतों को company-wise visualize किया जा सकता है
    • जैसे: white bread 200g, ham 20g, lettuce 20g आदि
    • किस company की कीमत सबसे कम है, इसकी तुलना संभव है
  • किसी खास product के लिए 1 नवंबर से 5 फरवरी तक price freeze था या नहीं, यह जांचा जा सकता है
    • Metro ने कहा था कि उसके own-brand और national-brand grocery products पर 1 नवंबर से 5 फरवरी तक price freeze industry practice है और Metro stores पर भी लागू होता है
  • “discount” price का वास्तव में क्या मतलब है, यह भी analysis का विषय है
    • पिछले discount के बाद कितना समय बीता, यह देखा जाता है
    • अगर कोई product लगातार discount पर है, तो देखा जा सकता है कि क्या वही असल में regular price है
    • यह जांचा जा सकता है कि discount से ठीक पहले price बढ़ाकर फिर normal level पर घटाया गया था या नहीं
  • कंपनियों के बीच price reactions की भी तुलना की जा सकती है
    • किसी खास product या category में price change कौन पहले शुरू करता है, यह देखा जा सकता है
    • कौन सा retailer हमेशा सिर्फ react करता है और price change शुरू नहीं करता, यह पहचाना जा सकता है
    • देखा जा सकता है कि क्या कुछ कंपनियों की prices बिल्कुल साथ-साथ move करती हैं
    • यह भी analyze किया जा सकता है कि prices बिना interaction के randomly move करती हैं या नहीं
    • prices हमेशा सिर्फ ऊपर जाती हैं या सिर्फ नीचे, यह जांचा जा सकता है
  • comparable product groups में आम तौर पर कौन सी company सबसे सस्ती है, और एक ही company के भीतर eggs, milk, bread जैसे product bundles साथ-साथ move करते हैं या नहीं, यह भी देखा जा सकता है

collection method और data constraints

  • data किराना कंपनियों की website UI को screen scraping करके प्राप्त किया गया है
    • website चलाने वाली internal APIs से मिलने वाली जानकारी इसमें missing हो सकती है
    • prices Toronto के एक इलाके में set किए गए “in store pickup” option के आधार पर हैं
  • हर दिन सभी companies का सारा data उपलब्ध नहीं है
    • 28 फरवरी 2024 से 10 या 11 जुलाई तक “small basket” products की prices collect की गईं
    • उसके बाद कहीं ज्यादा विविध products की prices मौजूद हैं
    • किसी खास date पर किसी खास company का extraction fail होने से data missing हो सकता है

product table

  • product table में product metadata होता है
    • product name
    • company
    • brand
    • unit size
  • यह केवल नया product मिलने पर update होता है
    • जैसे: पहले मौजूद न रहा कोई unit size variant मिलने पर
  • मुख्य columns इस प्रकार हैं
    • id: product ID जो product table और raw table को join करता है, लेकिन यह रोज बदलता है और stable unique identifier नहीं है
    • concatted: company, product name, unit और brand को जोड़कर बनाया गया internal unique identifier, जो intermediate stage में इस्तेमाल होता है
    • vendor: 8 किराना companies में से एक
    • product_name: product name, जिसमें brand या unit शामिल हो सकते हैं
    • units: g, kg, pack में item count जैसी units; कुछ companies या products के लिए यह खाली हो सकता है
    • brand: product manufacturer brand; खाली हो सकता है
    • detail_url: detailed product page URL, जिसका उपयोग SKU और UPC extraction के लिए होता है
    • sku: हर company द्वारा इस्तेमाल किया जाने वाला product unique identifier, जिसे detail_url से extract किया जाता है
    • upc: companies के across इस्तेमाल होने वाला universal product identifier, लेकिन इसे ढूंढना मुश्किल है
  • UPC reliability company के हिसाब से अलग-अलग है
    • Metro, Galleria, Save-On-Foods के UPC सबसे अधिक reliable हैं और सीधे company websites से आते हैं
    • Walmart ने SKU को एक ऐसी site के UPC से match किया जो Walmart की owned लगती है, और यह fuzzy matching नहीं बल्कि exact matching है
    • Loblaws, NoFrills, T&T, Voila ने fuzzy matching से potential UPCs खोजे और manual quality checks किए, लेकिन errors हो सकते हैं
    • companies के बीच comparison करते समय product_name देखकर common sense से verify करना चाहिए

raw table

  • raw table किसी खास समय पर product price रखता है, और नया data हर दिन जोड़ा जाता है
  • मुख्य columns इस प्रकार हैं
    • nowtime: data collection time
    • current_price: extraction के समय की price
    • old_price: strikethrough में दिखाई गई पिछली price, जो discount चलने का संकेत देती है
    • price_per_unit: company website पर दिखाया गया per-unit price; यह current_price को units से divide करके निकले actual calculated value से मेल नहीं खा सकता
    • other: “Out of stock”, “SALE”, “Best seller”, “$5.00 MIN 2” जैसी अन्य display information
    • product_id: product table से join करने वाला ID, लेकिन यह रोज बदलता है और stable unique identifier नहीं है

CSV और SQLite इस्तेमाल करते समय सावधानियां

  • CSV files Excel के हिसाब से बनाई गई हैं
    • file की शुरुआत में ऐसा BOM character है जिससे Excel इसे UTF-8 के रूप में process करे
    • दूसरे analysis tools में load करते समय BOM हटाना पड़ सकता है
  • SQLite file structure सरल है
    • product table में vendor, product_name, units, brand शामिल हैं
    • raw table में nowtime, current_price, old_price, price_per_unit शामिल हैं
    • दोनों tables को product.id और raw.product_id से join किया जाता है
    • speed के लिए raw.product_id पर index है
  • example SQL किसी खास brand या product group को query करने के तरीके के रूप में दिया गया है
    • Becel brand कुछ companies में केवल product_name में हो सकता है और कुछ में केवल brand में, इसलिए दोनों columns search किए जाते हैं
    • Miss Vickie's products के लिए companies के हिसाब से Miss Vickies, Miss Vickie's, और अजीब UTF-8 quotes वाली spellings मिलती हैं, इसलिए miss vick से search किया जाता है
    • Miss Vickie's Original Recipe chips के query results में 59g, 200g, 275g products साथ आ सकते हैं, इसलिए companies के बीच comparison करते समय SQL को और narrow करना या CSV में export करके filtering करनी चाहिए
  • example analysis में Miss Vickies' Original Kettle Chips 200g की price को Excel PivotChart से visualize किया गया, और Walmart सबसे कम जबकि Asian grocery stores पर केंद्रित companies सबसे अधिक कीमत दिखाती हैं

reference SQL और analysis examples

  • 10 जून और 17 सितंबर की prices compare करने के लिए SQL दिया गया है
    • description के अनुसार पहला full extraction day 10 जून है, लेकिन SQL condition 2024-06-11% और 2024-09-17% का उपयोग करती है
    • उसी product की start price और end price को एक row में pivot करने के बाद, जो products दोनों dates पर मौजूद नहीं हैं उन्हें exclude किया जाता है
  • price की maximum, minimum, average और count निकालने वाला SQL भी है
    • raw से date, price और product ID के unique combinations बनाकर product-wise aggregation किया जाता है
    • result को product table से join करके company, product name, unit और brand के साथ देखा जाता है
  • code, data और notes को SQL Notebook के रूप में share करना बेहतर होगा या नहीं, इस पर feedback मांगा गया है

ज्ञात data issues

  • एक ही दिन एक ही product के लिए अलग-अलग price points capture होने की समस्या है
    • जैसे: Loblaws का “100% Natural Origin Moisturizing Lip Balm, Cucumber Mint”, Sisu का “Melatonin”
    • कारण यह था कि company website पर समान name और unit size वाले अलग-अलग products मौजूद थे
    • 30 सितंबर 2024 तक दोनों को अलग करने का कोई तरीका नहीं था, और उसके बाद detail_url और sku values से इन्हें अलग किया जा सकता है
  • एक दिन में एक ही product की समान price entries कई बार आने की समस्या है
    • 2 नवंबर 2024 तक, प्रति दिन लगभग 6,500 products प्रभावित हैं
    • जैसे: Metro का Daiya “Mexican 4 Cheeze Blend Gluten Free Shreds”
    • ऐसा इसलिए हो सकता है क्योंकि वही product कई categories में listed है या advertised product के रूप में किसी दूसरी category या page top पर बार-बार दिखता है
  • Save-On-Foods extraction में कुछ product name-brand combinations detail_url value से match नहीं हो रहे थे
    • प्रभाव का आकार प्रति दिन करीब 9 products है, कुल करीब 10,000 products में से कुछ
    • यह हर दिन अलग product groups में हो सकता है
    • 25 दिसंबर 2024 dataset से इसे fix कर दिया गया, लेकिन पुराने data पर retroactively लागू नहीं किया गया

संबंधित किराना price resources

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-09-10
Hacker News की राय

  • “कीमत डेटा का आर्थिक विश्लेषण, खासकर समय के साथ कई price streams की interaction/correlation” लेखक की सोच से कहीं ज़्यादा मुश्किल काम है
    कनाडा में competition policy agency है, और जांच के दौरान कंपनियों से डेटा मांगने का अधिकार भी लगभग निश्चित रूप से है। संभव है कि उनके पास मौजूद डेटा यहाँ के डेटा से बेहतर हो
    ऐसे मामलों को सिर्फ डेटा विश्लेषण से साबित करना लगभग असंभव है। अगर यह संभव होता, तो दुनिया भर की antitrust agencies बस ऐसे डेटा की निगरानी करतीं, और cartel बनाने वाले भी उस निगरानी से बचने की कोशिश करते
    grocery डेटा में हज़ारों products की कीमतें मिली होती हैं, जिनके supplier, cost structure और raw material shocks अलग-अलग होते हैं, इसलिए यह अच्छा idea तो है, लेकिन व्यवहार में यह समय की बर्बादी के ज़्यादा करीब लगता है — एक असली antitrust पेशेवर के तौर पर

    • उल्टा मुझे लगता है कि आप कनाडा के federal/provincial regulators की technical capability को ज़रूरत से ज़्यादा आंक रहे हैं
      सरकारी विभाग गंभीर technical debt के लिए बदनाम हैं, इसलिए डेटा मांगने का अधिकार होने के बावजूद यह बहुत संदिग्ध है कि वे उसे modern data analysis के क़रीब किसी तरीके से प्रोसेस कर रहे हों। ठीक-ठाक data lake, Spark cluster, cloud data warehouse की बजाय पुराना SQL database से spreadsheet में data खींचने वाले स्तर पर होने की संभावना ज़्यादा है
      StatsCan जैसी tech-focused इकाइयों को छोड़ दें तो सरकार की data science capability आम तौर पर अच्छी नहीं है
    • मैं तो बस एक हथौड़ा बना रहा हूँ। उसे झील में फेंको, बच्चे का treehouse बनाओ, या खिड़की तोड़ो — उसका इस्तेमाल करना हर किसी की अपनी ज़िम्मेदारी है
    • अगर dataset सार्वजनिक हो, तो उस पर कहीं ज़्यादा नज़रें जाएँगी, और उनमें कुछ बहुत जुनूनी लोग भी होंगे। नौकरी के रोज़मर्रा के बंधनों के बिना लोग इसे शौक की तरह गहराई से खंगाल सकते हैं — शायद फ़र्क यही है
    • मुझे नहीं लगता कि इसे पूरी तरह साबित करना ज़रूरी है। अगर किसी खास समय पर किसके cartel में शामिल होने की संभावना सबसे ज़्यादा है, यह दिखाने वाला निष्पक्ष metric मिल जाए, तो वही काफ़ी है
      सूची में ऊपर आने से बचने के लिए यह “ज़्यादा खुलकर प्रतिस्पर्धा करो” वाला दबाव बनाने की शुरुआत हो सकती है
    • महामारी से पहले से चल रही bread price-fixing की समस्या भी अभी तक सुलझ ही रही है
      उस agency के पास बजट और लोग दोनों कम हैं, और यह देशभर में इतना फैला हुआ है कि ज़्यादातर लोगों के लिए लगभग रोज़मर्रा की बात बन चुकी समस्या को सच में ठीक करने की प्रेरणा भी कम लगती है

  • यह project मुझे पसंद आया। मैं अभी-अभी टोरंटो से शिफ्ट हुआ हूँ, और अमेरिका से तुलना करें तो कनाडा के ज़्यादातर बड़े उद्योग असल में oligopoly जैसे लगते हैं, जो काफ़ी परेशान करने वाला है
    telecom, banking, insurance, grocery, airlines वगैरह देखें तो बस कुछ बड़े competitors ही हैं। regulation की वजह से नए competitor बनाना मुश्किल है, और छोटे players अक्सर आख़िर में बड़ी कंपनियों द्वारा ख़रीद लिए जाते हैं
    नतीजा यह है कि अनुभव बहुत ख़राब है। telecom में cable और mobile दोनों ही बेवजह महंगे हैं, banks उन basic features पर भी तरह-तरह की fees लगाते हैं जो अमेरिका में मुफ़्त मिलती हैं, और customer support भी बेहद ख़राब है
    कम से कम telecom market में price-fixing काफ़ी साफ़ दिखती है, इसलिए यह हैरान करने वाली बात नहीं है। सरकार के लिए यह मुश्किल ज़रूर होगा क्योंकि ऐसे oligopoly/cartel GDP और tax revenue बढ़ाने में मदद करते हैं, लेकिन आख़िरकार ज़्यादा competition और consumer protection ही बेहतर रहने लायक देश बनाते हैं

    • कनाडा में oligopoly पैदा हों, यह कुछ हद तक जानबूझकर इसलिए डिज़ाइन किया गया था ताकि बड़ी अमेरिकी कंपनियों के ख़िलाफ़ बचाव हो सके
      “कनाडा कई मायनों में monopoly के ऊपर बनाया गया था। Hudson’s Bay Company या Canadian Pacific Rail के बारे में सोचिए। कनाडा हमेशा इस डर में रहा कि अगर घरेलू कंपनियों को बहुत बड़ा नहीं होने दिया गया, तो वे अमेरिकी प्रतिद्वंद्वियों के हाथों बह जाएँगी। इसलिए competition की बात करने वाले नेताओं और consolidation को बढ़ावा देने वाले क़ानूनों के बीच तनाव है”
      मुझे लगता है कि यह रणनीति लगभग 20 साल पहले तक किसी हद तक काम करती थी। यह consumers के लिए आदर्श नहीं थी, लेकिन ज़्यादातर कनाडाई लोगों के लिए काफ़ी ठीक-ठाक थी। अब oligopoly कंपनियाँ लगभग शिकारी स्वभाव की हो गई हैं और सरकारी फंडिंग व market control के मौक़े जितना मिले उतना निगल रही हैं
      उदाहरण के लिए Temporary Foreign Worker program इस समय कनाडा की आबादी का 7% है, और इसने housing, healthcare और labor market पर दबाव डाला है; UN ने इसे “slavery का breeding ground” तक कहा है [1]
      [0] https://www.wealthsimple.com/en-ca/magazine/canada-monopolie...
      [1] https://documents.un.org/doc/undoc/gen/g24/120/97/pdf/g24120...
    • कनाडा में cartel/oligopoly को स्वीकार करने का एक दिलचस्प सांस्कृतिक इतिहास है। मैंने सुना है कि यह ब्रिटेन द्वारा कनाडा बसाए जाने के समय फैले “इस विशाल उत्तरी इलाके के ख़िलाफ़ हम” वाले रवैये से भी जुड़ा है
      और मुझे लगता है कि कनाडा का merger law अमेरिका से काफ़ी अलग रहा है। मेरी समझ में, कनाडा में merger को ग्राहक के लिए अच्छा है या नहीं, उससे ज़्यादा shareholder के लिए अच्छा है या नहीं, इस आधार पर देखा जाता था। पिछले 1–2 साल में क़ानून बदलने शुरू हुए हैं, इसलिए बदलाव धीमा है, लेकिन आ रहा है
    • इस वर्णन के हिसाब से लगता है कि हम local optimum में फँसे हुए हैं। इससे निकलना मुश्किल है, लेकिन आगे कोई बड़ा तकनीकी बदलाव आए तो मौजूदा व्यवस्था हिल सकती है
    • यह tax revenue की वजह से कम, और शायद इसलिए ज़्यादा हो सकता है कि पार्टी के लोगो का रंग चाहे जो हो, सरकार लोगों नहीं बल्कि oligopoly कंपनियों के लिए काम कर रही है
    • समुद्र पार से देखें तो यह बात अमेरिका पर भी लागू होती लगती है
      telecom कंपनियाँ और banks कम हैं और बेहूदा fees वसूलते हैं — अमेरिका में भी यही हाल है। physical infrastructure और banking में दुनिया भर में entry barriers ऊँचे होते हैं, और उसके कारण भी हैं। यह सिर्फ़ उसी एक देश की समस्या नहीं है

  • पता नहीं लेखक यहाँ है या नहीं, लेकिन डाउनलोड की जा सकने वाली SQLite database पर compression लगाने से काफ़ी फ़ायदा होगा। सिर्फ gzip से भी यह लगभग 75% कम हो जाती है
    यह भी जानना चाहूँगा कि कीमतें कैसे इकट्ठी की गईं, इस पर कोई लेख है या नहीं। मैं कई सालों से ऐसा analysis करना चाहता था, लेकिन जल्दी ही समझ गया कि 95% मेहनत scraping और entity matching में चली जाएगी, इसलिए तुरंत छोड़ दिया
    लगता है manufacturers तुलना से बचने के लिए जानबूझकर अलग-अलग SKU देते हैं

    • मैं कहने ही वाला था कि browser लगभग निश्चित रूप से Accept-Encoding: gzip header भेज रहा होगा, लेकिन server का Content-Encoding: gzip के साथ जवाब देने का कोई इरादा नहीं दिखता
    • 7z compression level 9 इस्तेमाल करने पर .sqlite archive 61 MiB तक आ जाता है, यानी file size लगभग 92% कम हो जाती है

  • अगर कनाडा अमेरिका जैसा है, तो “X chain में 1 pound butter की कीमत कितनी है” जैसे सवाल का जवाब देने में दिक्कत यह है कि अब सुपरमार्केट कीमतों के साथ इतनी चालाकियाँ करते हैं कि एक ही सही जवाब नहीं होता।
    इलाके या पड़ोस के हिसाब से कीमतें अलग हो सकती हैं, शायद inventory management की ज़रूरतों या क्षेत्र के अनुसार भुगतान-इच्छा को ध्यान में रखकर।
    ऊपर से pricing tricks भी बहुत हैं। पड़ोस के सुपरमार्केट में आलू के chips का एक bag आमतौर पर 6.99 डॉलर का होता है, लेकिन किसी समय वह “4 खरीदो तो 1.99 डॉलर” हो जाता है। कुछ packaged food 4.99 डॉलर के होते हैं, लेकिन अगर आप crackers, Tide, Pillsbury biscuits जैसे आपस में असंबंधित participating products में से 5 खरीदें तो 1.99 डॉलर में मिलते हैं। flyer बहुत ध्यान से देखना पड़ता है, और shelf पर भी हमेशा eligible products की पूरी जानकारी नहीं होती।
    सबसे खराब है “digital coupon price”। slow app को, ऐसे store में जहाँ signal भी अच्छा नहीं होता, खोलो, login करो, security code वाला email देखो, फिर coupon ढूँढकर उसे ‘clip’ करो, तब जाकर sale price मिलता है। भूल गए तो full price देना पड़ता है।
    ऐसी स्थिति में हर consumer का वास्तविक भुगतान अलग हो जाता है, इसलिए data integrity को लेकर चिंता होती है। मसलन, हर किसी के घर में chips के 4 bag ले जाने की जगह नहीं होती, इसलिए कोई 4 के 8 डॉलर की जगह 1 bag के 7 डॉलर देता है। यानी chips एक ही समय में 2 डॉलर भी है और 7 डॉलर भी।

  • इसका कोई सिद्धांत ज़रूर होगा कि इससे कीमतें कम होती हैं, लेकिन वह क्या है, यह जानना दिलचस्प होगा। real estate market में पिछले कुछ वर्षों में transparency लगभग असीमित रूप से बढ़ गई, यहाँ तक कि वह data scientists के training data के रूप में इस्तेमाल होने लगी।
    नतीजा यह हुआ कि speculators बाज़ार में घुस आए और सब गड़बड़ हो गया।

    • क्या grocery में भी speculation इतनी बड़ी चिंता है? real estate तो ऐसा asset है जिसे कुछ समय तक hold किया जा सकता है, लेकिन grocery की hoarding में अगर खरीदार न मिले तो जल्द ही बस expiry पार कर चुका बहुत सारा खाना ही बचेगा।
    • मामला ऐसा नहीं था। real estate data पहले भी काफ़ी public था, और अगर आपके पास पैसा हो तो उसे scrape करना आसान था।
      बदलाव ज़्यादा इस वजह से आया कि पिछला housing crisis और उसके बाद की zero interest rate policy ने बड़े tech और real-estate हितों को सहारा दिया, और उन्होंने housing खरीदना शुरू कर दिया।
      इसमें उन लोगों की स्थिति भी जुड़ गई जो कई सालों तक underwater mortgage में फँसे रहे, और एक नया बाज़ार बना जहाँ बहुत ऊँचे fixed costs न उठा पाने की वजह से कई स्थानीय सरकारों में लोग mortgage से भी ज़्यादा rent देने लगे।
      अगर आपके पास बहुत capital है, तो guaranteed return वाली जगह में पैसा लगाना पूरी तरह समझदारी की बात है।
    • अच्छी बात कही। लेकिन क्या कनाडाई real estate market में भी oligopoly है?
      मुझे लगता है Project Hammer का आधार यह है कि food industry में transparency लागू करके collusion को उजागर किया जाए, और फिर ऐसे oligopoly पर कौन से कानून लागू हों, इस पर बहस शुरू की जाए।
    • मैं OP से इस हिस्से पर और सुनना चाहूँगा। मैं भी कनाडाई grocery price tracking site (http://grocerytracker.ca/) चलाता हूँ, लेकिन मेरा मुख्य लक्ष्य आम कनाडाइयों को जानकारी के आधार पर खरीदारी के फैसले लेने में मदद करना है।
    • “speculators आ गए और market खराब हो गया” यह थोड़ी लंबी छलाँग लगती है। data access बढ़ने से कीमतें बढ़ती हैं, इसका causal mechanism क्या है?
      stocks की बात हो तो कम-से-कम ultra-high-frequency firms पर दोष मढ़ा जा सकता है, लेकिन real estate prices दूसरे कारणों से बढ़ी होंगी, और data accessibility का बढ़ना शायद बस उसी समय हुआ एक संयोग हो। कारण NIMBY, immigration, foreign investors वगैरह कई हो सकते हैं। यह https://xkcd.com/925/ वाले मामले के ज़्यादा करीब लगता है।

  • कनाडा में grocery की समस्या होने की वजह काफ़ी सरल है।

    1. कनाडा इतना विशाल है कि startups के लिए efficient और बड़े पैमाने का distribution network बनाना मुश्किल है। Target से पूछ लीजिए।
    2. अंतर-प्रांतीय व्यापार बाधाएँ हैं।
    3. हर product पर French labeling चाहिए। भले Alberta के लिए सबसे नज़दीकी supplier Montana में हो, फिर भी बिना अलग inspection और packaging के उसे सीधे import नहीं किया जा सकता। इसलिए कनाडा के imports Toronto distribution center जैसी जगहों में केंद्रीकृत हो जाते हैं, और ज़्यादातर food Toronto से जितना दूर जाता है, उतना महँगा होता जाता है।
    4. छोटे grocery stores ने भी कोशिश की, लेकिन ऊपर की वजहों के अलावा Sobeys और Loblaws जैसी कंपनियों को मिलने वाली भारी corporate welfare के कारण market असंतुलित है और competition के प्रति शत्रुतापूर्ण है।

  • अगर मैं सेब की कीमत अपने आसपास के औसत से 0.5 standard deviation कम रखता हूँ, तो क्या मैं market को undercut कर रहा हूँ या market के साथ collude कर रहा हूँ?
    अगर मैं उसे औसत पर रखूँ, तो क्या वह collusion है, या बस सेब से होने वाले profit को maximize करना है?
    अगर मैं उसे औसत से ऊपर रखूँ, तो क्या वह collusion है, या market को यह बताना है कि मेरे सेब premium हैं?
    correlation से collusion तक कैसे पहुँचा जा सकता है? यह project मानो इस धारणा पर टिका लगता है कि दूसरी markets की prices देखकर अपनी price तय करना ही collusion है। अगर ऐसा नहीं है, तो यह collusion पर चोट करने वाला hammer कैसे बन सकता है? क्या regulators के लिए correlation को agreement का evidence मानने का मतलब यह होगा कि price तय करते समय market price का पता ही नहीं होना चाहिए?

    • दार्शनिक सवाल से अलग, क्या यह व्यावहारिक रूप से वास्तव में महत्वपूर्ण है? free market का व्यावहारिक उद्देश्य यह है कि selling price का production cost से संबंध हो और वह उचित रूप से उसके क़रीब पहुँचे।
      अगर ऊपर से free market दिखे लेकिन competition ऐसा नतीजा न ला पाए, तो वह समाज की समस्या है। तब समाज को उचित साधनों से उसे सुधारने का अधिकार है। market entrants के लिए loans या subsidies, price regulation laws, खास tax policies, यहाँ तक कि free market को ठुकराकर central control की ओर जाना भी, समाज की विचारधारा के अनुसार संभव है।
      एक उपमा के तौर पर, किसी रहस्यमय हिंसक अपराध को न्याय के लिए सुलझाना ज़रूरी हो सकता है, लेकिन समाज को समग्र रूप से अधिक सुरक्षित बनाने के लिए उस विशेष मामले को सुलझाना अनिवार्य नहीं होता।
    • क्या आपने वेबसाइट पर पढ़ा कि “यह project इस धारणा पर है कि market prices देखकर prices तय करना collusion है”, या आप ऐसा अनुमान लगा रहे हैं?
      यह बस एक dataset है, और अपने-आप में यह collusion जैसी चीज़ों को उजागर नहीं कर सकता। लेकिन अगर collusion का अध्ययन करना हो, तो इस data का उपयोग कंपनियों के व्यवहार को समझने में किया जा सकता है।
      और collusion का ज़रूरी नहीं कि price से ही संबंध हो।
    • collusion वह गुप्त समझौता या छिपा हुआ सहयोग है जिसमें दो या अधिक पक्ष खुली competition को सीमित करने के लिए धोखा देते हैं, गुमराह करते हैं, या कानूनी अधिकारों का उल्लंघन करते हैं [1]।
      अगर आप अकेले निर्णय लेकर competitor से कम कीमत पर बेचते हैं, तो free market में capitalism ठीक यही व्यवहार अपेक्षित मानता है।
      लेकिन अगर आप पड़ोस की दुकानों को फोन करके कहें, “चलो सब मिलकर अभी सेब की कीमत दोगुनी कर देते हैं। तब consumers को उसी कीमत पर खरीदना पड़ेगा,” तो वह collusion है।
      फिर भी मूल बात सही है। बाहर से सिर्फ़ साधारण correlation देखकर collusion और non-collusion में फ़र्क करना बहुत कठिन है। कीमतें कई वैध कारणों से converge कर सकती हैं, और अंदरूनी जानकारी के बिना collusion की विश्वसनीय पहचान मुश्किल है।
      इस project से अधिकतम यह उम्मीद की जा सकती है कि यह किसी एक product category को व्यापक रूप से model करके दिखाए कि price patterns को केवल collusion से ही समझाया जा सकता है। अगर यह सफल होना है, तो बाद की मुकदमेबाज़ी में दोष साबित करने वाला direct evidence, जैसे communications, सामने आना होगा।
      [1] https://en.m.wikipedia.org/wiki/Collusion

  • कनाडा का competition के प्रति रवैया अमेरिका से अलग है। कृषि उत्पाद, यानी dairy, wheat, maple syrup, और कुछ कम हद तक retail beer और liquor, कीमत तय करने वाले राज्य एकाधिकार के नियंत्रण में हैं
    खाने-पीने की चीजें महंगी होने का कारण पिछले कुछ वर्षों की fuel cost है, और इस पर federal fuel tax में बढ़ोतरी तथा export को support करने के लिए CAD को USD के मुकाबले कमजोर बनाए रखने की अर्द्ध-आधिकारिक नीति ने purchasing power को और कमज़ोर किया है
    ऐसे प्रयास “price control” का समर्थन करने वाले आर्थिक रूप से अनपढ़ मतदाताओं पर असर करते हैं
    अगर जानना हो कि कनाडा de-kulakization spiral में कहाँ तक पहुँच चुका है, तो राज्य अपनी policy failure का दोष “मुनाफाखोरों” पर डाल रहा है। अगला नंबर hoarders, speculators, शायद “अंतरराष्ट्रीय बैंकरों” जैसे घिसे-पिटे clichés का होगा

    • मैं इस बात से सहमत हूँ कि कनाडा का competition को लेकर रवैया बहुत अनोखा है। कुछ-कुछ “क्या हम सब बस मिल-जुलकर नहीं रह सकते?” जैसा
      लेकिन food के मामले में मैं अलग राय रखता हूँ। शीर्ष 3 grocery कंपनियाँ bread price-fixing [1], wage-fixing [2], और कुछ अवधियों में non-compete agreements [3] करती रही हैं। यहाँ food prices सिर्फ base cost से नहीं चलते
      1. https://www.cbc.ca/news/business/bread-price-fixing-loblaw-1...
      2. https://financialpost.com/news/economy/how-hero-pay-scandal-...
      3. https://www.cochranetimespost.ca/opinion/columnists/charlebo...
    • कोई भी समझदार सरकार खाद्य आत्मनिर्भरता सुनिश्चित करने के लिए tax money खर्च करेगी। राज्य को सबसे बढ़कर farms चाहिए
      अमेरिका पीछे से tax के जरिए कीमतों को सहारा देता है। इसका एक तरीका “government cheese” है, जिसमें federal government भारी मात्रा में दूध खरीदकर उसे cheese बनाती है और welfare recipients में बाँटती है। यानी surplus खरीदकर milk prices को बनाए रखा जाता है
      कनाडा इसकी जगह quota के जरिए milk prices को नियंत्रित करता है। दोनों तरीके कृत्रिम रूप से कीमतें ऊँची रखते हैं। अमेरिका भी दूसरे markets में ऐसा ही करता है
    • अमेरिका भी कृषि कीमतों पर सरकारी असर से मुक्त नहीं है, लेकिन मेरी धारणा में कनाडा कुछ स्तर आगे है, खासकर आबादी वाले Ontario में। दोनों की तुलना करते समय यह ध्यान में रखना चाहिए
      गैर-विशेषज्ञ नज़र से देखने पर कनाडा की grocery chains अमेरिका की तुलना में बहुत ज़्यादा concentrated नहीं लगतीं। कई chains उन्हीं कुछ brands के अंतर्गत आती हैं, इसलिए तुलना मुश्किल है, लेकिन यह chart मददगार है
      https://www.howtocook.recipes/the-largest-grocery-stores-and...
      top 10 को देखें तो मैं Walgreens और CVS को बाहर रखूँगा। इससे लगता है कि 33 करोड़ अमेरिकियों में से ज़्यादातर को 8 conglomerates service देते हैं। Target को शामिल करना चाहिए या नहीं, यह साफ नहीं है। मुझे नहीं पता वहाँ की sales का कितना हिस्सा वास्तव में grocery है। OP की post कहती है कि 3.8 करोड़ कनाडाइयों में से अधिकांश को 5 conglomerates service देते हैं
    • कनाडा में wheat अब सरकारी नियंत्रण में नहीं है। Canadian Wheat Board को 2015 में बेच दिया गया था और वह अब एकमात्र buyer नहीं है
    • “पिछले कुछ वर्षों” में food price increases का विश्लेषण करते हुए कनाडा के कम-से-कम 80 साल के सबसे बुरे financial crisis और उसके inflationary effects को छोड़ दिया गया है। कई sectors में record corporate profits का ज़िक्र भी गायब है
      उदाहरण के लिए, सबसे बड़ी grocery chain का profit margin Covid के दौरान वास्तव में 50% बढ़ा था
      इसके बजाय विश्लेषण बस “सरकार बुरी है!” पर खत्म हो जाता है। बेशक, मैं यह नहीं कह रहा कि money supply increase और ऊपर बताई गई नीतियों की वजह से सरकार समस्या का बड़ा हिस्सा नहीं है। लेकिन Covid या record corporate profits का ज़िक्र किए बिना food prices समझाने की कोशिश करना बहुत बेईमानी है
      फिर भी, शायद ऊँची कीमतों की शिकायत करने वाले “आर्थिक रूप से अनपढ़” serfs ही समस्या हैं?

  • कुछ साल पहले Ontario में beer के एकमात्र buyer Brewers Retail, यानी The Beer Store, की prices को एक ज़्यादा पढ़ने योग्य spreadsheet format में डालने वाली एक website थी, ताकि total, mL के हिसाब से price, case size के हिसाब से price वगैरह sort किए जा सकें
    वह सचमुच अच्छी थी, पारदर्शी थी, और बस data थी
    लेकिन कानूनी धमकियों के बाद उसे बंद कर दिया गया। लगता है कनाडा में apparently ऐसा नहीं किया जा सकता। data उनका था और उसे इस्तेमाल नहीं किया जा सकता, ऐसा कोई बेवकूफ़ी भरा fine-print clause था
    मुझे याद है कि grocery flyers में भी ऐसा ही fine print था

    • beerboss.ca ने वह मशाल आगे बढ़ाई
    • कानूनी धमकी से बंद होना ही शायद जनता की इच्छा कहलाएगा। कनाडा एक democracy है, और democracy ऐसे ही काम करती है। उन भयानक communist governments की तरह नहीं, जाहिर है
      सबको अच्छी तरह पता होना चाहिए कि वे क्या करते हैं, और हमारी प्यारी पड़ोसी democracy कितनी बेहतर है। आखिर पिछले कुछ सालों/दशकों से इसे रोज़ अख़बारों में literally पढ़ा जा सकता है
      मुझे ऐसे threads इकट्ठा करना पसंद है; ये खुरदरे पत्थरों में हीरे जैसे होते हैं

  • नॉर्वे के किराना बाज़ार के अधिकांश हिस्से पर कब्ज़ा रखने वाली शीर्ष 3 किराना कंपनियों पर price fixing के लिए जुर्माना[1] लगाया गया।
    आरोपों में से एक यह था कि किसी खास category में price increase का संकेत देने के लिए उसी category के किसी खास product की कीमत बढ़ाकर signal भेजा जाता था। price investigators का व्यापक इस्तेमाल भी इसमें मददगार रहा।
    शुरुआती जुर्माना इससे कहीं बड़ा था, लेकिन अंततः तीनों कंपनियों पर कुल मिलाकर लगभग 45 करोड़ डॉलर का जुर्माना बना।
    तुलना के लिए, सबसे बड़ी कंपनी का 2023 का pre-tax profit[2] लगभग इसी के बराबर था।
    हाल के किराना मूल्य inflation में बड़ी बढ़ोतरी किसानों को raw materials के लिए मिली रकम में बढ़ोतरी की तुलना में कहीं अधिक थी।
    हालांकि, नॉर्वे की संरचना ऐसी नहीं है कि जगह-जगह बड़े स्टोर कम हों; बल्कि वहाँ छोटे और स्थानीय किराना स्टोर बेहिसाब ज़्यादा हैं। मैं अभी भी Oslo के बाहरी इलाके में बैठा हूँ, और 15 मिनट पैदल दूरी के भीतर ही शीर्ष 3 कंपनियों से जुड़े 8 किराना स्टोर हैं।
    [1]: https://www.nrk.no/norge/daglegvare-etterforskinga_-4_9-mill...
    [2]: https://www.dn.no/handel/resultathopp-for-norgesgruppen-tjen...

    • मैं जानना चाहता हूँ कि यह मिलीभगत कितने सालों तक चली। सालाना मुनाफे का कितने प्रतिशत हिस्सा price fixing की वजह से था?
      Norgesgruppen की 2005 annual report देखें तो profit margin 2.2% था। 2021 में यह बढ़कर 3.8% हो गया, यानी margin में लगभग 75% की बढ़ोतरी हुई।
    • मुझे लगभग यक़ीन है कि Austria में भी लगभग यही हो रहा है। यह भी संभव है कि यह मेरी कल्पना हो, लेकिन कभी-कभी यह बहुत ज़्यादा संदिग्ध लगता है। हालांकि, मैंने इसे अब तक news में नहीं देखा है।