ऐसी इंडस्ट्री में काम करते हुए, जहाँ गढ़े हुए part numbers या चुपचाप गलत calculations drawings, BOM और purchase orders तक पहुँच जाते हैं,
मैंने एक ऐसा harness बनाया जो LLM responses को “inspection पास होने से पहले shipment मना है” वाले दस्तावेज़ की तरह treat करता है,
और इसे कई महीनों से असल उपयोग में ला रहा हूँ। personal और domain जानकारी हटाकर curated snapshot सार्वजनिक किया है।
- response भेजने से पहले 13 तरह के verification gates: fabrication रोकना (part numbers और DOI का अनुमान लगाकर generate करना मना),
arithmetic को Bash में दोबारा चलाना, prompt injection isolation, “चलाया है” कहने पर वास्तविक tool output से cross-check,
failure cases को regression gold set में स्थायी रूप से दर्ज करने वाले recurrence-prevention gates आदि - सभी core numbers, citations और causal claims पर 3-level confidence label — memory-based citation
अधिकतम yellow, green सिर्फ actual lookup पर - safety-critical conclusions को heterogeneous models (Gemini·Groq·OpenAI CLI) से parallel में फिर से derive करके convergence
judge करना — इस premise पर कि same-model self-check वही blind spots share करता है - external skills/plugins को isolation→static scan→human careful review→rebuild के बाद ही import करने वाली
supply-chain INTAKE pipeline (natural-language instructions को भी code के बराबर threat माना जाता है) - नए checkers को shadow mode में false-positive rate measure करने के बाद promote किया जाता है; verified claims को ledger में load करके
contradictions का automatic cross-check
gate hooks और checkers सच में चलने वाला Python code हैं, और regression tests भी साथ में हैं।
clone करके extra dependencies के बिना तुरंत चला सकते हैं:
python3 eval/tests/test_g9_regression.py --hook hooks/g9_arith_enforce.py
python3 hooks/tests/test_glossary_hook.py
settings.example.json से hooks wire करने पर gate आपके अपने environment में भी काम करता है।
यह पूरी packaged distribution नहीं है; hooks और checkers को unit-wise चुनकर जोड़ने की structure है।
काफी documentation Korean में है, architecture और README English में हैं।
अभी कोई टिप्पणी नहीं है.